Synthetic Rewriting as a Quality Multiplier: Evidence from Portuguese Continued Pretraining

Los modelos de lenguaje de gran tamaño son los motores detrás de muchos de los sistemas de inteligencia artificial más avanzados de la actualidad, capaces de escribir texto, responder preguntas y resolver problemas con una fluidez que a menudo imita el pensamiento humano. Estos sistemas aprenden leyendo vastas cantidades de texto de internet, absorbiendo patrones en cómo se usan las palabras y cómo se conectan las ideas. Sin embargo, este proceso de aprendizaje no es igualmente efectivo para todos los idiomas. Mientras que el inglés cuenta con una biblioteca masiva de texto de alta calidad disponible para el entrenamiento, muchos otros idiomas, como el portugués, disponen de muchos menos recursos. Para cerrar esta brecha, los investigadores suelen tomar un modelo entrenado principalmente en inglés y continúan enseñándole utilizando cantidades menores de texto en el idioma de destino. Una pregunta creciente en el campo es si podemos hacer que estos datos limitados sean aún más poderosos utilizando inteligencia artificial para reescribirlos. La idea es que, si una computadora puede tomar una oración desordenada o simple y reescribirla para que sea más clara, estructurada o detallada, el modelo podría aprender mejor de la versión mejorada. Pero una incertidumbre crucial permanece: ¿funciona esta técnica de reescritura de manera igual de bien con el texto de baja calidad, o solo amplifica el valor del texto que ya era bueno desde un principio?

Un equipo de investigadores de la Universidad de Campinas en Brasil se propuso responder a esta pregunta realizando un experimento controlado con modelos de lenguaje en portugués. Comenzaron con una colección masiva de documentos en portugués que ya habían sido calificados por su calidad, que variaba de baja a alta según qué tan bien estaban escritos y qué tan útil era la información. A partir de esta colección, crearon tres grupos de datos distintos: un grupo que contenía solo los documentos de mayor calidad, otro con los documentos de menor calidad y un tercero que era una mezcla aleatoria de todo. Para cada uno de estos grupos, utilizaron un modelo de inteligencia artificial separado para reescribir el texto en cuatro estilos diferentes, tales como una versión simplificada para facilitar la lectura, un estilo de enciclopedia formal, una versión técnica y un formato de pregunta y respuesta. Este proceso generó una enorme cantidad de nuevo texto sintético. Luego, entrenaron dos modelos de computadora diferentes —uno más pequeño y uno más grande— con estos conjuntos de datos reescritos para ver cómo la combinación de la calidad original y la reescritura afectaba los resultados finales.

Los hallazgos revelaron un patrón claro y sorprendente que desafía la esperanza de que la reescritura pudiera arreglar los malos datos. Cuando los investigadores utilizaron el modelo más grande, la técnica de reescritura actuó como un multiplicador de calidad en lugar de un reparador de fallos. El modelo entrenado con los documentos de alta calidad que habían sido reescritos funcionó significativamente mejor que el mismo modelo entrenado con el texto de alta calidad original y sin modificar. Sin embargo, cuando aplicaron el mismo proceso de reescritura a los documentos de baja calidad, la mejora fue apenas perceptible. El texto de baja calidad reescrito no alcanzó al texto de alta calidad reescrito; en cambio, la brecha entre ellos se mantuvo amplia. Esto sugiere que el proceso de reescritura es más efectivo cuando toma material que ya es excelente y lo hace aún mejor, en lugar de intentar rescatar material deficiente. La mezcla aleatoria de documentos se situó justo en medio, mostrando que el beneficio de la reescritura crece de manera constante a medida que mejora la calidad del texto de origen.

Este efecto, sin embargo, dependía en gran medida del tamaño del modelo que se estaba entrenando. Cuando los investigadores repitieron el experimento con un modelo mucho más pequeño, la distinción clara entre alta y baja calidad desapareció. En este entorno más pequeño, el texto de alta calidad reescrito no superó al texto de baja calidad original de una manera consistente. El modelo más pequeño parecía incapaz de utilizar plenamente los complejos cambios estructurales introducidos por el proceso de reescritura, o quizás simplemente aprendía mejor de la variedad bruta de los datos sin editar. Esto indica que el poder de la reescritura sintética no es una regla universal, sino un fenómeno que escala con el tamaño del sistema de inteligencia artificial. Para los modelos más pequeños, la complejidad adicional del texto reescrito puede no proporcionar un beneficio, mientras que para los modelos más grandes y capaces, la reescritura de datos de alta calidad se convierte en una herramienta poderosa para potenciar el rendimiento.

El estudio también analizó tipos específicos de tareas, como responder preguntas de exámenes o comprender publicaciones de redes sociales, para ver dónde ayudaba más la reescritura. Las mejoras fueron más dramáticas en áreas que requieren conocimiento estructurado y comprensión cultural, como responder preguntas de exámenes o razonar a través de escenarios complejos. En estas áreas, el modelo entrenado con datos de alta calidad reescritos se disparó por delante de todos los demás. Curiosamente, para tareas que involucran conocimiento general, la reescritura a veces empeoró ligeramente las cosas, lo que sugiere que el proceso puede introducir ruido o distorsionar los hechos. Para las tareas de redes sociales, los datos originales de baja calidad funcionaron sorprendentemente bien por sí solos, probablemente porque la naturaleza desordenada e informal del texto de las redes sociales es naturalmente similar a los datos de la web sin editar con los que los modelos fueron entrenados originalmente.

En última instancia, la investigación demuestra que, si bien la reescritura sintética es una técnica poderosa, no es una varita mágica que pueda convertir los datos pobres en oro. En cambio, funciona como un multiplicador de calidad, amplificando las fortalezas de los buenos datos mientras deja las debilidades de los malos datos prácticamente intactas. Esta visión es vital para los desarrolladores que trabajan con idiomas que tienen menos recursos que el inglés. Sugiere que la estrategia más efectiva es seleccionar cuidadosamente primero el mejor texto disponible y luego usar la reescritura para mejorarlo, en lugar de confiar en la reescritura para compensar la falta de calidad. Los resultados también destacan que el tamaño del modelo importa; lo que funciona para un sistema grande y sofisticado puede no funcionar para uno más pequeño. Al aclarar cómo interactúan la calidad de los datos y la reescritura, este trabajo proporciona un camino más claro para construir mejores sistemas de inteligencia artificial para el portugués y, potencialmente, para otros idiomas que enfrentan limitaciones de recursos similares.