💬 NLP

A Factorial Study of Synthetic Data Generation for Low-Resource Machine Translation using Grammar Books

Este artículo presenta un flujo de trabajo que aprovecha los modelos de lenguaje de gran tamaño para extraer reglas gramaticales y ejemplos de libros de gramática descriptiva con el fin de generar corpora paralelos sintéticos, demostrando que el ajuste fino de modelos de traducción automática con estos datos sintéticos mejora significativamente el rendimiento para lenguas en peligro como el kalamang, el tuatschin y el mandan en comparación con las líneas base de datos semilla.

Autores originales: Varun Ghat Ravikumar, Sina Ahmadi, Lena Jäger, Rico Sennrich

Publicado 2026-07-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Varun Ghat Ravikumar, Sina Ahmadi, Lena Jäger, Rico Sennrich

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el internet como una biblioteca gigante y bulliciosa donde la mayoría de los libros están escritos en idiomas como el inglés, el español o el mandarín. Estos idiomas tienen millones de copias, historias infinitas y enormes multitudes de personas leyéndolos y escribiéndolos cada día. Pero en los rincones polvorientos y olvidados de esta biblioteca, hay miles de otros idiomas —algunos hablados por solo unos pocos cientos de personas— que se están desvaneciendo lentamente. Estos son "idiomas en peligro de extinción". Durante décadas, las computadoras han luchado por entender o traducir estos idiomas porque carecen de las enormes pilas de "datos paralelos" (pares de oraciones en dos idiomas) necesarios para enseñárselos. Sin estos pares, la computadora es como un estudiante que intenta aprender un nuevo idioma sin libros de texto, sin maestros y sin oraciones de práctica.

Sin embargo, estos idiomas no están enteramente silenciosos. Los lingüistas han pasado años visitando comunidades, escuchando historias y escribiendo "libros de gramática". Estos libros son como manuales de instrucciones detallados sobre cómo funciona un idioma, llenos de reglas sobre cómo cambian las palabras, cómo se construyen las oraciones y listas de vocabulario. La gran pregunta que los investigadores se han estado planteando es: ¿Podemos usar estos viejos y estáticos libros de gramática para enseñar a una computadora cómo traducir, incluso si no tenemos las modernas pilas de oraciones de práctica? Es un poco como intentar enseñarle a alguien a conducir un coche usando solo un manual, sin permitirle nunca sentarse tras el volante.

Este artículo, titulado "Un estudio factorial de la generación de datos sintéticos para la traducción automática de bajos recursos utilizando libros de gramática", adopta un enfoque ingenioso y semiautomático para resolver este rompecabezas. Los autores, un equipo de la Universidad de Zúrich, construyeron un flujo de trabajo digital que actúa como un robot muy estricto y que sigue reglas. En lugar de simplemente pedirle a una IA superinteligente que "adivine" la traducción basada en el libro de gramática (lo que a menudo genera confusión), primero extraen las reglas, las listas de palabras y las oraciones de ejemplo de los PDF de estos libros de gramática. Luego, utilizan un Modelo de Lenguaje Grande (LLM) para que actúe como un escritor creativo pero disciplinado. Este escritor toma una oración existente del libro de gramática, cambia una palabra (como cambiar "grande" por "pequeño") y luego aplica estrictamente las reglas gramaticales para asegurar que la nueva oración siga siendo gramaticalmente correcta.

El resultado es un "corpus sintético": un nuevo conjunto de oraciones de práctica generado enteramente por la computadora, basado en las reglas del libro. Probaron este método en tres idiomas muy diferentes y extremadamente de bajos recursos: Kalamang (de Papúa Nueva Guinea), Tuatschin (un dialecto en Suiza) y Mandan (de América del Norte). No solo adivinaron; realizaron un "estudio factorial" masivo, que es una forma elegante de decir que probaron todas las combinaciones posibles de configuraciones. Cambiaron el tipo de palabras que intercambiaban (sustantivos, verbos, adjetivos), cuánto del libro de gramática consultaban para obtener pistas (solo la regla específica o el capítulo completo) y cuántas oraciones nuevas generaban (de 5 a 20 por cada oración original).

Los hallazgos son una mezcla de éxito emocionante y cautela importante. Para el Kalamang, el método funcionó maravillosamente: en el 75% de las diferentes configuraciones que probaron, la computadora aprendió mejor de lo que lo hizo con la pequeña cantidad de datos reales disponibles. En el mejor de los casos, la calidad de la traducción aumentó por un margen enorme (una mejora de +8.8 puntos en su escala de puntuación). Para el Tuatschin, también funcionó bien, pero solo si generaban suficientes oraciones; si intentaban aprender con muy pocos ejemplos, la computadora se confundía y su rendimiento empeoraba. Sin embargo, para el Mandan, un idioma con estructuras de oraciones increíblemente complejas, el método tuvo dificultades. La computadora a menudo aprendía cosas erróneas, produciendo oraciones que parecían gramaticalmente correctas pero que no tenían sentido, o simplemente no lograba mejorar respecto al nivel base.

El artículo descarta explícitamente la idea de que puedes simplemente alimentar todo el libro de gramática a una IA y esperar que se convierta instantáneamente en un traductor perfecto. Encontraron que, si bien leer el libro completo ayuda en algunos casos, a menudo es mejor dar a la IA reglas codificadas específicas para seguir al generar nuevas oraciones de práctica. También argumentan contra la idea de que "más datos siempre es mejor". En el caso del Mandan, generar demasiadas oraciones sintéticas en realidad empeoró la capacidad de la computadora, porque empezó a memorizar los patrones extraños de los datos generados en lugar de aprender a traducir.

En última instancia, esta investigación sugiere que podemos reutilizar los viejos y estáticos libros de gramática como herramientas de entrenamiento dinámicas para las computadoras. No es una varita mágica que resuelve el problema para cada idioma de inmediato, pero ofrece un camino práctico y escalable hacia adelante. Al convertir los manuales lingüísticos en ejercicios de práctica sintéticos, podríamos finalmente construir herramientas de traducción para los idiomas más amenazados del mundo, dándoles una voz digital antes de que se pierdan para siempre. Los autores advierten cuidadosamente que esto es un punto de partida, no un producto terminado, y que los hablantes humanos todavía necesitarán validar los resultados, pero es un paso significativo hacia la preservación de estos idiomas en la era digital.

Resumen Técnico: Un Estudio Factorial de la Generación de Datos Sintéticos para la Traducción Automática de Bajos Recursos mediante Libros de Gramática

Planteamiento del Problema

A pesar de la existencia de libros de gramática descriptiva para miles de lenguas en peligro de extinción, estos recursos permanecen en gran medida infrautilizados para el Procesamiento de Lenguaje Natural (PLN). La mayoría de las lenguas en peligro carecen de los corpus paralelos necesarios para entrenar sistemas de Traducción Automática (TA) efectivos. Si bien los Modelos de Lenguaje de Gran Escala (LLM) han mostrado potencial en entornos de bajos recursos, los enfoques previos enfrentan cuellos de botella significativos:

Costes de Inyección de Contexto: El uso de prompting con libros de gramática completos durante la inferencia es computacionalmente costoso y suele ofrecer rendimientos decrecientes, ya que los modelos tienden a aprender de los ejemplos paralelos incrustados en lugar de las descripciones gramaticales narrativas (Aycock et al., 2025).
Esfuerzo Manual: La conversión de reglas gramaticales en representaciones estructuradas y ejecutables requiere típicamente de una anotación lingüística experta, lo cual no escala a los miles de lenguas que poseen gramáticas existentes.
Escasez de Datos: Los métodos existentes de generación de datos sintéticos suelen depender de las probabilidades de modelos de lenguaje monolingües o de una generación sin restricciones, careciendo de la precisión morfológica necesaria para lenguas con estructuras complejas.

La pregunta central abordada es si el contenido estructurado de los libros de gramática puede ser operacionalizado computacionalmente para generar oraciones paralelas novedosas y de alta calidad para el ajuste fino (fine-tuning) de modelos de TA, en lugar de usarlos meramente como contexto durante la inferencia.

Metodología

Los autores introducen un flujo de trabajo (pipeline) semiautomatizado que extrae información lingüística de libros de gramática en PDF no estructurados y sintetiza corpus paralelos mediante la sustitución léxica guiada por reglas. El proceso consta de tres etapas:

1. Extracción de Información Lingüística

Extracción de Oraciones Paralelas: Un proceso de dos pasos convierte el texto de los PDF en líneas, seguido de un clasificador BERT ajustado (entrenado con ~200 líneas anotadas por lengua) para identificar las líneas de origen, glosa y traducción. Las correcciones post-reglas aseguran la reconstrucción de tripletes.
Extracción de Secciones y Diccionarios: Algoritmos heurísticos detectan encabezados de sección basados en estadísticas de tamaño de fuente. Las secciones no gramaticales se filtran mediante similitud semántica basada en embeddings contra una taxonomía de categorías lingüísticas. Las listas de palabras se extraen semiautómaticamente de las secciones de glosario y se anotan con etiquetas de categorías gramaticales (POS) utilizando spaCy.
Extracción y Codificación de Reglas: Las descripciones gramaticales narrativas se convierten en reglas codificadas utilizando Gemini-2.5-flash. El modelo extrae reglas que cumplen con el esquema de anotación UniMorph (objetos YAML estructurados que contienen el POS objetivo, tipo de afijo, pares característica-valor y dependencias de contexto). Estas se convierten luego en funciones de pseudocódigo determinista (ApplyRule(STEM, POS)) para asegurar una aplicación inequívoca.

2. Construcción del Corpus Sintético

El flujo de trabajo genera oraciones paralelas sintéticas reemplazando las palabras de contenido en las oraciones "semilla" extraídas con entradas del diccionario, guiadas por las reglas gramaticales recuperadas. El estudio emplea un diseño factorial cruzado completo que varía tres factores:

Categoría Gramatical (POS) Objetivo: Sustantivo, Verbo, Adjetivo o Adverbio.
Granularidad de Recuperación:
- Nivel de Regla: Recuperación de reglas codificadas específicas y sus descripciones textuales.
- Nivel de Sección: Recuperación de secciones completas de la fuente del libro de gramática para preservar el contexto frasal.
Volumen de Muestra ( $k$ ): El número de variantes sintéticas generadas por cada oración semilla ( $k \in \{5, 10, 15, 20\}$ ).

3. Evaluación

Los corpus generados se utilizan para realizar el ajuste fino de Gemini-2.5-flash (usando adaptadores LoRA). El rendimiento se evalúa frente a líneas de base que incluyen LLM de zero-shot, NLLB-200 con lenguas proxy y el Ajuste Fino de Datos Semilla (SDFT) utilizando únicamente las oraciones paralelas originales extraídas. Las métricas de evaluación incluyen BLEU, ChrF y ChrF++.

Contribuciones Clave

Flujo de Trabajo Automatizado: El primer marco semiautomatizado para extraer información lingüística de libros de gramática y sintetizar corpus paralelos con una intervención humana mínima (requiriendo solo ~200 líneas anotadas para el clasificador).
Estudio Factorial: Una evaluación sistemática a través de 96 configuraciones (3 lenguas $\times$ 4 POS $\times$ 2 granularidades $\times$ 4 volúmenes de muestra) para identificar qué combinaciones de factores impulsan las ganancias en la calidad de la traducción.
Operacionalización de Libros de Gramática: Demostración de que la documentación lingüística estática puede ser reutilizada para el ajuste fino de TA, yendo más allá de la simple inyección de contexto hacia la generación activa de datos.

Resultados

El estudio valida el flujo de trabajo en tres lenguas tipológicamente diversas: Kalamang (papú, aglutinante), Tuatschin (romance, analítica) y Mandan (siux, polisintética).

Rendimiento General:
- Kalamang: El aumento sintético mejoró sobre la línea de base SDFT en el 75% de las configuraciones, con una ganancia máxima de ChrF++ de +8.8.
- Tuatschin: Se observaron mejoras en el 59% de las configuraciones, con una ganancia máxima de +5.3.
- Mandan: La lengua resultó ser la más resistente; solo el 16% de las configuraciones superaron la línea de base, con una ganancia máxima de +3.3.
Análisis de Factores:
- POS: Los sustantivos proporcionaron las ganancias más consistentes para el Kalamang, mientras que los verbos fueron más efectivos para el Tuatschin. Ninguna categoría de POS mejoró de manera fiable al Mandan.
- Granularidad: La recuperación a nivel de sección produjo mayores ganancias para el Kalamang, mientras que la recuperación a nivel de regla fue más efectiva para los verbos del Tuatschin.
- Volumen de Muestra: El rendimiento no fue monotónico. Para el Tuatschin, volúmenes pequeños ( $k=5$ ) causaron fallos catastróficos, mientras que el rendimiento se recuperó en $k \ge 10$ . Para el Mandan, el volumen excesivo ( $k=20$ ) provocó una degradación aguda, donde los modelos comenzaron a generar anotaciones gramaticales en lugar de traducciones fluidas.
Hallazgos Cualitativos: El entrenamiento sintético permitió la reordenación sintáctica correcta (ej. de SOV en Kalamang a SVO en inglés) y un mejor manejo de construcciones auxiliares complejas (Tuatschin). Sin embargo, los modos de fallo incluyeron traducciones literales de palabras compuestas y alucinaciones bajo incertidumbre léxica.

Significado y Limitaciones

El artículo sostiene que este enfoque ofrece una vía práctica hacia la construcción de herramientas de traducción para lenguas con recursos severamente limitados que poseen libros de gramática pero carecen de corpus paralelos. Al producir corpus paralelos sintéticos independientes, el método desacopla la generación de datos de arquitecturas de modelos específicas, permitiendo que los datos entrenen sistemas más pequeños y desplegables localmente.

Los autores mantienen la modestia respecto a la generalizabilidad de los resultados:

Evaluación: El estudio depende enteramente de métricas automáticas; la ausencia de evaluación por parte de hablantes nativos impide distinguir la competencia de traducción genuina del sobreajuste (overfitting) del conjunto de prueba.
Escalabilidad: El flujo de trabajo depende de herramientas de PLN específicas para el inglés (spaCy) para el etiquetado de POS y la extracción de reglas, lo que limita su aplicación directa a lenguas objetivo no inglesas sin adaptación.
Plausibilidad Semántica: El mecanismo de sustitución léxica carece de restricciones de coocurrencia semántica, produciendo ocasionalmente oraciones sintácticamente válidas pero semánticamente implausibles.
Alcance: El flujo de trabajo fue validado en solo tres lenguas; su rendimiento en sistemas tonales, morfología no concatenativa o formatos de libros de gramática no estándar permanece sin probar.

El trabajo no pretende reemplazar los esfuerzos de revitalización lingüística impulsados por la comunidad, sino que aspira a proporcionar herramientas de traducción base que apoyen la documentación y la educación.