Beyond Many-Shot Translation: Scaling In-Context Demonstrations For Low-Resource Machine Translation

Resumen Técnico: Más allá de la traducción de muchos disparos (Many-Shot): Escalamiento de demostraciones en contexto para la traducción automática de bajos recursos

Planteamiento del problema
La traducción automática (MT) para lenguas de bajos recursos está fundamentalmente limitada por la escasez de datos paralelos de alta calidad. Aunque los modelos de lenguaje de gran tamaño (LLMs) han mejorado el rendimiento de la MT en general, adaptar estos modelos a lenguas menos representadas sigue siendo difícil. Los enfoques tradicionales, como el ajuste fino supervisado (supervised fine-tuning), requieren grandes cantidades de supervisión que a menudo no están disponibles. Aunque el aprendizaje en contexto (In-Context Learning o ICL) ofrece una alternativa libre de parámetros al condicionar a los modelos con ejemplos de demostración en el momento de la inferencia, el comportamiento de escalamiento del ICL en entornos de bajos recursos aún no se comprende completamente. Específicamente, no está claro si el rendimiento continúa mejorando a medida que el número de ejemplos en contexto crece hacia los límites de los modelos modernos de contexto largo (hasta 1 millón de tokens), o si se producen rendimientos decrecientes y degradación del rendimiento. Además, el impacto de los diferentes tipos de datos (monolingüues vs. paralelos) sobre este comportamiento de escalamiento sigue siendo una cuestión abierta.

Metodología
El estudio investiga el escalamiento del ICL de muchos disparos (many-shot) para la MT de bajos recursos mediante la variación sistemática del número de ejemplos en contexto y el tipo de corpus de entrenamiento.

• Modelos: Los autores evaluaron dos modelos Transformer de solo decodificador con soporte para contexto ultra largo (hasta 1 millón de tokens): Qwen2.5-7B-Instruct-1M y Nemotron-8B-UltraLong-1M-Instruct.
• Lenguas objetivo: Los experimentos se centraron en el javanes y el sundano, dos lenguas austronesias de bajos recursos.
• Tipos de corpus: Se probaron tres tipos distintos de demostraciones en contexto:
  1. Datos monolíngües no supervisados: Texto extraído de la web de las lenguas objetivo (javanes/sundano) sin pares de traducción.
  2. Datos de estilo instrucción: Ejemplos orientados a tareas (por ejemplo, del conjunto de datos Alpaca) traducidos a las lenguas objetivo, formateados como tríos de instrucción-entrada-salida.
  3. Datos paralelos: Corpora sintéticos de paralelo creados traduciendo oraciones de las lenguas objetivo al inglés e indonesio. Se incluyó el indonesio como lengua de referencia debido a su proximidad tipológica con las lenguas objetivo.
• Configuración experimental: El presupuesto de contexto se escaló desde 27 tokens hasta aproximadamente 1 millón de tokens ($2^{20}$). El estudio utilizó el conjunto de datos FLORES+ para la evaluación. El rendimiento se midió mediante COMET-22 (métrica basada en redes neuronales) y ChrF++ (solapamiento de n-gramas de caracteres). Los autores compararon el muestreo "first-k" (tomar los primeros $k$ ejemplos) frente al muestreo aleatorio para probar la sensibilidad al orden.
• Construcción de datos sintéticos: Para abordar la falta de datos paralelos, los autores construyeron corpora paralelos sintéticos extrayendo oraciones del conjunto de datos de la colección Aya y traduciéndolas al inglés e indonesio utilizando el modelo GPT-5 de OpenAI.

Contribuciones clave

1. Caracterización del escalamiento hasta 1M de tokens: El artículo proporciona la primera caracterización empírica del ICL de muchos disparos para la MT de bajos recursos a la escala de 1 millón de tokens. Establece que los tamaños de contexto efectivos suelen ser significativamente menores que la ventana máxima soportada.
2. Análisis de sensibilidad del tipo de datos: El estudio demuestra que el tipo de corpus en contexto influye críticamente tanto en la magnitud de las ganancias de rendimiento como en la trayectoria de escalamiento. Notablemente, encuentra que los datos monolíngües de estilo instrucción pueden ser competitivos con los datos paralelos en ciertas configuraciones.
3. Liberación de recursos: Los autores construyeron y liberaron corpora paralelos sintéticos para tríos de inglés-indonesio-javanes y inglés-indonesio-sundano para facilitar futuras investigaciones.

Resultados

• Escalamiento no lineal y saturación: El rendimiento no escala linealmente con el tamaño del contexto. Las ganancias de contexto adicional se saturan rápidamente, típicamente alrededor de $2^{14}$ a $2^{16}$ tokens (16K–64K tokens). Más allá de este punto, añadir más ejemplos produce rendimientos decrecientes.
• Colapso de rendimiento: A medida que la ventana de contexto se acerca a su límite máximo (cerca de 1M de tokens), el rendimiento suele degradarse, cayendo a veces por debajo de las líneas base de cero disparos (zero-shot). Este "colapso" se atribuye a factores como los mecanismos de atención dispersa y el fenómeno de "perdido en el medio" (lost-in-the-middle). El modelo Qwen exhibió una degradación más pronunciada e inestabilidad en la longitud de la salida cerca del límite en comparación con Nemotron.
• Efectos del tipo de corpus:
  • Datos paralelos: Generalmente proporcionaron las mayores ganancias de rendimiento, particularmente para la traducción de inglés a las lenguas objetivo.
  • Datos de instrucción: Sorprendentemente, los datos monolíngües de estilo instrucción lograron un rendimiento comparable al de los datos paralelos en varios escenarios, lo que sugiere que las señales de seguimiento de instrucciones y el formateo son altamente efectivos.
  • Datos monolíngües no supervisados: Produjeron consistentemente las puntuaciones más bajas.
  • Lengua de referencia: La elección de la lengua de referencia (inglés vs. indonesio) mostró efectos específicos de dirección. Los ejemplos paralelos en indonesio fueron más beneficiosos para la traducción de la lengua objetivo al inglés, mientras que los ejemplos paralelos en inglés beneficiaron la traducción de inglés a la lengua objetivo.
• Robustez del muestreo: Los experimentos que compararon el muestreo "first-k" y el muestreo aleatorio no mostraron diferencias significativas de rendimiento, lo que sugiere que las tendencias de escalamiento observadas son robustas a la selección específica de ejemplos, aunque los efectos posicionales siguen siendo un factor potencial.

Significación y afirmaciones
El artículo afirma que simplemente maximizar el tamaño de la ventana de contexto no produce ganancias de calidad proporcionales en la MT de bajos recursos. En su lugar, existe un "límite de contexto efectivo" muy por debajo de la capacidad máxima del modelo, más allá del cual el rendimiento puede degradarse. El estudio destaca que el tipo de datos y la arquitectura del modelo son determinantes críticos del comportamiento de escalamiento.

Los autores enfatizan que, para las lenguas de bajos recursos donde los datos paralelos de alta calidad son escasos, los datos monolíngües de estilo instrucción ofrecen una alternativa viable y competitiva a la supervisión paralela. Este hallazgo sugiere que la estructura y la definición de la tarea de los ejemplos en contexto pueden ser tan importantes como la alineación proporcionada por los pares paralelos. Finalmente, los resultados advierten contra el escalamiento ciego de las ventanas de contexto al límite máximo sin considerar el tipo de corpus y la arquitectura del modelo, ya que esto puede ser contraproducente. El trabajo subraya la necesidad de estrategias de muestreo cuidadosas en lugar de una expansión de contexto por fuerza bruta.