Retrieval-Augmented Long-Context Translation for Cultural Image Captioning: Gators submission for AmericasNLP 2026 shared task

Resumen Técnico: Traducción de Contexto Largo Aumentada por Recuperación para la Descripción de Imágenes Culturales

Enunciado del Problema
El artículo aborda la tarea compartida de AmericasNLP 2026, que requiere generar descripciones de imágenes culturalmente fundamentadas en cinco lenguas indígenas de las Américas: guaraní, maya yucateco, náhuatl de Orizaba, bribri y huichol. Los autores identifican tres desafíos principales: las lenguas objetivo son de recursos limitados; las descripciones deben ser culturalmente específicas en lugar de descripciones visuales genéricas; y el sistema debe lograr un control estilístico preciso para coincidir con un registro específico (oraciones cortas y naturales). Los autores señalan que los Modelos Visuales-Lingüísticos (VLM) estándar no logran generar descripciones directamente en estas lenguas objetivo debido a los datos de entrenamiento limitados, y que las tuberías estándar de Traducción Automática Neural (NMT) (específicamente los sistemas basados en mBART) no logran capturar el registro cultural requerido, produciendo a menudo salidas fluidas pero estilísticamente inadecuadas.

Metodología
El equipo de los Gators de la Universidad de Florida propone una tubería de dos etapas que cambia de la traducción secuencia-a-secuencia al aprendizaje en contexto aumentado por recuperación utilizando Modelos de Lenguaje Grandes (LLM).

1. Etapa 1: Descripción Intermedia: Un VLM (ya sea Qwen2.5-VL-72B o Qwen3-VL-8B) genera una descripción en español, consciente de la cultura y con el sustantivo al principio, para cada imagen de entrada. Esta etapa se trata como un componente fijo.
2. Etapa 2: Traducción Aumentada por Recuperación: La descripción en español sirve como consulta para un sistema de recuperación BM25 sobre un corpus paralelo específico de la lengua (Español a Lengua de Recursos Limitados, Es-LoRes).
   • Construcción del Prompt: El prompt final es un contexto de "muchos disparos" que contiene:
     • Ejemplos de Entrenamiento Recuperados ($R_r$): $r$ pares de texto en español y en la lengua objetivo recuperados basándose en la similitud léxica con la consulta.
     • Ejemplares de Desarrollo ($D_d$): $d$ ejemplos de referencia (gold-standard) del conjunto de desarrollo de la tarea compartida para guiar el registro estilístico.
   • Generación: Un LLM (principalmente Gemini 2.5 Flash) traduce la descripción en español a la lengua objetivo, condicionado por los ejemplos recuperados y de desarrollo. El sistema utiliza una temperatura de 0.0 y desactiva los modos de "pensamiento" para asegurar una salida concisa.
   • Adaptaciones Específicas por Lengua:
     • Guaraní: Utiliza un banco de recuperación grande (53k+ pares) aumentado con datos sintéticos del proyecto MultiScript30k.
     • Maya Yucateco: No existe un banco de recuperación externo; el sistema depende únicamente de los ejemplares de desarrollo y del conocimiento preentrenado del LLM ($r=0$).
     • Bribri: Requiere un post-procesamiento morfológico específico (normalización NFD) para manejar correctamente los diacríticos tonales y prompts especializados para el orden de palabras Sujeto-Objeto-Verbo (SOV) y los prefijos posesivos.

Contribuciones Clave

• Arquitectura de la Tubería: Los autores presentan una tubería de LLM aumentada por recuperación que supera a las líneas base de NMT ajustadas tradicionalmente para la descripción de imágenes culturales de recursos limitados.
• Estudios de Ablación Extensos: El artículo documenta un conjunto exhaustivo de experimentos que varían las elecciones de modelos (OpenAI vs. Gemini), los tamaños de recuperación ($r$), las cantidades de ejemplares de desarrollo ($d$) y las estrategias de prompting.
• Evaluación de Datos Sintéticos: El estudio aísla el impacto de la augmentación de datos sintéticos, encontrando que es un factor crítico para el rendimiento en guaraní.
• Perspectivas Metodológicas: Los autores destacan que la efectividad de la recuperación es altamente dependiente de la lengua y que el uso de ejemplos del conjunto de desarrollo como prompts en contexto puede inflar las puntuaciones de desarrollo, requiriendo una interpretación cuidadosa.

Resultados
El sistema logró el estatus de ganador general de la tarea compartida, ubicándose segundo en las evaluaciones humanas de las descripciones en la lengua objetivo.

• Ganancias de Rendimiento: El sistema logró mejoras significativas sobre la línea base de la tarea compartida (Gow-Smith y Sánchez Villegas, 2023) en el conjunto de desarrollo:
  • Bribri: 164.1% de mejora.
  • Guaraní: 131.7% de mejora.
  • Náhuatl de Orizaba: 122.6% de mejora.
  • Huichol: 6.87% de mejora.
• Rendimiento en el Conjunto de Prueba: Las mejoras se mantuvieron para bribri (155.2%) y náhuatl de Orizaba (166.9%) en el conjunto de prueba. Sin embargo, el rendimiento en guaraní cayó significativamente en la evaluación de prueba, con los autores señalando que las ganancias del conjunto de desarrollo no se reprodujeron completamente.
• Comparación de Modelos: Gemini 2.5 Flash demostró un rendimiento dramáticamente superior en la traducción en contexto Es-LoRes en comparación con los modelos de OpenAI (GPT-4o-mini, GPT-4.1) y la línea base mBART.
• Impacto de los Datos Sintéticos: Los estudios de ablación revelaron que los ejemplares sintéticos de MultiScript30k representaron aproximadamente 28 puntos chrF++ de la ganancia de rendimiento en guaraní. Sin datos sintéticos, el rendimiento en guaraní cayó más de un 50% en relación con el mejor resultado aumentado con sintéticos.
• Manejo Morfológico: Para bribri, la combinación de normalización NFD y prompting morfológico contribuyó con más del 10% de la ganancia total de rendimiento sobre la línea base.

Significado y Afirmaciones
El artículo afirma que el aprendizaje en contexto aumentado por recuperación es una alternativa viable y superior al ajuste fino de NMT para la descripción de imágenes culturales de recursos limitados, siempre que el corpus de recuperación sea suficientemente grande y esté en el dominio adecuado. Los autores enfatizan que:

1. La Recuperación es Dependiente de la Lengua: Las ventanas de recuperación grandes benefician a las lenguas con grandes corpus alineados (como el guaraní) pero pueden introducir ruido para lenguas con datos escasos (como el maya yucateco).
2. Los Datos Sintéticos son un Motor: Los datos paralelos sintéticos aumentan significativamente el rendimiento para las lenguas donde está disponible dicha augmentación.
3. La Desconexión de Dominio es un Cuello de Botella: Para las lenguas de recursos más limitados (huichol y bribri), la limitación principal es la desconexión entre los dominios de los corpus disponibles (narrativo/literario) y la tarea de descripción visual, más que la capacidad del modelo.
4. Precaución en la Evaluación: El uso de ejemplos del conjunto de desarrollo como prompts en contexto es un arma de doble filo; aunque ayuda a coincidir con el registro requerido, corre el riesgo de inflar las puntuaciones de desarrollo si se utiliza el mismo grupo tanto para la selección como para la evaluación.

Los autores concluyen que, aunque su sistema es una cascada (donde los errores en la descripción en español se propagan), la capacidad de la etapa de traducción para adaptarse al estilo y al vocabulario mediante la recuperación es la fuente principal de mejora sobre las líneas base existentes. Sugieren que el trabajo futuro debe centrarse en mejorar la etapa inicial de descripción visual y en adquirir datos paralelos específicos del dominio para las lenguas de recursos más limitados.