AmharicStoryQA: A Multicultural Story Question Answering Benchmark in Amharic

Resumen Técnico: AmharicStoryQA

Planteamiento del Problema
Las evaluaciones actuales de los Modelos de Lenguaje Extensos (LLM) a menudo tratan el lenguaje y la cultura como sinónimos, utilizando métricas de rendimiento como un sustituto para la comprensión de un idioma específico. Este enfoque pasa por alto las variaciones culturales significativas que existen dentro de una misma comunidad lingüística. Específicamente, los benchmarks existentes para lenguas de bajos recursos como el amhárico suelen fallar al capturar la diversidad regional, los matices dialectales y el contenido específico de dominios derivados de diferentes estructuras gubernamentales, historias y normas sociales. Además, existe una escasez de conjuntos de datos centrados en la generación y de secuencias largas diseñados para simular el uso real de los modelos en estos contextos, lo que deja un punto ciego significativo en la comprensión de cómo los LLM manejan narrativas extensas en lenguas etíopes.

Metodología
Para abordar estas brechas, los autores presentan AmharicStoryQA, un benchmark de preguntas y respuestas basado en historias multiculturales. La metodología implica los siguientes pasos clave:

• Recopilación de Datos: El conjunto de datos se construye a partir de 244 historias y cuentos pre-traducidos recolectados de nueve regiones distintas de Etiopía (incluyendo Afar, Amhara, Benishangul-Gumuz, Harar, Oromia, Somalia, zonas de SNNP y Tigray).
• Generación de Preguntas: Utilizando GPT-4.1, los autores generaron cinco preguntas de opción múltiple (MCQA) distintas y una respuesta correcta con tres distractores (sesgados por conocimiento mundial, irrelevantes o fácticamente falsos) para cada historia.
• Control de Calidad:
  • Calificación Manual: Tres anotadores humanos evaluaron las preguntas en cuanto a corrección, fidelidad, calidad lingüística y profundidad de comprensión utilizando el coeficiente Gwet's AC1 para la confiabilidad entre evaluadores.
  • Traducción: Anotadores experimentados tradujeron las preguntas y respuestas al amhárico, preservando el estilo narrativo y la relevancia cultural.
  • Calificación Automatizada: Se utilizó la métrica SSA-COMET para señalar traducciones automáticas de baja calidad (puntuación < 0.65) para su inspección manual, asegurando una alta fidelidad a las historias originales.
• División del Conjunto de Datos: El benchmark final consta de 571 ejemplos de entrenamiento y 649 de prueba, divididos según las puntuaciones de SSA-COMET para evitar que las inconsistencias de traducción influyan desproporcionadamente en la evaluación.
• Protocolo de Evaluación: Los autores evaluaron siete LLM de código abierto (incluyendo Gemma, Llama, Aya y Command R) con longitudes de contexto de hasta 128k tokens. Las evaluaciones cubrieron tanto MCQA (usando log-likelihood) como generación de texto abierto (usando chrF). Además, se realizó un ajuste fino supervisado (SFT) en Llama 3.1 8B Instruct utilizando LoRA en conjuntos de datos exclusivamente en inglés, exclusivamente en amhárico y combinados.

Contribuciones Clave

1. Benchmark AmharicStoryQA: Un conjunto de datos de preguntas y respuestas de secuencias largas y multicultural en amhárico e inglés, que comprende 1,220 ejemplos derivados de 244 historias de nueve regiones etíopes. Incluye tareas tanto de MCQA como de generación de texto abierto.
2. Análisis Empírico de la Variación Regional: El estudio demuestra que, a pesar de compartir características lingüísticas, el contenido específico de cada región influye sustancialmente en los resultados de la evaluación. Revela que los LLM existentes exhiben brechas significativas en la comprensión narrativa y marcadas diferencias de rendimiento regional.
3. Perspectivas del Ajuste Fino (Fine-Tuning): El artículo investiga el impacto de los datos de entrenamiento culturalmente fundamentados, mostrando que el ajuste fino supervisado produce mejoras desiguales entre regiones y entornos de evaluación, resaltando la necesidad de datos dirigidos para lenguas de bajos recursos.

Resultos y Análisis

• Brecha de Comprensión Narrativa: En las evaluaciones zero-shot, la mayoría de los modelos (excepto Gemma) exhibieron un colapso drástico de rendimiento en las tareas de MCQA en amhárico (cayendo a una precisión de 0.20–0.35) en comparación con su alto rendimiento en tareas en inglés. Esto sugiere una limitación estructural en la comprensión narrativa del amhárico más que un fallo en el seguimiento de instrucciones.
• Generativo vs. Comprensión: Aunque la evaluación generativa (chrF) mostró una degradación más gradual que la MCQA, los modelos aún tuvieron un rendimiento significativamente inferior en las narrativas en amhárico. Notablemente, proporcionar prompts en inglés para narrativas en amhárico mejoró la fluidez superficial pero no se correlacionó con una mayor precisión de comprensión.
• Diferencias Regionales: El análisis de densidad semántica (vía PCA) mostró que, si bien las historias en amhárico comparten un espacio semántico común, los contornos regionales revelan motivos culturales distintos. El rendimiento varió entre regiones, con algunos modelos mostrando hasta ±10 puntos de diferencia en chrF o una varianza de precisión del 20% dependiendo de la región.
• Impacto del Ajuste Fino: El SFT en el conjunto de datos AmharicStoryQA mejoró significativamente la precisión de MCQA para Llama 3.1 8B Instruct (una mejora de casi el 40% en las tareas de amhárico) y redujo la brecha de rendimiento entre el prompting en inglés y en amhárico. El ajuste fino también estabilizó los resultados entre regiones para las narrativas en amhárico, aunque las diferencias regionales siguieron siendo más pronunciadas para las narrativas en inglés incluso después del entrenamiento.

Significancia
El artículo argumenta que las evaluaciones estándar de nivel de lenguaje son insuficientes para evaluar los LLM en contextos multiculturales y de bajos recursos. Al introducir un benchmark fundamentado en la diversidad regional, los autores demuestran que la variación cultural dentro de un mismo idioma afecta significativamente la comprensión de la historia. Los hallazgos enfatizan la necesidad de benchmarks y datos de entrenamiento culturalmente fundamentados para evaluar y mejorar con precisión la comprensión narrativa en idiomas como el amhárico, yendo más allá de la suposición de que la competencia lingüística equivale a la comprensión cultural. El trabajo sirve como un llamado a la acción para que la comunidad desarrolle marcos de evaluación que den cuenta de la diversidad intra-lingüística en lugar de tratar los idiomas como entidades culturales monolíticas.