💬 NLP

Evaluating Large Language Models for Hausa and Fongbe Machine Translation: Benchmarks, Failures, and Metric Reliability

Este estudio evalúa las capacidades de traducción de cuatro modelos de lenguaje de gran tamaño para el inglés al hausa y del inglés al fon en, revelando disparidades significativas de rendimiento entre los dos idiomas, la falta de fiabilidad de las métricas automáticas estándar al correlacionarse con el juicio humano, y la necesidad de evaluaciones a gran escala y enfoques de múltiples métricas para las lenguas africanas de bajos recursos.

Autores originales: Mahounan Pericles Adjovi, Roald Eiselen, Prasenjit Mitra

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mahounan Pericles Adjovi, Roald Eiselen, Prasenjit Mitra

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando traducir una historia del inglés a dos lenguas africanas muy diferentes: el hausa (hablado por millones en Nigeria y Níger) y el fon (hablado por un grupo más pequeño en Benín). Tienes cuatro poderosos "robots traductores" (Modelos de Lenguaje Extensos como GPT-4, Claude y Gemini) listos para hacer el trabajo.

Este documento es como una rigurosa prueba de sabor para ver qué robot hace el mejor trabajo y, lo que es más importante, si los "tableros de puntuación" que usamos para calificarlos (métricas automáticas) realmente coinciden con lo que piensan los hablantes humanos reales.

Aquí está el desglose de sus hallazgos, utilizando analogías sencillas:

1. La "Carrera de Robots": ¿Quién ganó?

Los investigadores pidieron a los robots que tradujeran miles de frases. Los resultados fueron un relato de dos mundos muy diferentes:

Hausa (El corredor "suficiente"): Los robots hicieron un trabajo decente aquí. Las traducciones eran comprensibles y fluían bien. Era como un corredor terminando una carrera con un tiempo respetable.
- El ganador: GPT-4o fue el favorito entre los jueces humanos, a pesar de que los tableros de puntuación computacionales dieron la victoria a Claude.
Fon (El corredor que "tropieza"): Los robots tuvieron serios problemas aquí. Las traducciones eran a menudo sin sentido o estaban rotas. Era como un corredor tropezando con sus propios cordones.
- El ganador: Gemini fue la opción menos mala, pero incluso este solo obtuvo una calificación de "pobre" de parte de los humanos.
La gran brecha: Las traducciones al hausa fueron aproximadamente tres veces mejores que las de fon. Esto no se debió a que el fon sea un idioma más "difícil", sino a que los robots habían visto muchísimos más datos de entrenamiento para el hausa que para el fon.

Conclusión clave: El hecho de que un robot sea bueno en una lengua africana no significa que sea bueno en otra. No puedes asumir que una IA de "talla única" funciona en todas partes.

2. El problema del "Tablero de Puntuación": ¿Mienten las computadoras?

Esta es la parte más sorprendente del documento. Los investigadores compararon el rendimiento de los robots frente a dos cosas:

Jueces humanos: Hablantes nativos reales calificando las traducciones.
Métricas automáticas: Algoritmos informáticos (como BLEU, chrF++ y BERTScore) que intentan calificar las traducciones sin que un humano las vea.

El desajuste:

Para el fon: Los tableros de puntuación computacionales y los humanos estuvieron de acuerdo. Ambos dijeron: "Gemini es el mejor".
Para el hausa: Los tableros de puntuación computacionales y los humanos discreparon por completo.
- Las computadoras (específicamente BLEU y chrF++) dijeron: "¡Claude es el ganador!"
- Los humanos dijeron: "No, GPT-4o es el ganador; Claude suena robótico".

La analogía de la "Regla Rota":
Imagina que estás midiendo la altura de dos personas.

Para el fon, tu regla funciona perfectamente.
Para el hausa, tu regla está doblada. Te dice que la persona más baja es la más alta porque está midiendo algo equivocado (como medir cuántas letras hay en una palabra en lugar de qué tan bien suena la frase).

3. El "Espejo Mágico" que no refleja nada (Métricas Neuronales)

El documento probó un tipo específico de métrica computacional llamada BERTScore, que utiliza un "espejo mágico" (un modelo de incrustación o embedding) para ver si dos frases significan lo mismo.

El fallo: Para el hausa y el fon, este espejo estaba roto. Miraba dos frases completamente diferentes y decía: "¡Son 99% idénticas!".
El resultado: Debido a que el espejo no podía distinguir entre una buena traducción y una mala, las puntuaciones eran iguales (números altos para todos). Era como un juez dando una medalla de oro a cada concursante porque no podía distinguir quién estaba cantando de verdad.
La lección: No puedes confiar en estas métricas "inteligentes" para estos idiomas hasta que arreglemos el espejo.

4. La trampa del "Tamaño de la Muestra"

Los investigadores intentaron probar a los robots con grupos pequeños de frases (500 o 1,000) y luego con un grupo enorme (10,000).

La trampa: Con grupos pequeños, los resultados eran caóticos y engañosos. Por ejemplo, con 1,000 frases, los datos sugerían que Gemini estaba ganando en hausa. Pero cuando probaron con 10,000 frases, resultó que Claude era en realidad el ganador.
La lección: Necesitas una gran multitud (al menos 2,500 frases) para obtener una imagen real. Las muestras pequeñas son como juzgar una película entera basándose en un clip de 10 segundos; podrías llevarte una idea equivocada.

Resumen de Recomendaciones

Basándose en esta "prueba de sabor", los autores sugieren:

No confíes solo en los tableros de puntuación computacionales. Especialmente para el hausa, las computadoras erraron al elegir al ganador. Debes tener a humanos reales revisando el trabajo.
Usa la regla adecuada. Si debes usar una métrica computacional, usa chrF++ (que cuenta coincidencias de caracteres) en lugar del "espejo mágico" (BERTScore), que actualmente está roto para estos idiomas.
Elige tu robot con cuidado. Si necesitas traducir al hausa, usa GPT-4o o Claude. Si necesitas traducir al fon, usa Gemini, pero prepárate para una calidad pobre.
No uses traducciones al fon para nada serio todavía. La calidad es demasiado baja; sería como intentar construir una casa con arena mojada.
El hausa está listo para la "aumentación de datos". Sus traducciones son lo suficientemente buenas como para ser utilizadas como datos de entrenamiento adicionales, siempre que se filtren las que sean malas primero.

En resumen: La IA está mejorando en la traducción de lenguas africanas, pero aún no llega a la meta. Las herramientas que usamos para medir su éxito suelen estar rotas, y necesitamos a humanos reales para mantener a los robots honestos.

Resumen Técnico: Evaluación de Modelos de Lenguaje de Gran Escala para la Traducción Automática de Hausa y Fongbe

Planteamiento del Problema

La traducción automática (MT) para lenguas africanas de bajos recursos se ve obstaculizada por la escasez crítica de datos. Si bien los Modelos de Lenguaje de Gran Escala (LLM) ofrecen una solución potencial mediante la generación de datos paralelos sintéticos, su capacidad para producir una calidad de traducción suficiente para lenguas tipológicamente distintas permanece sin verificar. Además, la fiabilidad de las métricas de evaluación automática estándar —desarrolladas principalmente para lenguas de altos recursos europeas— no ha sido validada sistemáticamente para estos pares de lenguas específicos.

Este estudio aborda dos preguntas de investigación específicas:

RQ1: ¿Cuál es la calidad de traducción de los actuales LLM comerciales y de pesos abiertos para el par inglés-hausano e inglés-fongbe, y cómo varía esta calidad entre sistemas y lenguas?
RQ2: ¿Qué tan fiables son las métricas de evaluación automática en su correlación con el juicio humano de hablantes nativos para estas lenguas, y qué métricas deberían guiar el filtrado de calidad?

La investigación se centra en el hausa (familia afroasiática, 58 millones de hablantes) y el fongbe (familia niger-congo, 2,3 millones de hablantes). Estas lenguas presentan desafíos lingüísticos distintos: el hausa presenta morfología aglutinante y una compleja marca de TAM (aspecto, tiempo y modo) verbal, mientras que el fongbe utiliza construcciones de verbos seriales y un sistema de tres tonos que se marca obligatoriamente de forma ortográfica.

Metodología

Modelos Evaluados

El estudio evaluó cuatro sistemas de traducción basados en LLM a escalas progresivas (de 500 a 10.000 oraciones):

APIs Comerciales: GPT-4o Mini (OpenAI), Claude Sonnet 4 (Anthropic), Gemini 2.5 Flash (Google).
Pesos Abiertos: Qwen2.5-7B (Alibaba).
Todos los modelos se ejecutaron con una temperatura de 0.0 para obtener salidas deterministas.

Estrategia de Datos y Evaluación

Datos de Origen: Los pares de oraciones paralelas se obtuvieron del repositorio OPUS (CCMatrix para inglés–hausano; NLLB v1 para inglés–fongbe).
Escalas: Las evaluaciones se realizaron a $n=500, 1.000, 2.500$ y $10.000$ oraciones para determinar el tamaño de muestra mínimo requerido para la estabilidad en el ranking de los sistemas.
Métricas Automáticas: Se emplearon cinco métricas:
- Léxicas: BLEU, chrF++, TER.
- Neurales: COMET (wmt22-comet-da) y BERTScore (XLM-RoBERTa-large).
Evaluación Humana: 13 hablantes nativos (7 fongbe, 6 hausa) evaluaron las traducciones en una escala de 5 puntos a través de cuatro dimensiones: Adecuación, Fluidez, Apropiación Cultural y Calidad General. Debido a las limitaciones de recursos, se evaluaron $n=50$ oraciones por lengua por 3 evaluadores cada uno.
Análisis Estadístico: Se utilizó el remuestreo de bootstrap (10.000 iteraciones) para calcular los intervalos de confianza del 95% para las comparaciones de sistemas por pares. Se utilizó la $\rho$ de Spearman para medir la correlación de rango entre las métricas y los juicios humanos.

Principales Contribuciones

Benchmark de LLM para Hausa y Fongbe: Este es el primer análisis sistemático de comparación de los actuales LLM comerciales (lanzados en 2024–2025) para estas lenguas específicas con pruebas de significancia estadística a escala ( $n=10.000$ ). Revela que el rendimiento en una lengua africana de bajos recursos no predice el rendimiento en otra.
Análisis de Fiabilidad de Métricas: El estudio proporciona una validación sistemática de las métricas automáticas frente al juicio de hablantes nativos. Identifica que la correlación entre métrica y humano varía drásticamente según la lengua y expone el "colapso de embeddings" en las métricas neurales para ambas lenguas.
Recomendaciones Prácticas: Los autores establecen los requisitos de tamaño de muestra mínimo ( $n=2.500$ ) para una evaluación fiable y recomiendan métricas específicas (chrF++) y protocolos de evaluación (evaluación humana obligatoria) para lenguas africanas de bajos recursos.

Resultados

Calidad de Traducción y Rankings de Modelos

Brecha de Rendimiento entre Lenguas: Las traducciones de hausa alcanzaron una calidad aceptable (Puntuaciones humanas 3.37–4.46/5), mientras que las de fongbe fueron deficientes (1.0–2.2/5). Existió una brecha constante de 3× en BLEU entre el mejor sistema de hausa y el mejor sistema de fongbe en todas las escalas.
Rankings de Modelos por Lengua:
- Fongbe: Gemini 2.5 Flash lideró consistentemente tanto en las métricas automáticas como en la evaluación humana.
- Hausa: GPT-4o Mini fue el preferido por los evaluadores humanos (4.46/5), mientras que Claude Sonnet 4 ocupó el primer lugar en todas las métricas automáticas (BLEU 15.75).
- Código Abierto: Qwen2.5-7B tuvo un rendimiento significativamente inferior al de todos los modelos comerciales.

Fiabilidad de las Métricas y Correlación

Correlación Métrica-Humano:
- Fongbe: Correlación de rango perfecta ( $\rho=1.0$ ) entre las métricas automáticas y el juicio humano.
- Hausa: Correlación débil ( $\rho=0.5$ ). Los evaluadores humanos prefirieron GPT-4o, mientras que todas las métricas automáticas situaron a Claude en primer lugar. Esto indica que las métricas de superficie y semánticas pueden omitir dimensiones de calidad (p. ej., naturalidad, apropiación cultural) priorizadas por los hablantes nativos.
Fallos de Métricas Neurales (Colapso de Embeddings):
- BERTScore: Exhibió un "colapso de embeddings" para ambas lenguas, con una similitud de coseno intra-lingüística superior a 0.99. Esto impidió que la métrica diferenciara la calidad de la traducción, mostrando puntuaciones uniformemente altas (0.83–0.88) independientemente del rendimiento real.
- COMET: Mostró un comportamiento anómalo para el fongbe, situando en primer lugar al peor sistema (Qwen2.5-7B) a pesar de sus bajas puntuaciones léxicas. Para el hausa, COMET se alineó mejor con las métricas léxicas.
Estabilidad de la Escala: Los rankings fueron inestables en $n=1.000$ (por ejemplo, Gemini apareció liderando erróneamente en hausa). Los rankings estables y estadísticamente significativos requirieron un mínimo de $n=2.500$ oraciones.

Problemas del Corpus de Referencia

El análisis post-hoc de los datos de referencia reveló problemas de calidad significativos, particularmente para el fongbe, incluyendo contaminación de idioma incorrecto (chino en lugar de fongbe) y corrupción de codificación. La puntuación de calidad promedio del corpus de referencia fue de 2.94/5.0.

Significado y Reivindicaciones

El artículo sostiene que "bajo recurso" no es una categoría monolítica; existen brechas de calidad sustanciales incluso entre lenguas africanas occidentales con millones de hablantes. El estudio demuestra que:

Las Prácticas de Evaluación No se Transfieren: Las métricas validadas en lenguas de altos recursos no se transfieren de manera fiable a entornos de bajos recursos tipológicamente distintos. Específicamente, las métricas neurales como BERTScore son poco fiables debido al colapso de embeddings en modelos como XLM-RoBERTa, incluso para lenguas incluidas en su pre-entrenamiento (como el hausa).
La Escala es Crítica: Los tamaños de muestra pequeños ( $<2.500$ ) producen hallazgos artificiales que se revierten al aumentar la escala. La comparación fiable de sistemas para MT de bajos recursos requiere conjuntos de datos más grandes.
La Selección de Modelos es Específica de la Lengua: Ningún modelo único sobresale en ambas lenguas. El rendimiento en una lengua de bajos recursos no predice el rendimiento en otra, lo que sugiere que la representación de los datos de entrenamiento es el factor dominante en lugar de una "capacidad de bajos recursos" generalizable.
Viabilidad de la Aumentación de Datos:
- Hausa: Las traducciones generadas por LLM son viables para la aumentación de datos si se filtran mediante umbrales (p. ej., COMET > 0.55 o chrF++ > 35).
- Fongbe: Las traducciones generadas por LLM no son viables para la aumentación de datos, ya que el mejor sistema (Gemini) puntuó por debajo del umbral aceptable (2.20/5), introduciendo más ruido que señal.

Los autores concluyen que para lenguas morfológicamente complejas y de bajos recursos, chrF++ debe ser la métrica automática principal, pero la evaluación humana obligatoria es esencial para la valoración final de la calidad, especialmente cuando las métricas automáticas divergen del juicio humano.