Nsanku: Evaluating Zero-Shot Translation Performance of LLMs for Ghanaian Languages

Este artículo presenta Nsanku, una evaluación integral que mide el rendimiento de traducción en cero disparos de 19 modelos de lenguaje grandes en 43 lenguas ghanesas, revelando que, aunque modelos destacados como Gemini-2.5-flash obtienen puntuaciones moderadas, ningún modelo actual demuestra simultáneamente alto rendimiento y consistencia, lo que indica que aún no son fiablemente utilizables para traducción a gran escala en estas lenguas.

Lo esencial

El Informe Nsanku: Probando Traductores de IA en los Idiomas de Ghana

Imagina que tienes una biblioteca gigante de 19 "super-cerebros" (modelos de IA) diferentes. Algunos son propiedad de gigantes tecnológicos masivos, y otros son proyectos de código abierto construidos por comunidades. Quieres saber: ¿Puede alguno de estos cerebros traducir del inglés a las 43 lenguas diferentes habladas en Ghana sin haber sido enseñado previamente en esas lenguas específicas?

Esto es exactamente lo que hizo el artículo Nsanku. El nombre "Nsanku" proviene del idioma akan y significa "instrumentos musicales". Así como una banda necesita muchos instrumentos diferentes para hacer música, este proyecto necesitó muchos modelos de IA diferentes para probar qué tan bien manejan la diversa "música" de las lenguas ghanesas.

Aquí está la historia de lo que encontraron, explicada de manera sencilla.

---

1. La Configuración: Una Prueba Estricta de "Cero Disparos"

Piensa en estos modelos de IA como estudiantes que rinden un examen sorpresa.

• La Regla: No se les permitió estudiar con antelación. No podían ser "ajustados finamente" (re-entrenados) con datos de Ghana. Tenían que depender enteramente de lo que ya sabían de su entrenamiento general. Esto se llama una prueba de cero disparos (zero-shot).
• El Material del Examen: Las preguntas del examen eran 300 oraciones de la Biblia, traducidas a 43 lenguas diferentes de Ghana. Los investigadores usaron la Biblia porque es uno de los pocos lugares donde se pueden encontrar versiones escritas de casi todas estas lenguas en un solo lugar.
• La Calificación: Usaron dos sistemas de calificación diferentes:
  • BLEU: Como un maestro estricto que verifica si el estudiante usó exactamente las palabras correctas.
  • chrF: Como un maestro más flexible que verifica si el estudiante captó el sonido general y la estructura de la oración correctamente, incluso si las palabras exactas fueron ligeramente diferentes.

2. Los Resultados: ¿Quién Aprobó? ¿Quién Reprobó?

Los "Estudiantes Estrella" (Modelos Propietarios)

Tres modelos de IA de renombre de gigantes tecnológicos (Google, Anthropic y OpenAI) salieron en la cima.

• Gemini-2.5-flash fue el orador de la clase con la puntuación más alta.
• Claude-sonnet-4-5 y GPT-4.1 quedaron muy cerca.
• La Analogía: Estos son como los estudiantes que fueron a las escuelas privadas más caras. Han visto muchos datos y pueden adivinar las respuestas mejor que nadie más, pero aún no son perfectos.

Los "Estudiantes de la Comunidad" (Modelos de Peso Abierto)

El resto de los modelos eran de código abierto (libres de usar y modificar).

• El mejor de este grupo fue kimi-k2-instruct, pero aún obtuvo una puntuación significativamente más baja que los "Estudiantes Estrella".
• La Brecha: Hay una brecha clara entre los modelos privados y costosos y los gratuitos de la comunidad. Los modelos privados son actualmente mucho mejores entendiendo estas lenguas.

El Factor "Dificultad del Idioma"

No todas las lenguas fueron igualmente fáciles de traducir.

• Siwu fue la lengua "más fácil" para que la IA la tradujera (puntuación más alta).
• Nkonya fue la "más difícil" (puntuación más baja).
• El Giro: Sorprendentemente, las lenguas más habladas (como twi) no siempre obtuvieron las puntuaciones más altas. A veces, las lenguas con menos hablantes obtuvieron puntuaciones más altas. ¿Por qué? Porque la traducción bíblica específica utilizada para esas lenguas era más clara y completa que las de las lenguas populares. Es como tener un mapa más claro para un pequeño pueblo que para una gran ciudad.

3. El Gran Problema: El Problema del "Amigo Inconfiable"

Este es el hallazgo más crítico del artículo. Los investigadores no solo miraron la puntuación promedio; miraron la consistencia.

• La Analogía: Imagina que tienes un amigo que es genial cocinando comida italiana pero terrible cocinando comida tailandesa. Si le pides que cocine una comida al azar, nunca sabrás si obtendrás una cena deliciosa o un desastre quemado.
• El Hallazgo: Ningún modelo de IA fue simultáneamente "Alto Rendimiento" Y "Consistente".
  • Los mejores modelos fueron "Alto Rendimiento pero Inconsistentes". Podían traducir Siwu perfectamente pero fallar miserablemente en Nkonya.
  • Los modelos consistentes fueron "Consistentes pero Promedio". Daban el mismo resultado mediocre para cada lengua, nunca fallando gravemente pero tampoco haciéndolo bien.
  • El Cuadrante de los "Líderes": Los investigadores dibujaron un gráfico con cuatro esquinas. La esquina superior derecha es la zona de "Líderes" (Alta Calidad + Alta Consistencia). Ningún modelo y ninguna lengua terminó en esta zona.

4. Qué Significa Esto (Según el Artículo)

El artículo concluye que, aunque estos modelos de IA son impresionantes, aún no son lo suficientemente confiables para ser utilizados en tareas del mundo real (como traducir documentos gubernamentales, consejos médicos o noticias) para las lenguas ghanesas.

• El Límite "Escritural": La prueba se realizó usando versículos bíblicos. Los autores advierten que estos modelos podrían desempeñarse aún peor en conversaciones cotidianas, noticias o textos legales porque no han visto esos tipos de palabras en su entrenamiento.
• El Problema de los "Datos": Las puntuaciones bajas no se deben a que las lenguas sean "difíciles" o "rotas". Es porque la IA no ha visto suficientes ejemplos de ellas. Es como intentar aprender un idioma leyendo solo un libro; podrías captar la idea general, pero te perderás los matices.

Resumen

El proyecto Nsanku construyó una gran tabla de puntuaciones para probar 19 modelos de IA en 43 lenguas ghanesas.

1. Los modelos de Big Tech son actualmente los mejores, pero los modelos gratuitos se están poniendo al día.
2. La calificación basada en caracteres (chrF) es una mejor manera de juzgar estas lenguas que la calificación palabra por palabra (BLEU).
3. Lo más importante: Ninguna IA es actualmente lo suficientemente confiable para ser confiada con estas lenguas. Son como un estudiante que a veces obtiene un A+ y a veces obtiene una F, dependiendo de la lengua específica. Hasta que veamos un modelo que sea consistentemente bueno, no podemos confiar plenamente en ellos para tareas importantes.

El artículo ha hecho públicos todos sus datos y código para que los investigadores sigan probando y mejorando estos modelos, con la esperanza de llenar eventualmente ese cuadrante de "Líderes".

Resumen técnico

Resumen Técnico: Nsanku – Evaluación del Rendimiento de Traducción Zero-Shot de LLMs para Idiomas de Ghana

Declaración del Problema

A pesar del rápido avance de los Modelos de Lenguaje Grande (LLMs) en la traducción automática (TA) multilingüe para idiomas con muchos recursos, sus capacidades para los idiomas africanos con pocos recursos siguen siendo poco comprendidas y en gran medida sin evaluar. Ghana, hogar de más de 80 idiomas documentados, enfrenta una brecha crítica: los ciudadanos a menudo no pueden acceder a servicios digitales de salud, gubernamentales o educativos en sus lenguas nativas porque las herramientas de traducción o no existen o no están verificadas. Las evaluaciones multilingües existentes (por ejemplo, FLORES-200, XTREME) cubren como máximo un idioma ghanés (Twi), dejando la vasta mayoría del panorama lingüístico del país sin una evaluación sistemática. Además, la investigación previa se ha centrado en gran medida en modelos ajustados finamente que requieren datos etiquetados, dejando las capacidades "zero-shot" de los LLMs de vanguardia —donde los modelos traducen sin entrenamiento explícito en el par de idiomas específico— sin explorar a gran escala.

Metodología

El artículo introduce Nsanku, una evaluación sistemática diseñada para evaluar el rendimiento de TA zero-shot de 19 LLMs en 43 idiomas ghaneses emparejados con inglés. El marco de evaluación se implementa como una tubería modular de cuatro etapas en Python:

1. Recopilación de Datos: Se obtuvieron pares de oraciones paralelas de la plataforma YouVersion Bible, la única fuente digital que ofrece suficiente amplitud para 43 idiomas. Mediante un raspador web, los autores alinearon versículos bíblicos para crear 300 pares de oraciones por idioma.
2. Muestreo Reproducible: Un paso de muestreo determinista (semilla 42) seleccionó 200 índices de oraciones del primer archivo de idioma y los aplicó uniformemente en los 43 idiomas. Esto aseguró que los 19 modelos fueran evaluados exactamente en las mismas 200 oraciones por idioma, eliminando la varianza del conjunto de prueba.
3. Inferencia del Modelo: El estudio evaluó 19 LLMs (10 de pesos abiertos y 9 propietarios) a través de la API NVIDIA Build. Los modelos incluyeron sistemas de vanguardia (por ejemplo, gemini-2.5-flash, claude-sonnet-4-5, gpt-4.1) y alternativas de pesos abiertos (por ejemplo, kimi-k2-instruct-0905, llama-3.1-405b, deepseek-v3.1). Todas las evaluaciones se realizaron en un entorno estrictamente zero-shot, sin ejemplos en contexto ni ajuste fino.
4. Cálculo de Métricas: El rendimiento se midió utilizando dos métricas automáticas:
   • BLEU (Bilingual Evaluation Understudy): Precisión estándar de n-gramas.
   • chrF (Puntuación F de n-gramas de caracteres): Robusta frente a la variación morfológica y problemas de tokenización.
   • Puntuación Promedio: La media aritmética de BLEU y chrF.
   • Consistencia: Calculada como el inverso de la desviación estándar de las puntuaciones por idioma para un modelo dado, visualizada mediante gráficos de dispersión de cuadrantes para identificar modelos que son tanto de alto rendimiento como estables.

Contribuciones Clave

• Cobertura Exhaustiva: Nsanku es la primera evaluación a gran escala que cubre 43 idiomas ghaneses, 42 de los cuales nunca han aparecido en una evaluación multilingüe importante de TA.
• Infraestructura: El proyecto libera una infraestructura de evaluación extensible por la comunidad, que incluye el código completo de la tubería, scripts de recopilación de datos y una libreta de Google Colab, permitiendo a los investigadores contribuir con nuevos modelos o subconjuntos de idiomas.
• Análisis Multidimensional: Más allá de la precisión agregada, el estudio introduce una dimensión de consistencia cross-lingüística para determinar si el rendimiento del modelo es estable a través de los idiomas o concentrado en un pequeño subconjunto.
• Evaluación Zero-Shot: Proporciona la primera evaluación rigurosa de las capacidades de traducción zero-shot para esta región lingüística específica, abordando la brecha entre el rendimiento de los modelos propietarios y los de pesos abiertos.

Resultados

La evaluación, completada el 29 de enero de 2026, arrojó los siguientes hallazgos:

• Rendimiento del Modelo: Los modelos propietarios de vanguardia superaron significativamente a las alternativas de pesos abiertos.
  • Mejores Rendimientos: gemini-2.5-flash logró la puntuación promedio más alta (26.88), seguido por claude-sonnet-4-5 (24.87) y gpt-4.1 (23.20).
  • Líderes de Pesos Abiertos: kimi-k2-instruct-0905 lideró la categoría de pesos abiertos con una puntuación promedio de 20.87, seguido por deepseek-v3.1 (19.29).
  • Brecha de Rendimiento: Existe una brecha significativa (aproximadamente 6 puntos) entre el mejor modelo propietario y el mejor modelo de pesos abiertos, aunque la brecha se está estrechando en comparación con las tendencias históricas.
• Discrepancia de Métricas: En todos los modelos, las puntuaciones de chrF superaron sustancialmente a las de BLEU. Para el modelo de menor rendimiento (mistral-7b-instruct-v0.3), la brecha fue de 15.76 puntos (BLEU 4.15 vs. chrF 19.91). Esto sugiere que los modelos preservan mejor la morfología a nivel de caracteres que las coincidencias exactas a nivel de palabra, validando chrF como una métrica más apropiada para los idiomas ghaneses ricos en morfología.
• Varianza Lingüística: El rendimiento varió ampliamente entre los idiomas. Siwu logró el promedio por idioma más alto (25.73), mientras que Nkonya obtuvo la puntuación más baja (11.65). Curiosamente, algunos idiomas con poblaciones de hablantes más pequeñas (por ejemplo, Siwu, Chumburung) superaron a idiomas ampliamente hablados como Twi (21.82), lo que sugiere que la calidad de la traducción bíblica de referencia en el dominio scriptural es un factor crítico.
• Análisis de Consistencia (Hallazgo Crítico): Ningún modelo y ningún idioma ocupó el cuadrante de "Líderes" (alto rendimiento y alta consistencia).
  • Los modelos principales cayeron en el cuadrante de "Alto Rendimiento pero Inconsistente", lo que significa que su calidad en cualquier idioma específico es impredecible.
  • Ningún idioma ghanés recibe actualmente una traducción de alta calidad y consistente en el rango de modelos evaluados.

Significado y Afirmaciones

El artículo afirma que Nsanku establece una línea base rigurosa para lo que los LLMs actuales pueden y no pueden hacer por los idiomas ghaneses. Su principal significado radica en exponer la brecha de fiabilidad: a pesar de las puntuaciones agregadas impresionantes de los modelos de vanguardia, la ausencia de cualquier modelo en el cuadrante de "Líderes" indica que los LLMs actuales aún no son confiablemente utilizables para la traducción de idiomas ghaneses a gran escala.

Los autores enfatizan que las puntuaciones bajas reflejan la escasez de recursos y los desequilibrios en los datos de entrenamiento en lugar de la complejidad lingüística intrínseca. Argumentan que, sin evaluaciones sistemáticas como Nsanku, los desarrolladores no pueden tomar decisiones de implementación basadas en evidencia, y los responsables políticos no pueden identificar brechas críticas de capacidad. El estudio concluye que, aunque el desarrollo de pesos abiertos está comenzando a cerrar la brecha con los modelos propietarios, el campo requiere una mayor inversión en datos y evaluación para lograr una traducción fiable y consistente para los idiomas africanos. Los autores advierten explícitamente que estos resultados son específicos del dominio scriptural y pueden no generalizarse a texto conversacional o periodístico sin una evaluación adicional.