Resumen Técnico: ChiKhaPo

Declaración del Problema

Los benchmarks actuales para los Modelos de Lenguaje de Gran Escala (LLMs) están predominantemente restringidos a lenguas de altos recursos (HRLs) y se centran en tareas de orden superior, como el razonamiento complejo y la generación de contenido. En consecuencia, existe una brecha significativa en la evaluación de la competencia lingüística básica de los LLMs en los más de 3,800 idiomas escritos del mundo. Los benchmarks multilingües existentes, como FLORES+, cubren solo una fracción de estos idiomas (por ejemplo, 212 idiomas), dejando la gran mayoría de las lenguas del mundo sin evaluar incluso para capacidades fundamentales como la comprensión y generación a nivel de palabra. Esta falta de evaluación obstaculiza la identificación de las inequidades lingüísticas en el Procesamiento de Lenguaje Natural (NLP).

Metodología

Los autores presentan ChiKhaPo, un benchmark masivamente multilingüe diseñado para evaluar las capacidades de comprensión y generación léxica en los LLMs. El benchmark se construye utilizando recursos públicos existentes, incluyendo léxicos, datos monolingües y bitexto, lo que permite una cobertura de más de 2,700 idiomas.

Estructura del Benchmark

ChiKhaPo consta de ocho subtareas derivadas de cuatro tareas principales, cada una evaluada en dos direcciones:

1. Comprensión ($X \to \text{modelo}$): Evalúa la capacidad del modelo para entender una palabra en un idioma objetivo $X$ (a menudo traduciéndola al inglés).
2. Generación ($\text{modelo} \to X$): Evalúa la capacidad del modelo para generar una palabra en un idioma objetivo $X$ dado un prompt en inglés.

Las cuatro tareas principales son:

• Traducción de Palabras (WT): Prompting directo para traducir una sola palabra. Esta tarea depende únicamente de léxicos y cubre 2,746 idiomas.
• Traducción de Palabras con Contexto (WTWC): Traducir una palabra dada un contexto de oración fuente. Esto requiere datos monolingües y cubre 525 idiomas.
• Modelado de Lenguaje Condicionado por Traducción (TCLM): Mide la probabilidad de generación de una palabra objetivo dado una oración fuente y un contexto parcial de la palabra objetivo. Esto utiliza pares de oraciones paralelas (bitexto) y cubre 211 idiomas.
• Traducción Automática de Bolsa de Palabras (BOW MT): Evalúa si palabras específicas de la lengua objetivo aparecen en una salida de traducción a nivel de oración, independientemente del orden sintáctico. Esto también utiliza bitexto y cubre 211 idiomas.

Puntuación y Evaluación

El benchmark emplea métricas de puntuación a nivel de palabra. Para las tareas binarias (WT, WTWC), la corrección se determina mediante coincidencias exactas, manejo de inflexiones, coincidencia de subcadenas y sinonimia (usando WordNet para las salidas en inglés). Para las tareas probabilísticas (TCLM), la métrica es la probabilidad de generación de la palabra correcta. Para BOW MT, las puntuaciones se agregan basándose en la presencia de las palabras objetivo en la salida.

Los autores evaluaron seis modelos multilingües de última generación (SOTA): aya-101, aya-23-8b, bloomz-7b1-mt, falcon-7b-instruct, gemma-2b-it y Llama-3.1-8B-Instruct. Debido a restricciones computacionales, se utilizó una versión "lite" del benchmark, muestreando hasta 300 entradas de vocabulario por idioma para WT/WTWC y el 30% de los datos disponibles para tareas a nivel de oración.

Resultados Clave

• Brechas de Rendimiento: Los seis modelos evaluados demostraron un margen de mejora significativo, particularmente en lenguas de bajos recursos (LRLs). El benchmark actúa exitosamente como una medida desafiante del rendimiento multilingüe.
• Disparidad Direccional: Los modelos mostraron un desempeño consistentemente mejor en la dirección de comprensión ($X \to \text{modelo}$) que en la dirección de generación ($\text{modelo} \to X$), resaltando una brecha entre la Comprensión del Lenguaje Natural (NLU) y la Generación del Lenguaje Natural (NLG) en entornos multilingües.
• Correlación de Recursos y Familia: El rendimiento estuvo fuertemente correlacionado con los niveles de recursos lingüísticos (proxies por el recuento de documentos de Wikipedia) y las familias lingüísticas. Las lenguas indoeuropeas superaron consistentemente a familias subrepresentadas como la austronesia y la atlanto-congo. La relación entre el nivel de recursos y el rendimiento resultó ser aproximadamente logarítmica.
• Diferencias entre Modelos: El modelo aya-101 alcanzó las puntuaciones promedio más altas en cinco de las ocho subtareas. Los autores atribuyen esto a su arquitectura encoder-decoder, su mayor número de parámetros (13B) y su ajuste de instrucciones (instruction tuning) en 101 idiomas.
• Correlación con MT: Las puntuaciones de Traducción de Palabras (WT) mostraron una fuerte correlación lineal con las puntuaciones de traducción automática a nivel de oración (BLEU) en los datos de FLORES+ ($r \approx 0.87$ para $X \to \text{modelo}$). Esto sugiere que la WT puede servir como un proxy rentable para evaluar las capacidades de traducción automática en ausencia de bitexto extenso.

Significado y Reivindicaciones

El artículo posiciona a ChiKhaPo como un paso crítico hacia el abordaje de la inequidad lingüística en el NLP. Sus contribuciones principales son:

1. Escala Masiva: Proporciona el primer benchmark de competencia léxica que cubre más de 2,700 idiomas, superando la cobertura lingüística de cualquier benchmark existente por un orden de magnitud.
2. Evaluación Granular: Desplaza el enfoque desde el razonamiento complejo hacia la competencia "atómica" a nivel de palabra, permitiendo a los investigadores rastrear las capacidades lingüísticas fundamentales de los LLMs en idiomas específicos.
3. Eficiencia de Recursos: Al aprovechar léxicos y datos monolingües existentes, permite la evaluación de idiomas para los cuales no existen corpora paralelos.

Los autores afirman modestamente que, aunque el benchmark depende de recursos públicos (que pueden ser ruidosos, particularmente PanLex), logra resaltar la necesidad apremiante de mejorar la evaluación multilingüe. Esperan que este trabajo fomente la recopilación de mejores recursos léxicos para las lenguas de bajos recursos y promueva el benchmarking masivamente multilingüe de los LLMs como un paso necesario hacia sistemas de IA más equitativos.