💬 NLP

Multi-lingual Functional Evaluation for Large Language Models

Este artículo introduce nuevos benchmarks funcionales multilingües (CL-GSM Symbolic y CL-IFEval) para evaluar la competencia práctica y la robustez de los modelos de lenguaje, revelando que las evaluaciones estáticas existentes a menudo sobreestiman el rendimiento y que la estabilidad del modelo varía significativamente entre idiomas como el árabe, el inglés, el francés y el español.

Autores originales: Victor Ojewale, Inioluwa Deborah Raji, Suresh Venkatasubramanian

Publicado 2026-03-13

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Victor Ojewale, Inioluwa Deborah Raji, Suresh Venkatasubramanian

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que las Inteligencias Artificiales (IA) son como estudiantes universitarios brillantes. Durante años, los profesores (los investigadores) han estado evaluando a estos estudiantes con exámenes de opción múltiple en papel. Si el estudiante saca un 90 en un examen de matemáticas en inglés, asumimos que es un genio.

Pero, ¿qué pasa si le pedimos a ese mismo estudiante que resuelva un problema matemático real en un idioma que no es el suyo, o que siga instrucciones muy específicas como "escribe una historia de exactamente 50 palabras sin usar la letra 'a'"?

Aquí es donde entra este nuevo estudio. Los autores, Victor, Inioluwa y Suresh, dicen: "¡Esperen! Los exámenes de papel no nos dicen si el estudiante realmente sabe hacer las cosas en el mundo real."

Aquí tienes la explicación de su trabajo, traducida a un lenguaje sencillo y con algunas analogías creativas:

1. El Problema: El "Examen de Papel" vs. La "Prueba de Fuego"

Los modelos de IA actuales se evalúan con bases de datos estáticas (como M-MMLU o Belebele).

La analogía: Imagina que le das a un estudiante un libro de recetas en francés. Si el examen es "¿Qué ingrediente va en la sopa?", el estudiante puede memorizar la respuesta y sacar un 100%.
La realidad: Pero si le pides que cocine la sopa en una cocina francesa real, con ingredientes que cambian de tamaño y que debe seguir instrucciones estrictas (como "no usar sal"), podría quemar la comida.

Los autores crearon dos nuevos "campos de entrenamiento" (benchmarks) para ver si la IA realmente sabe cocinar, no solo si sabe leer la receta:

CL-GSM Symbolic: Problemas de matemáticas donde los números y nombres cambian, pero la lógica debe ser perfecta.
CL-IFEval: Instrucciones muy específicas (como "usa mayúsculas solo en las vocales") que la IA debe seguir al pie de la letra.

2. La Prueba: Traduciendo el Desafío

Hasta ahora, estos "campos de entrenamiento" solo existían en inglés. Los autores tomaron estos desafíos y los tradujeron a 5 idiomas que representan diferentes niveles de recursos tecnológicos:

Alto recurso: Inglés, Francés, Español (como tener una biblioteca llena de libros).
Medio recurso: Árabe, Hindi (como tener una buena biblioteca, pero no completa).
Bajo recurso: Yoruba (como tener solo unos pocos libros y muchos en un dialecto específico).

3. Lo que Descubrieron: La Gran Sorpresa

Cuando compararon los resultados, encontraron algo muy interesante y un poco alarmante:

La ilusión de la competencia: En los "exámenes de papel" (bancos de datos estáticos), las IAs parecen funcionar muy bien en todos los idiomas. Parecen estudiantes que sacan 90 en todos los idiomas.
La realidad del "Campo de Juego": Cuando pasaron a las pruebas funcionales (donde deben hacer cosas), la brecha se abrió de golpe.
- La analogía: Es como si un atleta corriera muy rápido en una pista de atletismo perfecta (inglés), pero cuando le piden correr por un sendero de montaña con piedras (idiomas como Yoruba o Hindi), se cae o se mueve muy lento.

Los números clave:

En matemáticas, la IA cayó un 24% en inglés y hasta un 18% en francés y español al pasar de un examen estático a uno funcional.
En idiomas con menos recursos (como Yoruba), la IA casi se rindió. En las pruebas estáticas, a veces sacaba un 30%, pero en las pruebas funcionales, a veces no llegaba ni al 5%.

4. ¿Por qué importa esto?

El estudio nos dice que no podemos confiar ciegamente en las puntuaciones actuales.

Si una empresa dice: "Nuestra IA funciona perfecto en 50 idiomas" basándose en exámenes de papel, podría estar mintiendo (o al menos, exagerando).
La IA es muy "frágil". Puede ser un genio en inglés para seguir instrucciones, pero volverse "tonta" o confusa en español o árabe si la instrucción es un poco diferente.

5. La Conclusión: Un Nuevo Espejo

Los autores crearon estos nuevos benchmarks (CL-IFEval y CL-GSM Symbolic) para actuar como un espejo más honesto.

Nos muestran que la IA no es igual de inteligente en todos los idiomas.
Nos avisan que, aunque la tecnología avanza, todavía hay una gran desigualdad: los idiomas con muchos datos (inglés, francés) tienen IAs muy robustas, mientras que los idiomas con pocos datos (como Yoruba) tienen IAs que aún están aprendiendo a caminar.

En resumen:
Este papel nos dice que dejemos de mirar solo las notas del examen final y empecemos a observar cómo se comporta el estudiante en el mundo real. Porque un estudiante puede memorizar la respuesta correcta en un libro, pero si no puede aplicar esa lógica en un idioma diferente o bajo presión, no es tan listo como creíamos.

Resumen Técnico: Evaluación Funcional Multilingüe para Modelos de Lenguaje Grande

1. Problema y Motivación

La competencia multilingüe de los Modelos de Lenguaje Grande (LLM) se evalúa actualmente principalmente mediante benchmarks estáticos (como M-MMLU, M-GSM y Belebele). Sin embargo, los autores identifican limitaciones críticas en estos enfoques:

Falta de robustez práctica: Las evaluaciones estáticas a menudo no capturan la capacidad real de un modelo para ejecutar instrucciones complejas o razonamiento lógico de manera consistente a través de diferentes idiomas.
Contaminación de datos: Muchos benchmarks estáticos pueden estar contaminados con datos en inglés, distorsionando los resultados en otros idiomas.
Falta de contexto cultural: Las traducciones directas de benchmarks existentes a menudo carecen de contexto cultural realista.
Discrepancia de rendimiento: Existe una brecha significativa entre el rendimiento en tareas de conocimiento estático y la ejecución funcional de instrucciones, la cual varía enormemente según el idioma y el modelo, algo que los benchmarks actuales no revelan adecuadamente.

2. Metodología

Para abordar estas limitaciones, los autores crearon dos nuevos benchmarks funcionales multilingües traduciendo plantillas de evaluaciones funcionales existentes del inglés a cinco idiomas adicionales que representan un espectro de recursos lingüísticos (desde alto hasta extremadamente bajo): Francés, Español, Hindi, Árabe y Yoruba.

Nuevos Benchmarks Propuestos:

CL-GSM Symbolic (Cross-Lingual Grade School Math Symbolic):
- Basado en GSM-Symbolic.
- Utiliza 100 plantillas de problemas matemáticos que generan permutaciones de entrada mediante variables modificables.
- La respuesta correcta se genera mediante una transformación funcional fija ( $f(X)$ ), lo que permite una verificación objetiva y automatizada.
- Genera 5,000 pares de preguntas-respuestas por idioma (50 variantes por plantilla).
CL-IFEval (Cross-Lingual Instruction-Following Eval):
- Basado en IFEval.
- Traduce 541 prompts de instrucción (filtrados a 371 tras validación) que contienen instrucciones verificables (ej. restricciones de longitud, formato, uso de mayúsculas).
- Evalúa la capacidad del modelo para seguir instrucciones específicas en lugar de solo generar texto coherente.

Proceso de Construcción y Validación:

Traducción: Se utilizó Google Translate como base, seguido de una validación rigurosa por hablantes nativos.
Control de Calidad: Se reclutaron hablantes nativos (incluyendo un hablante de Yoruba en Nigeria para asegurar adecuación dialectal y cultural). Se utilizó una rúbrica estructurada para verificar la fidelidad del significado, la intención y la fuerza de las restricciones.
Filtrado: Se eliminaron prompts donde las restricciones (como distinción mayúscula/minúscula) no eran aplicables en ciertos sistemas de escritura (ej. Árabe o Hindi), garantizando la comparabilidad cruzada.

Modelos Evaluados:

Se evaluaron varios modelos de código abierto (open-weight), incluyendo variantes instruidas y multilingües: Aya 23-35B, Aya Expanse-32B, Gemma-2-9B-it, Qwen3-8B, Mistral-7B-Instruct-v0.3 y Mixtral-8x7B-Instruct-v0.1.

3. Contribuciones Clave

Creación de CL-GSM Symbolic y CL-IFEval: Los primeros benchmarks funcionales multilingües que permiten una verificación automatizada de la robustez y el razonamiento más allá del conocimiento estático.
Análisis de la Brecha Funcional vs. Estática: Demostración empírica de que el rendimiento en benchmarks estáticos no es un predictor fiable del rendimiento funcional, especialmente en idiomas de recursos medios y bajos.
Evaluación de Robustez por Idioma: Identificación de que la robustez de los modelos varía drásticamente según el idioma y la estructura de la instrucción, revelando fragilidades específicas que los benchmarks tradicionales ocultan.

4. Resultados Principales

Brecha de Rendimiento (Gap)

Existe una disparidad significativa entre el rendimiento en benchmarks estáticos y funcionales:

Caída de Rendimiento: Al pasar de benchmarks estáticos a funcionales, el rendimiento cae drásticamente.
- De M-GSM a CL-GSM Symbolic: Caídas del 24% (inglés), 17% (francés) y 18% (español).
- De Belebele a CL-IFEval: Caídas entre 15% y 24% dependiendo del idioma.
- Curiosamente, la caída de M-MMLU a CL-IFEval es menor (0.5% - 3%), sugiriendo que M-MMLU mide más bien la recuperación de conocimiento que la ejecución funcional.

Variabilidad y Robustez

Idiomas de Recursos Bajos: Idiomas como el Yoruba muestran un rendimiento consistentemente bajo y una alta variabilidad en benchmarks funcionales (ej. CL-IFEval en Yoruba: 12% - 23%), a diferencia de los benchmarks estáticos donde la caída es menos pronunciada pero aún severa.
Cambios en la Jerarquía de Modelos: El ranking de los modelos cambia significativamente al pasar de evaluaciones estáticas a funcionales.
- Ejemplo: En el benchmark estático Belebele, Aya-23-35B supera a Aya-expanse-32B en Yoruba. Sin embargo, en la evaluación funcional CL-IFEval, este orden se invierte o se nivela, mostrando que la superioridad en conocimiento estático no garantiza la capacidad de seguir instrucciones complejas.
Fragilidad Específica: Algunos modelos son estables en ciertos idiomas pero frágiles en otros para tipos específicos de instrucciones. Por ejemplo, el grupo de instrucciones "Start/End" en CL-IFEval mostró una falla completa en Yoruba para todos los modelos.

Análisis de Plantillas (Math)

En CL-GSM Symbolic, ciertas plantillas (como las que requieren inferencia probabilística, Template 3) produjeron consistentemente el rendimiento más bajo en todos los idiomas, destacando una debilidad persistente en el razonamiento probabilístico multilingüe.

5. Significado e Implicaciones

Reevaluación de la Competencia Multilingüe: Los resultados sugieren que los LLM actuales tienen una "ilusión de competencia" en idiomas no ingleses cuando se evalúan solo con benchmarks estáticos. La capacidad funcional (seguir instrucciones, razonar) es mucho más débil de lo que se cree.
Necesidad de Evaluaciones Funcionales: Para el despliegue real de LLM en entornos multilingües, es crucial utilizar evaluaciones que prueben la ejecución de tareas y la robustez, no solo la recuperación de hechos.
Sesgo en Recursos: La brecha de rendimiento se amplía desproporcionadamente en idiomas de recursos bajos (como Yoruba) bajo evaluaciones funcionales, lo que subraya la necesidad de desarrollar modelos y datos específicos para estos contextos.
Transparencia: El uso de plantillas funcionales permite una verificación exacta y reproducible, reduciendo la ambigüedad en la evaluación de LLMs.

En conclusión, el paper argumenta que la evaluación multilingüe debe evolucionar más allá de la estática hacia paradigmas funcionales para obtener una comprensión realista de la utilidad y seguridad de los modelos en el mundo real.