La Leaderboard: A Large Language Model Leaderboard for Spanish Varieties and Languages of Spain and Latin America

El artículo presenta "La Leaderboard", la primera plataforma de código abierto impulsada por la comunidad que evalúa modelos de lenguaje grandes en diversas variedades del español y lenguas de España y Latinoamérica, estableciendo un estándar de evaluación inclusivo y sostenible.

Lo esencial

¡Hola! Imagina que el mundo de la Inteligencia Artificial (IA) es como una gigantesca carrera de coches. Durante años, todos los coches (los modelos de lenguaje) han estado entrenándose y compitiendo casi exclusivamente en pistas de asfalto inglés. Los organizadores de la carrera (los investigadores) han estado midiendo quién es el más rápido en inglés, pero se han olvidado de que hay millones de conductores que hablan español, catalán, euskera o gallego, y que necesitan coches que sepan manejar en sus propias carreteras, con sus propios baches, señales y cultura.

Aquí es donde entra en escena LA LEADERBOARD.

¿Qué es LA LEADERBOARD?

Piensa en LA LEADERBOARD como un nuevo y revolucionario circuito de carreras diseñado específicamente para los hablantes de español y sus variedades. No es solo una lista de nombres; es una herramienta comunitaria, abierta y gratuita creada por un equipo de investigadores de toda España y Latinoamérica.

Su misión es sencilla pero poderosa: medir qué tan bien entienden y hablan los "coches" de IA las lenguas de España y América Latina.

¿Por qué es tan especial? (La analogía del traductor vs. el nativo)

Antes de este proyecto, si querías probar un coche en español, a menudo le daban un manual en inglés y le decían: "Tradúcelo tú mismo".

• El problema: La traducción automática (como un traductor de Google) a veces pierde el sabor, los chistes, las modismos locales o la cultura. Es como si un chef intentara cocinar paella usando solo recetas traducidas del francés; el resultado se parece, pero no sabe auténtico.
• La solución de LA LEADERBOARD: Han reunido a 66 expertos (conjuntos de datos) que son como nativos puros. Han creado pruebas en español, catalán, euskera y gallego que fueron escritas o revisadas por personas que viven y respiran esas culturas. Así, el coche de IA no solo tiene que saber "gramática", tiene que entender si un chiste es gracioso en Madrid o en Buenos Aires, o si una ley se aplica en México o en España.

¿Qué han hecho exactamente?

1. El Gran Torneo: Han puesto a competir a 50 modelos de IA (desde los pequeños y ágiles hasta los gigantes potentes) en una serie de pruebas.
2. Las Pruebas: No es solo "responder preguntas". Han incluido:
   • Médicos: ¿Puede la IA diagnosticar o sugerir tratamientos?
   • Abogados: ¿Entiende las leyes españolas?
   • Periodistas: ¿Sabe resumir noticias o detectar noticias falsas?
   • Humor: ¿Entiende los chistes? (¡Esto es muy difícil para las IAs!).
   • Cultura: ¿Conoce las tradiciones y el contexto local?
3. La Innovación "Eco-Friendly": Para no gastar tanta energía (y dinero) como las carreras anteriores, han diseñado las pruebas para ser más eficientes. En lugar de dar al coche 5 ejemplos de cómo resolver un problema antes de empezar (como si le dieras 5 vueltas de calentamiento), a veces le dan solo 1 o ninguno. Esto hace que la carrera sea más rápida, más barata y más ecológica, permitiendo que más gente pueda participar.

¿Qué nos dicen los resultados?

Al igual que en cualquier carrera, hay favoritos y sorpresas:

• Los campeones: Modelos grandes como Gemma-2, Llama-3.1 y Qwen han demostrado ser muy rápidos y precisos.
• Los locales: Modelos creados específicamente para nuestra región, como Salamandra (euskera/español) y EuroLLM, han demostrado que, aunque son más pequeños, conocen muy bien nuestro terreno y son muy competitivos, especialmente en tareas culturales.
• La lección: No siempre el coche más grande y caro gana. A veces, un coche más pequeño, bien entrenado en nuestra cultura, puede ir mejor en nuestras carreteras que un gigante que solo sabe inglés.

¿Por qué deberías importarte?

Imagina que quieres pedirle a una IA que te ayude a redactar un contrato legal en gallego, o que te explique un chiste en catalán, o que te ayude a un médico en una zona rural de Latinoamérica. Si la IA no ha sido entrenada y probada en LA LEADERBOARD, podría darte una respuesta incorrecta, ofensiva o simplemente inútil.

Este proyecto es como un sello de calidad para la comunidad hispanohablante. Nos asegura que las herramientas que usamos no solo "hablan" nuestro idioma, sino que nos entienden a nosotros, con nuestra diversidad cultural y lingüística.

En resumen: LA LEADERBOARD es el primer gran estadio donde los modelos de IA demuestran que no solo son inteligentes en inglés, sino que pueden ser verdaderos ciudadanos digitales en el mundo hispanohablante. ¡Y lo mejor es que es un proyecto hecho por y para la comunidad!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "La Leaderboard: A Large Language Model Leaderboard for Spanish Varieties and Languages of Spain and Latin America", presentado en español:

1. Planteamiento del Problema

La evaluación de Modelos de Lenguaje Grandes (LLMs) multilingües presenta desafíos significativos, especialmente para el mundo hispanohablante. Actualmente, los leaderboards (tablas de clasificación) existentes se centran predominantemente en inglés o en un conjunto limitado de idiomas de alto recurso. Cuando el español está incluido, las evaluaciones suelen basarse en:

• Traducciones automáticas: Que fallan en capturar matices lingüísticos y riqueza cultural.
• Traducciones humanas: Que a menudo no representan adecuadamente la cultura objetivo o las variedades dialectales.
• Falta de diversidad: No existen evaluaciones que combinen las variedades del español de España y América Latina junto con las lenguas cooficiales de España (catalán, euskera y gallego).

Esta carencia limita el desarrollo de modelos que sirvan realmente a la diversidad lingüística y cultural de más de 600 millones de hablantes de español.

2. Metodología

El proyecto presenta LA LEADERBOARD, una iniciativa de código abierto y dirigida por la comunidad para evaluar LLMs generativos.

• Recopilación de Datos:
  • Se integraron 66 conjuntos de datos en español, catalán, euskera y gallego.
  • La mayoría fueron donados por 13 grupos de investigación.
  • Se crearon 7 nuevos conjuntos de datos específicamente para este proyecto (AQuAS, ClinTreatES, ClinDiagnosES, HumorQA, SpaLawEx, TELEIA, RAGQuAS).
  • Criterios de calidad: Se priorizaron datos originales en el idioma objetivo (55%) o traducidos por profesionales humanos. Solo se incluyeron traducciones automáticas si fueron revisadas exhaustivamente por nativos.
• Diseño de Tareas:
  • Las tareas abarcan desde razonamiento común y comprensión lectora hasta dominios específicos como medicina, derecho, ética y generación de contra-narrativas.
  • Se utilizan formatos de Preguntas de Opción Múltiple (MCQA) (59% de las tareas) y Generación de Texto (resumen, QA de largo formato).
• Configuración de Evaluación Eficiente:
  • Few-Shot: Se adoptó una configuración de few-shot (pocos ejemplos) reducida (0-3 ejemplos) en comparación con la literatura estándar. Esto se hace para reducir el impacto ambiental, facilitar la reproducibilidad y evitar sesgos cognitivos derivados de la ordenación de opciones.
  • Métricas: Para MCQA se usan log-probabilidades; para generación de texto, métricas como BLEU, ROUGE, SAS (Semantic Answer Similarity) y un Judge basado en LLMs.
• Infraestructura:
  • Se ejecutó en el superordenador MareNostrum 5 (BSC) utilizando 2 GPUs NVIDIA H100.
  • Se midió el consumo energético (kWh) y las emisiones de CO2 para promover la evaluación sostenible.

3. Contribuciones Clave

1. Primer Leaderboard Abierto: Es la primera plataforma de código abierto diseñada específicamente para evaluar LLMs en las variedades del español y las lenguas de España y América Latina.
2. Metodología Comunitaria Escalable: Se establece un marco para la creación de leaderboards comunitarios, con directrices claras sobre la selección de datos, la adaptación cultural y la configuración de evaluación eficiente.
3. Análisis de Eficiencia y Sostenibilidad: Se introduce una evaluación rigurosa del consumo energético y las emisiones de carbono asociadas a la inferencia de modelos, proponiendo configuraciones de few-shot más ligeras.
4. Análisis Exhaustivo de Modelos: Se evalúan 50 modelos (incluyendo familias como Llama, Gemma, Qwen, Salamandra, EuroLLM, etc.) de diferentes tamaños (1B a 32B+ parámetros) y tipos (base e instruct).

4. Resultados Principales

• Rendimiento General: Los modelos que mejor se desempeñan de manera consistente en las cuatro lenguas son Gemma-2-9B (base e instruct), Meta-Llama-3.1-8B-IT y las versiones cuantizadas de Qwen2.5-IT (14B y 32B).
• Modelos Especializados:
  • Para entornos con recursos limitados, Salamandra-2B y Qwen-2.5-1.5B ofrecen el mejor rendimiento.
  • Modelos europeos como EuroLLM-9B y Salamandra-7B destacan por su transparencia y rendimiento competitivo, especialmente en gallego y euskera, aunque a veces pierden terreno frente a modelos masivos en español y catalán.
• Desempeño por Tarea:
  • Los modelos obtienen mejores resultados en tareas de Inferencia de Lenguaje Natural (NLI) y paráfrasis.
  • Los resultados más bajos se observan en pruebas de competencia lingüística (especialmente resumen) y razonamiento matemático.
  • El gallego tiende a tener puntuaciones más bajas en general, mientras que el euskera obtiene buenos resultados en razonamiento pero peores en preguntas de respuesta (QA).
• Estrategias de Entrenamiento:
  • El pre-entrenamiento desde cero en un corpus multilingüe masivo ofrece la cobertura más homogénea.
  • El fine-tuning posterior sin pre-entrenamiento continuo mejora la fluidez pero tiene un impacto modesto en tareas de razonamiento.
• Eficiencia Energética: Existe una correlación fuerte entre el tamaño del modelo y el consumo energético. Sin embargo, las versiones instruct a menudo consumen menos energía que sus contrapartes base debido a una menor verbosidad en las respuestas.

5. Significado e Impacto

LA LEADERBOARD establece un nuevo estándar para la evaluación de LLMs multilingües, moviéndose más allá de la simple traducción de benchmarks en inglés hacia una evaluación cultural y lingüísticamente consciente.

• Inclusión: Promueve el desarrollo de IA que respete la diversidad de las comunidades hispanohablantes, incluyendo lenguas minoritarias y variedades dialectales.
• Sostenibilidad: Al abogar por configuraciones de evaluación más eficientes (menos shots), reduce la huella de carbono de la investigación en IA.
• Reproducibilidad: Al ser de código abierto y comunitario, permite que investigadores con recursos computacionales limitados comparen sus modelos con el estado del arte (SOTA).
• Futuro: El proyecto planea expandirse para incluir más lenguas indígenas de América Latina, modelos propietarios y realizar un hackathon para medir la adecuación cultural específica por país.

En resumen, este trabajo no solo proporciona una herramienta de evaluación, sino que define una metodología para construir sistemas de IA más robustos, culturalmente competentes y sostenibles para el mundo hispanohablante.