ALBA: A European Portuguese Benchmark for Evaluating Language and Linguistic Dimensions in Generative LLMs

Este artículo presenta ALBA, un nuevo benchmark construido manualmente por expertos lingüísticos para evaluar el dominio del portugués europeo (pt-PT) en modelos de lenguaje generativo a través de ocho dimensiones lingüísticas, abordando la carencia actual de recursos específicos para esta variedad frente al predominio del portugués brasileño.

Lo esencial

Imagina que los Modelos de Lenguaje Grande (como los que impulsan a ChatGPT o Gemini) son como cocineros de renombre mundial. Estos chefs son increíblemente talentosos y pueden preparar platos deliciosos en inglés, español o francés. Pero, ¿qué pasa si les pides que cocinen un plato tradicional portugués de Portugal (el pt-PT)?

El problema es que la mayoría de estos "chefs" han aprendido a cocinar principalmente con recetas de Brasil (pt-BR). Si les pides un plato típico de Lisboa, es muy probable que te sirvan una versión brasileña: usarán ingredientes diferentes, cambiarán el sabor y, aunque sepa "a comida", no será auténtico.

Aquí es donde entra en escena el papel que acabas de leer, que presenta ALBA.

¿Qué es ALBA? (El "Sommelier" de la lengua)

ALBA (Benchmark de Lingüística Automatizado para la Evaluación de Línea Base) es como un sommelier experto o un crítico gastronómico creado específicamente para probar si estos chefs de IA saben realmente cocinar la cocina de Portugal.

No es solo una prueba de "sí o no". Es un menú de degustación muy detallado diseñado por lingüistas humanos (expertos en la lengua) para ver si la IA entiende los matices, el acento, la cultura y la gramática de Portugal, no solo la de Brasil.

El Menú de Degustación: 8 Dimensiones

Para que la prueba sea justa y completa, ALBA no solo pregunta "¿sabes hablar?", sino que divide la lengua en 8 categorías, como si fueran 8 platos diferentes en un menú:

1. Variedad de la Lengua: ¿Puede la IA distinguir entre un "coche" (Portugal) y un "carro" (Brasil)? ¿Sabe usar las palabras de las islas de Madeira o de las regiones del norte? Es como pedirle al chef que use solo especias locales y no traiga las de otro país.
2. Semántica Cultural: ¿Entiende la IA los refranes y chistes locales? Por ejemplo, si le pides explicar "lágrimas de cocodrilo", ¿sabe que es una expresión para fingir tristeza, o cree literalmente que los cocodrilos lloran?
3. Análisis del Discurso: ¿Puede la IA escribir un texto que suene natural, con el tono adecuado (formal o informal) y que tenga sentido de principio a fin?
4. Juegos de Palabras: Esta es la parte difícil. ¿Puede la IA hacer un trabalenguas, un poema que rime o un acertijo? Es como pedirle al chef que haga un pastel con forma de animal: requiere creatividad y precisión, no solo mezclar ingredientes.
5. Sintaxis: ¿Sabe construir oraciones correctamente? ¿Pone el verbo en el lugar adecuado?
6. Morfología: ¿Sabe cambiar las palabras según el género o el número? (Por ejemplo, cómo se conjugan los verbos en Portugal, que a veces es diferente a Brasil).
7. Lexicología: ¿Conoce el vocabulario? ¿Sabe qué palabras son sinónimos o antónimos en el contexto portugués?
8. Fonética y Fonología: ¿Sabe cómo suenan las palabras? ¿Puede escribir un poema donde todas las rimas encajen perfectamente? Es la prueba de oído y ritmo.

¿Cómo se evalúa? (El Juez Robot)

Como hay muchas respuestas posibles y no solo una correcta, los autores crearon un sistema de juez automático (un "juez IA").

• Primero, lingüistas humanos escribieron respuestas perfectas, buenas y malas para cada pregunta.
• Luego, entrenaron a una IA muy inteligente para que actúe como un juez humano, comparando las respuestas de los modelos con las de los expertos.
• Esto permite calificar miles de respuestas de forma rápida y justa, sin tener que contratar a cientos de profesores de portugués.

¿Qué descubrieron? (El resultado del concurso)

Al poner a prueba a varios modelos de IA (desde los gratuitos y de código abierto hasta los más potentes y cerrados), los resultados fueron reveladores:

• Los modelos "abiertos" (gratuitos): Son como aprendices de cocina. Se les da bien tareas simples, como escribir un correo formal o corregir una frase (Sintaxis). Pero cuando les piden algo creativo o cultural (como un trabalenguas o entender un chiste local), se equivocan mucho. A menudo mezclan palabras de Brasil con Portugal o inventan palabras que no existen.
• Los modelos "cerrados" (de pago, como GPT-5 o Gemini): Son los chefs estrella. Obtienen puntuaciones muy altas en casi todo. Entienden la cultura, el acento y los juegos de palabras mucho mejor.
• El problema del "token": Los autores explican que las IAs a veces fallan en rimas o juegos de letras porque "piensan" en bloques de palabras (tokens) en lugar de letra por letra. Es como si el chef contara los ingredientes en bolsas en lugar de en gramos; a veces le sobra o le falta un poco.

En resumen

ALBA es una herramienta fundamental para asegurar que la Inteligencia Artificial no olvide ni ignore la riqueza de la lengua portuguesa de Portugal. Nos dice que, aunque la IA avanza rápido, todavía necesita aprender a ser más "local", más cultural y más precisa si quiere hablar realmente como un nativo de Portugal, y no solo como un traductor de Brasil.

Es un llamado a crear herramientas que respeten la identidad de cada lengua, para que la tecnología sirva a todos los hablantes, no solo a los de las lenguas más populares.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo sobre ALBA, traducido y adaptado al español:

Resumen Técnico: ALBA - Un Benchmark Europeo de Portugués para la Evaluación de Dimensiones Lingüísticas en LLMs Generativos

1. Problema Identificado

A pesar del avance de los Modelos de Lenguaje Grande (LLMs), su rendimiento en idiomas de recursos limitados sigue siendo deficiente. El Portugués Europeo (pt-PT) es un caso paradigmático de este problema debido a:

• Dominio del Portugués Brasileño (pt-BR): Los datos de entrenamiento y los benchmarks existentes están abrumadoramente dominados por el pt-BR, lo que genera sesgos sistemáticos donde el pt-PT se confunde o se evalúa incorrectamente.
• Limitaciones de los Benchmarks Actuales: La mayoría de las evaluaciones para pt-PT se basan en traducción automática (MT) desde el inglés o en conjuntos de datos centrados en el inglés. Esto introduce sesgos que ocultan fenómenos lingüísticos específicos (juegos de palabras, rimas, modismos) y no permiten una evaluación granular.
• Falta de Autenticidad: Los modelos tienden a generar salidas con patrones léxicos, morfológicos y sintácticos del pt-BR, careciendo de autenticidad lingüística para el pt-PT.

2. Metodología

El equipo propone ALBA (Automated Linguistics Benchmark for baseline Assessment), un benchmark diseñado desde cero específicamente para pt-PT, que se aleja de las evaluaciones binarias o de opción múltiple para centrarse en la generación de texto.

• Estructura del Dataset:

  • Compuesto por 800 preguntas creadas manualmente por expertos lingüísticos (con máster en lingüística y dominio de pt-PT).
  • Organizado en 8 dimensiones lingüísticas:
    1. Variedad Lingüística: Diferenciación entre pt-PT y pt-BR, y reconocimiento de regionalismos (ej. Madeira, Azores, Trás-os-Montes).
    2. Semántica Cultural: Comprensión de modismos, refranes y expresiones intrínsecas a la cultura portuguesa.
    3. Análisis del Discurso: Inferencia de significado, adaptación de registro, resumen y detección de ironía.
    4. Juegos de Palabras: Manipulación compleja de texto (palíndromos, pangramas, anagramas) y conteo de letras.
    5. Sintaxis: Estructura de oraciones, voces activa/pasiva y jerarquía de palabras.
    6. Morfología: Formación de palabras, inflexión (género, número, tiempo verbal) y constituyentes morfológicos.
    7. Lexicología: Relaciones entre palabras (sinonimia, antonimia, campos semánticos) y riqueza léxica.
    8. Fonética y Fonología: Rimas, aliteraciones, acentuación, transcripción fonética y estructura métrica (ej. poesía).

• Marco de Evaluación (LLM-as-a-Judge):

  • Dada la subjetividad de evaluar respuestas abiertas, se implementó un marco de "Juez LLM" validado rigurosamente.
  • Calibración: Se crearon 720 respuestas de referencia por expertos con niveles de calidad (1-5) para entrenar y validar al juez.
  • Configuración Óptima: Tras pruebas exhaustivas, se determinó que el modelo Gemini-2.5-Pro, utilizando prompts en pt-PT y 3 ejemplos few-shot (seleccionados por diversidad de longitud), ofrece la mayor correlación con el juicio humano (Menor Error Absoluto Medio - MAE).

3. Contribuciones Clave

1. ALBA Benchmark: El primer benchmark nativo en pt-PT que evalúa capacidades generativas a través de 8 dimensiones lingüísticas profundas, evitando la dependencia de la traducción automática.
2. Marco de Evaluación Escalable: Un sistema de LLM-as-a-Judge calibrado contra expertos humanos, diseñado específicamente para evaluar la calidad de la generación en pt-PT.
3. Estudio de Evaluación Exhaustivo: Una evaluación detallada de múltiples modelos (desde 7B hasta modelos propietarios de vanguardia) que revela fortalezas y debilidades granulares en el contexto del portugués europeo.

4. Resultados Principales

Se evaluaron modelos de código abierto (7B-12B parámetros), modelos de pesos abiertos y modelos propietarios (GPT-5, Gemini-2.5-Pro):

• Brecha de Rendimiento: Existe una brecha significativa entre los modelos de código abierto y los propietarios. Los modelos cerrados (GPT-5, Gemini-2.5-Pro) obtienen puntuaciones consistentemente altas (>85/100) en todas las dimensiones.
• Rendimiento de Modelos Abiertos:
  • Los modelos totalmente abiertos (ej. OLMo) tienen un rendimiento muy bajo debido a la falta de datos en pt-PT.
  • Modelos especializados como AMALIA-9B (entrenado específicamente para pt-PT) superan a modelos más grandes pero genéricos (como Gemma 3-12B) en dimensiones culturales y léxicas, demostrando la importancia de la especialización.
  • Gemma 3-12B obtuvo el mejor resultado entre los modelos de pesos abiertos (51.1/100).
• Dimensiones Críticas:
  • Fortalezas: Los modelos suelen rendir mejor en tareas de Análisis del Discurso y Sintaxis.
  • Debilidades: Hay un fracaso notable en Fonética/Fonología (errores en métrica, rima, acentuación) y Juegos de Palabras (alucinaciones de palabras, incapacidad de manipulación de caracteres). Esto se atribuye a la tokenización de los LLMs, que dificulta el conteo de caracteres y la manipulación fonológica precisa.
  • Sesgos de Variedad: Incluso en modelos avanzados, persisten errores de "mezcla de idiomas" o uso de jerga brasileña en lugar de europea.

5. Significado e Impacto

• Validación de la Necesidad de Datos Nativos: El estudio demuestra que la traducción automática de benchmarks no es suficiente para evaluar la competencia lingüística real en variedades específicas como el pt-PT.
• Herramienta para el Desarrollo Futuro: ALBA proporciona una línea base crítica para mejorar el entrenamiento de LLMs en idiomas de recursos limitados, enfocándose en la autenticidad cultural y lingüística.
• Dirección para la Investigación: Destaca la necesidad de abordar las limitaciones actuales de los LLMs en tareas que requieren manipulación simbólica fina (fonología, juegos de palabras) y la importancia de la especialización por variedad lingüística para evitar la homogeneización hacia el pt-BR.

En conclusión, ALBA establece un nuevo estándar para la evaluación de LLMs en el contexto del portugués europeo, proporcionando una herramienta indispensable para el desarrollo de IA más inclusiva y lingüísticamente precisa.