CLARIN-PT-LDB: An Open LLM Leaderboard for Portuguese to assess Language, Culture and Civility

1. Problema y Motivación

El artículo identifica una brecha significativa en la evaluación de Modelos de Lenguaje Grande (LLM) para la variante Portugués de Portugal (PT-PT). Aunque existen leaderboards (tablas de clasificación) para inglés y otras variantes del portugués (como el brasileño), no existía ninguna dedicada específicamente al PT-PT.

Además, los benchmarks existentes para portugués carecen de dimensiones críticas que ya se evalúan en inglés, específicamente:

• Alineación cultural: La capacidad del modelo para entender y responder adecuadamente a matices culturales portugueses.
• Seguridad (Safeguards): La capacidad del modelo para rechazar solicitudes dañinas, ofensivas o ilegales en el contexto cultural y lingüístico local.
• Saturación: Muchos benchmarks en inglés están saturados (los modelos alcanzan puntuaciones máximas), lo que requiere nuevas métricas y tareas más desafiantes para otros idiomas.

2. Metodología

Los autores desarrollaron CLARIN-PT-LDB, un leaderboard abierto alojado en HuggingFace Spaces. La metodología se basa en los siguientes pilares:

• Enfoque Generativo Puro: A diferencia de otros sistemas que utilizan logits para seleccionar la opción más probable en preguntas de opción múltiple, este leaderboard evalúa los modelos en modo generativo. El modelo debe generar el texto de la respuesta (ej. "sí", "no", la letra de la opción correcta o la entidad nombrada). Esto permite evaluar modelos cerrados (vía API) y simula mejor el uso real en chatbots.
• Infraestructura:
  • Backend: Utiliza una rama (fork) de Eleuther's LM Evaluation Harness.
  • Hardware: Dos nodos NVIDIA L40S (10 GPUs de 40 GB cada uno) y dos nodos NVIDIA RTX Pro 6000 (1 GPU de 96 GB cada uno), apoyados por la infraestructura de investigación PORTULAN CLARIN.
  • Frontend: Interfaz web basada en el código de HuggingFace Open LLM Leaderboard, permitiendo a los usuarios enviar modelos y visualizar resultados.

3. Contribuciones Clave: Los 10 Benchmarks

El leaderboard integra diez benchmarks, de los cuales siete son contribuciones novedosas o adaptaciones específicas para PT-PT:

1. Tuguesice-PT (Novedoso): Un benchmark creado desde cero para evaluar la alineación cultural. Contiene 327 pares pregunta-respuesta que asumen familiaridad implícita con la cultura portuguesa (historia, geografía, política, cocina, etc.). No pregunta explícitamente "¿Cuál es la capital de Portugal?", sino que formula preguntas donde la respuesta correcta depende del contexto cultural (ej. "¿Cuál es la ciudad más al norte del país?"). Se evalúa mediante coincidencia de cadenas (case-insensitive).
2. DoNotAnswer-PT (Novedoso): Una traducción curada al PT-PT del benchmark Do-Not-Answer. Contiene 939 solicitudes de "daño específico" (racismo, violencia, ilegalidad). Dado que las respuestas son abiertas, la evaluación no usa coincidencia exacta, sino un modelo juez (Llama 3.3 70B) que clasifica si el modelo se negó correctamente, refutó la premisa o dio un descargo de responsabilidad.
3. MuSR (Adaptado): Benchmark de razonamiento de Cadena de Pensamiento (Chain-of-Thought). Traducción de 756 instancias de narrativas de misterio que requieren encadenar hechos para resolver un problema.
4. Benchmarks de Comprensión del Lenguaje Natural (NLU) y QA:
   • AA-Omniscience-Public: 600 preguntas de conocimiento general y detección de alucinaciones.
   • GPQA Diamond: 198 preguntas de nivel de posgrado en ciencias (química, física, biología), diseñadas para ser difíciles incluso para expertos humanos.
   • MMLU: 14,042 preguntas de opción múltiple sobre 57 temas.
   • MMLU Pro: 12,032 preguntas más difíciles con hasta 10 opciones.
   • Nota: Todas estas se tradujeron automáticamente al PT-PT usando la API de Google Cloud Advanced Translation.
5. ExtraGLUE (Adaptado): Tres benchmarks existentes (CoPA, MRPC, RTE) traducidos al PT-PT, enfocados en razonamiento, similitud semántica e inferencia.

4. Resultados Preliminares

El artículo presenta resultados iniciales comparando modelos de diferentes tamaños y orígenes (Gervásio, Llama, Mistral):

• Impacto del Tamaño: Se observa una mejora esperada en el rendimiento a medida que aumenta el tamaño del modelo (comparando versiones de 8B, 24B y 70B).
• Alineación Cultural: El modelo Gervásio (un modelo fine-tuned en datos de PT-PT derivado de Llama) supera significativamente a su modelo base Llama en la tarea Tuguesice-PT. Esto demuestra que el ajuste fino con datos culturales locales es crucial para la alineación cultural.
• Dificultad de Tareas: Los benchmarks más exigentes (como MMLU Pro vs. MMLU estándar) muestran una mayor separación en el rendimiento de los modelos, evitando la saturación de métricas.
• Seguridad: Los modelos muestran diferentes niveles de capacidad para rechazar solicitudes dañinas en DoNotAnswer-PT, con variaciones según el tamaño y el entrenamiento.

5. Significado e Impacto

El trabajo CLARIN-PT-LDB es significativo por varias razones:

• Estándar de Evaluación: Establece el primer punto de referencia estandarizado y abierto para LLMs en portugués de Portugal.
• Innovación en Métricas: Introduce la evaluación de cultura y seguridad como dimensiones primarias, no secundarias, para modelos de lenguaje en lenguas no angloparlantes.
• Reproducibilidad: Al utilizar un enfoque puramente generativo y una infraestructura abierta, permite la comparación justa entre modelos abiertos y cerrados.
• Recursos para la Comunidad: Proporciona un conjunto de datos traducidos y nuevos (Tuguesice-PT, DoNotAnswer-PT) que sirven como base para futuras investigaciones en PLN para el portugués.

En conclusión, el artículo no solo llena un vacío técnico en la evaluación de LLMs para una variante lingüística específica, sino que redefine cómo deben evaluarse estos modelos, priorizando la comprensión cultural y la seguridad ética sobre la simple capacidad de razonamiento lógico o lingüístico general.