GreekMMLU: A Native-Sourced Multitask Benchmark for Evaluating Language Models in Greek

Aquí presento un resumen técnico detallado del artículo "GreekMMLU: A Native-Sourced Multitask Benchmark for Evaluating Language Models in Greek", estructurado según los puntos solicitados.

1. El Problema

A pesar de que los Modelos de Lenguaje Grandes (LLM) se entrenan en corpus multilingües que incluyen griego, la evaluación fiable de sus capacidades en este idioma es deficiente. Los desafíos principales identificados son:

• Falta de Benchmarks Nativos: Las evaluaciones existentes suelen basarse en conjuntos de datos traducidos automáticamente desde el inglés (como MMLU traducido). Esto introduce problemas de "traductés" (translationese), deriva semántica, recalibración errónea de la dificultad y la preservación de sesgos culturales del idioma fuente.
• Características Lingüísticas Específicas: El griego moderno posee una morfología rica, un orden de palabras flexible y negaciones complejas que no se capturan adecuadamente en datos traducidos.
• Conocimiento Cultural y Local: Muchos dominios (historia, derecho, certificaciones profesionales, educación cívica) están intrínsecamente ligados al contexto nacional, los marcos legales y el currículo educativo de Grecia. Las traducciones no pueden evaluar fielmente el conocimiento local ni la utilidad en escenarios del mundo real.
• Representación Insuficiente: El griego a menudo aparece solo en la "cola larga" de los datos de entrenamiento web, sin un diseño explícito de tokenizador o balanceo de datos, lo que resulta en un rendimiento inferior comparado con lenguas de alto recurso.

2. Metodología

Los autores desarrollaron GreekMMLU, un benchmark masivo y de múltiples tareas diseñado específicamente para el griego.

• Recopilación de Datos (Fuente Nativa):
  • Se recopilaron 21,805 preguntas de opción múltiple (MCQ) de fuentes auténticas: exámenes académicos, profesionales y gubernamentales griegos.
  • Todas las preguntas fueron extraídas o redactadas originalmente en griego, evitando la traducción automática.
  • Las fuentes incluyen desde exámenes de primaria y secundaria hasta pruebas universitarias y certificaciones profesionales.
• Estructuración y Taxonomía:
  • Se definió una taxonomía de 45 materias organizadas en cuatro categorías principales: STEM (Ciencia, Tecnología, Ingeniería y Matemáticas), Humanidades, Ciencias Sociales y Otros.
  • Se incluyeron 8 áreas específicas de Grecia (ej. Historia Griega, Mitología, Tradiciones Griegas, Lengua Griega Moderna) que requieren conocimiento cultural local.
  • Cada pregunta está anotada con un nivel de dificultad educativa (Primaria, Secundaria, Universidad, Profesional).
• Procesamiento y Control de Calidad:
  • Se utilizaron pipelines personalizados para extraer texto de formatos heterogéneos (PDF, DOCX, interfaces web), empleando OCR (Tesseract) y corrección asistida por LLM (Claude 3.5) para artefactos de extracción.
  • Un equipo de 5 expertos nativos con cualificaciones de posgrado validó manualmente las preguntas, corrigiendo errores de OCR y asegurando la fidelidad lingüística.
  • Se estimó un nivel de ruido residual de aproximadamente el 2%.
• División de Datos:
  • Subconjunto Público: 16,857 muestras para investigación.
  • Subconjunto Privado: 4,948 muestras reservadas para un leaderboard privado, garantizando evaluaciones robustas y resistentes a la contaminación de datos.
• Evaluación:
  • Se evaluaron más de 80 modelos (de código abierto y cerrados) utilizando el framework lm-evaluation-harness.
  • Se probaron configuraciones zero-shot y five-shot con prompts escritos íntegramente en griego, siguiendo las convenciones de exámenes locales (etiquetas A, B, Γ, Δ).

3. Contribuciones Clave

1. GreekMMLU: El primer benchmark a gran escala, totalmente nativo, para evaluar la comprensión del lenguaje en griego, superando las limitaciones de las traducciones.
2. Evaluación a Gran Escala: Un análisis exhaustivo de más de 80 modelos, revelando brechas de rendimiento significativas entre modelos de vanguardia (closed-source) y modelos de pesos abiertos, así como entre modelos adaptados al griego y modelos multilingües generales.
3. Análisis de Factores de Rendimiento: Un estudio sistemático sobre cómo influyen la escala del modelo, el ajuste de instrucciones (instruction tuning), las estrategias de prompting y la adaptación cultural en el rendimiento.
4. Recursos Públicos: Lanzamiento de un leaderboard oficial con subconjuntos públicos y privados para fomentar la evaluación justa y la reproducibilidad.

4. Resultados Principales

• Brecha de Rendimiento: Existe una diferencia sustancial entre los modelos de vanguardia cerrados (ej. Gemini 3 Flash con ~93.16%, GPT-5.2 con ~87.75%) y los mejores modelos de código abierto (ej. Llama-3.3-70B-Instruct con ~79.65%).
• Efecto de la Adaptación: Los modelos específicamente adaptados al griego (como Llama-Krikri o Meltemi) superan consistentemente a los modelos multilingües generales de tamaño comparable, especialmente en tareas de conocimiento cultural y específico de Grecia.
• Impacto del Ajuste de Instrucciones: Las variantes ajustadas con instrucciones (instruct) superan a sus contrapartes base en casi todas las familias de modelos, mejorando la alineación con el formato de opción múltiple y las convenciones de respuesta griegas.
• Dificultad por Nivel Educativo: El rendimiento tiende a ser mayor en preguntas de nivel primario y secundario, disminuyendo en niveles universitarios y profesionales, lo que refleja la mayor complejidad y necesidad de conocimiento especializado.
• Calibración: Los modelos adaptados al griego (como Llama-Krikri) muestran una mejor calibración entre la confianza del modelo y la precisión real (r = 0.93) en comparación con modelos multilingües genéricos.
• Escalado: El rendimiento mejora consistentemente con el tamaño del modelo, aunque los modelos pequeños (<2B parámetros) rinden cerca de la línea base aleatoria.

5. Significado e Impacto

El trabajo de GreekMMLU es fundamental para el avance de la IA en lenguas de recursos medios como el griego.

• Validación Cultural: Demuestra que la evaluación basada en traducciones es insuficiente para medir la verdadera comprensión cultural y lingüística, estableciendo un nuevo estándar para benchmarks nativos.
• Guía para el Desarrollo: Proporciona evidencia empírica de que el entrenamiento y ajuste específico para el griego son necesarios para lograr un rendimiento robusto, desafiando la idea de que los modelos multilingües generales son suficientes.
• Fomento de la Comunidad: Al liberar datos y un leaderboard, incentiva a la comunidad de investigación a desarrollar modelos más capaces y culturalmente conscientes para el idioma griego, cerrando la brecha con las lenguas de alto recurso.
• Limitaciones: El benchmark se centra en preguntas de opción múltiple formales y no cubre la generación abierta, el razonamiento interactivo o los dialectos regionales, lo que deja espacio para futuras investigaciones en estas áreas.

En resumen, GreekMMLU no solo es una herramienta de evaluación, sino un catalizador para mejorar la capacidad de los LLMs para comprender y operar dentro del contexto lingüístico y cultural específico de Grecia.