Maistros: A Greek Large Language Model Adapted Through Knowledge Distillation From Large Reasoning Models

Resumen Técnico: Maistros – Un Modelo de Lenguaje Grande Griego Adaptado mediante Destilación de Conocimiento

Enunciado del Problema
A pesar del rápido avance de los Modelos de Lenguaje Grande (LLM) y la aparición de Modelos de Razonamiento Grande (LRM) capaces de razonamiento complejo de múltiples pasos, persisten disparidades significativas en el rendimiento entre idiomas de recursos abundantes y subresourcidos. El griego moderno, caracterizado por su alfabeto distintivo, morfología rica y variabilidad sintáctica, sigue siendo un idioma subresourcido en el panorama de la PLN. Los modelos existentes capaces de manejar griego a menudo dependen de datos de entrenamiento limitados, lo que resulta en un rendimiento subóptimo en tareas de Respuesta a Preguntas (QA), particularmente aquellas que requieren conocimiento cultural o específico de dominio. Además, aunque los LRM recientes mejoran la precisión mediante trazas de razonamiento explícitas, sus masivos conteos de parámetros (cientos de miles de millones) y su alta latencia de inferencia los hacen poco prácticos para su implementación en entornos informáticos convencionales. Existe una brecha crítica en la disponibilidad de conjuntos de datos de QA en griego de alta calidad y curados por humanos, adecuados para el entrenamiento, ya que la mayoría de los recursos existentes están diseñados únicamente para evaluación.

Metodología
Para abordar estos desafíos, los autores proponen una pipeline centrada en la destilación de conocimiento desde un potente LRM hacia un modelo compacto de pesos abiertos, respaldada por un conjunto de datos recién curado.

1. Creación del Conjunto de Datos (CulturaQA): Los autores introdujeron CulturaQA, un conjunto de datos sintético y curado por humanos que comprende 2.700 pares de preguntas y respuestas en griego. El proceso de generación involucró:

   • La selección de 180 frases clave en griego a través de 11 dominios culturales (por ejemplo, historia, política, economía, mitología).
   • La generación de 15 preguntas por frase clave utilizando GPT-5, seguida de que el modelo respondiera sus propias preguntas.
   • Una curación rigurosa con intervención humana en el bucle para corregir errores lingüísticos (gramática, ortografía, problemas de acentuación polítona), eliminar alucinaciones, corregir inexactitudes factuales y eliminar artefactos no griegos.
   • División estratificada en conjuntos de entrenamiento (2.000), validación (200) y prueba (500).

2. Desarrollo del Modelo (Maistros 8B):

   • Modelo Base: Los autores seleccionaron Ministral 3 8B, un LLM de propósito general de pesos abiertos, como base.
   • Estrategia de Ajuste Fino: Emplearon Ajuste Fino Supervisado (SFT) utilizando Adaptación de Bajo Rango (LoRA) para destilar conocimiento desde CulturaQA hacia el modelo base.
   • Configuración Técnica: El entrenamiento utilizó cuantización de 4 bits (NF4) y un optimizador AdamW de 8 bits para reducir la huella de memoria. La configuración de LoRA incluyó un rango de 16 y un alfa de 32 (factor de escala 2.0). El modelo se entrenó durante 4 épocas con una tasa de aprendizaje de 2e-5, un tamaño de lote de 2 (acumulado a 16) y una longitud máxima de secuencia de 3.269 tokens.
   • Función de Pérdida: Siguiendo las mejores prácticas, el cálculo de la pérdida se enmascaró para los prompts de usuario/sistema, enfocando la optimización únicamente en los tokens de respuesta generados por el asistente para evitar que el modelo aprendiera a predecir el prompt.

3. Marco de Evaluación:

   • Se desarrolló un marco eficiente en memoria para evaluar nueve LLM (incluyendo modelos propietarios como Gemini 3 Flash y GPT-5 Mini, y modelos de pesos abiertos como Krikri 8B y Plutus 8B) a través de nueve conjuntos de datos de QA en griego.
   • Métricas: Las tareas de opción múltiple se evaluaron utilizando precisión (mediante análisis basado en reglas), mientras que la tarea de texto abierto CulturaQA utilizó BERTScore F1.
   • Análisis Estadístico: La significancia se evaluó utilizando la prueba exacta de McNemar para la precisión binaria y pruebas de rangos con signo de Wilcoxon para BERTScore continuo, complementadas con remuestreo de bootstrap para intervalos de confianza del 95%.

Contribuciones Clave
El artículo hace cuatro contribuciones principales:

1. CulturaQA: Un conjunto de datos en griego de alta calidad y curado por humanos, diseñado específicamente para el entrenamiento y evaluación de LLM, que abarca diversos temas culturales y específicos de dominio.
2. Maistros 8B: Un LLM griego de pesos abiertos de última generación desarrollado mediante destilación de conocimiento y ajuste fino en CulturaQA, optimizado para implementación local en hardware comercial.
3. Marco de Evaluación: Un marco eficiente en memoria y adaptable para evaluar LLM en diversas tareas de QA en griego utilizando métricas estándar.
4. Evaluación Comparativa Exhaustiva: Una evaluación rigurosa de nueve LLM a través de nueve conjuntos de datos curados por humanos, proporcionando un análisis comparativo de modelos de pesos abiertos frente a modelos propietarios en el contexto griego.

Resultados
La evaluación empírica a través de los nueve conjuntos de datos arrojó los siguientes hallazgos:

• Propietarios frente a Pesos Abiertos: Los modelos propietarios (Gemini 3 Flash y GPT-5 Mini) superaron consistentemente a todos los modelos de pesos abiertos en la mayoría de las pruebas.
• Rendimiento de Maistros 8B: Maistros 8B logró un rendimiento de última generación entre los modelos de pesos abiertos en la mayoría de los conjuntos de datos, demostrando mejoras significativas sobre su modelo base (Ministral 3 8B).
  • Logró mejoras estadísticamente significativas sobre el modelo base en 5 de los 9 conjuntos de datos (por ejemplo, Plutus QA, Greek ASEP MCQA, Greek MMLU).
  • En el dominio específico Plutus QA (economía griega), Maistros 8B superó a todos los demás modelos de pesos abiertos y redujo la brecha con GPT-5 Mini a una diferencia del 3,56%.
  • En el conjunto de prueba CulturaQA, Maistros 8B igualó de cerca el rendimiento de los modelos propietarios mientras superaba significativamente a otras alternativas de pesos abiertos.
• Limitaciones: Maistros 8B no mostró mejoras estadísticamente significativas sobre el modelo base en Demos QA y Greek Truthful QA, y permaneció por debajo del rendimiento de los modelos propietarios en todas las pruebas.

Significado y Afirmaciones
Los autores afirman que este trabajo demuestra la viabilidad de utilizar datos sintéticos de alta calidad, generados por LRM y curados por humanos, para entrenar modelos robustos de pesos abiertos para idiomas subresourcidos. El estudio destaca que el ajuste fino dirigido en datos culturalmente fundamentados puede mejorar significativamente el rendimiento del modelo en dominios específicos (como las finanzas) y en la comprensión cultural general.

Sin embargo, el artículo mantiene una postura modesta respecto a la brecha entre modelos abiertos y propietarios. Los autores reconocen que, aunque Maistros 8B representa un paso significativo hacia adelante para la PLN de código abierto en griego, aún no iguala las capacidades de modelos propietarios como Gemini 3 Flash. El trabajo sirve como base para futuras investigaciones, sugiriendo que es necesaria una mayor expansión de los conjuntos de datos para incluir respuestas de formato largo, contenido diverso y dialectos regionales para capturar plenamente la complejidad del griego moderno. Los autores enfatizan que su lanzamiento de código, modelo y datos tiene como objetivo apoyar la reproducibilidad y el desarrollo de modelos de lenguaje lingüísticamente precisos y culturalmente fundamentados para el griego.