Maistros: A Greek Large Language Model Adapted Through Knowledge Distillation From Large Reasoning Models

Résumé Technique : Maistros – Un Modèle de Langage à Grande Échelle Grec Adapté par Distillation de Connaissances

Énoncé du Problème
Malgré les progrès rapides des modèles de langage à grande échelle (LLM) et l'émergence de modèles de raisonnement à grande échelle (LRM) capables de raisonnements complexes multi-étapes, des disparités significatives subsistent en matière de performance entre les langues à ressources abondantes et les langues sous-équipées. Le grec moderne, caractérisé par son alphabet distinct, sa morphologie riche et sa variabilité syntaxique, reste une langue sous-équipée dans le paysage du TALN. Les modèles existants capables de gérer le grec reposent souvent sur des données d'entraînement limitées, ce qui entraîne des performances sous-optimales sur les tâches de réponse aux questions (QA), en particulier celles nécessitant des connaissances culturelles ou spécifiques à un domaine. De plus, bien que les récents LRM améliorent la précision grâce à des traces de raisonnement explicites, leur nombre massif de paramètres (des centaines de milliards) et leur forte latence d'inférence les rendent peu pratiques pour un déploiement dans des environnements informatiques conventionnels. Un écart critique existe dans la disponibilité de jeux de données QA grecs de haute qualité, curatés par des humains et adaptés à l'entraînement, car la plupart des ressources existantes sont conçues uniquement pour l'évaluation.

Méthodologie
Pour répondre à ces défis, les auteurs proposent un pipeline centré sur la distillation de connaissances depuis un LRM puissant vers un modèle compact à poids ouverts, soutenu par un jeu de données nouvellement curaté.

1. Création du Jeu de Données (CulturaQA) : Les auteurs ont introduit CulturaQA, un jeu de données synthétique et curaté par des humains comprenant 2 700 paires question-réponse en grec. Le processus de génération a impliqué :

   • La sélection de 180 phrases-clés grecques couvrant 11 domaines culturels (par exemple, histoire, politique, économie, mythologie).
   • La génération de 15 questions par phrase-clé à l'aide de GPT-5, suivie de la réponse du modèle à ses propres questions.
   • Une curation rigoureuse avec boucle humaine pour corriger les erreurs linguistiques (grammaire, orthographe, problèmes de polytonie), éliminer les hallucinations, corriger les inexactitudes factuelles et supprimer les artefacts non grecs.
   • Une division stratifiée en ensembles d'entraînement (2 000), de validation (200) et de test (500).

2. Développement du Modèle (Maistros 8B) :

   • Modèle de Base : Les auteurs ont sélectionné Ministral 3 8B, un LLM généraliste à poids ouverts, comme fondation.
   • Stratégie de Fine-Tuning : Ils ont employé un Fine-Tuning Supervisé (SFT) utilisant l'adaptation à faible rang (LoRA) pour distiller les connaissances de CulturaQA vers le modèle de base.
   • Configuration Technique : L'entraînement a utilisé une quantification sur 4 bits (NF4) et un optimiseur AdamW sur 8 bits pour réduire l'empreinte mémoire. La configuration LoRA comprenait un rang de 16 et un alpha de 32 (facteur d'échelle 2,0). Le modèle a été entraîné pendant 4 époques avec un taux d'apprentissage de 2e-5, une taille de lot de 2 (accumulée à 16) et une longueur de séquence maximale de 3 269 tokens.
   • Fonction de Perte : Conformément aux meilleures pratiques, le calcul de la perte a été masqué pour les invites utilisateur/système, concentrant l'optimisation uniquement sur les tokens de réponse générés par l'assistant pour empêcher le modèle d'apprendre à prédire l'invite.

3. Cadre d'Évaluation :

   • Un cadre économe en mémoire a été développé pour évaluer neuf LLM (incluant des modèles propriétaires comme Gemini 3 Flash et GPT-5 Mini, et des modèles à poids ouverts comme Krikri 8B et Plutus 8B) sur neuf jeux de données QA grecs.
   • Métriques : Les tâches à choix multiples ont été évaluées en utilisant la précision (via un analyseur basé sur des règles), tandis que la tâche ouverte CulturaQA a utilisé le score F1 BERTScore.
   • Analyse Statistique : La significativité a été évaluée à l'aide du test exact de McNemar pour la précision binaire et des tests de rangs signés de Wilcoxon pour le BERTScore continu, complétés par un rééchantillonnage par bootstrap pour des intervalles de confiance à 95 %.

Contributions Principales
L'article apporte quatre contributions principales :

1. CulturaQA : Un jeu de données grec de haute qualité, curaté par des humains, conçu spécifiquement pour l'entraînement et l'évaluation des LLM, couvrant divers sujets culturels et spécifiques à un domaine.
2. Maistros 8B : Un LLM grec à poids ouverts de pointe développé par distillation de connaissances et fine-tuning sur CulturaQA, optimisé pour un déploiement local sur du matériel commercial.
3. Cadre d'Évaluation : Un cadre économe en mémoire et adaptable pour évaluer les LLM sur diverses tâches QA grecques en utilisant des métriques standard.
4. Étalonnage Complet : Une évaluation rigoureuse de neuf LLM sur neuf jeux de données curatés par des humains, fournissant une analyse comparative des modèles à poids ouverts par rapport aux modèles propriétaires dans le contexte grec.

Résultats
L'évaluation empirique sur les neuf jeux de données a produit les résultats suivants :

• Propriétaire vs Poids Ouverts : Les modèles propriétaires (Gemini 3 Flash et GPT-5 Mini) ont systématiquement surpassé tous les modèles à poids ouverts sur la plupart des étalons.
• Performance de Maistros 8B : Maistros 8B a atteint des performances de pointe parmi les modèles à poids ouverts sur la plupart des jeux de données, démontrant des améliorations significatives par rapport à son modèle de base (Ministral 3 8B).
  • Il a obtenu des améliorations statistiquement significatives par rapport au modèle de base sur 5 jeux de données sur 9 (par exemple, Plutus QA, Greek ASEP MCQA, Greek MMLU).
  • Sur le domaine spécifique Plutus QA (économie grecque), Maistros 8B a surpassé tous les autres modèles à poids ouverts et a réduit l'écart avec GPT-5 Mini à une différence de 3,56 %.
  • Sur l'ensemble de test CulturaQA, Maistros 8B a égalé de près les performances des modèles propriétaires tout en surpassant significativement les autres alternatives à poids ouverts.
• Limites : Maistros 8B n'a pas montré d'améliorations statistiquement significatives par rapport au modèle de base sur Demos QA et Greek Truthful QA, et il est resté en dessous des performances des modèles propriétaires sur tous les étalons.

Signification et Revendications
Les auteurs affirment que ce travail démontre la viabilité de l'utilisation de données synthétiques de haute qualité, générées par des LRM et curatées par des humains, pour entraîner des modèles à poids ouverts robustes pour les langues sous-équipées. L'étude met en évidence qu'un fine-tuning ciblé sur des données ancrées culturellement peut améliorer considérablement les performances du modèle dans des domaines spécifiques (comme la finance) et dans la compréhension culturelle générale.

Cependant, l'article adopte une position modeste concernant l'écart entre les modèles ouverts et propriétaires. Les auteurs reconnaissent que si Maistros 8B représente une avancée significative pour le TALN grec open-source, il ne correspond pas encore aux capacités des modèles propriétaires comme Gemini 3 Flash. Ce travail sert de fondation pour des recherches futures, suggérant qu'une expansion supplémentaire des jeux de données pour inclure des réponses de longue forme, des contenus diversifiés et des dialectes régionaux est nécessaire pour capturer pleinement la complexité du grec moderne. Les auteurs soulignent que leur publication du code, du modèle et des données vise à soutenir la reproductibilité et le développement de modèles de langage linguistiquement précis et ancrés culturellement pour le grec.