Maistros: A Greek Large Language Model Adapted Through Knowledge Distillation From Large Reasoning Models

Riepilogo Tecnico: Maistros – Un Modello Linguistico di Grande Dimensione Greco Adattato Tramite Distillazione della Conoscenza

Enunciato del Problema
Nonostante i rapidi progressi dei Modelli Linguistici di Grande Dimensione (LLM) e l'emergere di Modelli di Ragionamento di Grande Dimensione (LRM) capaci di ragionamenti complessi multi-step, persistono significative disparità di prestazioni tra lingue ad alta risorsa e lingue sottorisorsa. Il greco moderno, caratterizzato dal suo alfabeto distinto, da una ricca morfologia e da una variabilità sintattica, rimane una lingua sottorisorsa nel panorama del NLP. I modelli esistenti capaci di gestire il greco spesso si basano su dati di addestramento limitati, risultando in prestazioni subottimali su compiti di Risposta alle Domande (QA), in particolare quelli che richiedono conoscenze culturali o specifiche di dominio. Inoltre, mentre i recenti LRM migliorano l'accuratezza attraverso tracce di ragionamento esplicite, il loro enorme numero di parametri (centinaia di miliardi) e l'elevata latenza di inferenza li rendono poco pratici per il deployment in ambienti informatici convenzionali. Esiste un divario critico nella disponibilità di dataset QA greci di alta qualità e curati da umani, adatti per l'addestramento, poiché la maggior parte delle risorse esistenti è progettata esclusivamente per la valutazione.

Metodologia
Per affrontare queste sfide, gli autori propongono una pipeline centrata sulla distillazione della conoscenza da un potente LRM a un modello compatto con pesi aperti, supportata da un dataset appena curato.

1. Creazione del Dataset (CulturaQA): Gli autori hanno introdotto CulturaQA, un dataset sintetico e curato da umani composto da 2.700 coppie domanda-risposta in greco. Il processo di generazione ha coinvolto:

   • La selezione di 180 keyphrase greche in 11 domini culturali (ad esempio, storia, politica, economia, mitologia).
   • La generazione di 15 domande per keyphrase utilizzando GPT-5, seguita dalla risposta del modello alle proprie domande.
   • Una rigorosa curatela umana in ciclo (human-in-the-loop) per correggere errori linguistici (grammatica, ortografia, problemi diatonici), rimuovere allucinazioni, correggere inesattezze fattuali ed eliminare artefatti non greci.
   • Una divisione stratificata in set di addestramento (2.000), validazione (200) e test (500).

2. Sviluppo del Modello (Maistros 8B):

   • Modello Base: Gli autori hanno selezionato Ministral 3 8B, un LLM generico con pesi aperti, come fondazione.
   • Strategia di Fine-Tuning: Hanno impiegato il Fine-Tuning Supervisionato (SFT) utilizzando l'Adattamento a Basso Rango (LoRA) per distillare la conoscenza da CulturaQA nel modello base.
   • Configurazione Tecnica: L'addestramento ha utilizzato la quantizzazione a 4 bit (NF4) e l'ottimizzatore AdamW a 8 bit per ridurre l'impronta di memoria. La configurazione LoRA includeva un rango di 16 e un alfa di 32 (fattore di scaling 2.0). Il modello è stato addestrato per 4 epoche con un tasso di apprendimento di 2e-5, una dimensione del batch di 2 (accumulata a 16) e una lunghezza massima della sequenza di 3.269 token.
   • Funzione di Perdita: Seguendo le migliori pratiche, il calcolo della perdita è stato mascherato per i prompt utente/sistema, focalizzando l'ottimizzazione esclusivamente sui token di risposta generati dall'assistente per impedire al modello di imparare a prevedere il prompt.

3. Framework di Valutazione:

   • È stato sviluppato un framework efficiente in termini di memoria per valutare nove LLM (inclusi modelli proprietari come Gemini 3 Flash e GPT-5 Mini, e modelli con pesi aperti come Krikri 8B e Plutus 8B) su nove dataset QA greci.
   • Metriche: I compiti a scelta multipla sono stati valutati utilizzando l'accuratezza (tramite parsing basato su regole), mentre il compito open-ended CulturaQA ha utilizzato BERTScore F1.
   • Analisi Statistica: La significatività è stata valutata utilizzando il test esatto di McNemar per l'accuratezza binaria e i test dei ranghi con segno di Wilcoxon per BERTScore continuo, integrati da ricampionamento bootstrap per intervalli di confidenza al 95%.

Contributi Chiave
Il paper apporta quattro contributi principali:

1. CulturaQA: Un dataset greco di alta qualità, curato da umani, progettato specificamente per l'addestramento e la valutazione degli LLM, che copre argomenti culturali e specifici di dominio diversificati.
2. Maistros 8B: Un LLM greco con pesi aperti all'avanguardia sviluppato tramite distillazione della conoscenza e fine-tuning su CulturaQA, ottimizzato per il deployment locale su hardware commerciale.
3. Framework di Valutazione: Un framework efficiente in termini di memoria e adattabile per valutare gli LLM su compiti QA greci diversificati utilizzando metriche standard.
4. Benchmarking Completo: Una valutazione rigorosa di nove LLM su nove dataset curati da umani, fornendo un'analisi comparativa tra modelli con pesi aperti e modelli proprietari nel contesto greco.

Risultati
La valutazione empirica sui nove dataset ha prodotto i seguenti risultati:

• Proprietari vs. Pesi Aperti: I modelli proprietari (Gemini 3 Flash e GPT-5 Mini) hanno costantemente superato tutti i modelli con pesi aperti nella maggior parte dei benchmark.
• Prestazioni di Maistros 8B: Maistros 8B ha raggiunto prestazioni all'avanguardia tra i modelli con pesi aperti sulla maggior parte dei dataset, dimostrando miglioramenti significativi rispetto al suo modello base (Ministral 3 8B).
  • Ha ottenuto miglioramenti statisticamente significativi rispetto al modello base in 5 dataset su 9 (ad esempio, Plutus QA, Greek ASEP MCQA, Greek MMLU).
  • Sul dominio specifico Plutus QA (economia greca), Maistros 8B ha superato tutti gli altri modelli con pesi aperti e ha ridotto il divario con GPT-5 Mini a una differenza del 3,56%.
  • Sul set di test CulturaQA, Maistros 8B ha eguagliato da vicino le prestazioni dei modelli proprietari, superando significativamente le altre alternative con pesi aperti.
• Limitazioni: Maistros 8B non ha mostrato miglioramenti statisticamente significativi rispetto al modello base su Demos QA e Greek Truthful QA, ed è rimasto al di sotto delle prestazioni dei modelli proprietari su tutti i benchmark.

Significato e Affermazioni
Gli autori affermano che questo lavoro dimostra la fattibilità dell'uso di dati sintetici di alta qualità, generati da LRM e curati da umani, per addestrare modelli robusti con pesi aperti per lingue sottorisorsa. Lo studio evidenzia che il fine-tuning mirato su dati radicati culturalmente può migliorare significativamente le prestazioni del modello in domini specifici (come la finanza) e nella comprensione culturale generale.

Tuttavia, il paper mantiene una posizione modesta riguardo al divario tra modelli aperti e proprietari. Gli autori riconoscono che, sebbene Maistros 8B rappresenti un passo significativo in avanti per il NLP greco open-source, non corrisponde ancora alle capacità di modelli proprietari come Gemini 3 Flash. Il lavoro funge da fondamento per ricerche future, suggerendo che un'ulteriore espansione dei dataset per includere risposte lunghe, contenuti diversificati e dialetti regionali è necessaria per catturare appieno la complessità del greco moderno. Gli autori sottolineano che il loro rilascio di codice, modello e dati mira a supportare la riproducibilità e lo sviluppo di modelli linguistici linguisticamente accurati e radicati culturalmente per il greco.