GreekMMLU: A Native-Sourced Multitask Benchmark for Evaluating Language Models in Greek

1. Il Problema

Nonostante i Large Language Models (LLM) siano spesso addestrati su corpora multilingue che includono il greco, mancano benchmark di valutazione affidabili e su larga scala specifici per questa lingua. Le attuali risorse presentano diverse criticità:

• Dipendenza dalla traduzione: La maggior parte dei dataset esistenti è ottenuta tramite traduzione automatica dall'inglese. Questo approccio fallisce nel catturare le caratteristiche linguistiche uniche del greco (morfologia ricca, ordine delle parole flessibile, negazione complessa) e le sfumature culturali.
• Bias culturali: I benchmark tradotti mantengono i presupposti culturali della lingua sorgente (spesso USA/UK), rendendo inadeguata la valutazione di domini strettamente legati al contesto nazionale greco, come la storia, il diritto, la cittadinanza e le certificazioni professionali.
• Mancanza di dati nativi: Non esisteva un benchmark che utilizzasse esclusivamente domande originali in greco provenienti da esami reali, rendendo difficile distinguere tra la capacità di un modello di trasferire conoscenze cross-lingua e la sua reale comprensione della lingua greca.

2. Metodologia e Costruzione del Dataset

Gli autori hanno introdotto GreekMMLU, il primo benchmark su larga scala per la comprensione del linguaggio multiscala (massive multitask language understanding) in greco, basato interamente su fonti native.

• Raccolta Dati: Le domande sono state estratte da fonti autoritatives, inclusi esami accademici (primaria, secondaria, universitaria), esami professionali e concorsi pubblici governativi. I dati provengono da repository pubblici, PDF, DOCX e interfacce web, utilizzando pipeline di estrazione personalizzate (PyMuPDF, Tesseract OCR) per evitare contaminazione con i corpora di pre-addestramento standard.
• Struttura e Taxonomy: Il dataset comprende 21.805 domande a scelta multipla (MCQ) distribuite su 45 materie. Queste sono organizzate in quattro macro-categorie:
  • STEM (Scienza, Tecnologia, Ingegneria, Matematica)
  • Scienze Umane (Humanities)
  • Scienze Sociali
  • Altro (inclusi 8 settori "Specifici per il Greco" come Storia Greca, Mitologia, Tradizioni e Lingua Moderna).
• Livelli di Difficoltà: Ogni domanda è annotata con un livello educativo: Primaria, Secondaria, Università e Professionale.
• Controllo Qualità: È stato implementato un rigoroso processo di validazione umana da parte di esperti madrelingua greci con qualifiche accademiche avanzate. Sono stati corretti errori di estrazione OCR, standardizzati i caratteri Unicode e verificata la fedeltà semantica. Il livello di rumore stimato è inferiore al 2%.
• Suddivisione: Il dataset è diviso in un subset pubblico (16.857 campioni) per la ricerca e un subset privato (4.948 campioni) riservato a una leaderboard per garantire valutazioni robuste e resistenti alla contaminazione.

3. Contributi Chiave

1. GreekMMLU: Il primo benchmark nativo su larga scala per il greco, che supera i limiti dei dataset tradotti.
2. Valutazione su Larga Scala: Analisi di oltre 80 modelli LLM (sia open-source che closed-source), inclusi modelli generalisti, modelli adattati al greco/europei e modelli frontier.
3. Analisi Sistematica: Studio approfondito dei fattori che influenzano le prestazioni, tra cui la scala del modello, l'adattamento linguistico (instruction tuning), le strategie di prompting e la specificità culturale.
4. Leaderboard Pubblica: Un sistema di valutazione trasparente con subset separati per monitorare i progressi della comunità senza rischio di data leakage.

4. Risultati Principali

Le valutazioni hanno rivelato trend significativi e divari prestazionali:

• Divario tra Modelli Frontier e Open-Weight: I modelli closed-source all'avanguardia (es. Gemini 3 Flash, GPT-5.2) hanno superato nettamente le alternative open-weight.
  • Gemini 3 Flash: 93,16% di accuratezza media.
  • GPT-5.2: 87,75%.
  • Llama-3.3-70B-Instruct (migliore open-weight): 79,65%.
  • Esiste un divario sostanziale (circa 10-15 punti percentuali) tra i migliori modelli chiusi e quelli aperti.
• Impatto dell'Adattamento Greco: I modelli specificamente adattati al greco (es. Llama-Krikri, Meltemi, Plutus) hanno mostrato prestazioni superiori rispetto ai modelli multilingue generici di dimensioni simili, specialmente nei settori culturalmente radicati (Storia, Mitologia). Questo dimostra che l'addestramento esplicito su dati greci è cruciale.
• Scala del Modello: Esiste una forte correlazione positiva tra il numero di parametri e le prestazioni. I modelli piccoli (<2B parametri) performano vicino al caso casuale, mentre le prestazioni migliorano costantemente all'aumentare della scala.
• Effetti del Prompting:
  • L'Instruction Tuning ha portato a miglioramenti consistenti rispetto ai modelli base.
  • Il Few-Shot prompting (5-shot) ha beneficiato principalmente i modelli di grandi dimensioni, mentre non ha avuto impatto significativo sui modelli piccoli.
• Difficoltà per Livello Educativo: Le prestazioni sono generalmente più alte su domande di scuola primaria/secondaria e più basse su quelle universitarie e professionali, riflettendo la maggiore complessità e la necessità di conoscenze specializzate.
• Calibrazione: I modelli specializzati (come Llama-Krikri) mostrano una migliore calibrazione (correlazione tra confidenza e accuratezza) rispetto ai modelli generici.

5. Significato e Implicazioni

GreekMMLU rappresenta un passo fondamentale per lo sviluppo dell'IA in greco e per le lingue a risorse limitate in generale.

• Validità Culturale: Dimostra che i benchmark tradotti sono insufficienti per valutare la vera comprensione linguistica e culturale, sottolineando la necessità di dati nativi.
• Guida per l'Addestramento: I risultati confermano che l'adattamento specifico per lingua (non solo multilingue generico) è essenziale per ottenere modelli robusti in contesti culturali specifici.
• Standard di Valutazione: Fornisce un nuovo standard di riferimento per la comunità di ricerca, permettendo confronti equi e prevenendo l'overfitting sui dati di addestramento.
• Sfide Future: Evidenzia che, nonostante i progressi, i modelli open-source devono ancora colmare il divario con i modelli proprietari per quanto riguarda la comprensione profonda di domini tecnici e culturali complessi in greco.

In sintesi, il paper non solo rilascia una risorsa dati critica, ma fornisce anche prove empiriche che l'adattamento linguistico mirato è la chiave per sbloccare le vere capacità dei LLM in lingue come il greco, andando oltre la semplice traduzione o l'addestramento multilingue superficiale.