Evaluating Monolingual and Multilingual Large Language Models for Greek Question Answering: The DemosQA Benchmark

1. Il Problema e il Contesto

Nonostante i recenti progressi nei Modelli Linguistici di Grande Dimensione (LLM), la ricerca si è concentrata prevalentemente su lingue ad alta risorsa (come l'inglese). I modelli multilingue esistenti spesso presentano:

• Squilibrio nelle risorse di addestramento: Bias verso un numero limitato di lingue popolari.
• Mancanza di adattamento culturale: Applicazione di tecniche di apprendimento uniformi senza considerare le differenze grammaticali e sintattiche specifiche.
• Rappresentazione inaccurata: Distorsione degli aspetti sociali, culturali e storici delle lingue sottorappresentate.

Nel caso specifico del greco, nonostante la sua complessità morfologica e sintattica, esistono pochi modelli LLM monolingue e una scarsità di dataset di Question Answering (QA) curati manualmente per una valutazione sistematica. La maggior parte dei dataset disponibili sono traduzioni automatiche o limitati a domini specifici (es. medico), mancando di contenuti "dal vivo" che riflettano il zeitgeist sociale e culturale greco.

2. Metodologia

Lo studio adotta un approccio empirico per valutare 11 LLM (sia monolingue greci che multilingue) su 6 dataset di QA in greco.

A. Il Dataset DemosQA

Per colmare il divario nei dati, gli autori hanno creato DemosQA, un nuovo dataset basato sui social media:

• Origine: Dati estratti dal subreddit r/greece di Reddit.
• Processo di raccolta: Utilizzo della libreria PRAW per raccogliere post categorizzati come "domande" (ερωτήσεις).
• Cura dei dati (Curation):
  • Filtraggio manuale per rimuovere contenuti offensivi, hate speech o "troll".
  • Selezione delle 4 risposte più pertinenti (candidate answers) e identificazione della risposta migliore basata sui voti della community (upvotes).
  • Mescolamento (shuffling) delle risposte per evitare bias di posizione.
• Caratteristiche: 600 domande curate, con risposte di lunghezza variabile e complessità linguistica superiore rispetto ai dataset tradizionali, riflettendo discussioni reali su vita quotidiana, storia, scienza e politica.

B. Framework di Valutazione

• Hardware: Esecuzione locale su una macchina con 12 GB di VRAM (GPU NVIDIA), rendendo il framework efficiente in termini di memoria.
• Tecnica: Utilizzo della quantizzazione a 4 bit (tramite bitsandbytes) per ridurre i requisiti di memoria senza perdere significativamente in accuratezza, permettendo l'inferenza di modelli fino a 12B parametri su hardware consumer.
• Strategie di Prompting: Sono state testate tre strategie per ogni modello:
  1. Instruction Prompt: Istruzione diretta per selezionare la risposta migliore.
  2. Role Prompt: Assegnazione di un ruolo specifico al modello (es. "Sei un modello linguistico per la lingua greca").
  3. Zero-shot Chain-of-Thought (CoT): Istruzione a ragionare passo-passo prima di rispondere.
• Metrica: Accuratezza macro (Accuracy) su task a scelta multipla.

C. Modelli Valutati

Sono stati confrontati 11 modelli, inclusi:

• Modelli Greci (Open-Weights): Meltemi 7B, Llama Krikri 8B.
• Modelli Multilingue (Open-Weights): Gemma 2 9B, Llama 3.1 8B, Mistral NeMo 12B, Ministral 8B, Aya Expanse 8B, Teuken 7B, EuroLLM 9B, Command R 7B.
• Modello Proprietario: GPT-4o mini (usato come baseline di riferimento).

3. Risultati Chiave

I risultati sono stati aggregati su 6 dataset (DemosQA, Greek Truthful QA, BELEBELE, Greek Medical MCQA, Greek ASEP MCQA, INCLUDE).

• Performance Generale:

  • GPT-4o mini ha ottenuto le prestazioni migliori in assoluto, specialmente su dataset specialistici (Medico, Civile/ASEP, Educativo), dove i modelli open-weight mostrano un divario significativo.
  • Tra i modelli open-weight, Llama Krikri 8B (adattato al greco) e Gemma 2 9B (multilingue) si sono distinti come i più competitivi.
  • Llama Krikri 8B ha eguagliato o superato GPT-4o mini sul dataset DemosQA, dimostrando l'efficacia dell'adattamento linguistico specifico.
  • Teuken 7B ha mostrato le prestazioni peggiori tra tutti i modelli testati.

• Impatto delle Strategie di Prompting:

  • GPT-4o mini ha funzionato meglio con semplici istruzioni (Instruction Prompt).
  • I modelli open-weight hanno beneficiato significativamente dell'assegnazione di un Ruolo (Role Prompt), che ha migliorato la loro accuratezza.
  • La strategia Chain-of-Thought (CoT) ha migliorato le prestazioni dei modelli con capacità di ragionamento avanzate, ma ha spesso ridotto l'accuratezza degli altri modelli open-weight a causa di allucinazioni durante il processo di ragionamento.

• Analisi per Dominio:

  • I modelli open-weight hanno raggiunto livelli comparabili a GPT-4o mini su dataset generici e di comprensione del linguaggio (DemosQA, Truthful QA).
  • Il divario si è ampliato notevolmente su dataset che richiedono conoscenze specialistiche (Medicina, Amministrazione Civile, Istruzione), indicando che l'ingegneria dei prompt non può compensare la mancanza di conoscenza di dominio specifica.

4. Contributi Principali

1. DemosQA: Un nuovo dataset di QA greco derivato dai social media, curato manualmente, che cattura il contesto socio-culturale greco e supera le limitazioni delle traduzioni automatiche.
2. Framework di Valutazione Efficiente: Una metodologia che utilizza la quantizzazione a 4 bit, permettendo la valutazione di LLM su hardware consumer (GPU con 12GB VRAM) con costi ridotti e alta riproducibilità.
3. Valutazione Estensiva: Il primo studio comparativo su larga scala che confronta modelli monolingue greci e multilingue su 6 dataset diversi con 3 strategie di prompting.
4. Rilascio Open Source: Codice e dati resi pubblici per facilitare la ricerca futura e la riproducibilità.

5. Significato e Implicazioni

Questo studio dimostra che:

• I modelli LLM monolingue adattati (come Llama Krikri) possono competere efficacemente con modelli multilingue generici e persino con modelli proprietari su compiti linguistici specifici, specialmente quando si tratta di comprendere le sfumature culturali e sociali.
• È possibile costruire dataset di alta qualità partendo da contenuti social media curati dalla community, offrendo una risorsa vitale per lingue a bassa risorsa.
• Esiste ancora un divario significativo nei domini specialistici, suggerendo la necessità di addestrare modelli su corpora specifici di settore e dialettali per migliorare la comprensione culturale e storica.
• La scelta della strategia di prompting è cruciale: i modelli open-weight necessitano di istruzioni più strutturate (ruoli, CoT) per esprimere il loro pieno potenziale rispetto ai modelli proprietari.

In conclusione, il lavoro fornisce una base solida per lo sviluppo futuro di LLM inclusivi e culturalmente radicati per la lingua greca, spingendo verso un'ecosistema NLP più diversificato rispetto alla predominanza anglo-centrica.