Unmasking the Factual-Conceptual Gap in Persian Language Models

1. Il Problema: Il Divario tra Fatti e Concetti Culturali

Il lavoro affronta una lacuna critica nella valutazione dei Modelli Linguistici di Grande Dimensione (LLM) per la lingua persiana. Sebbene esistano benchmark emergenti per il NLP in persiano che coprono pragmatica e cortesia, questi raramente distinguono tra:

• Fatti culturali memorizzati: Conoscenza superficiale di tradizioni o eventi.
• Capacità di ragionamento su norme sociali implicite: La capacità di applicare schemi culturali complessi (come superstizioni, tabù e rituali di taarof) in contesti dinamici e dipendenti dal contesto.

I modelli attuali tendono a imitare pattern linguistici superficiali senza internalizzare le "schemi culturali" sottostanti, fallendo nel distinguere tra un comportamento culturalmente appropriato e una violazione dello stesso, specialmente quando le regole non hanno una giustificazione logica empirica (es. superstizioni).

2. Metodologia: DIVANBENCH

Gli autori introducono DIVANBENCH, un benchmark diagnostico progettato per testare il ragionamento culturale sui persiani.

• Struttura del Dataset: Comprende 315 domande basate su 81 concetti culturali distinti, suddivisi in 7 domini (etichetta sociale, tradizioni del Nowruz, esseri soprannaturali, rituali apotropaici, cerimonie nuziali, tabù e divinazione).
• Tipologie di Task: Il benchmark utilizza un'architettura a tre livelli per isolare diverse capacità:
  1. Factual MCQ (Ricerca di Fatti): 100 domande a scelta multipla per verificare la conoscenza di base (es. "Cos'è il taarof?").
  2. Binary Belief Verification (Verifica delle Credenze): 162 affermazioni (81 coppie) che presentano scenari "positivi" (comportamento corretto) e "negativi" (violazione plausibile). Questo design è cruciale per misurare il bias di acquiescenza (la tendenza del modello ad accettare tutto ciò che suona culturalmente plausibile senza rifiutare le violazioni).
  3. Scenario-Based MCQ (Ragionamento Situazionale): 53 scenari complessi che richiedono inferenze multi-step su gerarchie sociali e norme implicite non esplicitamente insegnate.
• Protocollo Sperimentale:
  • Valutazione di 7 modelli LLM all'avanguardia (tra cui Aya, Dorna2, Gemma, Llama, Qwen) nella fascia di 7-12 miliardi di parametri.
  • Confronto controllato tra un modello base (Llama 3.1-8B) e la sua variante adattata al persiano tramite pre-training continuo (Dorna2-8B).
  • Utilizzo di 5 prompt di sistema diversi per mitigare la sensibilità ai prompt e calcolo di metriche specifiche: Accuratezza, Bias di Acquiescenza (Accettazione - Rifiuto) e Divario Fatto-Concetto.

3. Contributi Chiave

1. Introduzione di DIVANBENCH: Un framework diagnostico che supera la semplice verifica fattuale, focalizzandosi su superstizioni e costumi che richiedono ragionamento contestuale.
2. Misurazione del Bias di Acquiescenza: Un metodo quantitativo per rilevare se i modelli stanno "indovinando" basandosi su parole chiave culturali piuttosto che ragionare logicamente.
3. Isolamento degli Effetti del Pre-training: Dimostrazione empirica di come l'adattamento monolingue specifico possa degradare il ragionamento critico.
4. Distinzione Teorica: Evidenza che i "fatti culturali" e gli "schemi culturali" sono obiettivi di apprendimento indipendenti, richiedendo meccanismi di training diversi dalla semplice scalatura dei dati.

4. Risultati Principali

L'analisi di 7 modelli ha rivelato quattro fallimenti critici:

• La Trappola dell'Acquiescenza (Acquiescence Trap): 6 su 7 modelli mostrano un bias asimmetrico grave. Pur identificando correttamente i comportamenti appropriati (84-92% di accuratezza), falliscono nel rifiutare le violazioni culturali (19-48% di accuratezza). Ad esempio, accettano sia la corretta pratica del taarof (rifiutare due volte, accettare la terza) sia la sua violazione (accettare subito), basandosi solo sulla presenza di parole chiave culturali.
• Il Paradosso del Pre-training Persiano: Il confronto tra Llama 3.1-8B e Dorna2-8B mostra che il pre-training continuo su dati persiani peggiora il ragionamento critico. L'accuratezza nel rifiutare falsità crolla dal 73% al 30% (-43 punti percentuali), mentre l'accettazione sale. Il modello diventa più "fluido" culturalmente ma meno discernente, imparando a imitare i pattern senza comprenderne la logica.
• Il Divario Fatto-Concetto (Factual-Conceptual Gap): C'è un calo medio di prestazione del 21% quando si passa dalla ricerca fattuale al ragionamento basato su scenari. Questo dimostra che memorizzare fatti culturali non si traduce automaticamente nella capacità di applicarli in situazioni nuove.
• La Dimensione non Garantisce l'Intelligenza Culturale: Il modello più grande (Gemma3-12B) ottiene il miglior punteggio nella memoria fattuale (87%) ma mostra uno dei bias di acquiescenza più alti (+61%), confermando che la scalatura dei parametri migliora la memorizzazione ma non la capacità di discernimento culturale.

5. Significato e Implicazioni

Questo studio sfida l'assunzione comune nel NLP a risorse limitate secondo cui l'aggiunta di più dati monolingue e il pre-training continuo migliorano automaticamente la competenza culturale.

• Limiti dell'Approccio Corrente: I modelli attuali apprendono a mimetizzare i pattern culturali senza internalizzare gli schemi logici sottostanti.
• Necessità di Nuovi Metodi: La competenza culturale richiede meccanismi di training oltre la semplice scalatura dei dati, probabilmente includendo approcci che favoriscano il ragionamento critico e la comprensione delle norme implicite.
• Impatto Futuro: DIVANBENCH fornisce un template per valutare la competenza culturale in altre lingue, evidenziando che la vera comprensione culturale richiede la capacità di gestire l'inversione contestuale e i contratti sociali impliciti, non solo la conoscenza enciclopedica.

In sintesi, il paper dimostra che i modelli linguistici persiani attuali sono "esperti di superficie" che falliscono nel ragionamento profondo, e che l'adattamento linguistico specifico, se non gestito con cura, può addirittura erodere la capacità di giudizio critico.