Sintesi Tecnica: Omofoni Culturalmente Entrate nei LLM a Basse Risorse

Definizione del Problema

Il documento affronta una variante specifica e poco esplorata della disambiguazione del senso delle parole (WSD) nella lingua bengalese: le Omofoni Culturalmente Entrate (CEH - Culturally Entangled Homographs). A differenza della WSD standard, dove i sensi concorrenti sono definizioni lessicali distinte, la CEH riguarda una singola forma di parola che funge simultaneamente da nome proprio e da nome comune culturalmente carico (ad esempio, Maya come nome di una ragazza e come "compassione affettuosa"; Arif come nome di un ragazzo e come "colui che possiede la conoscenza intuitiva del divino" nella teologia Sufi).

Risolvere la CEH richiede conoscenza culturale e pragmatica piuttosto che statistiche lessicali superficiali. Gli autori sostengono che gli attuali Large Language Models (LLM), anche quelli con pre-addestramento specifico per la lingua, soffrono di un bias sistematico verso il significato dominante. Questi modelli scelgono di default la lettura del nome comune e non riescono a riconoscere la lettura come nome proprio, indicando una mancanza di reale radicamento culturale nonostante la fluidità linguistica.

Metodologia

1. Costruzione del Dataset (Bangla CEH Benchmark)

Gli autori hanno costruito un benchmark di 1.516 frasi verificate da esperti contenenti 3.032 occorrenze etichettate.

• Struttura: Ogni frase contiene una parola target che appare due volte con letture distinte (ad esempio, una volta come Nome, una volta come Concetto/Emozione/Stato Spirituale).
• Annotazione: Ogni occorrenza è assegnata a una di sei categorie culturalmente radicate (Nome, Concetto, Emozione, Stato Emotivo, Stato Collettivo, Spirituale) ed è accompagnata da una spiegazione in linguaggio naturale del ragionamento culturale dietro l'etichetta.
• Generazione e Verifica: Le frasi sono state generate utilizzando tre modelli allo stato dell'arte (Claude Fable 5, Kimi K3, Gemini 3.5 Flash) per garantire la diversità. È stato applicato un protocollo di verifica in due fasi: controllo round-robin tra modelli seguito da una revisione manuale da parte di due parlanti nativi di bengalese, che hanno funto da autorità finale.

2. Regimi Sperimentali

Lo studio valuta i modelli sotto quattro livelli crescenti di supervisione:

1. Zero-Shot Prompting: Misura il radicamento culturale immediato senza esempi.
2. Few-Shot Prompting: Testa se le dimostrazioni in-context aiutano a riconoscere le letture entrate.
3. Cultural Chain-of-Thought (C-CoT): Una strategia di prompting contrastivo in cui il modello deve argomentare esplicitamente per entrambe le letture candidate (Nome vs. Concetto) prima di impegnarsi in una decisione. Ciò mira a contrastare il bias del significato dominante senza aggiornamenti dei parametri.
4. Knowledge Distillation (KD) Fine-Tuning: Modelli piccoli (1–3 miliardi di parametri) vengono sottoposti a fine-tuning tramite QLoRA sulle spiegazioni culturali verificate dall'uomo. Fondamentalmente, l'obiettivo dell'addestramento è l'intera traccia di ragionamento seguita dall'etichetta, non solo l'etichetta, costringendo il modello a interiorizzare il pattern del ragionamento culturale.

3. Modelli Valutati

La valutazione copre un mix di modelli open-source e closed-source:

• Open-Source: Qwen2.5-1.5B, Llama-3.2-3B, Gemma-3-1B, Ministral-3B, e TituLLM (un modello specifico per il bengalese).
• Closed-Source: GPT-4o-mini.

4. Metriche di Valutazione

• Tracciato Etichette (Label Track): Exact Match (EM), Average Score, Macro/Micro F1, Tasso di Allucinazione e Tasso di Bias Dominante (frequenza di mancato riconoscimento dell'etichetta "Nome").
• Tracciato Ragionamento (Reasoning Track): chrF e BERTScore rispetto alle spiegazioni gold, oltre a valutazioni Human-as-a-Judge e LLM-as-a-Judge.

Risultati Chiave

1. Bias Sistematico del Significato Dominante

Sotto zero-shot prompting, tutti i modelli open-source hanno mostrato un severo bias verso la lettura del nome comune.

• Tassi di Bias: Variano dal 62,5% (Ministral) al 100% (Gemma e TituLLM).
• Fallimento di TituLLM: Il modello specifico per il bengalese è fallito completamente sotto ogni regime di prompting (Zero-shot, Few-shot, C-CoT), allucinando su il 100% degli input in alcuni casi. Ciò dimostra che il pre-addestramento specifico per la lingua non conferisce da solo il radicamento culturale.
• GPT-4o-mini: Sebbene più forte (43,87% EM, 16,35% di bias), ha comunque faticato significativamente rispetto ai requisiti del compito.

2. Limiti del Prompting

• Few-Shot: Ha migliorato le prestazioni per alcuni modelli (ad esempio, l'EM di Gemma è salito dallo 0,91% al 31,29%), ma non ha risolto il bias centrale per tutti i modelli.
• C-CoT: Ha mostrato risultati misti. Ha quasi eliminato il bias per Qwen2.5-1.5B (riducendo il bias dal 63,46% al 2,88%), ma ha degradato le prestazioni per Llama-3.2-3B (il bias è aumentato al 75%) e TituLLM. Ciò suggerisce che il C-CoT è altamente dipendente dal modello e richiede che il modello sostenga lunghe catene di ragionamento senza collasso del formato.

3. Successo della Distillazione della Conoscenza (Knowledge Distillation)

Il fine-tuning di piccoli modelli sulle tracce di ragionamento culturale ha prodotto i miglioramenti più significativi:

• Salto di Prestazioni: Tutti i modelli sottoposti a fine-tuning hanno superato l'82% di Exact Match e hanno ridotto il bias del significato dominante a meno del 5%.
• Qualità del Ragionamento: Il BERTScore per il ragionamento è migliorato drasticamente (ad esempio, Qwen da 0,178 a 0,784), indicando che i modelli hanno imparato a giustificare le etichette culturalmente piuttosto che memorizzare mappature superficiali.
• Inversione di TituLLM: Il modello specifico per il bengalese, precedentemente fallimentare, è diventato il sistema più forte (87,91% EM, 4,2% di bias) dopo la distillazione, superando i modelli generalisti sottoposti a fine-tuning e il GPT-4o-mini basato solo sul prompting.

Significato e Rivendicazioni

Il documento sostiene di fornire uno strumento diagnostico per un autentico radicamento culturale nelle lingue a basse risorse. I suoi principali contributi sono:

1. Formalizzazione della CEH: Isolare il radicamento culturale dalla competenza lessicale superficiale.
2. Rilascio del Benchmark: Fornire un dataset con categorie culturali a livello di token e spiegazioni del ragionamento.
3. Evidenza Empirica: Dimostrare che il pre-addestramento specifico per la lingua è insufficiente per i compiti culturali; un modello specifico per il bengalese può fallire completamente senza una specifica supervisione culturale.
4. Soluzione Pratica: Mostrare che distillare il ragionamento culturale in piccoli modelli con aggiornamenti dei parametri efficienti è una via percorribile per ottenere alte prestazioni. Questo approccio consente a piccoli modelli open di superare i più grandi modelli proprietari in compiti culturalmente complessi una volta che viene insegnato loro il processo di ragionamento.

Gli autori concludono che, per le lingue ricche di cultura e a basse risorse, la strategia più efficace è accoppiare un modello compatto specifico per la lingua con un piccolo set di tracce di ragionamento culturale e adattarlo tramite fine-tuning parametrico efficiente. Riconoscono i limiti, inclusa la natura manuale della selezione delle parole (che riflette la conoscenza di un singolo annotatore) e la persistente difficoltà che i modelli incontrano con le etichette culturali più rare (scarsità di dati nella "coda lunga").