Sintesi Tecnica: Miglioramento del Richiamo Fattuale Cross-Linguale tramite Reinforcement Learning guidato dalla Coerenza

Definizione del Problema

I Large Language Models (LLM), addestrati prevalentemente su dati in inglese, codificano vaste quantità di conoscenza del mondo, ma spesso falliscono nel accedere in modo affidabile a tale conoscenza quando interrogati in lingue diverse dall'inglese. Questo fenomeno, denominato incoerenza fattuale cross-linguale, non è causato principalmente da un deficit di stoccaggio della conoscenza. Al contrario, studi meccanicistici suggeriscono che il fallimento avvenga durante la fase di "transizione linguistica": il modello può recuperare il concetto corretto negli strati intermedi (spesso in uno spazio latente centrato sull'inglese o agnostico rispetto alla lingua), ma fallisce nel mappare questo concetto in modo affidabile nei token della lingua target negli strati finali.

Sebbene il Continual Pretraining (CPT) su corpora paralleli sia stato dimostrato efficace per migliorare la fluidità della traduzione, esso spesso non riesce a incrementare sostanzialmente le prestazioni in compiti esigenti come il richiamo fattuale. Ciò suggerisce che, mentre i dati paralleli allineano le rappresentazioni interne, essi non insegnano sufficientemente al modello ad accedere a tale conoscenza allineata attraverso interfacce non inglesi.

Metodologia

1. Il Dataset POLYFACT

Per affrontare la mancanza di dati fattuali multilingue su larga scala e completamente paralleli, gli autori introducono POLYFACT.

• Costruzione: Derivato da triple di verità di Wikidata, il dataset contiene 100.000 fatti in 12 lingue tipologicamente diverse (incluse lingue ad alta risorsa come inglese, cinese e spagnolo, e lingue a bassa risorsa come Swahili e bengalese).
• Formato: È un dataset di domande a scelta multipla (MCQ) dove ogni fatto è completamente parallelo nelle 12 lingue. Per ogni fatto, tre distrattori sono campionati da oggetti co-occorrenti della stessa proprietà per garantirne la plausibilità.
• Qualità: Il dataset è stato sottoposto a un rigoroso controllo di qualità utilizzando un giudice LLM basato sul web (GPT-4o) e una revisione manuale, raggiungendo un accordo del 91% tra l'LLM e gli annotatori umani.

2. Approcci di Addestramento

Lo studio confronta tre strategie di post-training su due modelli di scala 7B (OLMo-2-1124-7B e Qwen-2.5-7B):

1. Continual Pretraining (CPT): Pre-addestramento leggero su un corpus parallelo bilanciato (TED2025) per allineare le rappresentazioni prima del fine-tuning.
2. Supervised Fine-Tuning (SFT): Addestramento su POLYFACT utilizzando un obiettivo congiunto che combina la standard loss di classificazione con un termine di coerenza. Il termine di coerenza minimizza la divergenza KL tra le distribuzioni di output del modello attraverso le 12 lingue parallele, incoraggiando il modello a produrre risposte coerenti indipendentemente dalla lingua di input.
3. Reinforcement Learning guidato dalla Coerenza (GRPO): Un approccio Group Relative Policy Optimization in cui la funzione di ricompensa incentiva esplicitamente la coerenza cross-linguale.
   • Meccanismo di Ricompensa: Per un gruppo di 8 rollout (ciascuno contenente 12 generazioni parallele), la ricompensa è calcolata sulla base della correttezza (+1), penalità per allucinazioni (-0.5) e un bonus specifico (+1) se tutte le 12 lingue nel gruppo sono state risposte correttamente. Ciò costringe il modello a imparare un percorso di recupero condiviso piuttosto che la memorizzazione specifica per lingua.

3. Analisi Meccanicistica

Gli autori impiegano due strumenti di interpretabilità per analizzare come questi metodi rimodellino l'architettura interna del modello:

• LAHIS: Analizza le teste di attenzione per determinare i contributi dell'elaborazione specifica della lingua.
• LAPE: Identifica i neuroni specifici della lingua negli strati MLP misurando la frequenza di attivazione e l'entropia.

Risultati Chiave

Guadagni di Prestazione

• GRPO vs SFT: GRPO supera costantemente SFT in tutti i benchmark di valutazione (POLYFACT, KLAR e Global-MMLU).
  • Su POLYFACT, GRPO raggiunge la massima accuratezza sia nelle lingue ad alta che in quelle a bassa risorsa.
  • Su KLAR (un benchmark di generazione a testo libero), GRPO migliora le prestazioni in quasi tutte le lingue, mentre SFT spesso regredisce. Ciò indica che SFT impara principalmente a corrispondere ai candidati di risposta (pattern matching) piuttosto che migliorare il reale recupero cross-linguale.
  • Su Global-MMLU (che richiede ragionamento multi-step), i modelli GRPO generalizzano meglio rispetto ai modelli SFT o CPT-only.
• Ruolo del CPT: Un leggero CPT su dati paralleli ha fornito guadagni aggiuntivi limitati quando combinato con il post-training. In alcuni casi, il CPT seguito dal post-training ha portato a prestazioni inferiori rispetto al post-training dal modello base, suggerendo che l'allineamento da solo non garantisce un migliore accesso alla conoscenza.

Trasferimento Cross-Linguale

GRPO dimostra una superiorità nella generalizzazione a lingue non viste durante il post-training (come greco, ucraino ed ebraico).

• I guadagni sono più pronunciati per le lingue che condividono script o subword con le lingue di addestramento (ad esempio, lingue con alfabeto latino o quelle che condividono subword persiano-arabo).
• Si osservano cali di prestazione nelle lingue "isolate dallo script" (ad esempio, greco, coreano), indicando che, sebbene GRPO migliori le rappresentazioni condivise, rimane comunque vincolato dai confini di tokenizzazione.

Approfondimenti Meccanicistici

• Routing Linguistico: GRPO ristruttura fondamentalmente il calcolo multilingue. A differenza del modello base, che prende decisioni di routing linguistico immediatamente (spesso nel primo strato), GRTO ritarda la specializzazione linguistica agli strati successivi. Ciò crea uno spazio intermedio condiviso e agnostico rispetto alla lingua più ampio.
• Specializzazione dei Neuroni: GRPO aumenta la proporzione di neuroni specifici per l'inglese (di circa il 38%) riducendo al contempo la specializzazione in altre lingue (ad esempio, bengalese e swahili). Ciò suggerisce che l'obiettivo di RL "comprime" lo spazio comportamentale del modello, incoraggiando l'affidamento al backbone rappresentativo più stabile (l'inglese) come perno per le altre lingue.
• Condivisione delle Teste: Mentre SFT aumenta significativamente la sovrapposizione delle teste a coppie (specialmente tra le lingue indoeuropee), GRPO ottiene un aumento più moderato della sovrapposizione ma guida una riorganizzazione più profonda dell'elaborazione, spostandola dagli strati di routing precoci.

Significato e Rivendicazioni

Il paper sostiene che l'incoerenza fattuale cross-linguale sia meno un problema di mancanza di conoscenza e più un problema di accesso inaffidabile alla conoscenza latente esistente.

• Contributo Primario: Gli autori dimostrano che il reinforcement learning guidato dalla coerenza (GRPO) è un meccanismo più efficace del Supervised Fine-Tuning (SFT) o del leggero Continual Pretraining per migliorare il richiamo fattuale cross-linguale. GRPO ha successo promuovendo rappresentazioni interne condivise e riorganizzando il routing multilingue per garantire che i concetti fattuali siano accessi in modo coerente attraverso le lingue.
• Rilascio del Dataset: Il rilascio di POLYFACT fornisce una risorsa critica per studiare e testare la coerenza fattuale cross-linguale, affrontando la precedente mancanza di dati QA multilingue su larga scala e completamente paralleli.
• Ambito Modesto: Gli autori riconoscono che il loro metodo migliora l'accesso fattuale ma non risolve necessariamente le sfide più ampie del ragionamento multilingue (come visto nei risultati di Global-MMLU). Inoltre, l'approccio è attualmente limitato a modelli di scala 7B e potrebbe non generalizzarsi ad architetture significativamente diverse o a modelli più grandi senza ulteriori investigazioni. Il paper nota anche che i bias nella fonte sottostante Wikidata (ad esempio, nomi propri eurocentrici) possono involontariamente rinforzare certi modi di fallimento, come rispondere a domande su nomi propri in inglese invece che nella lingua target.