Sintesi Tecnica: Nepotismo Linguistico nella RAG Multilingue

Definizione del Problema

I sistemi di Generazione Aumentata da Recupero Multilingue (mRAG) sono progettati per rispondere a query ricche di conoscenza fornendo risposte supportate da citazioni in diverse lingue. Tuttavia, rimane aperta una questione critica: la miscela di lingue dei documenti nel contesto di recupero induce involontariamente il modello a un bias nella generazione e nel comportamento di citazione?

I metodi esistenti per misurare la preferenza linguistica soffrono di due limitazioni primarie:

1. Mancanza di Controllo della Correttezza: Gli studi mRAG a breve termine stimano spesso la preferenza tramite la sovrapposizione di informazioni o la similarità degli embedding, che non verificano direttamente se la fonte citata supporti effettivamente l'affermazione generata.
2. Fattori di Confondimento: Gli studi mRAG a lungo termine, che misurano la frequenza delle citazioni rispetto alla distribuzione dei documenti, sono confusi dalla variabile della rilevanza e dell'informatività delle fonti. Inoltre, le citazioni inline sono soggette ad allucinazioni, rendendo difficile distinguere tra una vera attribuzione e citazioni spurie.

Di conseguenza, non è chiaro se i modelli citino specifiche lingue a causa di una reale informatività o di un bias sistematico che può portare al "nepotismo linguistico": ovvero, scambiare la rilevanza del documento con la preferenza linguistica.

Metodologia

Per isolare la preferenza linguistica da altre variabili, gli autori propongono una metodologia controllata utilizzando gli interni del modello, illustrata nella Figura 1 del paper. L'approccio prevede quattro fasi:

1. Generazione di Dati Sintetici (Fasi 1–2):

   • Traduzione: Partendo da query in inglese e dai relativi documenti di evidenza ($D_{en}$), gli autori utilizzano la traduzione automatica (Google Translate API) per creare set di documenti paralleli in otto lingue target ($D_{fr}, D_{ar}, D_{ko}, \dots$).
   • Generazione di Riferimento: Un LLM avanzato (OpenAI o3) genera un report di riferimento supportato da citazioni per ogni query utilizzando i documenti in inglese. Questo report viene segmentato in affermazioni a livello di frase, ciascuna accoppiata con un ID di citazione specifico.

2. Filtraggio di Verifica (Fase 3):

   • Per garantire la correttezza della valutazione, gli autori applicano un filtro a due stadi alle coppie affermazione-citazione:
     • LLM-as-Judge: Diversi modelli giudici (OpenAI o4 mini, QWEN-3 32B, Gemini 2.5 Pro) classificano la rilevanza dei documenti rispetto a ogni affermazione. Vengono mantenute solo le affermazioni in cui la maggioranza dei giudici concorda sul documento citato.
     • NLI Entailment: Un classificatore di Inferenza del Linguaggio Naturale (NLI) verifica che il documento citato implichi logicamente l'affermazione.
   • Questo processo produce un pool verificato di 792 affermazioni in cui la correttezza della citazione è garantita.

3. Misurazione tramite Next Token Prediction (Fase 4):

   • La metrica centrale è l'accuratezza della predizione del token dell'ID di citazione corretto come prossimo token.
   • Contesti Contrastivi: Per ogni affermazione verificata, il modello viene istruito con l'affermazione e un contesto in cui solo il documento specifico da citare ($d_{ci}$) è presentato in una lingua target $\ell$, mentre tutti gli altri documenti di evidenza rimangono in inglese.
   • Metrica: L'accuratezza della citazione ($Acc(\ell)$) è calcolata come la frequenza con cui il modello predice correttamente l'ID di citazione quando la fonte è in una lingua $\ell$.
   • Gap di Preferenza: La preferenza linguistica è quantificata come $\Delta(\ell_{target}) = Acc(\ell_{target}) - Acc(en)$. Un valore negativo indica una preferenza per l'inglese rispetto alla lingua target.

Configurazione Sperimentale

• Dataset: Il dataset principale è l'ELI5 (Explain Like I'm Five), un dataset di QA a lungo termine (270 query dal test set di WebGPT). Per gli esperimenti su rilevanza vs. lingua, viene utilizzato il dataset MIRACL per introdurre distrattori irrilevanti.
• Lingue: Otto lingue target che rappresentano diversi livelli di risorse: arabo, bengalese, francese, coreano, russo, spagnolo, swahili e cinese.
• Modelli: Sei LLM open-weight di varie dimensioni e architetture: LLAMA-3.1 8B, LLAMA-3.3 70B, QWEN-3 8B/14B, GEMMA-3 27B e AYA23 8B.

Risultati Chiave

1. Forte Preferenza per l'Inglese

In tutti i sei modelli e otto lingue, i modelli mostrano una pronunciata tendenza a citare documenti in inglese quando la query è in inglese.

• Magnitudo: L'accuratezza della citazione scende significativamente quando il documento citato è in una lingua non inglese rispetto all'inglese.
• Correlazione con le Risorse: Il bias è amplificato per le lingue a basse risorse. Ad esempio, lo swahili e il bengalese mostrano i cali di accuratezza più grandi (fino a -37,6% in AYA23 8B), mentre le lingue ad alte risorse come il francese e lo spagnolo mostrano diminuzioni minori.
• Bias di Posizione: Il fenomeno "lost in the middle" esacerba questo bias. L'accuratezza della citazione è minima quando il documento appare nel mezzo del contesto, e il divario tra l'accuratezza in inglese e quella nella lingua target è massimo in questa posizione.

2. Preferenza per la Lingua della Query

Quando la query stessa viene tradotta in una lingua target, i modelli spostano la loro preferenza verso la citazione di documenti nella lingua della query, anche se tale lingua non è l'inglese.

• I modelli performano meglio quando il documento citato corrisponde alla lingua della query, anche se altri documenti di contesto sono in inglese.
• Ciò suggerisce una "preferenza per la lingua della query" in cui il modello favorisce l'allineamento linguistico tra la query e l'evidenza, riflettendo la "preferenza per la propria lingua" umana nella citazione scientifica.

3. La Lingua Prevale sulla Rilevanza

Negli esperimenti che introducono distrattori irrilevanti, gli autori scoprono che i modelli spesso scambiano la rilevanza del documento con la preferenza linguistica.

• Inglese Irrilevante vs. Non-Inglese Rilevante: Quando un documento rilevante è in una lingua target e un documento irrilevante è in inglese, l'accuratezza della citazione scende significativamente sotto la baseline. Il modello è tratto in inganno dalla fonte irrilevante in inglese.
• Inglese Rilevante vs. Non-Inglese Irrilevante: Al contrario, quando il documento rilevante è in inglese e il distruttore è in una lingua target, l'accuratezza sale sopra la baseline. Il modello scarta più facilmente i distrattori irrilevanti in lingua non inglese.
• Ciò indica che nel mRAG a lungo termine, la preferenza linguistica può essere un driver più forte del comportamento di citazione rispetto alla rilevanza fattuale.

4. Analisi degli Interni del Modello

Utilizzando la visualizzazione Logit Lens su LLAMA-3.1 8B, gli autori osservano che:

• I modelli non favoriscono inizialmente l'inglese per poi correggersi in seguito.
• Invece, esiste una specifica regione di transizione (layer 18–22) in cui le predizioni di citazione si cristallizzano. Una volta che il modello si impegna in una citazione (corretta o errata), preserva ampiamente questa scelta nei layer successivi.
• Il divario tra predizioni corrette e errate si restringe per le lingue a basse risorse, confermando un più forte bias inglese in questi casi.

Significato e Rivendicazioni

Il paper sostiene di fornire la prima misurazione controllata della preferenza linguistica nella RAG a lungo termine utilizzando gli interni del modello per mantenere costante la rilevanza. La significatività di queste scoperte risiede in:

1. Rivelazione di un Bias Sistematico: Lo studio dimostra che le scelte di citazione non sono guidate unicamente dall'informatività. I modelli esibiscono un "nepotismo linguistico", favorendo sistematicamente l'inglese (o la lingua della query) anche a scapito della rilevanza.
2. Impatto su Fiducia ed Equità: Questi bias rischiano di marginalizzare le fonti non inglesi, rinforzando le gerarchie linguistiche esistenti e riducendo la fiducia negli strumenti assistiti dall'IA per gli utenti multilingue, specialmente in domini critici come la sanità e il giornalismo.
3. Contributo Metodologico: Il framework proposto offre un modo robusto per valutare il comportamento di citazione isolando gli effetti linguistici dalla rilevanza del contenuto, affrontando le limitazioni dei lavori precedenti che si basavano su conteggi di frequenza grossolani o metriche di sovrapposizione non verificate.

Gli autori concludono che costruire sistemi mRAG più robusti e inclusivi richiede il riconoscimento del fatto che la lingua stessa esercita un'influenza più forte della rilevanza del documento nei modelli attuali, rendendo necessarie pratiche di valutazione trasparenti e consapevoli della lingua.