Shared Doubt: Zero-shot Cross-Lingual Confidence Estimation for Language Models

Sintesi Tecnica: Shared Doubt: Zero-shot Cross-Lingual Confidence Estimation for Language Models

Definizione del Problema
La stima della confidenza (Confidence Estimation - CE) nei Large Language Models (LLM) mira a quantificare l'affidabilità della previsione di un modello, una capacità critica per mitigare le allucinazioni e mantenere la fiducia dell'utente. Sebbene la CE abbia attirato una significativa attenzione, la stragrande maggioranza della ricerca esistente si concentra esclusivamente sull'inglese. Questa svista è problematica perché gli LLM spesso mostrano una ridotta affidabilità in lingue con meno risorse di addestramento, rendendo la stima accurata della confidenza ancora più vitale in tali contesti. Inoltre, molti metodi di CE esistenti degradano nelle prestazioni o richiedono un nuovo addestramento quando applicati a lingue non viste, fallendo nel rispondere alla realtà multilingue del deployment degli LLM. La domanda centrale di ricerca è se gli LLelli multilingue codifichino caratteristiche di confidenza condivise e trasferibili tra le lingue che possano essere sfruttate senza supervisione nella lingua target.

Metodologia
Gli autori propongono una sonda lineare leggera (lightweight linear probe) progettata per predire la correttezza della risposta direttamente dalle rappresentazioni nascoste intermedie di un LLM. La metodologia si basa sull'ipotesi che gli LLM multilingue possiedano uno spazio subdimensionale (subspace) condiviso e indipendente dalla lingua dove i segnali di confidenza sono codificati.

• Rappresentazioni: Lo studio utilizza modelli LLM basati su transformer decoder-only. Estrae gli stati nascosti da due step temporali specifici: l'ultimo token del prompt di input (che funge da proxy per l'intero input) e l'ultimo token della risposta generata (che rappresenta lo stato finale).
• Architettura della Sonda: La sonda apprende una media ponderata delle rappresentazioni nascoste dei livelli (layer). Introduce un vettore di parametri apprendibili $w$ per calcolare i pesi dei livelli $\alpha_\ell$ tramite una funzione softmax, creando una rappresentazione aggregata $\bar{h}_t$. Questa rappresentazione aggregata viene poi passata attraverso uno strato lineare con attivazione sigmoidale per produrre un punteggio di confidenza.
• Configurazione di Addestramento e Valutazione: La sonda viene addestrata monolingualmente su una lingua sorgente (il francese negli esperimenti primari, con l'inglese come sorgente secondaria) utilizzando i dataset MKQA (QA a risposta aperta) e Global-MMLU (convertito in open-ended). Viene poi valutata in un contesto zero-shot su lingue target tipologicamente diverse (inglese, spagnolo, polacco, russo, giapponese) senza alcuna supervisione nella lingua target.
• Baseline: L'approccio viene confrontato con le baseline della classe maggioritaria e della probabilità a priori, nonché con altri metodi di CE, tra cui la verosimiglianza della sequenza normalizzata per lunghezza, P(True), la confidenza verbalizzata e la mass-mean probe.

Risultati Chiave

• Trasferimento Zero-Shot: La sonda, addestrata esclusivamente sul francese, si generalizza con successo a lingue non viste attraverso diverse famiglie linguistiche e sistemi di scrittura. Sebbene le metriche di discriminazione (AUROC, AUPR) degradino all'aumentare della distanza tipologica dalla lingua sorgente, le metriche di calibrazione (Brier score, ECE) rimangono spesso stabili o addirittura superano le sonde oracle addestrate sulla lingua target in casi specifici.
• Importanza dei Livelli: L'analisi dei pesi dei livelli appresi e gli studi di ablazione rivelano che le caratteristiche di confidenza sono concentrate nei livelli medio-superiori della rete. Ciò si allinea alle scoperte precedenti secondo cui questi livelli mappano gli input in uno spazio rappresentativo condiviso. Rimuovere questi livelli intermedi impatta significativamente le prestazioni, in particolare per la calibrazione zero-shot.
• Tempistica dei Token: Lo studio trova una distinzione tra l'utilità dell'ultimo token di query e dell'ultimo token di risposta. L'ultimo token di query produce una migliore calibrazione tra le lingue, mentre l'ultimo token di risposta fornisce una discriminazione superiore tra risposte corrette e errate.
• Confronto: La sonda cross-linguale supera diverse popolari baseline di CE (come P(True) e la confidenza verbalizzata) in contesti zero-shot, particolarmente nella discriminazione, sebbene talvolta resti indietro rispetto alla mass-mean probe nella calibrazione per lingue altamente dissimili.

Significatività e Contributi
L'articolo sostiene di essere il primo a dimostrare il trasferimento cross-linguale zero-shot della stima della confidenza attraverso il probing delle rappresentazioni intermedie degli LLM. I suoi principali contributi sono:

1. Dimostrazione dello Spazio Condiviso: Fornisce una prova empirica che i segnali di confidenza appresi in una lingua ad alte risorse possono trasferirsi a lingue a basse risorse o tipologicamente distanti senza ri-addestramento, suggerendo l'esistenza di un sottospazio di confidenza condiviso negli LLM multilingue.
2. Localizzazione dei Livelli: Identifica che le informazioni più salienti per la predizione della confidenza zero-shot sono localizzate nei livelli medio-superiori, rafforzando la teoria secondo cui questi livelli contengono rappresentazioni indipendenti dalla lingua.
3. Baseline Pratica: Il metodo proposto offre una solida baseline senza necessità di ri-addestramento per la stima della confidenza multilingue, il che è particolarmente prezioso per le lingue sottorappresentate dove i dati etichettati sono scarsi.

Gli autori mantengono un tono modesto, riconoscendo che le prestazioni degradano con l'aumentare della distanza tipologica e che l'approccio attuale si concentra su QA a risposta breve. Suggeriscono che il lavoro futuro potrebbe comportare l'addestramento su più lingue sorgenti, l'identificazione più precisa delle rappresentazioni latenti critiche e l'applicazione di tecniche di calibrazione post-hoc per migliorare ulteriormente la robustezza.