💬 NLP

Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation

Questo articolo introduce e valuta cinque metodi verbalizzati per estrarre la confidenza per ogni token dai grandi modelli linguistici nella traduzione automatica, riscontrando che essi performano in modo comparabile ai segnali interni nel rilevamento degli errori e nella calibrazione, nonostante mostrino una scarsa correlazione con essi.

Autori originali: Ali Marashian, Alexis Palmer, Katharina von der Wense

Pubblicato 2026-06-17

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ali Marashian, Alexis Palmer, Katharina von der Wense

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un robot traduttore molto intelligente e multilingue. Gli chiedi di tradurre una frase e lui lo fa istantaneamente. Ma come fai a sapere se l'ha fatta bene? Il robot sa se ha commesso un errore?

Questo articolo investiga una domanda specifica: Possiamo chiedere al robot: "Quanto sei sicuro di questa specifica parola?" e fidarci della sua risposta?

I ricercatori hanno confrontato due modi per ottenere il "livello di confidenza" del robot:

Il modo "Interno": Guardare la matematica segreta del robot (le sue probabilità interne). È come sbirciare nel cervello del robot per vedere quante opzioni stava considerando prima di scegliere una parola.
Il modo "Verbalizzato": Chiedere semplicemente al robot: "Su una scala da 0 a 1, quanto sei sicuro di questa parola?" e fargli scrivere la risposta.

Ecco una ripartizione dei loro risultati usando analogie semplici:

1. Il problema del "sbirciare nel cervello"

Di solito, quando vogliamo sapere se una traduzione è buona, guardiamo la matematica interna del robot. Se il robot era sicuro al 99% di aver scelto la parola giusta, assumiamo che sia corretta.

Tuttavia, l'articolo evidenzia un difetto di questo metodo chiamato "Competizione della Forma Superficiale" (Surface Form Competition).

L'analogia: Immagina di dover tradurre "The cat sat on the mat". Potresti anche dire "The feline sat on the rug". Entrambe sono traduzioni perfette.
Il problema: Se il robot è indeciso tra "cat" e "feline", la sua matematica interna potrebbe mostrare che è sicuro solo al 50% riguardo a "cat" perché sta pensando anche a "feline". Ma "cat" è in realtà una traduzione corretta!
Il risultato: La matematica interna del robot dice: "Non sono sicuro", ma l'output è in realtà perfetto. Il segnale interno è fuorviante perché misura la confusione tra le opzioni, non la correttezza.

2. La nuova idea: Chiediglielo e basta

Poiché il robot sa parlare, i ricercatori hanno provato un approccio diverso: la Confidenza Verbalizzata. Invece di sbirciare la matematica, hanno sollecitato il robot a dire: "Sono sicuro al 90% che questa parola sia giusta".

Hanno testato cinque modi per chiederlo:

La Lista: "Dimmi quali parti della frase sono sbagliate."
Numeri delle Parole: "Dai a ogni parola un punteggio da 0 a 1."
Parole delle Parole: "Dai a ogni parola un'etichetta come 'Molto Certo' o 'Non Sicuro'."
Numeri/Parole dei Token: Fare la stessa cosa ma per piccoli pezzi di parole (token) invece che per intere parole.

3. La grande sorpresa: Non sono d'accordo

I ricercatori si aspettavano che se la matematica interna del robot diceva "Non sono sicuro" e chiedevano al robot "Sei insicuro?", il robot avrebbe risposto "Sì".

Si sbagliavano.

L'analogia: È come un meteorologo che guarda i suoi complessi dati radar (Interno) e dice: "C'è il 50% di possibilità di pioggia", ma quando gli chiedi direttamente: "Pensi che pioverà?", lui dice: "Sono sicuro al 90% che non pioverà".
Il risultato: C'era quasi nessuna correlazione tra la matematica interna del robot e ciò che diceva ad alta voce. Erano essenzialmente due strategie diverse che non si comunicavano affatto.

4. Chiedere ha aiutato?

Quindi, se non sono d'accordo, quale dei due metodi è migliore nel individuare veri errori di traduzione?

I Risultati: Sorprendentemente, chiedere al robot (Verbalizzato) funzionava altrettanto bene e a volte meglio che sbirciare nella matematica (Interno).
Il limite: Dipende da quale robot usi.
- Per un modello (Llama3), chiedere al robot di dare un punteggio "Likert" (ad esempio, "Molto Certo") funzionava meglio.
- Per un altro modello (Aya23), guardare la matematica interna (Entropia) funzionava meglio.
La verifica della realtà: Nemmeno il metodo migliore era perfetto. I robot erano comunque solo moderatamente bravi a individuare i propri errori. È come uno studente che sostiene un esame ed è abbastanza bravo a sapere quali risposte sono sbagliate, ma commette comunque alcuni errori di cui non si rende conto.

5. Perché questo è importante (secondo l'articolo)

L'articolo conclude che non abbiamo bisogno di essere "hacker" che guardano dentro il codice del robot per ottenere un punteggio di confidenza. Possiamo semplicemente chiederglielo.

Accessibilità: Non hai bisogno di accedere al "cervello" interno del robot (che è spesso nascosto nei modelli open-source). Ti basta poter chattare con lui.
Granularità: I ricercatori hanno scoperto che anche quando chiedevano un numero preciso (come 0,83), i robot tendevano ad arrotondare le loro risposte a passaggi semplici (come 0,8 o 0,9), comportandosi più come se stessero usando una semplice lista di controllo piuttosto che una calcolatrice ad alta precisione.

Riassunto

L'articolo è un test per capire se possiamo fidarci delle parole stesse di un Large Language Model riguardo alla propria confidenza.

Vecchio modo: Guardare la matematica (Interno).
Nuovo modo: Chiedere al modello (Verbalizzato).
Verdetto: Sono cose totalmente diverse, ma chiedere al modello funziona altrettanto bene che guardare la matematica per trovare errori di traduzione. È un modo più semplice e accessibile per controllare se una traduzione è probabilmente errata, senza dover vedere il codice segreto del modello.

Riepilogo Tecnico: Parlare in Lingue di Autovalutazione

Definizione del Problema

La rapida adozione dei Large Language Models (LLM) per la Traduzione Automatica (MT) ha evidenziato un problema critico di affidabilità: gli LLM sono scarsamente auto-calibrati per i compiti di traduzione. A differenza dei compiti di classificazione dove esiste un'unica risposta corretta, la traduzione comporta una "competizione di forme superficiali", dove molteplici realizzazioni sintattiche o semantiche valide competono tra loro. Di conseguenza, i segnali interni come le probabilità dei token o l'entropia spesso riflettono l'incertezza tra alternative valide concorrenti piuttosto che la correttezza dell'output selezionato. Inoltre, l'affidamento ai segnali interni richiede l'accesso agli interni del modello, il che è spesso non disponibile per i modelli a codice chiuso. Esiste la necessità di metodi non supervisionati e robusti per stimare la confidenza per ogni token che non soffrano di tali limitazioni.

Metodologia

Gli autori propongono e valutano cinque metodi verbalizzati per estrarre la confidenza per singolo token direttamente dal testo generato dal modello, evitando la necessità di accesso agli interni. Questi metodi sono confrontati con due misure di incertezza interna standard: la probabilità del token e l'entropia.

Configurazione Sperimentale

Dataset: Lo studio utilizza i dati di WMT2024 General Machine Translation (Inglese verso Cinese, Ceco, Hindi, Giapponese e Russo) accoppiati con le Error Span Annotations (ESA) di Kocmi et al. (2024a) come verità di base (ground truth).
Modelli: Sono stati selezionati due LLM open-source: Aya23 e Llama3-70B.
Approcci Verbalizzati:
1. List (Elenco): Il modello restituisce un elenco di segmenti (span) di cui non è sicuro.
2. Word_Numeric (Parola_Numerica): Il modello assegna un punteggio di confidenza numerico $[0, 1]$ a ogni parola tramite prompt separati.
3. Word_Likert (Parola_Likert): Il modello assegna etichette qualitative (ad esempio, "molto certo" a "molto incerto") convertite in valori numerici.
4. Token_Numeric (Token_Numerico): Simile a Word_Numeric ma applicato a livello di token.
5. Token_Likert (Token_Likert): Simile a Word_Likert ma applicato a livello di token.
Metriche di Valutazione:
- Rilevamento Binario degli Errori: Misurato tramite F1 score (specificamente per la classe errata), AUROC e AUPRC.
- Calibrazione: Misurata tramite l'Expected Calibration Error (ECE) e diagrammi di affidabilità.
- Allineamento: La correlazione di rango di Spearman è stata utilizzata per misurare la relazione tra la confidenza verbalizzata e i segnali interni.

Risultati Chiave

1. Prestazioni nel Rilevamento degli Errori

Prestazioni Complessive: Tutti i metodi hanno prodotto bassi punteggi F1 (compresi tra 0,02 e 0,23), indicando la difficoltà intrinseca del compito, sebbene tutti abbiano performato meglio dei baseline casuali.
Dipendenza dal Modello: Nessun metodo singolo ha superato costantemente gli altri in tutte le impostazioni. Le prestazioni variano significativamente per coppia linguistica e modello.
- Per Aya23, le misure interne (Entropia) e Word_Numeric hanno ottenuto le migliori prestazioni in media.
- Per Llama3-70B, Word_Likert ha ottenuto le migliori prestazioni in 4 delle 5 coppie linguistiche.
Confronto: I metodi verbalizzati sono stati generalmente comparabili o superiori ai metodi interni per Llama3-70B, ma i risultati sono stati misti per Aya23. In particolare, nella traduzione da inglese a giapponese con Llama3-70B, i metodi verbalizzati hanno superato i metodi interni di 0,09 F1.

2. Calibrazione

Superiorità Interna: Per la calibrazione (ECE), l'entropia normalizzata ha costantemente fornito i risultati migliori per entrambi i modelli.
Prestazioni Verbalizzate: I metodi verbalizzati si sono comportati in modo simile alla probabilità del modello, ma sono rimasti indietro rispetto all'entropia del modello.
Likert vs. Numeric: I metodi basati su Likert hanno costantemente superato i rispettivi analoghi numerici nella calibrazione. Gli autori attribuiscono la scarsa calibrazione dei metodi numerici a problemi noti per cui gli LLM faticano con i contesti numerici.

3. Allineamento tra i Metodi

Bassa Correlazione: Una scoperta primaria è la mancanza di una correlazione significativa tra la confidenza verbalizzata e le misure di incertezza interna (probabilità ed entropia). Ciò suggerisce che le due strategie (calcolo interno vs. autovalutazione verbale) operano su principi diversi o catturano aspetti differenti dello stato del modello.
Granularità: Nonostante la capacità di restituire valori arbitrari, i metodi numerici hanno mostrato una granularità limitata, con output spesso limitati a multipli di 0,1 o 0,2, comportandosi efficacemente in modo simile alle scale Likert.

4. Granularità e Sintassi

Token vs. Parola: I metodi a livello di token hanno mostrato comportamenti diversi rispetto ai metodi a livello di parola, particolarmente riguardo ai trade-off tra richiamo (recall) e precisione.
Categorie Sintattiche: I metodi verbalizzati hanno mostrato un richiamo più elevato per le parole di classe aperta (nomi, verbi) rispetto alle parole di classe chiusa per Llama3-70B, un pattern non osservato nei metodi interni.

Significato e Rivendicazioni

Il paper sostiene che la confidenza verbalizzata sia un'alternativa valida e accessibile ai segnali di incertezza interna per il rilevamento degli errori nella MT, specialmente per gli utenti senza accesso agli interni del modello.

Accessibilità: I metodi verbalizzati forniscono una soluzione "black-box" per la stima della confidenza, richiedendo solo il testo in uscita dal modello.
Complementarità: La scoperta di una correlazione nulla o minima tra i metodi verbalizzati e quelli interni implica che non siano ridondanti; possono catturare segnali distinti del comportamento del modello.
Limitazioni: Gli autori notano con modestia che le prestazioni assolute di tutti i metodi rimangono relativamente basse, in parte a causa dell'alta qualità delle traduzioni nelle lingue ad alte risorse e della difficoltà del compito. Sottolineano che questi metodi non supervisionati non sono sostituti della annotazione umana ma servono come meccanismo supplementare di controllo della qualità.
Direzioni Future: Gli autori suggeriscono che i lavori futuri dovrebbero investigare i fattori che guidano l'allineamento (o la mancanza di esso) tra i segnali interni e quelli verbalizzati ed esplorare la generalizzabilità di queste scoperte agli scenari di lingue a basse risorse, dove l'annotazione umana è scarsa.