💬 NLP

Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation

Dit artikel introduceert en evalueert vijf verbaal geuite methoden voor het extraheren van per-token betrouwbaarheid uit grote taalmodellen bij machinevertaling, waarbij wordt vastgesteld dat zij vergelijkbaar presteren met interne signalen bij foutdetectie en kalibratie, ondanks dat zij een lage correlatie met deze vertonen.

Oorspronkelijke auteurs: Ali Marashian, Alexis Palmer, Katharina von der Wense

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ali Marashian, Alexis Palmer, Katharina von der Wense

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, meertalige robotvertaler hebt. Je vraat de robot om een zin te vertalen, en het gebeurt direct. Maar hoe weet je of het goed is gegaan? Weet de robot zelf of hij een fout heeft gemaakt?

Dit artikel onderzoekt een specifieke vraag: Kunnen we de robot vragen: "Hoe zeker ben je van dit specifieke woord?" en kunnen we die antwoorden vertrouwen?

De onderzoekers vergeleken twee manieren om het "vertrouwensniveau" van de robot te achterhalen:

De "Interne" Manier: Het kijken naar de geheime wiskunde van de robot (de interne waarschijnlijkheden). Dit is alsof je in het brein van de robot kijkt om te zien hoeveel opties hij overwoog voordat hij een woord koos.
De "Verbaal Geuite" Manier: De robot simpelweg vragen: "Op een schaal van 0 tot 1, hoe zeker ben je van dit woord?" en hem het antwoord laten uittypen.

Hier is een overzicht van hun bevindingen met behulp van eenvoudige analogieën:

1. Het probleem met "in het brein kijken"

Normaal gesproken, wanneer we willen weten of een vertaling goed is, kijken we naar de interne wiskunde van de robot. Als de robot voor 99% zeker was van de gekozen woorden, gaan we ervan uit dat het correct is.

Het artikel wijst echter op een gebrek in deze methode genaamd "Surface Form Competition" (Concurrentie tussen oppervlaktevormen).

De Analogie: Stel je voor dat je "The cat sat on the mat" vertaalt. Je zou ook "The feline sat on the rug" kunnen zeggen. Beiden zijn perfecte vertalingen.
Het Probleem: Als de robot verdeeld is tussen "cat" en "feline", kan zijn interne wiskunde aangeven dat hij slechts 50% zeker is van "cat", omdat hij ook aan "feline" denkt. Maar "cat" is een correcte vertaling!
Het Resultaat: De interne wiskunde van de robot zegt: "Ik ben onzeker," maar de output is eigenlijk perfect. Het interne signaal is misleidend omdat het verwarring tussen opties meet, niet juistheid.

2. Het Nieuwe Idee: Vraag het gewoon

Omdat de robot kan praten, probeerden de onderzoekers een andere aanpak: Verbaal Geuite Zekerheid. In plaats van in de wiskunde te kijken, promptten ze de robot om te zeggen: "Ik ben 90% zeker dat dit woord juist is."

Ze testten vijf verschillende manieren om te vragen:

De Lijst: "Vertel me welke delen van de zin fout zijn."
Woordnummers: "Geef elk woord een score van 0 tot 1."
Woordwoorden: "Geef elk woord een label zoals 'Zeer Zeker' of 'Niet Zeker'."
Token Nummers/Woorden: Hetzelfde doen als hierboven, maar dan voor kleine stukjes woorden (tokens) in plaats van hele woorden.

3. De Grote Verrassing: Ze zijn het niet eens

De onderzoekers verwachtten dat als de interne wiskunde van de robot zei "Ik ben onzeker", en zij de robot vroegen "Ben je onzeker?", de robot "Ja" zou zeggen.

Ze hadden het mis.

De Analogie: Het is als een weervoorspeller die naar complexe radarbeelden kijkt (Intern) en zegt: "Er is een kans van 50% op regen," maar wanneer je de voorspeller direct vraagt: "Denk je dat het gaat regenen?", zegt hij: "Ik weet 90% zeker dat het niet gaat regenen."
De Bevinding: Er was bijna geen correlatie tussen de interne wiskunde van de robot en wat hij hardop zei. Het waren essentieel twee verschillende strategieën die niet echt met elkaar communiceerden.

4. Hielp het vragen?

Dus, als ze het niet met elkaar eens zijn, welke methode is dan beter in het opsporen van werkelijke vertaalfouten?

De Resultaten: Verrassend genoeg werkte vragen aan de robot (Verbaal Geuit) net zo goed als, en soms zelfs beter dan, het kijken naar de wiskunde (Intern).
De Kanttekening: Het hangt af van welke robot je gebruikt.
- Voor het ene model (Llama3) werkte het het beste om de robot een "Likert"-score te laten geven (bijv. "Zeer Zeker").
- Voor een ander model (Aya23) werkte het kijken naar de interne wiskunde (Entropy) het beste.
De Realiteitscheck: Zelfs de beste methode was niet perfect. De robots waren nog steeds slechts matig goed in het opsporen van hun eigen fouten. Het is als een student die een toets maakt die redelijk goed is in weten welke antwoorden fout zijn, maar nog steeds enkele fouten maakt die hij zelf niet doorheeft.

5. Waarom dit ertoe doet (volgens het artikel)

Het artikel concludeert dat we geen "hackers" hoeven te zijn die in de code van de robot kijken om een betrouwbaarheidsscore te krijgen. We kunnen het gewoon vragen.

Toegankelijkheid: Je hebt geen toegang nodig tot de interne "hersenen" van de robot (die vaak verborgen zijn bij closed-source modellen). Je hoeft alleen maar met hem te kunnen chatten.
Granulariteit: De onderzoekers ontdekten dat zelfs wanneer ze om een precies getal vroegen (zoals 0,83), de robots de neiging hadden hun antwoorden af te ronden naar eenvoudige stappen (zoals 0,8 of 0,9), waardoor ze meer werkten als een eenvoudige checklist dan als een precisie-rekenmachine.

Samenvatting

Het artikel is een test van de vraag of we de eigen woorden van een Large Language Model over zijn zelfvertrouwen kunnen vertrouwen.

Oude Manier: Kijk naar de wiskunde (Intern).
Nieuwe Manier: Vraag het aan het model (Verbaal Geuit).
Oordeel: Ze zijn totaal verschillende dingen, maar het vragen aan het model werkt net zo goed als het kijken naar de wiskunde voor het vinden van vertaalfouten. Het is een eenvoudigere, meer toegankelijke manier om te controleren of een vertaling waarschijnlijk slecht is, zonder de geheime code van het model te hoeven zien.

Technische Samenvatting: Spreken in Zelf-beoordelende Talen

Probleemstelling

De snelle adoptie van Large Language Models (LLM's) voor Machinevertaling (MT) heeft een kritiek betrouwbaarheidsprobleem blootgelegd: LLM's zijn slecht zelf-gekalibreerd voor vertaaltaken. In tegen tegenstelling tot classificatietaken waar één enkel correct antwoord bestaat, omvat vertaling "oppervlaktevorm-competitie", waarbij meerdere geldige syntactische of semantische realisaties met elkaar concurreren. Bijgevolg reflecteren interne signalen zoals token-waarschijnlijkheden of entropie vaak onzekerheid tussen concurrerende geldige alternatieven in plaats van de juistheid van de geselecteerde output. Bovendien vereist het vertrouwen op interne signalen toegang tot de interne werking van het model, wat voor closed-source modellen vaak niet beschikbaar is. Er is behoefte aan robuuste, ongesuperviseerde methoden om per-token betrouwbaarheid te schatten die niet onderhevig zijn aan deze beperkingen.

Methodologie

De auteurs stellen vijf verbaal uitgedrukte methoden voor en evalueren deze voor het extraheren van per-token betrouwbaarheid direct uit de gegenereerde tekst van het model, waardoor toegang tot de interne werking wordt vermeden. Deze methoden worden vergeleken met twee standaard interne onzekerheidsmaten: token-niveau waarschijnlijkheid en entropie.

Experimentele Opzet

Datasets: De studie maakt gebruik van WMT2024 General Machine Translation-data (Engels naar Chinees, Tsjechisch, Hindi, Japans en Russisch) gekoppeld aan Error Span Annotations (ESA) van Kocmi et al. (2024a) als grondwaarheid.
Modellen: Twee open-source LLM's werden geselecteerd: Aya23 en Llama3-70B.
Verbaal uitgedrukte benaderingen:
1. List: Het model geeft een lijst terug van segmenten (spans) waarover het niet zeker is.
2. Word_Numeric: Het model wijst een numerieke betrouwbaarheidsscore $[0, 1]$ toe aan elk woord via afzonderlijke prompts.
3. Word_Likert: Het model wijst kwalitatieve labels toe (bijv. "zeer zeker" tot "zeer onzeker") die worden omgezet naar numerieke waarden.
4. Token_Numeric: Vergelijkbaar met Word_Numeric, maar toegepast op token-niveau.
5. Token_Likert: Vergelijkbaar met Word_Likert, maar toegepast op token-niveau.
Evaluatiemetrieken:
- Binaire foutdetectie: Gemeten via F1-score (specifiek voor de onjuiste klasse), AUROC en AUPRC.
- Kalibratie: Gemeten via Expected Calibration Error (ECE) en betrouwbaarheidsdiagrammen.
- Alignement: Spearman's rangcorrelatie werd gebruikt om de relatie tussen de verbaal uitgedrukte betrouwbaarheid en interne signalen te meten.

Belangrijkste Resultaten

1. Prestaties bij Foutdetectie

Algemene Prestaties: Alle methoden leverden lage F1-scores op (variërend van 0,02 tot 0,23), wat duidt op de inherente moeilijkheid van de taak, hoewel alle methoden beter presteerden dan willekeurige baselines.
Modelafhankelijkheid: Geen enkele methode presteerde consistent beter dan andere in alle instellingen. De prestaties varieerden aanzienlijk per taalpaar en model.
- Voor Aya23 presteerden interne maten (Entropie) en Word_Numeric gemiddeld het best.
- Voor Llama3-70B behaalde Word_Likert de beste prestaties in 4 van de 5 taalparen.
Vergelijking: Verbaal uitgedrukte methoden presteerden over het algemeen vergelijkbaar met of beter dan interne methoden voor Llama3-70B, maar de resultaten waren gemengd voor Aya23. Opvallend genoeg presteerden verbaal uitgedrukte methoden bij Engels-naar-Japans vertaling met Llama3-70B 0,09 F1 beter dan de interne methoden.

2. Kalibratie

Superieure status van Interne Maten: Voor kalibratie (ECE) leverde genormaliseerde Entropie consequent de beste resultaten voor beide modellen.
Prestaties van Verbaal Uitgedrukte Methoden: Verbaal uitgedrukte methoden presteerden vergelijkbaar met model-waarschijnlijkheid, maar bleven achter bij model-entropie.
Likert vs. Numeric: Likert-gebaseerde methoden presteerden consequent beter dan hun numerieke tegenhangers wat betreft kalibratie. De auteurs schrijven de slechte kalibratie van numerieke methoden toe aan bekende problemen waarbij LLM's moeite hebben met numerieke contexten.

3. Alignement tussen Methoden

Lage Correlatie: Een belangrijke bevinding is het gebrek aan significante correlatie tussen verbaal uitgedrukte betrouwbaarheid en interne onzekerheidsmaten (waarschijnlijkheid en entropie). Dit suggereert dat de twee strategieën (interne berekening versus verbale zelfbeoordeling) op verschillende principes werken of verschillende aspecten van de staat van het model vastleggen.
Granulariteit: Ondanks de mogelijkheid om willekeurige waarden terug te geven, vertoonden numerieke methoden een beperkte granulariteit, waarbij de outputs vaak beperkt waren tot veelvouden van 0,1 of 0,2, waardoor ze effectief functioneerden als Likert-schalen.

4. Granulariteit en Syntaxis

Token vs. Woord: Token-niveau methoden vertoonden ander gedrag vergeleken met woord-niveau methoden, met name met betrekking tot de trade-offs tussen recall en precisie.
Syntactische Categorieën: Verbaal uitgedrukte methoden vertoonden een hogere recall voor open-klasse woorden (zelfstandige naamwoorden, werkwoorden) vergeleken met gesloten-klasse woorden voor Llama3-70B, een patroon dat niet werd waargenomen bij interne methoden.

Betekenis en Claims

Het paper claimt dat verbaal uitgedrukte betrouwbaarheid een levensvatbaar, toegankelijk alternatief is voor interne onzekerheidssignalen voor MT-foutdetectie, met name voor gebruikers zonder toegang tot de interne werking van het model.

Toegankelijkheid: Verbaal uitgedrukte methoden bieden een "black-box" oplossing voor betrouwbaarheidsschatting, waarbij alleen de outputtekst van het model nodig is.
Complementariteit: De bevinding van weinig tot geen correlatie tussen verbaal uitgedrukte en interne methoden impliceert dat zij niet redundant zijn; ze kunnen verschillende signalen van modelgedrag vastleggen.
Beperkingen: De auteurs merken bescheiden op dat de absolute prestaties van alle methoden relatief laag blijven, deels door de hoge kwaliteit van vertalingen in talen met veel bronmateriaal en de moeilijkheid van de taak. Ze benadrukken dat deze ongesuperviseerde methoden geen vervanging zijn voor menselijke annotatie, maar dienen als een aanvullend kwaliteitscontrolemechanisme.
Toekomstige Richtingen: De auteurs suggereren dat toekomstig werk de factoren moet onderzoeken die de alignement (of het gebrek daaraan) tussen interne en verbaal uitgedrukte signalen drijven, en de generaliseerbaarheid van deze bevindingen naar scenario's met weinig bronmateriaal (low-resource) moet onderzoeken waar menselijke annotatie schaars is.