Shared Doubt: Zero-shot Cross-Lingual Confidence Estimation for Language Models

Technische Samenvatting: Shared Doubt: Zero-shot Cross-Lingual Confidence Estimation for Language Models

Probleemstelling
Confidence estimation (CE) in Large Language Models (LLMs) heeft als doel de betrouwbaarheid van een voorspelling van een model te kwantificeren, een cruciale capaciteit om hallucinaties te beperken en het vertrouwen van de gebruiker te behouden. Hoewel CE veel aandacht heeft gekregen, richt het overgrote deel van het huidige onderzoek zich uitsluitend op het Engels. Dit gebrek aan aandacht is problematisch omdat LLM's vaak een verminderde betrouwbaarheid vertonen in talen met minder trainingsbronnen, waardoor nauwkeurige confidence estimation juist in die contexten essentieel is. Bovendien presteren veel bestaande CE-methoden slechter of vereisen ze hertraining wanneer ze worden toegepast op onbekende talen, waardoor ze niet voldoen aan de meertalige realiteit van LLM-implementatie. De centrale onderzoeksvraag is of meertalige LLM's gedeelde, taal-overdraagbare confidence-kenmerken coderen die zonder supervisie in de doeltaal kunnen worden benut.

Methodologie
De auteurs stellen een lichtgewicht lineaire probe voor, ontworpen om de juistheid van antwoorden direct te voorspellen vanuit de tussenliggende verborgen representaties (hidden representations) van een LLM. De methodologie rust op de hypothese dat meertalige LLM's een gedeelde, taal-agnostische subspace bezitten waar confidence-signalen in zijn gecodeerd.

• Representaties: De studie maakt gebruik van decoder-only transformer-gebaseerde LLM's. Het extraheert hidden states uit twee specifieke tijdstappen: het laatste token van de input prompt (als proxy voor de gehele input) en het laatste token van het gegenereerde antwoord (als representatie van de eindtoestand).
• Probe Architectuur: De probe leert een gewogen gemiddelde van de verborgen representaties van lagen. Het introduceert een leerbaar parametervector $w$ om laaggewichten $\alpha_\ell$ te berekenen via een softmax-functie, wat een gepoolde representatie $\bar{h}_t$ creëert. Deze gepoolde representatie wordt vervolgens door een lineaire laag met een sigmoid-activatie gestuurd om een confidence score te produceren.
• Training en Evaluatie Setup: De probe wordt monolinguaal getraind op een brontaal (Frans in de primaire experimenten, met Engels als secundaire bron) met gebruik van datasets MKQA (open-ended QA) en Global-MMLU (omgezet naar open-ended). Het wordt vervolgens geëvalueerd in een zero-shot setting op typologisch diverse doeltalen (Engels, Spaans, Pools, Russisch, Japans) zonder enige supervisie in de doeltaal.
• Baselines: De aanpak wordt vergeleken met majority class en prior probability baselines, evenals andere CE-methoden zoals length-normalized sequence likelihood, P(True), verbalized confidence, en de mass-mean probe.

Belangrijkste Resultaten

• Zero-Shot Transfer: De probe, die uitsluitend op Frans is getraind, generaliseert succesvol naar onbekende talen over verschillende taalfamilies en schriften heen. Hoewel discriminatiemetrieken (AUROC, AUPR) verslechteren naarmate de typologische afstand tot de brontaal groter wordt, blijven kalibratiemetrieken (Brier score, ECE) vaak stabiel of presteren ze in specifieke gevallen zelfs beter dan oracle probes die op de doeltaal zijn getraind.
• Laagbelang (Layer Importance): Analyse van de geleerde laaggewichten en ablatie-studies laten zien dat confidence-kenmerken geconcentreerd zijn in de boven-middelste lagen van het netwerk. Dit komt overeen met eerdere bevindingen dat deze lagen inputs mappen naar een gedeelde representatieruimte. Het verwijderen van deze middelste lagen heeft een aanzienlijke impact op de prestaties, met name voor zero-shot kalibratie.
• Token Timing: De studie vindt een onderscheid tussen de bruikbaarheid van het laatste query-token en het laatste antwoord-token. Het laatste query-token levert betere kalibratie over talen heen, terwijl het laatste antwoord-token superieure discriminatie biedt tussen correcte en incorrecte reacties.
• Vergelijking: De cross-linguale probe presteert beter dan verschillende populaire CE-baselines (zoals P(True) en verbalized confidence) in zero-shot settings, met name in discriminatie, hoewel het soms achterblijft bij de mass-mean probe wat betreft kalibratie voor zeer ongelijksoortige talen.

Betekenis en Bijdragen
Het artikel beweert de eerste te zijn die zero-shot cross-linguale transfer van confidence estimation aantoont door het onderzoeken van de tussenliggende representaties van LLM's. De primaire bijdragen zijn:

1. Demonstratie van Gedeelde Subspace: Het levert empirisch bewijs dat confidence-signalen die geleerd zijn in een hoog-resource taal kunnen overdragen naar laag-resource of typologisch verre talen zonder hertraining, wat wijst op het bestaan van een gedeelde confidence-subspace in meertalige LLM's.
2. Lokalisatie van Lagen: Het identificeert dat de meest saillante informatie voor zero-shot confidence voorspelling gelokaliseerd is in de midden- tot bovenste lagen, wat de theorie versterkt dat deze lagen taal-agnostische representaties bevatten.
3. Praktische Baseline: De voorgestelde methode biedt een sterke, zonder hertraining werkende baseline voor meertalige confidence estimation, wat bijzonder waardevol is voor onderbediende talen waar gelabelde data schaars is.

De auteurs hanteren een bescheiden toon en erkennen dat de prestaties afnemen bij een toenemende typologische afstand en dat de aanpak momenteel focust op kortvormige QA. Ze suggereren dat toekomstig werk het trainen op meerdere brontalen, het preciezer identificeren van kritieke latente representaties en het toepassen van post-hoc kalibratietechnieken kan ombrengen om de robuustheid verder te verbeteren.