💬 NLP

VL-Calibration: Decoupled Confidence Calibration for Large Vision-Language Models Reasoning

Deze paper introduceert VL-Calibration, een versterkingsleerframework dat de betrouwbaarheid van grote visueel-taalmodellen verbetert door vertrouwen expliciet te ontkoppelen in visuele en redeneercomponenten, waardoor hallucinaties worden onderdrukt en de nauwkeurigheid van visuele redenering toeneemt.

Oorspronkelijke auteurs: Wenyi Xiao, Xinchi Xu, Leilei Gan

Gepubliceerd 2026-04-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenyi Xiao, Xinchi Xu, Leilei Gan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een Large Vision-Language Model (LVLM) een slimme, maar soms wat overdreven zelfverzekerde kunstcriticus is die ook goed kan redeneren. Deze "criticus" kijkt naar een schilderij (de afbeelding) en schrijft er een analyse bij (de tekst).

Het probleem is dat deze criticus vaak hallucineert. Hij ziet dingen die er niet zijn, of hij trekt foute conclusies, maar doet dit met een 100% zekerheid. Als hij zegt: "Dit is een blauwe olifant," terwijl het een rode auto is, is hij er zo zeker van dat je als lezer denkt: "Oh, ik moet het verkeerd hebben gezien." Dit is gevaarlijk, vooral in belangrijke situaties zoals de rechtspraak of de gezondheidszorg.

Deze paper introduceert VL-Calibration, een nieuwe manier om deze AI te trainen om eerlijk te zijn over wat hij wel en niet weet.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Alwetende" Criticus

Vroeger had de AI één stem: "Ik ben 90% zeker van mijn antwoord."
Maar wat als die 90% zekerheid een mix is van twee verschillende dingen?

Situatie A: De AI ziet de afbeelding verkeerd (bijv. hij denkt dat het een hond is, terwijl het een kat is).
Situatie B: De AI ziet de afbeelding perfect, maar redeneert er verkeerd over (bijv. "Het is een kat, dus hij moet in de boom klimmen," terwijl de kat juist in de auto zit).

De oude AI verwarde deze twee fouten. Hij gaf één groot cijfer voor zekerheid, waardoor je niet wist waar de fout zat. Het was alsof een kok zegt: "Ik ben 90% zeker dat dit gerecht lekker is," zonder te zeggen of hij de ingrediënten (de visuele waarneming) of het recept (het redeneren) verkeerd heeft begrepen.

2. De Oplossing: Twee Onafhankelijke Checkers

VL-Calibration splitst het vertrouwen op in twee aparte stemmen:

Visueel Vertrouwen: "Hoe zeker ben ik van wat ik zie?"
Redenerend Vertrouwen: "Hoe zeker ben ik van mijn logica?"

De Analogie:
Stel je voor dat je een detective bent die een moordzaak oplost.

De Visuele Check is de forensisch expert die zegt: "Ik zie een mes, maar de vingerafdrukken zijn wazig. Ik ben niet 100% zeker."
De Redenerende Check is de rechercheur die zegt: "Als er een mes is, moet de dader links zijn."

De nieuwe AI zegt nu niet meer: "Ik ben 90% zeker."
Hij zegt: "Ik ben 100% zeker dat ik een mes zie (visueel), maar ik ben maar 40% zeker dat de dader links is (redenerend), omdat de bewijslast zwak is."
Dit maakt de AI veel eerlijker en veiliger.

3. Hoe leer je de AI dit? (Zonder een antwoordboekje)

Het lastige is: we hebben geen "antwoordboekje" om te zien of de AI de afbeelding echt goed heeft gezien. We kunnen niet vragen: "Was dat een hond of een kat?" in het trainingsproces.

De auteurs bedachten een slimme truc, een inwendige radar:

De "Verstoorde Foto"-test: De AI krijgt een foto, en dan een versie van die foto waar stukjes van zijn weggehaald (zoals een pixelated foto).
- Als de AI echt naar de foto kijkt, verandert zijn antwoord drastisch als je stukjes weghaalt. Dat betekent: "Ik ben hier echt op gebaseerd!" (Hoge visuele zekerheid).
- Als de AI zijn antwoord niet verandert, betekent hij waarschijnlijk: "Ik gok maar wat op basis van wat ik in mijn training heb geleerd." (Lage visuele zekerheid).
De "Twijfel"-meter: De AI kijkt ook naar hoe moeilijk het is om woorden te kiezen. Als hij heel snel en zeker woorden kiest, is hij intern zeker. Als hij twijfelt (veel opties overweegt), is hij onzeker.

De AI wordt beloond als hij eerlijk is: "Ik zie de foto goed, dus ik ben zeker van mijn waarneming," of "Ik zie de foto niet goed, dus ik moet voorzichtig zijn met mijn antwoord."

4. De Straf voor "Blind Gissen"

Soms maakt de AI fouten op plekken waar hij visueel heel onzeker was (bijvoorbeeld: hij gokt op een kleur die hij niet goed kan zien).
De nieuwe methode straft deze fouten harder dan andere fouten.

Vergelijking: Als een student een wiskundefout maakt omdat hij de som verkeerd heeft gelezen, krijgt hij een zware straf. Maar als hij de som goed leest maar een rekenfout maakt, is de straf lichter.
De AI leert hierdoor: "Als ik niet zeker ben van wat ik zie, moet ik niet gissen, maar zeggen: 'Ik weet het niet zeker'."

5. Het Resultaat: Een Betrouwbare Partner

Door deze methode (VL-Calibration) te gebruiken, gebeurde er iets moois:

De AI werd nauwkeuriger (hij gaf minder foute antwoorden).
De AI werd eerlijker (als hij een fout maakte, gaf hij een lage zekerheidsscore, in plaats van een hoge).
De "Verwachte Kalibratiefout" (een maatstaf voor hoe leugenachtig de AI is) daalde enorm.

Kortom:
Deze paper maakt van de AI een betrouwbare expert in plaats van een overmoedige gokker. Hij leert onderscheid maken tussen "Ik zie het duidelijk" en "Ik denk dat dit logisch is," en geeft je als mens de ruimte om te weten wanneer je zijn advies kunt vertrouwen en wanneer je beter zelf moet kijken.

Probleemstelling

Grote Vision-Language Modellen (LVLMs) tonen indrukwekkende multimodale redeneercapaciteiten, maar lijden vaak aan hallucinaties waarbij ze feitelijke onjuiste antwoorden geven met een overmatig hoog vertrouwen. Dit beperkt hun inzetbaarheid in hoog-risico domeinen zoals gezondheidszorg en recht.

Bestaande methoden voor het kalibreren van verbaal uitgedrukt vertrouwen (verbalized confidence), oorspronkelijk ontwikkeld voor tekst-only LLMs, hebben twee fundamentele tekortkomingen bij toepassing op LVLMs:

Vervaging van foutbronnen: Een enkel holistisch vertrouwensscore onderscheidt niet tussen perceptie-fouten (het verkeerd zien van de afbeelding) en redeneerfouten (logische fouten ondanks correcte perceptie). Dit maakt het moeilijk om de exacte oorzaak van een fout te lokaliseren.
Taalpriors: Het intrinsieke visuele onzekerheid wordt vaak overschaduwd door sterke taalpriors, wat leidt tot een onjuiste totale vertrouwenskalibratie.

Methodologie: VL-Calibration

De auteurs stellen VL-Calibration voor, een Reinforcement Learning (RL) framework dat vertrouwen expliciet ontkoppelt in twee componenten: visueel vertrouwen (perceptie) en redeneervertrouwen (logica).

Het framework bestaat uit drie kerncomponenten:

1. Ontkoppelde Verbaal Vertrouwen (Decoupled Verbalized Confidence)

In plaats van één score, wordt het model getraind om twee aparte vertrouwensscores te genereren:

$c_{vis}$ : Vertrouwen in de visuele rationale (bijv. een beschrijving van de afbeelding).
$c_{reas}$ : Vertrouwen in de redeneerketen.
De uiteindelijke holistische vertrouwensscore ( $\Phi$ ) wordt berekend als het harmonisch gemiddelde van deze twee scores. Dit is conservatiever dan het rekenkundig gemiddelde; als één van de twee scores laag is (bijv. slechte perceptie), wordt het totale vertrouwen sterk verlaagd.

2. Intrinsieke Visuele Zekerheidsschatting (Intrinsic Visual Certainty Estimation)

Omdat er geen ground-truth labels bestaan voor visuele perceptie-vertrouwen tijdens het trainen, introduceren de auteurs een proxy-maatstaf die twee dimensies combineert:

Visuele Grounding (KL-divergentie): Het model wordt geëvalueerd op hoe gevoelig het is voor visuele input. Door de afbeelding te verstoren (bijv. random patch masking) en de KL-divergentie te meten tussen de outputdistributies van de originele en de verstoorde afbeelding, wordt bepaald of het antwoord echt op de afbeelding is gebaseerd of op taalpriors.
Interne Zekerheid (Token Entropie): De gemiddelde entropie van de gegenereerde visuele tokens. Lage entropie duidt op hoge interne zekerheid.
Deze twee metrics worden gecombineerd tot een Visuele Zekerheidsscore ( $S_{vis}$ ) via een log-ratio formule. Deze score dient als een "pseudo-label" om het visuele vertrouwen te superviseren.

3. Token-Level Advantage Reweighting (TAR)

Om hallucinaties effectief te onderdrukken, wordt een strategie voorgesteld om de beloning (advantage) per token te herschalen:

Tokens met lage visuele zekerheid (hoge onzekerheid) die toch een fout maken, krijgen een versterkte negatieve straf. Dit straft "blind gokken" op basis van taalpriors.
Tokens met hoge visuele zekerheid krijgen een verzachte straf om geldige perceptie te behouden.

Het trainingsproces maakt gebruik van GRPO (Group Relative Policy Optimization), waarbij de beloningsfunctie bestaat uit een combinatie van nauwkeurigheidsbeloning, kalibratiebeloning (Brier score) en de nieuwe visuele zekerheidsbeloning.

Belangrijkste Bijdragen

Ontkoppeling van Vertrouwen: Een nieuw paradigma dat visuele perceptie en logisch redeneren als aparte bronnen van onzekerheid behandelt, wat leidt tot betere foutdiagnose.
Label-vrije Visuele Supervisie: Een innovatieve methode om visuele zekerheid te schatten zonder ground-truth labels, door gebruik te maken van perturbatie-analyse (KL-divergentie) en entropie.
Token-gebaseerde Optimalisatie: Een mechanisme om de trainingsbeloning dynamisch aan te passen op basis van de visuele zekerheid van specifieke tokens, waardoor hallucinaties effectiever worden onderdrukt dan bij traditionele methoden.

Resultaten

Experimenten op 13 benchmarks (waaronder MathVista, MMMU-Pro, en A-OKVQA) tonen aan dat VL-Calibration significant beter presteert dan bestaande baselines (zoals RLCR, SaySelf, en P(True)):

Verbeterde Kalibratie: De Expected Calibration Error (ECE) op het Qwen3-VL-4B model daalde van 0,421 naar 0,098. Dit betekent dat het model veel realistischer is over zijn eigen onzekerheid.
Verhoogde Nauwkeurigheid: In tegenstelling tot veel kalibratiemethoden die vaak ten koste gaan van de nauwkeurigheid, verbeterde VL-Calibration de gemiddelde redeneernauwkeurigheid met 2,3% tot 3,0% ten opzichte van de sterkste baselines.
Generalisatie: De methode werkt consistent goed over verschillende modelgroottes (van 4B tot 30B parameters) en architecturen (Qwen en InternVL), en generaliseert goed naar out-of-distribution taken.
Detectie van Onbeantwoordbare Vragen: Het model slaagt er beter in om vertrouwen te verlagen bij vragen die visueel niet te beantwoorden zijn (bijv. als de afbeelding ontbreekt), terwijl het vertrouwen hoog blijft bij goed beantwoordbare vragen.

Betekenis en Conclusie

VL-Calibration biedt een cruciale stap voorwaarts voor de veilige en betrouwbare inzet van LVLMs in kritieke toepassingen. Door het onderscheid te maken tussen wat het model ziet en wat het concludeert, en door deze onderscheiden te kalibreren zonder extra ground-truth data, lost de methode het probleem van overconfidentie op. Dit maakt modellen niet alleen accurater, maar ook transparanter over hun beperkingen, wat essentieel is voor de adoptie in domeinen waar fouten ernstige gevolgen hebben.