💬 NLP

VL-Calibration: Decoupled Confidence Calibration for Large Vision-Language Models Reasoning

Die Arbeit stellt VL-Calibration vor, ein Reinforcement-Learning-Framework, das durch die Entkopplung von visueller und logischer Konfidenz sowie die Nutzung intrinsischer visueller Unsicherheitsmaße die Kalibrierung und Genauigkeit von Large Vision-Language-Modellen verbessert und Halluzinationen reduziert.

Ursprüngliche Autoren: Wenyi Xiao, Xinchi Xu, Leilei Gan

Veröffentlicht 2026-04-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wenyi Xiao, Xinchi Xu, Leilei Gan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas eingebildeten Roboter-Freund, der Bilder sehen und Fragen dazu beantworten kann. Dieser Roboter ist ein Large Vision-Language Model (LVLM). Er ist genial darin, Dinge zu beschreiben und logische Schlüsse zu ziehen. Aber er hat ein großes Problem: Er ist sich oft zu 100 % sicher, wenn er völlig Unsinn erzählt (das nennt man "Halluzination").

Stell dir vor, er sagt: "Ich sehe einen roten Elefanten auf dem Dach!" und ist sich zu 100 % sicher. Dabei gibt es gar keinen Elefanten. In der echten Welt, etwa bei der Diagnose von Krankheiten oder im Rechtswesen, wäre das fatal. Wir brauchen einen Roboter, der auch sagen kann: "Ich bin mir nicht sicher, was ich da sehe."

Das ist das Ziel der neuen Methode VL-Calibration. Hier ist die Erklärung, wie sie funktioniert, mit ein paar einfachen Bildern:

1. Das alte Problem: Ein einziger, verwirrter Vertrauens-Score

Bisher haben diese Roboter nur eine einzige Zahl für ihr Vertrauen ausgegeben. Wenn sie eine Frage beantworten, sagen sie: "Ich bin zu 80 % sicher."
Das Problem ist: Woher kommt diese Unsicherheit?

Hat er das Bild falsch gesehen? (Vielleicht war es gar kein Elefant, sondern ein Schatten?)
Oder hat er das Bild richtig gesehen, aber die Logik daneben? (Vielleicht war es ein Elefant, aber Elefanten können nicht fliegen, also ist die Schlussfolgerung falsch.)

Ein einziger "80 %-Vertrauens-Score" vermischt diese beiden Dinge wie einen smoothie aus Erdbeeren und Brokkoli. Man weiß nicht, was schiefgelaufen ist.

2. Die Lösung: Zwei getrennte Vertrauens-Scores

Die Forscher von VL-Calibration haben dem Roboter beigebracht, sein Vertrauen zu trennen, wie zwei separate Batterien in einer Taschenlampe:

Visuelles Vertrauen: "Bin ich mir sicher, was ich auf dem Bild sehe?"
Logisches Vertrauen: "Bin ich mir sicher, dass meine Schlussfolgerung stimmt?"

Statt nur "Ich bin zu 80 % sicher" zu sagen, sagt der Roboter jetzt: "Ich bin zu 90 % sicher, dass ich einen Elefanten sehe, aber nur zu 40 % sicher, dass er fliegen kann."
Das ist viel hilfreicher! Wenn das visuelle Vertrauen niedrig ist, wissen wir: "Aha, das Bild war vielleicht unscharf oder verwirrend." Wenn das logische Vertrauen niedrig ist, wissen wir: "Die Logik war falsch, auch wenn das Bild klar war."

3. Wie lernt der Roboter das? (Der "Spiegel"-Effekt)

Normalerweise braucht man für das Training von Robotern eine "Lösungsanleitung" (Ground Truth), die sagt: "Ja, das ist ein Elefant." Aber wie weiß man, ob der Roboter das Bild wirklich richtig gesehen hat, ohne dass jemand jedes Bild manuell überprüft?

Die Forscher haben einen cleveren Trick angewendet, den man sich wie einen Spiegel-Test vorstellen kann:

Der Test: Sie nehmen das Bild und verzerren es ein wenig (z. B. machen sie einen Teil unscharf oder verdecken ein Stück).
Die Reaktion:
- Wenn der Roboter das Bild wirklich verstanden hat, wird seine Antwort sich stark ändern, wenn das Bild verändert wird. Das zeigt: "Ich bin auf das Bild angewiesen!" (Hohe visuelle Verankerung).
- Wenn der Roboter nur gerät oder sich auf sein Allgemeinwissen verlässt (Halluzination), bleibt seine Antwort gleich, egal wie das Bild aussieht. Das ist ein Warnsignal!

Zusätzlich schauen sie auf die "Nervosität" des Roboters beim Schreiben. Wenn er beim Beschreiben des Bildes viele verschiedene Möglichkeiten im Kopf hat (hohe Unsicherheit im Text), ist er sich nicht sicher.

4. Die Belohnung: Keine Blindenwette!

Während des Trainings gibt es eine Art "Lehrer", der dem Roboter Punkte gibt:

Wenn der Roboter eine falsche Antwort gibt, weil er das Bild nicht richtig gesehen hat (niedriges visuelles Vertrauen), bekommt er eine schwere Strafe.
Wenn er eine falsche Antwort gibt, aber das Bild eigentlich klar war (Logikfehler), ist die Strafe etwas milder.
Das Ziel ist: Der Roboter soll lernen, bei unsicheren Bildern nicht blind zu raten, sondern eher zu sagen: "Ich weiß es nicht."

Warum ist das wichtig?

Stell dir vor, du fährst Auto mit einem Autopiloten.

Der alte Roboter: Sagt immer "Ich fahre perfekt!", auch wenn er auf eine Mauer zufährt. Das ist gefährlich.
Der neue Roboter (VL-Calibration): Sagt: "Ich sehe die Mauer sehr klar (hohes visuelles Vertrauen), aber mein System ist verwirrt, wie ich bremsen soll (niedriges logisches Vertrauen). Ich werde langsamer fahren und dich warnen."

Das Ergebnis:
Die Tests zeigen, dass dieser neue Ansatz nicht nur die Fehler reduziert, sondern den Roboter auch besser im Rechnen und Logik macht. Er wird nicht nur ehrlicher, sondern auch klüger, weil er lernt, seine Grenzen zu erkennen. Er ist wie ein Schüler, der lernt, wann er "Ich weiß es nicht" sagen muss, statt zu raten – und genau das macht ihn verlässlicher für wichtige Aufgaben.

1. Problemstellung

Große Vision-Language-Modelle (LVLMs) zeigen zwar starke Fähigkeiten im multimodalen Schlussfolgern, leiden jedoch häufig unter Halluzinationen und falschen Antworten, die mit übermäßiger Sicherheit (Overconfidence) versehen sind. Dies schränkt ihren Einsatz in hochriskanten Bereichen wie Gesundheitswesen oder Rechtswesen ein.

Bestehende Methoden zur Kalibrierung verbalisierter Konfidenz (Verbalized Confidence Calibration), die ursprünglich für rein textbasierte LLMs entwickelt wurden, weisen bei LVLMs zwei fundamentale Mängel auf:

Vermischung von Fehlerquellen: Ein einzelner Konfidenzwert kann nicht unterscheiden, ob ein Fehler auf einer perzeptuellen Halluzination (falsches Sehen/Interpretieren des Bildes) oder einem Schlussfolgerungsfehler (korrekte Wahrnehmung, aber falsche Logik) beruht.
Dominanz von Sprach-Priors: Die intrinsische visuelle Unsicherheit wird oft durch sprachliche Vorurteile (Language Priors) überlagert, was zu einer fehlerhaften Gesamtkonfidenz führt.

2. Methodik: VL-Calibration

Die Autoren schlagen VL-Calibration vor, ein Reinforcement-Learning-Framework, das die Konfidenz explizit in zwei Komponenten zerlegt: Visuelle Konfidenz und Schlussfolgerungs-Konfidenz.

A. Entkoppelte Konfidenz-Inferenz

Anstatt einen einzigen Konfidenzwert auszugeben, generiert das Modell strukturierte Rationale:

Visuelle Phase: Analyse des Bildinhalts ( $z_{vis}$ ) mit einer separaten visuellen Konfidenz ( $c_{vis}$ ).
Schlussfolgerungs-Phase: Logische Deduktion ( $z_{reas}$ ) mit einer separaten Schlussfolgerungs-Konfidenz ( $c_{reas}$ ).
Gesamtkonfidenz ( $\Phi$ ): Wird durch das harmonische Mittel der beiden Einzelwerte berechnet. Dies ist konservativ, da der Gesamtwert stark vom niedrigeren der beiden Werte dominiert wird (ein schwaches visuelles Verständnis zieht die Gesamtsicherheit stark herunter).

B. Intrinsic Visual Certainty Estimation (Visuelle Gewissheitsschätzung)

Da keine Ground-Truth-Labels für die visuelle Wahrnehmung existieren, wird ein intrinsischer Schätzwert für die visuelle Gewissheit entwickelt, der als Pseudo-Label dient. Dieser kombiniert zwei Dimensionen:

Visuelle Grounding (Grounding): Gemessen durch die KL-Divergenz zwischen der Ausgabe des Modells auf dem Originalbild und einem gestörten Bild (durch zufälliges Maskieren von 80% der Bildpatches). Eine hohe Divergenz zeigt an, dass das Modell stark vom Bildinhalt abhängt und nicht nur auf Sprachpriors reagiert.
Interne Gewissheit (Internal Certainty): Gemessen durch die Token-Entropie der visuellen Beschreibung. Niedrige Entropie deutet auf eine hohe interne Sicherheit des Modells hin.

Berechnung: Ein logarithmisches Verhältnis aus Grounding und Entropie bildet den Visual Certainty Score ( $S_{vis}$ ), der als Reward-Signal dient.

C. Token-Level Advantage Reweighting (TAR)

Um ungrounded Halluzinationen zu unterdrücken, wird ein Token-Level Advantage Reweighting eingeführt.

Tokens mit hoher visueller Unsicherheit (niedriger $S_{vis}$ ), die jedoch falsch sind (negativer Advantage), erhalten eine verstärkte Strafe.
Tokens mit hoher visueller Gewissheit erhalten eine mildere Strafe, um gültige Wahrnehmungen zu erhalten.
Dies verhindert, dass das Modell blind rät, wenn es das Bild nicht sicher versteht.

D. Trainingsprozess

Das Framework nutzt GRPO (Group Relative Policy Optimization). Der Reward besteht aus drei Teilen:

Genauigkeits-Reward (korrekte Antwort).
Kalibrierungs-Reward (Brier Score für die Gesamtkonfidenz).
Visuelle Gewissheits-Reward: Strafe für Diskrepanzen zwischen der verbalisierten visuellen Konfidenz und dem geschätzten $S_{vis}$ .

3. Wichtige Beiträge

Entkopplung der Konfidenz: Erstmals wird die Konfidenz in LVLMs systematisch in visuelle und logische Komponenten getrennt, was eine präzisere Fehlerlokalisierung ermöglicht.
Label-freue visuelle Supervision: Entwicklung einer robusten Methode zur Schätzung der visuellen Gewissheit ohne Ground-Truth-Labels, indem Grounding (via Perturbation) und interne Unsicherheit kombiniert werden.
Token-Level Reweighting: Eine neue Strategie, die den Optimierungsprozess basierend auf der visuellen Unsicherheit einzelner Tokens gewichtet, um Halluzinationen gezielt zu bestrafen.
Verbesserung von Genauigkeit und Kalibrierung: Im Gegensatz zu vielen Kalibrierungsmethoden, die oft die Genauigkeit opfern, steigert VL-Calibration beides gleichzeitig.

4. Ergebnisse

Die Methode wurde an 13 Benchmarks (u.a. MathVerse, MMMU-Pro, A-OKVQA) und auf verschiedenen Modellskalen (Qwen3-VL 4B, 8B, 30B und InternVL3.5) evaluiert.

Kalibrierung: Der Expected Calibration Error (ECE) wurde auf dem Qwen3-VL-4B-Modell drastisch von 0,421 auf 0,098 reduziert.
Genauigkeit: Die durchschnittliche Genauigkeit stieg um 2,3 % bis 3,0 % gegenüber den besten Baselines (wie RLCR).
Generalisierung: Die Methode funktioniert konsistent über verschiedene Modellgrößen und Architekturen hinweg und zeigt starke Leistung bei Out-of-Distribution-Daten.
Halluzinations-Erkennung: Das Modell zeigt eine signifikant größere Lücke in der Konfidenz zwischen beantwortbaren und unbeantwortbaren (visuell fehlenden) Fragen, was eine bessere Erkennung von Unsicherheit beweist.

5. Bedeutung

VL-Calibration adressiert eine kritische Lücke in der Zuverlässigkeit von LVLMs. Durch die explizite Trennung von Wahrnehmung und Logik ermöglicht es nicht nur sicherere KI-Systeme für kritische Anwendungen, sondern liefert auch ein tieferes Verständnis dafür, warum ein Modell unsicher ist (Sehen vs. Denken). Die vorgeschlagene Methode stellt einen Paradigmenwechsel dar, der über reine Text-Kalibrierung hinausgeht und die spezifischen Herausforderungen der multimodalen Wahrnehmung berücksichtigt.