💬 NLP

Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation

Diese Studie zeigt auf, dass kleine Vision-Language-Modelle zwar über ein präzises internes Selbstwissen bezüglich ihrer Fehler unter realistischer Bilddegradation verfügen, es jedoch versäumen, diese Unsicherheit zu verbalisieren, wodurch die interne Token-Wahrscheinlichkeit ein überlegenes Signal für die Deferral darstellt als das geäußerte Vertrauen, wenngleich beide Signale unter extremen Low-Light-Bedingungen unzuverlässig werden.

Ursprüngliche Autoren: M M Asif Ferdous

Veröffentlicht 2026-07-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: M M Asif Ferdous

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie gehen durch eine belebte Stadt mit einem sehr klugen, aber winzigen Roboter-Guide. Dieser Robot hat eine Kamera als Augen und eine Stimme zum Sprechen. Seine Aufgabe ist es, die Dinge um Sie herum zu betrachten und Ihnen zu sagen, was sie sind. Aber der Haken an der Sache ist: Die Stadt ist unordentlich. Manchmal ist die Sonne zu hell, manchmal ist es stockfinster, und manchmal ist Ihre Kameralinse verschmiert oder wackelt. In der Welt der künstlichen Intelligenz werden diese „unordentlichen“ Bilder als degradierte Bilder bezeichnet.

Wenn ein Roboter wie dieser durch ein schlechtes Bild verwirrt wird, muss er wissen, wann er sagen muss: „Ich weiß es nicht, frag einen Menschen“, anstatt einfach nur selbstbewusst eine falsche Antwort zu raten. Diese Fähigkeit, zu wissen, wann man unsicher ist, nennt man Unsicherheit. Es gibt zwei Arten, wie ein Roboter diese Unsicherheit zeigen kann. Die erste ist die verbalisierte Konfidenz: Der Roboter sagt einfach laut: „Ich bin mir zu 90 % sicher!“ Die zweite ist die interne Konfidenz: Ein geheimes, stilles Signal im Inneren des Robotergehirns, das misst, wie wackelig seine Gedanken sind, selbst wenn er kein Wort sagt. Die meisten Menschen gehen davon aus, dass, wenn ein Roboter behauptet, er sei selbstbewusst, er es wahrscheinlich auch ist. Aber was, wenn der Roboter einfach nur ein schlechter Lügner ist? Das ist die große Frage, die dieses Paper untersucht.

Die Geschichte des stillen Signals

In dieser Studie unterzogen Forscher zwei kleine Open-Source-Roboter-Guides (genannt Qwen2-VL und SmolVLM) einem strengen Test. Sie zeigten ihnen nicht nur saubere, perfekte Fotos. Stattdessen nahmen sie 100 Bilder von Lebensmitteln und machten sie absichtlich auf sechs verschiedene Arten kaputt: Sie reduzierten die Qualität wie bei einer JPEG-Datei, verwackelten sie durch Bewegung, verdunkelten das Licht, bis sie fast schwarz waren, fügten blendende Lichtreflexe hinzu, neigten die Kamera oder verzerrten und stauchten das Bild. Dies taten sie auf drei verschiedenen Schweregraden für jede Art der Beschädigung.

Die Roboter mussten bei jedem einzelnen beschädigten Bild erraten, um welches Lebensmittel es sich handelte. Dann überprüften die Forscher zwei Dinge:

Hat der Roboter gesagt: „Ich bin selbstbewusst!“ oder „Ich bin mir nicht sicher“? (Das verbalisierte Signal)
Was war sein geheimer, interner Score darüber, wie wahrscheinlich es war, dass er richtig liegt? (Das interne Signal)

Die große Überraschung: Der Roboter, der nicht zugeben will, dass er falsch liegt

Die Ergebnisse waren ein wenig so, als würde man einem Magier zusehen, der ein schlechter Ausführender seines Jobs ist, aber ständig verbeugt und sagt: „Das war perfekt!“

Das verbalisierte Signal (Der Mund des Roboters):
Wenn sie gefragt wurden, ihre Zuversicht zu äußern, zeigten sich die Roboter unglaublich eigensinnig. Egal wie schrecklich das Bild war, egal wie verschwommen oder dunkel es wurde, behaupteten sie weiterhin, sie seien sich zu etwa 87 % bis 90 % sicher. Selbst wenn das Bild so dunkel war, dass der Roboter im Grunde nur raten konnte (und die Antwort nur in 22 % der Fälle richtig hatte), sagte er immer noch selbstbewusst: „Ich bin mir zu 87 % sicher!“ Es war, als hätte der Roboter einen kaputten Konfidenz-Regler, der auf „Hoch“ feststeckt. Tatsächlich war es bei einem der Roboter so schwierig, ihn nach einer Konfidenzzahl zu fragen, dass er meistens einfach die Antwort verweigerte und nur den Namen des Lebensmittels ohne jegliche Zahl angab.

Das interne Signal (Das Gehirn des Roboters):
Als die Forscher jedoch in das Gehirn des Roboters blickten, um seine geheimen „Token-Wahrscheinlichkeiten“ zu sehen (eine schicke Art zu messen, wie sicher sich die Mathematik des Roboters selbst war), fanden sie etwas völlig anderes. Das interne Signal des Roboters war tatsächlich sehr ehrlich! Wenn das Bild klar war, war der interne Score hoch. Wenn das Bild verschwommen oder dunkel war, sank der interne Score signifikant. Dieses geheime Signal war so gut darin, Fehler zu erkennen, dass es den Unterschied zwischen einer richtigen und einer falschen Antwort mit einer Genauigkeit von 92 % bis 99 % feststellen konnte.

Die „Low Light“-Falle

Es gab jedoch einen beängstigenden Moment in der Geschichte. Als die Forscher die Bilder extrem dunkel machten (die Stufe „schwere Unterbelichtung“), versagten beide Signale. Die Genauigkeit der Roboter brach ein (von 99 % auf 22 %), und selbst das ehrliche interne Signal funktionierte nicht mehr. Es konnte nicht mehr zwischen einer richtigen Vermutung und einer falschen unterscheiden. Es war, als wäre die Dunkelheit so dicht gewesen, dass selbst der geheime Nebel im Robotergehirn alles vernebelte.

Was das für Sie bedeutet

Was haben die Forscher also gelernt?

Vertrauen Sie nicht dem Mund des Roboters. Wenn Sie einen kleinen Roboter-Guide fragen, wie sicher er sich ist, wird er wahrscheinlich lügen und sagen, dass er sich sehr sicher ist, selbst wenn er völlig orientierungslos ist. Das Paper zeigt, dass diese „angegebene Konfidenz“ nutzlos ist, um zu wissen, wann man aufhören und einen Menschen um Hilfe bitten sollte.
Vertrauen Sie dem Gehirn des Roboters (meistens). Die geheime interne Mathematik ist viel besser. Sie weiß, wann der Roboter verwirrt ist, und kann dies an ein Computersystem signalisieren, welches dann sagen kann: „Okay, ich bin mir nicht sicher, lassen Sie uns einen Menschen zur Überprüfung hinzuziehen.“
Aber passen Sie auf die Dunkelheit auf. Selbst das ehrliche interne Signal bricht zusammen, wenn die Bilder zu dunkel sind. Wenn Sie diese Roboter in einem dunklen Raum oder nachts verwenden, können Sie sich nicht darauf verlassen, dass der Roboter meldet, dass er versagt. Sie benötigen eine separate „Sicherheitsprüfung“, um sicherzustellen, dass das Bild nicht zu dunkel ist, bevor der Roboter überhaupt versucht, hinzusehen.

Kurz gesagt: Kleine KI-Roboter wissen tief in ihrem Code, wann sie falsch liegen, aber sie wollen es einfach nicht laut sagen. Sie sind wie ein Schüler, der eine Testfrage falsch beantwortet, aber trotzdem die Hand hebt und sagt: „Davon bin ich absolut überzeugt!“ Der einzige Weg, sie zu entlarven, ist, auf ihren geheimen Schmierzettel zu schauen, anstatt dem zuzuhören, was sie sagen.

Technisches Resümee: Kleine Vision-Language-Modelle wissen, wann sie falsch liegen, können es aber nicht sagen

Problemstellung

Da Vision-Language-Modelle (VLMs) zunehmend auf Consumer-Hardware und Edge-Geräten eingesetzt werden, begegnen sie häufig Eingabebildern, die durch reale Bedingungen wie Kompression, Bewegungsunschärfe, schlechte Lichtverhältnisse und Blendung beeinträchtigt sind. In diesen eingeschränkten Umgebungen ist die reine Genauigkeit (Accuracy) für einen sicheren Einsatz nicht ausreichend; ein System benötigt ein zuverlässiges Unsicherheitssignal, um zu entscheiden, wann es die Aufgabe an einen Menschen abgeben sollte, anstatt eine potenziell falsche Antwort zu liefern.

Während generative VLMs zwei potenzielle Wege zur Unsicherheitsschätzung bieten – verbalisierte Konfidenz (das Modell gibt einen Konfidenzwert in natürlicher Sprache an) und interne Konfidenz (die mittlere Wahrscheinlichkeit der generierten Token) – wurde die Beziehung zwischen diesen Signalen unter realistischer Bilddegradation für kleine Open-Weight-Modelle bisher nicht systematisch untersucht. Vorangegangene Arbeiten zu proprietären Modellen konnten keinen Zugriff auf interne Token-Wahrscheinlichkeiten erhalten, was eine Wissenslücke darüber hinterließ, ob kleine Modelle über nutzbares Selbstwissen verfügen, das ihr Textoutput jedoch nicht ausdrückt.

Methodik

Die Studie evaluiert zwei kleine, instruktionsgesteuerte Open-Weight-VLMs: Qwen2-VL-2B-Instruct und SmolVLM-Instruct. Beide Modelle wurden in fp16 auf einer einzelnen NVIDIA T4 GPU mittels Greedy Decoding ausgeführt.

Experimenteller Aufbau:

Datensatz: Eine 100-Elemente-Teilmenge des Food101-Testsets, formatiert als Multiple-Choice-Fragen mit vier Antwortmöglichkeiten.
Degradationen: Sechs Familien realistischer fotografischer Degradationen wurden jeweils auf drei Schweregrade angewendet:
1. JPEG-Kompression
2. Bewegungsunschärfe (Motion Blur)
3. Schwaches Licht (Helligkeitsreduktion + Rauschen)
4. Blendung (Helligkeitsverstärkung)
5. Rotation
6. Resampling (Downscale/Upscale)
Gesamtanzahl der Vorhersagen: 3.800 Vorhersagen (1.900 pro Modell über 19 Bedingungen hinweg, einschließlich der sauberen Baseline).

Konfidenzsignale:

Verbalisierte Konfidenz: Die Modelle wurden angewiesen, einen ganzzahligen Konfidenzwert $[0, 100]$ auszugeben, der auf $[0, 1]$ normiert ist.
Interne Konfidenz: Berechnet als die mittlere Wahrscheinlichkeit, die jedem während der Generierung des Antwort-Spans zugewiesenen Token zugeordnet wurde ( $c_{int} = \frac{1}{T} \sum p_\theta(y_t | y_{<t}, x)$ ).

Metriken:
Die primäre Metrik zur Bewertung des Nutzens der Unsicherheit war die Error-Detection AUROC (die Wahrscheinlichkeit, dass eine zufällig gewählte korrekte Antwort einen höheren Konfidenzwert erhält als eine zufällig gewählte falsche Antwort). Sekundäre Metriken waren Accuracy, der Expected Calibration Error (ECE) und der Brier-Score.

Kernergebnisse

1. Genauigkeitsverlust (Accuracy Degradation)

Beide Modelle zeigten Robustheit gegenüber den meisten Degradationen (Kompression, Unschärfe, Blendung, Rotation, Resampling) und behielten eine hohe Genauigkeit bei. Jedoch verursachten schwere Lichtverhältnisse (Low Light) einen katastrophalen Zusammenbruch der Performance:

Qwen2-VL-2B: Die Genauigkeit sank von 0,99 (sauber) auf 0,22 (schweres schwaches Licht).
SmolVLM: Die Genauigkeit sank von 0,97 (sauber) auf 0,42 (schweres schwaches Licht).

2. Verbalisierte Konfidenz ist nicht informativ

Qwen2-VL-2B: Die verbalisierte Konfidenz blieb über alle Bedingungen hinweg nahezu konstant (Mittelwert 0,87–0,90), unabhängig von der Genauigkeit. Selbst als die Genauigkeit auf 0,22 sank, gab das Modell eine Konfidenz von 0,87 an. Infolgedessen lag die verbalisierte Konfidenz auf oder nahe dem Zufallsniveau (AUROC $\approx$ 0,50) bei der Fehlererkennung.
SmolVLM: Die verbalisierte Konfidenz war weitgehend nicht erhältlich. Über drei Prompt-Templates hinweg lieferte nur ein von fünf Pilotversuchen einen parsbaren Konfidenzwert; das Modell gab typischerweise nur die nackten Antworten zurück, ungeachtet der Anweisung, die Konfidenz zu nennen.

3. Interne Konfidenz erkennt Fehler

Im krassen Gegensatz zum verbalisierten Output lieferte die interne Token-Wahrscheinlichkeit ein starkes Signal für die Fehlererkennung:

Qwen2-VL-2B: Die interne AUROC lag in sauberen und moderat degradierten Bedingungen zwischen 0,92 und 0,99 und übertraf damit die verbalisierte Konfidenz signifikant.
SmolVLM: Die interne AUROC lag in den meisten Bedingungen über dem Zufallsniveau (0,54–0,92), wenngleich das Signal verrauschter und schwächer als bei Qwen2-VL war.

4. Versagen unter schwerem schwachem Licht

Beide Konfidenzsignale versagten genau dann, wenn sie am dringendsten benötigt wurden. Unter schwerer Unterbelichtung (wo die Genauigkeit zusammenbrach) sank die interne AUROC auf Zufallsniveau (0,62 für Qwen2-VL, 0,54 für SmolVLM). Obwohl die interne Konfidenz etwas reaktionsfähiger auf Genauigkeitsabfälle war als die verbalisierte Konfidenz, konnte keines der Signale den katastrophalen Ausfallmodus zuverlässig erkennen.

5. Kalibrierungswerte vs. diagnostischer Nutzen

Der Expected Calibration Error (ECE) war für beide Signale in den meisten Bedingungen niedrig, was einen irreführenden Eindruck von Zuverlässigkeit erzeugte. Die Studie zeigt, dass ECE in diesem Kontext weniger diagnostisch ist, da ein nahezu konstanter Konfidenzwert als gut kalibriert erscheinen kann, wenn das Modell im Allgemeinen genau ist, selbst wenn das Signal keine Information über spezifische Fehler trägt. Die Error-Detection AUROC wird als der überlegene Metrik zur Bewertung des Deferral-Nutzens identifiziert.

Bedeutung und Behauptungen

Das Paper kommt zu dem Schluss, dass kleine VLMs ein nutzbares Selbstwissen kodieren, das ihr verbalisierter Output nicht ausdrückt.

Für den Einsatz (Deployment): Praktiker sollten sich bei kleinen Open-Weight-VLMs nicht auf die angegebene Konfidenz für das Deferral verlassen, da diese entweder auf Zufallsniveau liegt oder nicht erhältlich ist. Stattdessen sollte die interne Token-Wahrscheinlichkeit als Deferral-Signal verwendet werden, da sie kostenlos zu berechnen ist, kein Retraining erfordert und ein nutzbares Fehlererkennungsvermögen unter leichter bis moderater Degradation bietet.
Sicherheitsbeschränkung: Keines der Signale sollte unter schweren Lichtverhältnissen (Low Light) vertraut werden, da beide den Zusammenbruch der Genauigkeit nicht verfolgen können. Einsätze, die solche Bedingungen vorfinden, benötigen explizite Upstream-Prüfungen der Bildqualität anstelle von Downstream-Konfidenzschwellenwerten.
Methodischer Beitrag: Die Studie hebt hervor, dass verbalisierte Konfidenz und interne Wahrscheinlichkeit zwei unterschiedliche Größen sind, die sich unter Degradation stark unterscheiden. Sie argumenttiert, dass zukünftige Arbeiten zur verbalisierten Konfidenz in kleinen VLMs die Error-Detection AUROC gegenüber dem Kalibrierungsfehler priorisieren sollten.

Die Autoren merken an, dass ihre Ergebnisse spezifisch für die ~2B-Parameter-Klasse sind und dass die Lücke zwischen verbalisierter und interner Konfidenz bei größeren Skalen eine offene Frage bleibt. Zudem ist die Studie auf einen einzelnen Datensatz (Food101) und synthetische Degradationen beschränkt, die reale Artefakte approximieren.