Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination

Stellen Sie sich vor, Sie unterhalten sich mit einem superintelligenten Roboterfreund, der Millionen von Bildern gesehen und Milliarden von Büchern gelesen hat. Sie zeigen ihm ein Foto eines sonnigen Parks, und er beginnt, die Szene zu beschreiben. Aber manchmal wird dieser Roboter ein wenig zu kreativ. Er behauptet vielleicht voller Selbstvertrauen, da schwebe ein „riesiger roter Ballon“ über den Bäumen, obwohl das Foto dort völlig leer ist. Das nennt man „Halluzination“, und es ist ein großes Kopfzerbrechen für die Wissenschaftler, die diese KI-Systeme entwickeln. Wenn ein Roboter Dinge sieht, die gar nicht da sind, können wir ihm bei wichtigen Aufgaben nicht wirklich vertrauen.

Lange Zeit glaubten Forscher, das Problem bestünde darin, dass der Roboter nicht „genug hinsieht“. Sie dachten, die KI würde nur tagträumen, weil ihre Augen umherwandern, und versuchten daher, sie zu zwingen, dem Bild mehr Aufmerksamkeit zu schenken. Aber was, wenn der Roboter doch hinsieht? Was, wenn er genau auf den Punkt starrt, an dem der gefälschte Ballon sein sollte, aber einfach das missversteht, was er sieht? Dieses Paper mit dem Titel „Same Attention, Different Truths“ taucht genau in dieses Rätsel ein. Es verwendet einen cleveren Trick namens „Logit Lens“ (denken Sie an ein Röntgenbild für das Gehirn des Roboters), um in den Geist der KI hineinzuschauen, während sie spricht. Das Ziel ist es, herauszufinden, warum der Roboter lügt, was er sieht, damit wir ihn lehren können, die Wahrheit zu sagen, ohne ihn von Grund auf neu trainieren zu müssen.

Das Rätsel: Starr vor Verachtung, aber falsch verstanden

Die Autoren begannen, eine populäre Idee zu testen: dass KI-Halluzinationen passieren, weil das Modell nicht genug Aufmerksamkeit dem Bild schenkt. Sie beobachteten die KI, während sie Bilder beschrieb, und verfolgten genau, wo ihr „Blick“ (die Aufmerksamkeit) landete. Sie fanden etwas Überraschendes heraus: Die KI schenkte den echten Objekten (wie einem Stuhl) genauso viel Aufmerksamkeit wie den gefälschten Objekten (wie einer Schüssel, die gar nicht da war).

Es ist wie ein Detektiv, der intensiv auf eine leere Wand starrt, fest davon überzeugt, dass sich dort eine geheime Botschaft verbirgt. Der Detektiv ignoriert die Wand nicht; er schaut direkt darauf! Das Problem ist nicht, wie viel er schaut, sondern was er glaubt zu sehen. Das Paper nennt dies „Same Attention, Different Truths“. Die KI konzentriert ihre Energie, aber die Verbindung zwischen dem, was sie sieht, und dem, was sie sagt, ist unterbrochen.

Das Röntgenbild: In den Verstand der KI blicken

Um zu verstehen, was vor sich ging, verwendeten die Forscher ein Werkzeug namens Logit Lens. Stellen Sie sich das Gehirn der KI wie eine mehrschichtige Torte vor. Während die KI ein Bild verarbeitet, wandern die Informationen durch diese Schichten. Die Logit Lens ermöglicht es den Forschern, in die „Füllung“ der Torte in verschiedenen Schichten hineinzuschauen und zu fragen: „Wenn wir die KI genau hier stoppen würden, welches Wort würde sie sagen?“

Als sie dies taten, fanden sie eine klare Trennung:

• Echte Objekte: Wenn die KI auf einen echten Stuhl schaute, dekodierte die „Füllung“ ihres Gehirns das Bild korrekt als „Stuhl“. Die visuellen Beweise stimmten mit dem Wort überein.
• Gefälschte Objekte: Wenn die KI auf einen verschwommenen Fleck am Boden starrte und beschloss, diesen als „Schüssel“ zu bezeichnen, zeigte die Logit Lens, dass das Gehirn eigentlich gar keine Schüssel sah. Die visuellen Beweise waren unordentlich und unsicher, aber die KI bestand trotzdem darauf, „Schüssel“ zu sagen.

Zwei Arten von Lügnern

Das Paper entdeckte, dass die KI aus zwei sehr unterschiedlichen Gründen lügt, wie zwei verschiedene Arten von Schülern, die eine Prüfung ablegen.

1. Der „Verschwommenes Sicht“-Lüger (Visuelle Unsicherheit)
Manchmal ist das Bild einfach verwirrend. Vielleicht gibt es eine dunkle, unscharfe Form, die ein bisschen wie eine Schüssel aussieht. Die KI starrt auf diesen verschwommenen Fleck, wird verwirrt und rät: „Ich wette, das ist eine Schüssel!“

• Die Lösung: Die Forscher fanden heraus, dass die KI aufhörte zu lügen, wenn sie diesen verschwommenen, verwirrenden Fleck einfach abdeckten (maskierten). Sie erkannte: „Oh, ich kann dort nichts sehen, also werde ich nicht raten.“ Dies wird High-Attention Regions Masking (HARM) genannt. Es ist, als würde man dem Detektiv sagen: „Schau nicht auf diese verschwommene Wand; schau stattdessen auf das klare Fenster.“

2. Der „Tagträumer“-Lüger (Kontextueller Prior)
Andere Male ist das Bild klar, aber die KI ist zu sehr von dem beeinflusst, was sie zu sehen erwartet. Stellen Sie sich vor, die KI beschreibt eine Küche. Selbst wenn es in dem Bild keine Mikrowelle gibt, könnte die KI sagen: „Da ist eine Mikrowelle“, weil sie in ihren Trainingsdaten gelernt hat, dass Küchen normalerweise Mikrowellen haben. Sie ist so an die Vorstellung einer Mikrowelle gewöhlich, dass sie eine halluziniert.

• Der Twist: Wenn man den Teil des Bildes abdeckt, auf den die KI schaut, hört sie nicht auf zu lügen! Sie verlagert ihren Blick nur auf eine andere Stelle und sagt trotzdem weiter „Mikrowelle“. Die KI folgt einem Skript: „Ich muss etwas anschauen, bevor ich 'Mikrowelle' sage.“
• Die Lösung: Für diesen Typen verwendeten die Forscher eine Methode namens Visual Evidence Enhanced Decoding (VEED). Sie zwangen die KI, der tatsächlichen visuellen Evidenz, die sie bereits gefunden hatte (welche in diesem Fall keine Mikrowelle zeigte), verstärkt Aufmerksamkeit zu schenken, um das Tagträumen zu überstimmen. Es ist, als würde man den Detektiv erinnern: „Überprüf deine Notizen noch einmal; die Notizen sagen, dass es keine Mikrowelle gibt, also hör auf zu raten.“

Die Lösung: Ein Detektiv-Werkzeugkasten

Basierend auf diesen Erkenntnissen entwickelten die Autoren ein einfaches „Training-free“-Toolkit. Das bedeutet, sie mussten die KI nicht von Grund auf neu lehren; sie fügten einfach einen intelligenten Kontrollschritt hinzu, bevor die KI ihre endgültige Antwort gibt.

1. Die Kontrolle: Während die KI einen Satz generiert, nutzt das System die Logit Lens, um zu prüfen: „Unterstützt das Bild wirklich dieses Wort?“ Wenn die Antwort nein lautet, markiert es das Wort als Halluzination.
2. Die Diagnose: Es findet dann heraus, warum die KI gelogen hat. Ist es, weil das Bild verschwommen war (Typ 1) oder weil die KI geträumt hat (Typ 2)?
3. Die Heilung:
   • Wenn es Typ 1 ist, maskiert es den verschwommenen Teil und bittet die KI, es erneut zu versuchen.
   • Wenn es Typ 2 ist, verstärkt es das Signal der echten visuellen Beweise, um das Tagträumen zu übertönen.

Die Ergebnisse

Das Team testete diese Methode an mehreren verschiedenen KI-Modellen und stellte fest, dass sie unglaublich gut funktionierte. Sie reduzierte die Anzahl der von der KI erfundenen gefälschten Objekte stärker als jede andere Methode, die sie getestet hatten, ohne dass die KI vergaß, die echten Objekte zu erwähnen.

Kurz gesagt zeigt dieses Paper, dass KI-Halluzinationen nicht nur daraus entstehen, dass der Roboter nicht hart genug hinsieht. Manchmal schaut er direkt auf das Problem, interpretiert aber einen verschwommenen Hinweis falsch, und manchmal ist er einfach zu eifrig dabei, einer Geschichte zu folgen, die er schon einmal gehört hat. Indem sie diese zwei verschiedenen Arten des „Lügens“ verstanden, fanden die Forscher einen Weg, sie zu entlarven und zu korrigieren, was unsere Roboterfreunde ein Stück weit ehrlicher und viel zuverlässiger macht.