🤖 machine learning

Instruction Lens Score: Your Instruction Contributes a Powerful Object Hallucination Detector for Multimodal Large Language Models

Dieser Beitrag stellt den Instruction Lens Score (InsLen) vor, einen Plug-and-Play-Objekt-Halluzinationsdetektor für multimodale große Sprachmodelle, der Instruction-Token-Embeddings nutzt, um bestehende Methoden zu übertreffen, ohne zusätzliche Modelle oder weiteres Training zu erfordern.

Ursprüngliche Autoren: Runhe Lai, Xinhua Lu, Yanqi Wu, Jinlun Ye, Weijiang Yu, Ruixuan Wang

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Runhe Lai, Xinhua Lu, Yanqi Wu, Jinlun Ye, Weijiang Yu, Ruixuan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboterassistenten (ein multimodales Large Language Model), der Bilder betrachten und diese detailliert beschreiben kann. Sie fragen ihn: „Was sehen Sie?" und er beginnt zu sprechen. Doch manchmal wird dieser Roboter etwas zu fantasievoll. Er könnte ein Bild eines verschneiten Berges mit Skifahrern betrachten und selbstbewusst sagen: „Ich sehe eine rote Tasche am Skifahrer", obwohl sich keine Tasche auf dem Bild befindet. Dies wird als Objekt-Halluzination bezeichnet.

Die Arbeit stellt ein neues Werkzeug namens Instruction Lens Score (InsLen) vor, um diese Lügen aufzudecken. So funktioniert es, unter Verwendung einfacher Analogien:

Das Problem: Die „verrauschte Kamera" versus der „kluge Führer"

Stellen Sie sich das Sehsystem des Roboters als eine Kamera vor, die manchmal durch schlechte Beleuchtung oder Reflexionen verwirrt wird. Sie könnte einen Schatten sehen, der wie eine Tasche aussieht, und dem Gehirn des Roboters sagen: „Hey, da ist eine Tasche!"

Normalerweise versuchen andere Methoden, die Antwort des Roboters zu überprüfen, indem sie die Rohdaten der Kamera (die „visuellen Einbettungen") betrachten. Doch wenn die Kamera verwirrt ist, schlägt diese Überprüfung fehl.

Die Autoren entdeckten etwas Überraschendes: Die Anweisungen des Roboters (der Text, den Sie eingeben, wie „Bitte beschreiben Sie das Bild") wirken wie ein kluger Führer. Obwohl die Kamera verrauscht ist, verfügt der kluge Führer über eine Möglichkeit, das Rauschen herauszufiltern. Wenn der Roboter Ihre Anweisung liest, „weiß" er implizit, was tatsächlich auf dem Bild zu sehen ist, und kann das gefälschte „Taschen"-Signal der verwirrten Kamera ignorieren.

Die Lösung: Die „Anweisungs-Linse"

Die Forscher entwickelten einen Detektor namens InsLen, der wie eine Lupe wirkt, die sich spezifisch auf die Gedanken des klugen Führers konzentriert, und nicht auf die der Kamera.

Sie zerlegen dies in zwei Hauptprüfungen:

1. Der „Realitätscheck" (Kalibrierter lokaler Score)

Die Analogie: Stellen Sie sich vor, ein Detektiv (die Kamera) findet einen Hinweis, der wie eine Tasche aussieht. Doch ein weiser Richter (die Anweisung) betrachtet denselben Hinweis und sagt: „Ich glaube nicht, dass das eine Tasche ist; es ist nur ein Schatten."
Wie es funktioniert: Die Methode nimmt das „Vertrauen" des Roboters in das Sehen einer Tasche. Wenn die Kamera über die Tasche aufgeregt ist, der „kluge Führer" (Anweisung) jedoch sehr skeptisch ist und eine niedrige Wahrscheinlichkeit dafür zuweist, weiß das System, dass es das Vertrauen kalibrieren (senken) muss. Es sagt effektiv: „Die Kamera lügt; der Führer weiß es besser."

2. Der „Kontext-Check" (Kontext-Konsistenz-Score)

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine Person in einer Menschenmenge zu identifizieren.
- Lokaler Check: Sie schauen auf einen unscharfen Bereich von Pixeln, der wie ein Gesicht aussieht.
- Kontext-Check: Sie fragen den „klugen Führer": „Passt diese Person zur Geschichte der gesamten Szene?" Wenn die Szene eine Skipiste ist, weiß der Führer, dass es Skifahrer und Schnee geben sollte, aber vielleicht keine „Tasche", die in der Luft schwebt.
Wie es funktioniert: Die Methode betrachtet das Verständnis des „klugen Führers" für die gesamte Szene. Sie prüft, ob das Objekt, das der Roboter zu sehen behauptet (z. B. „Tasche"), zur globalen Geschichte passt, die der Führer erzählt. Wenn die Geschichte des Führers die Existenz einer Tasche nicht stützt, markiert das System dies als Halluzination.

Warum ist dies besser?

Die meisten früheren Methoden versuchten, den Roboter zu reparieren, indem sie mehr schwere Maschinen hinzufügten (wie die Anforderung eines zweiten, extrem teuren KI-Modells, das die Arbeit überprüft) oder indem sie den Roboter trainierten, perfekt zu sein (was ewig dauert).

InsLen ist anders, weil:

Es „Plug-and-Play" ist: Sie müssen den Roboter nicht neu trainieren oder neue teure Tools hinzufügen. Sie verwenden einfach die eigenen internen Gedanken des „klugen Führers" des Roboters, um seine Arbeit zu überprüfen.
Es ist schnell: Es fügt dem Denkprozess des Roboters fast keine zusätzliche Zeit hinzu.
Es ist genau: In ihren Tests fing diese Methode mehr Lügen auf als jede andere Methode, die sie versuchten, selbst wenn der Roboter knifflige Bilder betrachtete, bei denen echte und gefälschte Objekte sich sehr ähnlich sahen (wie ein Löffel und ein Messer).

Zusammenfassung

Die Arbeit behauptet, dass wir, indem wir auf die Anweisungen des Roboters (den „klugen Führer") hören und nicht nur auf seine Augen (die Kamera), gefälschte Objekte effektiv herausfiltern können. Der Instruction Lens Score kombiniert einen „Realitätscheck" (Kalibrierung des Vertrauens der Kamera) mit einem „Kontext-Check" (Sicherstellen, dass das Objekt zur Geschichte passt), um einen hochzuverlässigen Lügendetektor für KI-Bildbeschreibungen zu schaffen.

Technische Zusammenfassung: Instruction Lens Score zur Erkennung von Objekthalluzinationen

Problemstellung

Multimodale Large Language Models (MLLMs) haben erhebliche Fähigkeiten im visuellen Verständnis und in der Schlussfolgerung unter Beweis gestellt. Ein entscheidendes Hindernis für ihren zuverlässigen Einsatz ist jedoch die Objekthalluzination (OH), bei der Modelle Beschreibungen von Objekten generieren, die in den Eingabebildern nicht vorhanden sind. Bestehende Erkennungsmethoden sehen sich zwei primären Einschränkungen gegenüber:

Abhängigkeit von Hilfsmodellen: Methoden, die auf externen Modellen (z. B. GPT-4) oder dedizierten Halluzinationsdetektoren basieren, verursachen erheblichen Rechenaufwand und erfordern zusätzliches Training.
Anfälligkeit für irreführende visuelle Signale: Visionsbasierte Erkennungswerte (z. B. Aufmerksamkeitsgewichte, lokale Ähnlichkeit) leiden häufig unter trügerisch hohem Vertrauen, wenn visuelle Encoder irreführende Informationen einführen oder wenn lokale visuelle Muster halluzinierter Objekte realen ähneln (z. B. ähnliche Texturen für Löffel und Messer).

Methodik: Instruction Lens Score (InsLen)

Die Arbeit schlägt den Instruction Lens Score (InsLen) vor, einen trainingsfreien, Plug-and-Play-Detektor, der die internen Embeddings von Instruktions-Token nutzt, um irreführende visuelle Informationen zu filtern. Die zentrale Erkenntnis besteht darin, dass Instruktions-Embeddings visuell verankerte Informationen implizit kodieren und gleichzeitig fehlerhafte Hinweise, die durch visuelle Embeddings eingeführt werden, effektiv unterdrücken.

Die Methode nutzt die Logit Lens-Technik, um Embeddings aus Zwischenschichten in den Vokabularraum zu projizieren, um Vertrauensverteilungen zu analysieren. InsLen besteht aus zwei komplementären Komponenten:

1. Kalibrierter lokaler Score ( $S_{cls}$ )

Diese Komponente adressiert das Problem des trügerischen Übervertrauens bei visionsbasierten Scores.

Mechanismus: Sie führt eine Kalibrierungsvertrauenswürdigkeit ( $S_{cafe}$ ) ein, indem sie das maximale Vertrauen misst, das einem Objekt-Token über alle Instruktions-Embeddings hinweg zugewiesen wird.
Logik: Da Instruktions-Embeddings irreführende visuelle Hinweise herausfiltern, erhalten halluzinierte Objekte in dieser Projektion ein geringeres Vertrauen.
Fusion: $S_{cafe}$ wird multiplikativ mit bestehenden visionsbasierten Scores (z. B. Local Similarity Score, Internal Confidence) fusioniert, um lokale visuelle Evidenz zu kalibrieren:
$S_{cls}(o) = S_{cafe}(o) \cdot S_{local}(o)$

2. Kontextkonsistenz-Score ( $S_{ccs}$ )

Diese Komponente adressiert die Einschränkung von Patch-level-visuellen Embeddings, die möglicherweise keine Unterscheidung zwischen Objekten mit ähnlichen lokalen Texturen treffen können.

Mechanismus: Sie aggregiert Instruktions-Embeddings, die dem Objekt-Token eine hohe Wahrscheinlichkeit zuweisen, um eine globale kontextuelle Repräsentation ( $\bar{z}$ ) zu bilden.
Logik: Instruktions-Embeddings erfassen den globalen Objektkontext. Die Konsistenz zwischen dem generierten Objekt-Token-Embedding ( $h_o$ ) und dem aggregierten Instruktionskontext ( $\bar{z}$ ) wird mittels einer normalisierten $\ell_2$ -Distanz gemessen.
Gewichtung: Der Konsistenz-Score wird durch das durchschnittliche Vertrauen der ausgewählten Instruktions-Embeddings gewichtet, um Zuverlässigkeit sicherzustellen:
$S_{ccs}(o) = S_{con}(o) \cdot p(o|\{\hat{z}_1, ..., \hat{z}_m\})$

Finale Bewertung

Der finale InsLen-Score ist eine gewichtete Kombination aus dem kalibrierten lokalen Score und dem Kontextkonsistenz-Score:
$S_{Ins}(o) = \omega \cdot S_{cls}(o) + (1 - \omega) \cdot S_{ccs}(o)$
wobei $\omega$ ein Hyperparameter ist.

Hauptbeiträge

Analyse von Instruktions-Embeddings: Die Autoren zeigen, dass Instruktions-Embeddings in MLLMs zuverlässige visuelle Semantik implizit kodieren und effektiv irreführende Informationen, die von visuellen Embeddings stammen, filtern können – eine Fähigkeit, die für die Halluzinationserkennung bisher übersehen wurde.
Vorgeschlagener Detektor (InsLen): Ein neuartiger, trainingsfreier Detektor, der kalibrierte visuelle Evidenz mit instruktionsbasierter Kontextkonsistenz integriert, ohne Hilfsmodelle oder zusätzliches Training zu benötigen.
Umfassende Evaluation: Zahlreiche Experimente über mehrere Benchmarks hinweg (MSCOCO, Objects365, POPE, CLEVR) und diverse MLLM-Architekturen (LLaVA-1.5, InstructBLIP, mPLUG-Owl3, Qwen3-VL, LLaVA-OneVision) belegen die Wirksamkeit der Methode.

Experimentelle Ergebnisse

Leistung: InsLen übertrifft bestehende State-of-the-Art-Methoden (z. B. GLSIM, SVAR, Internal Confidence) konsistent über alle getesteten Benchmarks und Modellarchitekturen hinweg.
- Auf dem MSCOCO-Benchmark mit Qwen3-VL verbesserte InsLen den AUROC um 7,70 % gegenüber dem stärksten Baseline-Modell (GLSIM).
- Auf dem POPE-Benchmark erzielte es bis zu 13,81 % höheren AUROC als Baselines für LLaVA-1.5.
- Auf dem CLEVR-Benchmark (Testung von Attribut- und relationalen Halluzinationen) zeigte InsLen überlegene Leistung, insbesondere bei stärkeren Modellen wie Qwen3-VL (77,72 % AUROC gegenüber 73,01 % für SVAR).
Robustheit: Die Methode bleibt bei nachtrainierten Modellen (z. B. LLaVA-RLHF, LLaVA-RLAIF-V) effektiv und zeigt Stabilität über verschiedene Eingabe-Instruktionslängen und Hyperparametereinstellungen ( $\omega$ , $m$ , $\tau$ ) hinweg.
Effizienz: Obwohl sie einen leicht höheren Rechenaufwand als einige Baselines einführt (z. B. ~104 ms vs. 95 ms für LLaVA-1.5), sind die Kosten im Vergleich zur Antwortgenerierung minimal und deutlich niedriger als bei Methoden, die Hilfsmodelle oder Nullierungsoperationen erfordern (z. B. EAZY).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der Instruction Lens Score ein wertvolles und bisher wenig erforschtes Signal zur Verbesserung der Zuverlässigkeit von MLLM-Generierungen bietet. Durch den Nachweis, dass Instruktions-Embeddings irreführende visuelle Informationen effektiv unterdrücken können, bietet die Arbeit eine neue Perspektive auf die Halluzinationserkennung, die nicht auf externe Ressourcen oder Neukalibrierung angewiesen ist. Die Autoren positionieren InsLen als robuste Plug-and-Play-Lösung, die die Vertrauenswürdigkeit von MLLMs in realen Anwendungen erhöht, in denen Objekthalluzinationen erhebliche Risiken darstellen.