💻 computer science

Mitigating Object Hallucinations via Sentence-Level Early Intervention

Das Papier stellt SENTINEL vor, ein Framework, das Objekthalluzinationen in multimodalen großen Sprachmodellen durch Bootstrapping von domänenspezifischen Präferenzdaten mittels offener Vokabel-Detektoren und die Anwendung kontextbewussten Präferenzlernens auf Satzebene zur frühen Intervention im Generierungsprozess ohne menschliche Annotationen reduziert.

Ursprüngliche Autoren: Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, künstlerischen Freund, der es liebt, Bilder für Sie zu beschreiben. Dieser Freund ist großartig darin, das große Ganze zu sehen, hat aber eine skurrile Angewohnheit: Während er weiterredet, beginnt er, Dinge zu erfinden, die tatsächlich nicht vorhanden sind.

Wenn Sie ihm ein Foto einer ruhigen Küche zeigen, beginnt er vielleicht damit zu sagen: „Ich sehe einen Tisch und Stühle." Das ist wahr. Doch während er die Szene weiter beschreibt, fügt er plötzlich hinzu: „Und schauen Sie, auf dem Tisch steht eine Vase mit Blumen", obwohl es keine Blumen gibt. Dann lässt er sich vielleicht so sehr hinreißen, dass er sagt: „Und eine Katze schläft auf der Vase", obwohl es keine Katze gibt.

Das ist es, was das Papier als Objekt-Halluzination bezeichnet. Das Modell lügt nicht absichtlich; es lässt sich einfach von seiner eigenen Geschichte hinreißen und erfindet Details, die der visuellen Realität widersprechen.

Das Problem mit aktuellen Lösungen

Die Autoren erklären, dass andere Forscher versucht haben, dies zu beheben, doch ihre Lösungen sind wie der Versuch, mit einem Vorschlaghammer eine Nuss zu knacken:

Der Ansatz des „menschlichen Editors": Einige Methoden bitten teure menschliche Redakteure oder übermächtige KI-Modelle, die Geschichte nachträglich umzuschreiben. Dies ist langsam, kostspielig und verändert oft die „Stimme" des ursprünglichen Modells.
Der Ansatz „Anhalten und Prüfen": Andere versuchen, das Modell nach jedem Satz anzuhalten, um zu prüfen, ob die Objekte existieren. Das ist, als würde man einen Fahrer auffordern, alle 10 Fuß das Auto anzuhalten, um die Karte zu prüfen. Es funktioniert, macht den Prozess aber unglaublich langsam und umständlich.

Die große Entdeckung: Der „Schneeballeffekt"

Die Autoren dieses Papiers, SENTINEL, machten eine entscheidende Beobachtung. Sie erkannten, dass Halluzinationen nicht auf einmal geschehen; sie geschehen früh und schwellen dann an wie ein Schneeball.

Stellen Sie es sich wie ein Spiel „Stille Post" vor. Wenn die erste Person in der Reihe eine falsche Tatsache flüstert, wiederholen alle nachfolgenden Personen diese falsche Tatsache und fügen weitere Lügen darauf hinzu. Das Papier fand heraus, dass, wenn das Modell im zweiten Satz halluziniert, es viel wahrscheinlicher wird, dass es auch im dritten, vierten und fünften Satz halluziniert. Der Fehler pflanzt sich fort.

Die Lösung: SENTINEL (Der frühe Eingreifer)

Die Autoren schlagen ein neues Framework namens SENTINEL vor. Anstatt zu warten, bis die ganze Geschichte geschrieben ist, um sie zu korrigieren, agiert SENTINEL wie ein wachsamter Redakteur, der genau in dem Moment eingreift, in dem die erste Lüge erzählt wird.

So funktioniert SENTINEL, anhand einer einfachen Analogie:

Die Probe (Bootstrapping):
Stellen Sie sich vor, das Modell ist ein Schauspieler, der eine Szene probt. SENTINEL bittet das Modell, die Szene (das Bild zu beschreiben) mehrmals aufzuführen.
- Durchlauf 1: „Ich sehe einen Tisch." (Wahr)
- Durchlauf 2: „Ich sehe einen Tisch und eine Vase." (Die Vase ist nicht da!)
- Durchlauf 3: „Ich sehe einen Tisch und eine Katze." (Keine Katze!)
Der Faktencheck (Abgleich):
SENTINEL nutzt zwei einfache, schnelle „Detektive" (Objekterkennungsmodelle), um das Foto und das Skript des Modells zu prüfen.
- Wenn das Skript „Vase" sagt, das Foto aber keine Vase hat, markieren die Detektive dies als Halluzination.
- Wenn das Skript „Tisch" sagt und das Foto einen Tisch hat, wird es als Faktisch markiert.
- Wenn die Detektive nicht übereinstimmen, ignorieren sie es (um Verwirrung zu vermeiden).
Die Lektion (Präferenzlernen):
Jetzt erstellt SENTINEL eine „Wähle deine eigene Abenteuer"-artige Lektion für das Modell.
- Option A (Der gute Weg): „Der Tisch ist von Stühlen umgeben." (Dies entspricht dem Foto).
- Option B (Der schlechte Weg): „Der Tisch ist von Stühlen und einer Vase umgeben." (Dies enthält die Lüge).
  Das Modell lernt zu erkennen: „Oh! Option A ist die, die ich wählen sollte. Option B ist falsch, weil sie die falsche Vase enthält."
Der „Kontext"-Twist:
Dies ist das Geheimnis. Das Modell lernt nicht nur, den richtigen Satz isoliert zu wählen. Es lernt, den richtigen Satz basierend auf dem, was davor kam, zu wählen.
- Wenn der vorherige Satz wahr war („Ich sehe einen Tisch"), lernt das Modell, auch den nächsten Satz wahr zu halten.
- Es lernt, dass sobald die „Lüge" (Halluzination) beginnt, die ganze Geschichte aus dem Ruder läuft. Daher lernt es, die Lüge sofort zu stoppen, sobald sie zum ersten Mal auftaucht.

Die Ergebnisse

Das Papier behauptet, dass SENTINEL durch das Aufspüren dieser Lügen ganz am Anfang (Frühe Eingriffe auf Satzebene) verhindert, dass der „Schneeball" weiterrollt.

Weniger Halluzinationen: Im Vergleich zum ursprünglichen Modell reduzierte es Objekt-Halluzinationen um über 90 %.
Bessere allgemeine Fähigkeiten: Im Gegensatz zu anderen Methoden, die das Modell „dümmer" oder langsamer machen, machte SENTINEL das Modell tatsächlich besser darin, Fragen zu beantworten und Dinge genau zu beschreiben.
Keine zusätzlichen Kosten: Es benötigt keine teuren menschlichen Redakteure oder Supercomputer zum Ausführen. Es lehrt das Modell, sein eigener Faktenprüfer zu sein.

Zusammenfassung

Stellen Sie sich das ursprüngliche KI-Modell als einen Geschichtenerzähler vor, der zu sehr in Fahrt kommt und Dinge erfindet.

Alte Methoden versuchten, einen strengen Redakteur zu engagieren, um die ganze Geschichte nach ihrem Abschluss umzuschreiben (teuer und langsam).
SENTINEL lehrt den Geschichtenerzähler, auf seine eigene innere Stimme zu hören. In dem Moment, in dem er im Begriff ist, etwas zu sagen, das nicht wahr ist, lernt er, innezuhalten, die Fakten zu prüfen und stattdessen die Wahrheit zu sagen. Dies stoppt die Lügen, bevor sie sich ausbreiten können, und führt zu einer Geschichte, die sowohl genau als auch kreativ ist.

Technische Zusammenfassung: SENTINEL

Problemstellung

Multimodale Large Language Models (MLLMs) haben das cross-modale Verständnis vorangebracht, leiden jedoch unter Objekt-Halluzinationen, bei denen Modelle Text generieren, der semantisch kohärent, aber faktisch inkonsistent mit dem visuellen Input ist. Bestehende Minderungsstrategien stoßen auf erhebliche Grenzen:

Decoding-basierte Methoden (z. B. kontrastives Decoding) verursachen oft unvertretbare Rechenkosten und erhöhte Inferenz-Latenz.
Preference-Alignment-Methoden verlassen sich häufig auf teure externe Ressourcen, wie proprietäre Large Language Models (LLMs) zum Umschreiben oder menschliche Annotatoren für die Datencuration. Darüber hinaus führen diese Methoden oft zu Verteilungsunterschieden zwischen den Trainingsdaten (die von externen Modellen umgeschrieben wurden) und der ursprünglichen Ausgabeverteilung des Zielmodells, was die Generalisierungsfähigkeiten beeinträchtigen kann.

Methodik: SENTINEL

Die Autoren schlagen SENTINEL (Sentence-level Early iNtervention Through IN-domain prEference Learning) vor, ein Framework, das entwickelt wurde, um Halluzinationen zu mindern, indem es in der frühesten Phase ihres Auftretens eingreift, ohne auf externes Umschreiben oder menschliche Annotation zurückzugreifen. Die Methode arbeitet in sechs Schlüsselschritten:

In-domain Candidate Bootstrapping:
- Das aktuelle MLLM generiert mehrere Kandidatenantworten durch Sampling.
- In diesen Ausgaben erwähnte Objekte werden mittels eines Scene-GraphParser extrahiert.
- Cross-Validation: Zwei Open-Vocabulary-Objektdetektoren (GroundingDINO und YOLO World) werden verwendet, um das Vorhandensein dieser Objekte im Eingabebild gegenzuprüfen.
- Objekte werden als faktisch (beide Detektoren bestätigen das Vorhandensein), halluziniert (beide bestätigen das Fehlen) oder unsicher klassifiziert. Sätze, die halluzinierte Objekte enthalten, werden als negative Stichproben markiert; solche mit nur faktischen Objekten als positive Stichproben. Unsichere Objekte werden ignoriert, um die Datenqualität sicherzustellen.
Kontextbewusste Präferenzdatengenerierung:
- Das Framework konstruiert Präferenzpaare $(y_w^+, y_l)$ , wobei $y_w^+$ ein nicht-halluzinierter Satz und $y_l$ ein halluzinierter ist.
- Entscheidend ist, dass die positive Stichprobe $y_w^+$ kontextkohärent ausgewählt wird, was bedeutet, dass die in dem Satz beschriebenen Objekte explizit auf den vorhergehenden Kontext Bezug nehmen oder logisch damit verbunden sind. Dies steht im Gegensatz zu kontextagnostischen Stichproben, die von den Autoren als weniger effektiv für die Generalisierung befunden wurden.
Iteratives Kontext-Bootstrapping (ICB):
- Um die Robustheit über diverse Szenarien hinweg zu erhöhen, erweitert das Framework iterativ den Generierungskontext. Nach der Identifizierung einer nicht-halluzinierten positiven Stichprobe wird diese für die nächste Iteration an den Kontext $c$ angehängt. Dies ermöglicht es dem Modell, aus zunehmend komplexen und variierenden Kontexten zu lernen, während eine halluzinationsfreie Grundlage gewahrt bleibt.
Kontextbewusstes Präferenzlernen (C-DPO):
- Das Modell wird mit einer modifizierten Direct Preference Optimization (DPO)-Verlustfunktion trainiert, die als C-DPO bezeichnet wird.
- Der Input des Policy-Modells wird um den Kontext $c$ erweitert: $x' = [v, q, c]$ .
- Die Verlustfunktion maximiert die Wahrscheinlichkeit der Generierung der kontextkohärenten positiven Stichprobe $y_w^+$ und minimiert gleichzeitig die halluzinierte negative Stichprobe $y_l$ .
- Schlüsseldesign: Der Kontext $c$ wird von der Verlustberechnung ausgeschlossen (maskiert). Die Gradienten werden ausschließlich aus der Diskriminierung zwischen $y_w^+$ und $y_l$ abgeleitet, wodurch sichergestellt wird, dass das Modell lernt, Halluzinationen auf Satzebene zu unterscheiden, ohne während der Optimierung durch die Kontext-Token verzerrt zu werden.

Hauptbeiträge

Früheingriff-Erkenntnis: Die Autoren zeigen durch Analyse, dass die Intensität von Halluzinationen mit der Textlänge zunimmt und dass ein Eingreifen beim ersten Auftreten einer Halluzination deren Ausbreitung in nachfolgenden Ausgaben signifikant verhindert.
Effizientes, In-domain-Framework: SENTINEL eliminiert die Abhängigkeit von externen proprietären Modellen oder menschlichen Annotatoren. Durch die Verwendung der eigenen Ausgaben des Modells und leichter Open-Vocabulary-Detektoren werden hochwertige, stil-konsistente Präferenzdaten konstruiert.
Modellagnostische Leistung: Die Methode erzielt State-of-the-Art-Ergebnisse bei Halluzinations-Benchmarks, während sie allgemeine Fähigkeiten erhält oder verbessert, und zeigt damit, dass in-domain Präferenzlernen über schreibbasierte Ansätze überlegen ist.

Experimentelle Ergebnisse

Experimente wurden an LLaVA-v1.5-Modellen (7B und 13B) über mehrere Benchmarks hinweg durchgeführt:

Minderung von Halluzinationen:
- Auf Object HalBench reduzierte SENTINEL die Halluzinationsrate auf Antwortebene von 52,7 % (Basislinie) auf 4,3 % für das 7B-Modell und übertraf damit den vorherigen SOTA (TPO) mit einem signifikanten Abstand.
- Auf AMBER wurden Halluzinationen im Vergleich zum Originalmodell um etwa 92 % (Object HalBench) und 65 % (AMBER) reduziert.
- Die Methode reduzierte Halluzinationen effektiv über alle sechs Kategorien hinweg (Existenz, Attribut, Zustand, Relation, Aktion, Zahl).
Allgemeine Fähigkeiten:
- Im Gegensatz zu vielen Minderungsmethoden, die die allgemeine Leistung verschlechtern, behielt SENTINEL die Scores auf VQAv2, TextVQA, ScienceQA und MM-Vet bei oder verbesserte sie.
- Beispielsweise verbesserte sich das 7B-Modell auf MM-Vet von 31,0 auf 32,6, und das 13B-Modell von 36,0 auf 36,2.
Ablationsstudien:
- Umschreiben vs. In-domain: Das Training auf umgeschriebenen Daten (via GPT-4) führte zu einer Leistungsverschlechterung und bestätigte die Bedeutung der Erhaltung der intrinsischen Verteilung des Modells.
- Kontextkohärenz: Die Verwendung kontextkohärenter positiver Stichproben ( $y_w^+$ ) ergab bessere Ergebnisse als kontextagnostische Stichproben.
- Gegentest: Die Verwendung zweier Detektoren zur Validierung übertraf Ansätze mit einem einzelnen Detektor signifikant.
- Skalierbarkeit: Die Leistung verbesserte sich mit zunehmender Größe der Trainingsdaten, was die Effizienz der Methode bei der Nutzung größerer Datensätze ohne kostspielige Annotation unterstreicht.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SENTINEL eine skalierbare, effiziente und modellagnostische Lösung zur Verbesserung der Zuverlässigkeit von MLLMs bietet. Ihre primäre Bedeutung liegt in der Verschiebung des Paradigmas von teuren, verteilungsverändernden externen Eingriffen hin zu in-domain, satzebener Früheingriff. Durch die Fokussierung auf den genauen Moment, in dem Halluzinationen entstehen, und die Nutzung der eigenen Verteilung des Modells, gelingt es SENTINEL, die Ausbreitung von Fehlern einzudämmen, ohne die allgemeinen Schlussfolgerungs- oder Sprachgenerierungsfähigkeiten des Modells zu beeinträchtigen.

Die Autoren weisen auf eine Einschränkung hin: Das aktuelle Framework verfügt nicht über räumlich-zeitliche Schlussfolgerungsfähigkeiten, was bedeutet, dass es Halluzinationsprobleme in video-basierten MLLMs, die langfristige Schlussfolgerungen erfordern, möglicherweise nicht vollständig adressiert. Für das Verständnis statischer Bilder etabliert es jedoch einen neuen Standard für eine effiziente Minderung von Halluzinationen.