🤖 AI

GHOST: Hallucination-Inducing Image Generation for Multimodal LLMs

Das Paper stellt GHOST vor, eine automatische Methode, die durch die Optimierung von Bild-Embeddings natürlich aussehende, objektfreie Bilder generiert, um Halluzinationsanfälligkeiten in multimodalen großen Sprachmodellen aktiv zu induzieren und offenzulegen, wobei sie signifikant höhere Erfolgsraten als bisherige Ansätze erzielt und gleichzeitig als Werkzeug zur Verbesserung der Modellrobustheit durch Feinabstimmung dient.

Ursprüngliche Autoren: Aryan Yazdan Parast, Parsa Hosseini, Hesam Asadollahzadeh, Arshia Soltani Moakhar, Basim Azam, Soheil Feizi, Naveed Akhtar

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aryan Yazdan Parast, Parsa Hosseini, Hesam Asadollahzadeh, Arshia Soltani Moakhar, Basim Azam, Soheil Feizi, Naveed Akhtar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „übermäßig fantasievolle“ KI-Assistent

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter-Assistenten, der Fotos betrachten und beschreiben kann, was er sieht. Er ist bei den meisten Dingen großartig, hat aber einen seltsamen Fehler: Manchmal sieht er Dinge, die gar nicht da sind.

Wenn Sie ihm ein Bild einer Banane auf einem Teller zeigen, sagt er vielleicht voller Selbstvertrauen: „Ja, ich sehe ein Messer neben der Banane“, obwohl dort gar kein Messer ist. In der Welt der KI nennt man das Halluzination. Es ist wie eine Person, die so darauf bedacht ist, es dem Gegenüber recht zu machen, oder so an bestimmte Muster gewöhnt ist, dass sie Details erfindet, um die Lücken zu füllen.

Der alte Weg: Das Prüfen einer statischen Liste

Früher versuchten Forscher, diese Fehler zu finden, indem sie der KI eine feste Liste von Fotos zeigten (wie bei einem Multiple-Choice-Test). Sie fragten: „Siehst du ein Messer?“, und schauten nach, ob die KI einen Fehler machte.

Der Makel: Das ist so, als würde man einen Autofahrer nur auf einem spezifischen, leeren Parkplatz testen. Man übersieht dabei vielleicht, dass er in Panik gerät, wenn plötzlich ein roter Ball auf die Straße rollt. Die alten Tests waren zu starr und konnten keine neuen oder seltsamen Arten finden, wie die KI scheitern könnte.

Die neue Lösung: GHOST (Der „Zaubertrick“-Künstler)

Die Autoren stellen GHOST vor (Generating Hallucinations via Optimizing Stealth Tokens). Denken Sie an GHOST als einen Magier, der der KI nicht einfach nur ein Bild zeigt, sondern ein neues Bild malt, das speziell darauf ausgelegt ist, die KI dazu zu bringen, ein Gespenst zu sehen.

So funktioniert GHOST, Schritt für Schritt:

1. Die „unsichtbare Tinte“-Optimierung

GHOST beginnt mit einem normalen Foto (wie der Banane auf dem Teller). Es möchte die KI dazu bringen, zu glauben, dass dort ein Messer ist.

Anstatt ein Messer zu zeichnen (was für einen Menschen offensichtlich wäre), arbeitet GHOST in einer „Geheimsprache“ namens Embeddings. Stellen Sie sich dies als den internen Traumzustand der KI vor.
GHOST verändert diesen Traumzustand nur ganz minimal. Es fügt Hinweise durch „unsichtbare Tinte“ hinzu. Vielleicht verändert es die Krümmung des Bananenstiels so, dass er für die KI leicht wie ein Messergriff aussieht, während er für einen Menschen immer noch exakt wie eine Banane aussieht.

2. Der „Übersetzer“ (Der Mapper)

Es gibt ein Problem: Die KI, die das Bild betrachtet (die MLLM), spricht eine andere Sprache als die KI, die das Bild malt (das Diffusion-Modell).

GHOST baut einen Übersetzer (einen sogenannten Mapper). Dieser Übersetzer nimmt die „Geheimtipps aus dem Traum“ des Malers und übersetzt sie in Anweisungen, die der Maler verstehen kann, ohne dass er die KI (die MLLM) bei jedem einzelnen Schritt um Hilfe bitten muss. Das macht den Prozess super schnell.

3. Der „Traummaler“ (Diffusion)

Sob wenn die geheimen Anweisungen bereit sind, nutzt GHOST ein Diffusion-Modell (eine Art von KI, die Bilder aus Rauschen erzeugt), um das fertige Bild zu malen.

Es beginnt mit dem ursprünglichen Bananenfoto und „entstört“ (denoises) es sanft basierend auf den geheimen Anweisungen.
Das Ergebnis: Das fertige Bild sieht für einen Menschen zu 100 % natürlich aus. Es ist immer noch eine Banane auf einem Teller. Aber für die KI sind die subtilen Veränderungen in der Beleuchtung oder Form genug, um sie schreien zu lassen: „ICH SEHE EIN MESSER!“

Warum das eine große Sache ist

Das Paper behauptet drei große Siege für GHOST:

Es ist ein Meisterdetektiv:
- Alte Methoden fanden etwa 1 % der Halluzinationsfälle.
- GHOST fand über 28 % der Fälle. Es ist wie der Wechsel von einem Metalldetektor, der 99 % der Münzen übersieht, zu einem, der fast alle findet.
Es ist eine universelle Falle (Transferierbarkeit):
- GHOST kann eine KI (wie Qwen) austricksen und dann dasselbe „getäuschte“ Bild einer völlig anderen KI (wie GPT-4o) zeigen.
- Das Ergebnis: Die zweite KI halluziniert ebenfalls! Dies beweist, dass verschiedene KIs dieselben blinden Flecken haben. Es ist, als würde man eine bestimmte Art von optischer Täuschung finden, die sowohl Ihre Augen als auch die Augen Ihres Freundes täuscht, obwohl Sie unterschiedliche Sehgewohnheiten haben.
Es ist eine Heilung, nicht nur ein Test:
- Die Autoren haben GHOST nicht nur benutzt, um Dinge kaputt zu machen; sie haben es genutzt, um sie zu reparieren.
- Sie nahmen die von GHOST erzeugten „getäuschten“ Bilder und zeigten sie der KI zusammen mit der richtigen Antwort („Nein, da ist kein Messer“).
- Das Ergebnis: Die KI wurde besser darin, in Zukunft nicht mehr zu halluzinieren. Es ist, als würde man einem Schüler genau die Fangfragen zeigen, bei denen er Fehler gemacht hat, damit er die richtige Antwort lernen kann.

Das Fazit

GHOST ist ein Werkzeug, das automatisch „Trick-Fotos“ erstellt, um die Sehsyteme von KI unter Stress zu setzen. Es beweist, dass aktuelle KI-Modelle fragil sind und durch subtile, natürlich wirkende Veränderungen leicht getäuscht werden können. Aber noch wichtiger ist: Es bietet einen Weg, diese Schwachstellen zu finden und die KI zu trainieren, damit sie zuverlässiger wird – damit sie, wenn sie sagt, dass sie ein Messer sieht, auch wirklich ein Messer sieht.

Technisches Resümee: GHOST – Halluzinationsinduzierende Bildgenerierung für multimodale LLMs

Problemstellung

Multimodale Large Language Models (MLLMs) leiden unter Objekt-Halluzinationen, einem Fehlermodus, bei dem das Modell fälschlicherweise die Anwesenheit eines Objekts vorhersagt, das im Eingabebild nicht vorhanden ist. Aktuelle Evaluierungsmethoden stützen sich auf statische Benchmarks mit festen visuellen Szenarien und kuratierten Bildsätzen. Diese Ansätze beschränken die Analyse auf bekannte Szenarien und versäumen es, modellspezifische Schwachstellen oder unvorhergesehene Halluzinationsmuster aufzudecken. Darüber hinaus fehlt es bestehenden Methoden zur Entdeckung von Halluzinationen oft an einer systematischen Möglichkeit, zu bewerten, welche Bildtypen Fehler auslösen, oder sie verlassen sich auf ressourcenintensive Pipelines, die die Optimierung nicht effektiv von der Bildgenerierung entkoppeln können.

Methodik: GHOST

Die Autoren führen GHOST ein (Generating Hallucinations via Optimizing Stealth Tokens), eine vollständig automatisierte, unüberwachte Pipeline, die darauf ausgelegt ist, MLLMs durch die Synthese von Bildern zu stressen, die Halluzinationen induzieren, ohne das Zielobjekt tatsächlich einzufügen.

Kernarchitektur

GHOST operiert durch die Optimierung im Bild-Embedding-Raum anstatt im Pixel-Raum und nutzt ein Diffusionsmodell zur Generierung des finalen Bildes. Die Pipeline besteht aus drei Hauptkomponenten:

Embedding Space Mapper ( $\Pi$ ):
Um die Lücke zwischen dem Vision-Encoder des Ziel-MLLM ( $V_M$ ) und dem von dem Diffusionsmodell verwendeten CLIP-Embedding-Raum zu schließen, verwendet GHOST ein leichtgewichtiges Multi-Layer Perceptron (MLP). Dieser Mapper wird trainiert, um CLIP-Embeddings mit den Vision-Tokens des MLLM mittels eines Mean Squared Error (MSE) Loss abzugleichen. Diese Entkopplung ermöglicht eine effiziente Optimierung, ohne das gesamte MLLM und die Diffusionspipeline gleichzeitig zurückpropagieren zu müssen.
Optimierungsziel:
Gegeben sei ein Eingabebild $X_v$ (das das Zielobjekt $t$ nicht enthält) und ein Abfrage-Prompt $X_q$ (z. B. „Siehst du ein $t$ ?“). GHOST optimiert ein CLIP-Embedding $c$ , um drei Bedingungen zu erfüllen:
- Proximität: Das optimierte Embedding $c$ muss dem ursprünglichen Bild-Embedding $c_0$ nahebleiben (reguliert über einen $\ell_2$ -Penalty), um die semantische Hochebene zu bewahren.
- Abwesenheit von Objektsemantik: Das Embedding darf das Zielobjekt selbst nicht kodieren. Dies wird durch die Bestrafung der Kosinusähnlichkeit zwischen $c$ und einem „kompositionellen Embedding“ erzwungen, das aus vielfältigen Textbeschreibungen des Zielobjekts abgeleitet wurde (einschließlich direkter Beschreibungen, generischer Templates und extrahierter COCO-Captions).
- Induzierung von Halluzination: Das Embedding muss die Wahrscheinlichkeit maximieren, dass das MLLM das „Ja“-Token ausgibt. Der adversarielle Loss ist definiert als $-\log p(y^* | X_q, \Pi(c))$ , wobei $y^*$ das Zieltoken ist.
Guided Diffusion:
Sobald ein Embedding $c$ den Halluzinationsschwellenwert erreicht hat, konditioniert es ein Latent Diffusion Model (speziell Stable Diffusion unCLIP). Im Gegensatz zur Standardgenerierung aus Rauschen startet GHOST den reversen Diffusionsprozess von einem teilweise verrauschten Latent des Originalbildes. Dies stellt sicher, dass das generierte Bild die strukturelle Integrität des Eingangsbilds beibehält, während es subtile, irreführende semantische Hinweise einführt.
- Filterung: Ein strenger Open-Vocabulary-Objektdetektor (OWLv2) filtert die generierten Bilder. Wenn der Detektor das Zielobjekt identifiziert, wird die Probe verworfen. Erfolg ist definiert als der Fall, in dem das MLLM das Objekt halluziniert, während der Detektor dessen Abwesenheit bestätigt.

Zentrale Beiträge

Aktive Generierung von Fehlerszenarien: Im Gegensatz zu statischen Benchmarks generiert GHOST aktiv Bilder, die spezifische Schwachstellen von Modellen aufzeigen und so neuartige sowie unerwartete visuelle Trigger für Halluzinationen aufdecken.
Entkoppelte Optimierung: Durch die Abbildung von CLIP-Embeddings auf den Vision-Raum des MLLM vermeidet GHOST die rechnerischen Engpässe der End-to-End-Pixelraum-Optimierung und erreicht eine 5-fache Beschleunigung gegenüber früheren Methoden wie DASH.
Semantische Ebene der Perturbation: Die Methode führt subtile, semantische Hinweise ein (z. B. die Modifikation eines Bananenstiels, um einem Messerrücken zu ähneln), die für Menschen als natürliche Variationen wahrnehmbar sind, aber ausreichen, um das Modell über die Entscheidungsgrenze zu drücken.
Transferierbarkeit: Die Methode zeigt, dass für ein Modell optimierte halluzinationsinduzierende Bilder oft auch auf andere Modelle übertragbar sind, was systemische Schwachstellen über verschiedene MLLM-Architekturen hinweg offenlegt.

Experimentelle Ergebnisse

Die Autoren evaluierten GHOST auf drei Open-Source-MLLMs: Qwen2.5-VL, LLaVA-v1.6 und GLM-4.1V-Thinking.

Erfolgsrate: GHOST erreichte Halluzinations-Erfolgsraten zwischen 28,1 % und 32,4 % über die getesteten Modelle hinweg. Im Gegensatz dazu erreichte die bisherige State-of-the-Art-Methode DASH auf demselben COCO-basierten Datensatz lediglich 0,1 %.
Transferierbarkeit: Für Qwen2.5-VL optimierte Bilder induzierten bei GPT-4o Halluzinationen in einer Rate von 66,5 % sowie in anderen Modellen (LLaMA3.2, Aya, Gemini) in Raten zwischen 42 % und 72 %, was auf gemeinsame Fehlermodi hindeutet.
Bildqualität: Quantitative Metriken (FID) und menschliche Evaluationen bestätigten, dass die generierten Bilder von hoher Qualität und visuell natürlich sind. Menschliche Annotatoren stimmten darin überein, dass das Zielobjekt in 86–89 % der GHOST-Bilder abwesend war, was mit Baseline-Diffusionsmethoden vergleichbar ist.
Mitigation: Das Fine-Tuning von Qwen2.5-VL auf den von GHOST generierten synthetischen Bildern verbesserte die Robustheit gegenüber nachgelagerten Halluzinations-Benchmarks (POPE und CHAIR), während die allgemeinen Vision-Language-Fähigkeiten (VQAv2, COCO Captioning) erhalten blieben.

Bedeutung und Ansprüche

Das Paper positioniert GHOST sowohl als diagnostisches als auch als korrektives Werkzeug für den Aufbau zuverlässiger multimodaler Systeme.

Diagnostisch: Es zeigt auf, dass MLLMs sich auf spureneffektive Korrelationen und subtile visuelle Hinweise verlassen anstatt auf robuster Objekterkennung, wodurch Schwachstellen offengelegt werden, die statische Benchmarks übersehen.
Korrektiv: Die Autoren demonstrieren, dass das Training auf diesen synthetischen Fehlerszenarien Halluzinationen mindern kann, was einen Weg zur Verbesserung der Modellrobustheit aufzeigt.
Skalierbarkeit: Durch die Entkopplung der Optimierung von der Bildgenerierung bietet GHOST einen skalierbaren Rahmen für das Stress-Testing zukünftiger MLLMs, einschließlich reasoning-basierter Modelle wie GLM-4.1V-Thinking, bei denen es erfolgreich die Reasoning-Trajektorie des Modells verschob, um nicht existierende Objekte zu rechtfertigen.

Die Autoren räumen Einschränkungen ein und merken an, dass die Methode von Diffusionsmodellen abhängt, die in der Lage sind, auf Bild-Embeddings zu konditionieren (wie unCLIP), und dass der Fokus derzeit primär auf objektzentrierten Halluzinationen liegt, obwohl vorläufige Experimente auf eine Anwendbarkeit auf Attribut- und Relationshalluzinationen hindeuten.