Benchmarking Deflection and Hallucination in Large Vision-Language Models

Die Arbeit stellt VLM-DeflectionBench vor, ein dynamisches Benchmarking-Framework, das die Fähigkeit von Large Vision-Language Models testet, bei widersprüchlichen oder unzureichenden multimodalen Beweisen korrekte Ablehnungen auszusprechen, anstatt Halluzinationen zu erzeugen.

Das Wesentliche

Titel: Der ehrliche Seher – Warum KI manchmal besser schweigt als lügt

Stellen Sie sich vor, Sie haben einen extrem intelligenten, aber manchmal etwas zu selbstbewussten Assistenten namens „Großer Vision-Sprach-Assistent" (LVLM). Dieser Assistent kann Bilder sehen, Texte lesen und Fragen beantworten. Er ist wie ein Super-Genie, das die ganze Welt im Kopf hat.

Aber hier ist das Problem: Wenn dieser Assistent nicht genug Informationen hat, um eine Frage zu beantworten, neigt er dazu, zu lügen. Er erfindet Fakten, nur um nicht mit leeren Händen dazustehen. Das nennt man in der Fachsprache „Halluzination".

Die Forscher aus diesem Papier haben sich gedacht: „Das reicht nicht! Ein guter Assistent sollte wissen, wann er die Antwort nicht weiß und höflich sagen: 'Entschuldigung, ich kann das nicht beantworten'." Das nennt man „Ablenkung" oder „Deflection" (im Sinne von: sich aus der Affäre ziehen, statt zu bluffen).

Um das zu testen, haben sie einen neuen Prüfstein (einen Benchmark) namens VLM-DeflectionBench gebaut. Hier ist die Geschichte davon, wie sie das gemacht haben, einfach erklärt:

1. Das Problem: Der vergessliche Lehrer

Frühere Tests waren wie alte Schulbücher. Sie waren veraltet. Die KI hat sich so viele Dinge auswendig gelernt (wie ein Schüler, der den Lehrbuchtext auswendig kann), dass sie viele Fragen beantworten konnte, ohne überhaupt nachschauen zu müssen. Das war unfair für den Test, weil wir wissen wollten: Kann die KI auch dann richtig antworten, wenn sie sich nichts merken kann und erst nachschauen muss?

Außerdem haben alte Tests nur darauf geachtet, ob die Antwort richtig war. Sie haben nicht geschaut, ob die KI gelogen hat, als sie eigentlich nichts wusste.

2. Die Lösung: Ein dynamischer Filter

Die Forscher haben eine Art intelligenten Filter gebaut. Stellen Sie sich das wie eine strenge Türsteher-Polizei vor:

• Sie nehmen eine Frage.
• Sie fragen den KI-Assistenten: „Kannst du das ohne Hilfe beantworten?"
• Wenn die KI es ohne Hilfe kann (weil sie es auswendig weiß), wird die Frage weggeworfen.
• Nur die Fragen bleiben übrig, bei denen die KI wirklich Hilfe braucht (z. B. einen Text oder ein Bild, das sie gerade erst suchen muss).

So stellen sie sicher, dass der Test immer schwer bleibt, auch wenn die KI immer schlauer wird.

3. Der Test: Vier Szenarien im „Vertrauens-Parcours"

Der neue Test (VLM-DeflectionBench) stellt die KI in vier verschiedene Situationen, wie ein Fahrschüler in verschiedenen Verkehrslagen:

• Szenario 1: Der Gedächtnistest (Parametric)
  Die KI darf nichts nachschauen. Sie muss aus dem Gedächtnis antworten.

  • Erwartung: Sie sollte bei den schwierigen Fragen schweigen (da wir die leichten Fragen ja schon weggefiltert haben).
  • Realität: Viele KIs lügen trotzdem.

• Szenario 2: Der perfekte Lehrer (Oracle)
  Die KI bekommt die perfekte Antwortquelle (den „Gold-Text" oder das „Gold-Bild").

  • Erwartung: Sie sollte die Antwort finden.
  • Realität: Selbst mit der perfekten Antwortquelle lügen manche KIs noch, weil sie die Informationen nicht richtig lesen können.

• Szenario 3: Der chaotische Markt (Realistic)
  Die KI bekommt die richtige Antwortquelle, aber sie ist mit falschen Informationen (Distraktoren) vermischt. Es ist wie ein Markt, wo ein Verkäufer die Wahrheit sagt, aber daneben stehen 10 Lügner, die laut schreien.

  • Erwartung: Die KI soll die Wahrheit finden und die Lügner ignorieren.
  • Realität: Die KIs werden oft verwirrt und folgen den Lügern.

• Szenario 4: Die Falle (Adversarial)
  Die KI bekommt nur falsche Informationen. Es gibt gar keine richtige Antwort.

  • Erwartung: Die KI sollte sofort sagen: „Ich kann das nicht beantworten!"
  • Realität: Die meisten KIs versuchen trotzdem, eine Antwort zu erfinden.

4. Was haben sie herausgefunden?

Die Ergebnisse waren ernüchternd, aber wichtig:

• Text schlägt Bilder: Wenn die falschen Informationen in Textform waren und die richtigen in Bildform, haben die KIs fast immer dem Text geglaubt. Sie sind wie Menschen, die einem lauten Sprecher mehr glauben als einem stummen Bild.
• Lieber lügen als schweigen: Die KIs haben Angst, „dumm" zu wirken. Wenn sie unsicher sind, erfinden sie lieber eine Antwort, als zuzugeben, dass sie nichts wissen.
• Strenge Befehle helfen nicht immer: Wenn man der KI streng sagt: „Wenn du nicht sicher bist, schweig!", dann schweigt sie zwar, aber sie schweigt auch dann, wenn sie die Antwort hätte finden können. Sie wird zu ängstlich.

5. Warum ist das wichtig?

Stellen Sie sich vor, Sie fragen eine KI: „Ist dieses Medikament sicher für mein Kind?"

• Wenn die KI halluziniert (lügt) und sagt „Ja", könnte das tödlich sein.
• Wenn die KI deflektiert (sagt „Ich weiß es nicht, bitte fragen Sie einen Arzt"), ist das sicher.

Dieser neue Test zeigt uns, dass wir KI-Systeme nicht nur darauf trainieren müssen, richtige Antworten zu geben, sondern auch darauf, zu wissen, wann sie schweigen müssen. Es ist der Unterschied zwischen einem arroganten Dummkopf, der alles weiß, und einem ehrlichen Experten, der weiß, wo seine Grenzen liegen.

Fazit: Die Forscher haben einen neuen Spiegel für KIs gebaut. Und wenn wir in diesen Spiegel schauen, sehen wir, dass unsere KIs noch lernen müssen, dass es in Ordnung ist, „Ich weiß es nicht" zu sagen.

Technische Zusammenfassung

Titel: Benchmarking von Ablenkung (Deflection) und Halluzination in Large Vision-Language Models (LVLMs)

Autoren: Nicholas Moratelli, Christopher Davis, Leonardo F. R. Ribeiro, Bill Byrne, Gonzalo Iglesias (Amazon AGI, University of Modena and Reggio Emilia, University of Cambridge).

---

1. Problemstellung

Large Vision-Language Models (LVLMs) werden zunehmend für wissensintensive multimodale Fragen eingesetzt, oft unterstützt durch Retrieval-Augmented Generation (RAG). Bestehende Benchmarks weisen jedoch zwei gravierende Mängel auf:

1. Fehlende Unterscheidung von Fehlermodi: Sie bewerten primär die Genauigkeit (Accuracy), unterscheiden aber nicht zwischen einer falschen Antwort (Halluzination) und einer korrekten Verweigerung (Deflection/Ablenkung), wenn die Evidenz unzureichend ist.
2. Schnelle Obsoleszenz: Durch das Wachstum der Trainingsdaten können viele Modelle Fragen mittlerweile aus parametrischem Gedächtnis beantworten, ohne Retrieval zu benötigen. Dies macht Benchmarks, die auf reinem Retrieval basieren, schnell veraltet.
3. Mangelnde Robustheit: Modelle neigen dazu, auch bei widersprüchlicher oder unvollständiger Evidenz Antworten zu generieren, anstatt sich zurückzuhalten.

Das Ziel ist es, zu untersuchen, ob LVLMs in der Lage sind, sich bei fehlender oder irreführender Information angemessen zu verweigern (Deflection), anstatt zu halluzinieren.

---

2. Methodik: VLM-DeflectionBench

Die Autoren stellen VLM-DeflectionBench vor, einen dynamischen, wiederverwendbaren Benchmark, der speziell darauf ausgelegt ist, das Verhalten von Modellen unter verschiedenen Evidenzbedingungen zu testen.

A. Dynamische Datenkuratierung (Pipeline)

Um die Schwierigkeit über die Zeit zu erhalten, wurde eine dreistufige Pipeline entwickelt:

1. Filterung parametrisch lösbarer Proben: Eine Reihe starker „Gating-Modelle" (z. B. GEMMA3, QWEN-2.5-VL) testet die Fragen ohne externen Kontext. Proben, die diese Modelle korrekt beantworten können, werden verworfen, da sie keine echte Retrieval-Abhängigkeit mehr aufweisen.
2. Anreicherung mit Gold- und Distraktor-Kontexten: Für die verbleibenden Proben werden goldene (korrekte) Kontexte sowie negative Distraktoren (falsche Texte oder Bilder) aus Wikipedia-Indizes und Bilddatenbanken abgerufen.
3. Qualitätskontrolle:
   • Lösbarkeit: Proben werden verworfen, wenn selbst mit goldenem Kontext keine Gating-Modelle die Antwort finden.
   • Distraktor-Validität: Distraktoren werden entfernt, wenn ein Gating-Modell fälschlicherweise eine korrekte Antwort darauf basierend generiert.
   • Das Ergebnis ist ein Datensatz von 2.775 Proben mit jeweils goldenen und negativen Kontexten.

B. Evaluierungsszenarien

Der Benchmark definiert vier Szenarien, um parametrisches Wissen von Retrieval-Robustheit zu entkoppeln:

1. Parametric: Nur Frage und Bild (kein externer Kontext). Erwartetes Verhalten: Verweigerung (Deflection).
2. Oracle: Nur goldener (korrekter) Kontext. Erwartetes Verhalten: Hohe Genauigkeit.
3. Realistic: Gemischter Kontext (Gold + Distraktoren). Erwartetes Verhalten: Hohe Genauigkeit trotz Rauschen.
4. Adversarial: Nur Distraktoren (keine Gold-Evidenz). Erwartetes Verhalten: Maximale Verweigerung.

C. Evaluierungsprotokoll

Die Antworten werden mit GPT-4o als Richter bewertet (basierend auf dem SIMPLEQA-Protokoll). Die Metriken umfassen:

• Accuracy (Genauigkeit): Korrekte Beantwortung.
• Deflection Rate: Anteil der korrekten Verweigerungen („Ich kann nicht antworten").
• Hallucination Rate: Anteil der falschen Antworten (inkl. falscher Beantwortung bei unzureichender Evidenz).

---

3. Wichtige Beiträge

1. Dynamische Pipeline: Ein System, das Benchmarks aktuell hält, indem es Proben filtert, die durch verbesserte Modelle aus dem Gedächtnis beantwortet werden können.
2. VLM-DeflectionBench: Ein Datensatz mit 2.775 Proben, der multimodale Retrieval-Szenarien (Text und Bild) mit expliziten Distraktoren abdeckt.
3. Feingranulare Evaluation: Ein Protokoll mit vier Szenarien, das den Trade-off zwischen Halluzination und Deflection quantifiziert und zeigt, dass reine Genauigkeitsmetriken irreführend sind.

---

4. Ergebnisse

Die Studie evaluierte 20 State-of-the-Art LVLMs (sowohl Open-Weight als auch proprietäre Systeme wie Claude, GPT-5, Gemini).

• Versagen bei Deflection: Die meisten Modelle scheitern daran, sich bei unzureichender Evidenz zurückzuhalten. Selbst in adversariellen Szenarien (nur Distraktoren) halluzinieren viele Modelle statt zu verweigern.
  • Beispiel: In der adversariellen Einstellung halluzinierte Qwen-2.5-VL in 83,9 % der Fälle, während Mistral-Small-3.1 eine hohe Deflection-Rate (83,8 %) zeigte, aber dafür im Oracle-Szenario zu vorsichtig war.
• Trade-off zwischen Genauigkeit und Verweigerung: Es gibt keinen „perfekten" Modellt. Modelle, die gut bei reinen Evidenzszenarien abschneiden (z. B. OVIS2), halluzinieren oft bei Rauschen. Modelle, die sehr vorsichtig sind (z. B. Mistral), verweigern auch bei korrekter Evidenz zu oft (Over-Deflection).
• Bias zugunsten von Text: In Szenarien mit gemischten Distraktoren (Text vs. Bild) dominiert irreführender Text oft die visuelle Evidenz. Selbst wenn das Gold-Bild korrekt ist, führen falsche Text-Distraktoren dazu, dass Modelle die Genauigkeit verlieren oder sich verweigern.
• Einfluss von Prompting: Strengere Anweisungen zur Verweigerung („Severe Prompting") erhöhen die Deflection-Rate drastisch, führen aber in realistischen Szenarien zu einem Kollaps der Genauigkeit (Over-Deflection), da Modelle auch bei vorhandener Evidenz nicht antworten.
• Robustheit gegen Rauschen: Mit zunehmender Anzahl an Distraktoren sinkt die Genauigkeit und die Halluzinationsrate steigt, während die Deflection-Rate nur marginal zunimmt. Modelle bevorzugen das Halluzinieren vor dem Abwarten.

---

5. Bedeutung und Fazit

• Paradigmenwechsel: Die Arbeit zeigt, dass die Bewertung von LVLMs nicht nur darauf basieren darf, was sie wissen, sondern auch darauf, wie sie sich verhalten, wenn sie nichts wissen.
• Vertrauenswürdige RAG: Für den Einsatz in der realen Welt ist es kritischer, dass Modelle unsichere Antworten unterdrücken, als dass sie mit hoher Sicherheit falsche Fakten liefern. VLM-DeflectionBench bietet die erste Plattform, um dieses Verhalten systematisch zu messen.
• Zukunftsfähigkeit: Da der Benchmark dynamisch ist und sich an die Entwicklung stärkerer Modelle anpasst, bleibt er ein relevantes Werkzeug, um die Zuverlässigkeit von Retrieval-Augmented-Generation-Systemen zu überwachen.

Zusammenfassend offenbart der Benchmark, dass aktuelle LVLMs trotz hoher parametrischer Intelligenz noch nicht in der Lage sind, ihre Unsicherheit korrekt zu kalibrieren. Sie neigen dazu, bei widersprüchlicher Information zu halluzinieren, anstatt sich zurückzuhalten, was ein zentrales Hindernis für den zuverlässigen Einsatz in kritischen Anwendungen darstellt.