Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering

Die Autoren stellen mit dem RETINA-Benchmark und dem MIMIR-Modell eine Lösung vor, die die in multimodalen Wissensfragen-Systemen verbreitete Abhängigkeit von visuellen Abkürzungen aufdeckt und durch die Einbeziehung mehrerer verwandter Entitäten in Bild und Text überwindet.

Das Wesentliche

Das Problem: Der „Fotokopier-Trick"

Stell dir vor, du spielst ein Quizspiel. Die Frage lautet: „Wo lebt dieses Tier?" und du siehst ein Foto eines Eisbären.
In den alten Quiz-Datenbanken (den sogenannten Benchmarks) war die Antwort fast immer direkt im Text zu finden, der genau über diesen Eisbären handelte.

Das Problem dabei: Die KI-Modelle waren nicht wirklich schlau. Sie haben einen „Fotokopier-Trick" (im Englischen „Visual Shortcut") benutzt.

• Wie es funktioniert: Die KI hat nicht wirklich gelesen, wo der Eisbär lebt. Sie hat einfach geguckt: „Aha, das Foto zeigt einen Eisbären. Der Text, der dazu passt, ist der über den Eisbären. Also muss die Antwort dort stehen."
• Die Folge: Die KI hat das Quiz gewonnen, aber sie hat nichts gelernt. Sie hat nur das Bild mit dem Text verknüpft, wie ein Kind, das immer nur die gleiche Antwort auf eine Frage gibt, ohne zu verstehen, warum.

Wenn man der KI dann ein Foto von einem Polarfuchs zeigt und fragt: „Was frisst dieser?", aber die Antwort steht im Text über den Eisbären (weil sie beide in der Arktis leben), dann scheitert die alte KI. Sie sucht verzweifelt nach einem Text über den Fuchs, findet aber nur den über den Eisbären und gibt auf.

Die Lösung 1: Ein neues, ehrliches Quiz (RETINA)

Die Forscher haben ein neues Quiz entwickelt, das sie RETINA nennen.
Stell dir vor, sie haben das Quiz so umgebaut, dass der „Fotokopier-Trick" nicht mehr funktioniert.

• Das Szenario: Die Frage lautet: „Welcher Käfer frisst diese Pflanze?" und das Foto zeigt eine Kartoffel.
• Die Falle: Die Antwort (der Name des Käfers) steht aber nicht im Text über die Kartoffel. Sie steht im Text über den Käfer selbst.
• Der Test: Die alte KI schaut auf das Bild der Kartoffel, sucht im Text über die Kartoffel, findet keine Antwort und scheitert. Das beweist: Sie hat bisher nur getrickst, nicht gedacht.

Um dieses neue Quiz zu erstellen, haben sie eine KI (einen „LLM") benutzt, die wie ein cleverer Bibliothekar arbeitet: Sie sucht in Wikipedia-Artikeln nach Verbindungen zwischen Dingen (z. B. „Kartoffel" und „Käfer"), erstellt daraus ein Quiz und sorgt dafür, dass das Bild und der Text nicht zu offensichtlich zusammenpassen.

Die Lösung 2: Der neue Detektiv (MIMIR)

Da die alten KIs bei diesem neuen, ehrlichen Quiz versagt haben, haben die Forscher einen neuen Detektiv namens MIMIR gebaut.

Stell dir vor, du suchst in einer riesigen Bibliothek nach einem Buch über einen bestimmten Käfer.

• Der alte Weg (Single-Image): Der Bibliothekar schaut sich nur das Buchcover an. Wenn das Cover nicht dem Bild auf deiner Frage entspricht, ignoriert er das Buch.
• Der neue Weg (MIMIR): MIMIR ist schlauer. Er weiß: „Wenn jemand nach einem Käfer fragt, der Kartoffeln frisst, dann ist das Buch über die Kartoffel vielleicht nicht das richtige, aber das Buch über den Käfer ist es!"

MIMIR macht folgendes:

1. Er nimmt einen Text (z. B. über den Käfer).
2. Er fügt diesem Text nicht nur ein Bild hinzu, sondern viele Bilder von Dingen, die mit dem Käfer zu tun haben (z. B. ein Bild der Kartoffel, ein Bild der Pflanze, die er frisst, ein Bild seines Lebensraums).
3. Wenn du jetzt ein Foto einer Kartoffel hochlädst, erkennt MIMIR: „Aha! Das passt zu den Bildern, die ich dem Text über den Käfer angehängt habe!"

Dadurch kann er den richtigen Text finden, auch wenn das Bild auf deiner Frage nicht direkt das Hauptthema des Textes ist. Er verbindet die Welt der Bilder mit der Welt der Texte viel besser.

Zusammenfassung in einer Metapher

• Das alte System: Ein Schüler, der für eine Prüfung nur die Bilder aus dem Lehrbuch auswendig gelernt hat. Wenn die Frage ein Bild zeigt, das im Buch steht, gibt er die richtige Antwort. Wenn das Bild aber etwas anderes zeigt, das im Text erwähnt wird, weiß er nicht weiter.
• RETINA (Das neue Quiz): Ein Lehrer, der dem Schüler ein Bild von einem Apfel zeigt und fragt: „Was ist der Baum, auf dem dieser wächst?" Der Schüler muss jetzt wirklich nachdenken und den Text lesen, nicht nur das Bild erkennen.
• MIMIR (Der neue Schüler): Ein Schüler, der sich nicht nur das Hauptbild eines Kapitels ansieht, sondern auch alle kleinen Bilder im Rand (Apfel, Baum, Wurzeln, Schmetterlinge). Wenn er ein Bild von einem Apfel sieht, erinnert er sich sofort an das Kapitel über den Baum, weil er die Verbindung zwischen allen Bildern im Kopf hat.

Das Ergebnis: Die Forscher haben gezeigt, dass die bisherigen KI-Tests zu einfach waren und die KIs nur getrickst haben. Mit ihrem neuen Test (RETINA) und ihrem neuen Modell (MIMIR) haben sie einen Weg gefunden, KIs zu bauen, die wirklich verstehen, wie Bilder und Texte zusammenhängen – genau wie ein menschlicher Denker.

Technische Zusammenfassung

1. Problemstellung: Visuelle Abkürzungen (Visual Shortcuts)

Das Paper identifiziert ein fundamentales Problem in bestehenden Benchmarks für Multimodales Wissensbasiertes Visuelles Question Answering (MKB-VQA) (z. B. InfoSeek, EVQA).

• Das Phänomen: In aktuellen Datensätzen entspricht das Bild der Anfrage (Query Image) fast immer dem primären Subjekt der Ziel-Dokumentation (Ground Truth Document).
• Die Konsequenz: Modelle lernen „visuelle Abkürzungen". Anstatt tiefes multimodales Reasoning zu betreiben, nutzen sie oberflächliche visuelle Korrelationen, um das richtige Dokument zu finden. Ein Experiment zeigte, dass Modelle fast die gleiche Leistung erbringen, wenn sie nur das Bild und keinen Text der Anfrage verwenden.
• Das Defizit: Dies spiegelt keine realen Szenarien wider, in denen die gesuchte Information oft in einem Dokument über ein verwandtes (sekundäres) Subjekt zu finden ist, nicht über das im Bild gezeigte Hauptsubjekt.

2. Methodik

Die Autoren schlagen zwei Hauptkomponenten vor, um dieses Problem zu adressieren: einen neuen Benchmark und ein neues Retrieval-Modell.

A. Der RETINA-Benchmark (Relational Entity Text-Image kNowledge Augmented)

Um visuelle Abkürzungen zu eliminieren, wurde RETINA entwickelt, ein Benchmark, der realistische, komplexe Szenarien abbildet.

• Konstruktionspipeline: Der Datensatz wurde automatisch mittels einer LLM-gesteuerten Pipeline (unter Verwendung von Qwen2.5-32B) erstellt.
  1. Wissensgraph-Konstruktion: Aus Wikipedia-Dokumenten werden One-Hop-Nachbarschaftsgraphen extrahiert, die das Hauptsubjekt mit verwandten Entitäten verbinden.
  2. Subgraph-Auswahl: Es wird ein Subgraph ausgewählt, der eine Abfrage-Entität (Query Entity, z. B. eine Pflanze auf dem Bild), eine qualifizierende Entität (für Kontext) und die Antwort-Entität (das Hauptsubjekt des Dokuments) enthält.
  3. Generierung: Das LLM generiert Fragen basierend auf diesen Subgraphen. Die Frage bezieht sich auf das Bild (z. B. „Welcher Käfer frisst diese Pflanze?"), aber die Antwort findet sich im Dokument über den Käfer, nicht über die Pflanze.
• Datensatz: 120.000 Trainings- und 2.000 manuell kuratierte Test-Samples. Der Testset ist in „Seen" (Dokumente im Training gesehen) und „Unseen" (neue Dokumente) unterteilt.
• Ziel: Die visuelle Abkürzung wird gebrochen, da das Bild der Anfrage (z. B. eine Kartoffel) nicht dem Hauptbild des Ziel-Dokuments (z. B. über den Kartoffelkäfer) entspricht.

B. Das MIMIR-Modell (Multi-Image MultImodal Retriever)

Bestehende Modelle (wie MuKA) kodieren jedes Dokument nur mit einem Bild (dem des Hauptsubjekts). MIMIR erweitert dies, um die Herausforderungen von RETINA zu meistern.

• Multi-Image-Augmentierung: MIMIR erweitert die Dokumentendarstellung, indem es nicht nur das Bild des Hauptsubjekts, sondern auch Bilder aller im Text erwähnten verwandten Entitäten (Related Entities) integriert.
• Architektur:
  • Basierend auf dem ColBERT-Framework (Late Interaction).
  • Text- und Bild-Encoder: Nutzung von ColBERTv2 für Text und CLIP ViT-G für Bilder.
  • Multimodale Feature-Extraktion: Patch-Level-Features der Bilder werden durch Cross-Attention mit Text-Features kontextualisiert.
  • Entity Token Embedding (ETE): Ein entscheidender Innovationsschritt. Dem Text-Token der spezifischen Entität, die einem Bild entspricht, wird ein lernbarer Vektor ($\theta_{ETE}$) hinzugefügt. Dies hilft dem Cross-Attention-Mechanismus, die semantische Verbindung zwischen einem spezifischen Bild und dem zugehörigen Textabschnitt klarer zu erkennen, anstatt den gesamten Textkontext zu verwässern.
• Funktionsweise: Durch die Einbettung mehrerer Bilder pro Dokument kann das Modell auch dann das richtige Dokument finden, wenn die Query-Image-Entität nur als verwandte Entität im Dokument vorkommt.

3. Wichtige Beiträge

1. Identifikation von Bias: Nachweis, dass bestehende MKB-VQA-Benchmarks durch visuelle Abkürzungen verzerrt sind und Modelle täuschen.
2. RETINA: Einführung eines neuen, großen Benchmarks, der realistische Szenarien ohne visuelle Abkürzungen simuliert.
3. MIMIR: Entwicklung eines Retriever-Modells, das Dokumentenrepräsentationen durch Multi-Image-Augmentierung und Entity Token Embeddings verbessert, um komplexe multimodale Abfragen zu lösen.

4. Ergebnisse

Die Experimente wurden auf RETINA sowie den bestehenden Benchmarks InfoSeek und EVQA durchgeführt.

• Leistungseinbruch bei Baselines: Bestehende Modelle (MuKA, ReT, UniIR), die auf Daten mit visuellen Abkürzungen trainiert wurden, zeigen auf RETINA einen drastischen Leistungsabfall (z. B. Recall@5 sinkt von ~20% auf <10% bei Unseen-Daten). Sie scheitern, wenn die visuelle Abkürzung fehlt.
• Überlegenheit von MIMIR: MIMIR erreicht auf RETINA fast die doppelte Recall-Rate der besten Baselines (43,2% vs. 20,8% Recall@5 auf Seen-Daten; 36,9% vs. 8,6% auf Unseen-Daten).
• Robustheit: MIMIR verbessert die Leistung auch auf den bestehenden Benchmarks (InfoSeek, EVQA), da die Multi-Image-Augmentierung hilft, auch bei visuellen Unterschieden zwischen Query und Dokument (z. B. verschiedene Geschlechter oder Perspektiven desselben Objekts) das richtige Dokument zu finden.
• Ablation Studies: Die Studie zeigt, dass sowohl die Multi-Image-Eingabe als auch die multimodalen Features und insbesondere das ETE (Entity Token Embedding) entscheidend für den Erfolg sind.

5. Bedeutung und Ausblick

• Paradigmenwechsel: Das Paper zeigt, dass aktuelle Fortschritte im MKB-VQA-Bereich teilweise auf „Tricks" (visuelle Abkürzungen) beruhen und nicht auf echtem multimodalen Verständnis. RETINA zwingt Modelle zu echter Reasoning-Leistung.
• Praktische Relevanz: MIMIR demonstriert, dass die Integration von Kontextwissen durch mehrere Bilder pro Dokument notwendig ist, um reale Suchanfragen zu bearbeiten, bei denen die gesuchte Information oft indirekt über verwandte Entitäten zugänglich ist.
• Zukunft: Die Autoren sehen Potenzial darin, diese Methode auf andere Modalitäten (z. B. Audio, Video) zu erweitern, um noch realistischere multimodale Suchsysteme zu schaffen.

Zusammenfassend liefert das Paper einen kritischen Beitrag zur Evaluierung von Multimodal-Modellen und stellt eine neue Architektur vor, die die Lücke zwischen synthetischen Benchmarks und realen Anwendungsfällen schließt.