Technisches Resümee: TIGER

Problemstellung

Die Arbeit befasst sich mit Treue-Halluzinationen (faithfulness hallucination) in der multimodalen Generierung, bei denen ein fluenter Output spezifische Fakten enthält, die nicht durch den Input gestützt werden (z. B. die Beschreibung von zwei Lastwagen als drei). Während bestehende iterative Reparaturmethoden versuchen, diese Fehler zu korrigieren, indem sie Feedback generieren, das sowohl auf den Input als auch auf den aktuellen Output konditioniert ist, identifizieren die Autoren einen kritischen Ausfallmodus: spure Korrelationen (spurious correlations). Wenn ein Feedback-Generator gemeinsam auf den Input und den hallucinierten Output konditioniert, können die hallucinierten Behauptungen die Interpretation des Modells des Inputs verzerren, was dazu führt, dass das Feedback den ungestützten Inhalt eher bestätigt, anstatt ihn als falsch zu kennzeichnen. Darüber hinaus erzeugen bestehende Methoden oft freiformatiges Feedback in natürlicher Sprache, dem es an expliziten Risikoscores auf Faktbene mangelt, was es schwierig macht, Reparaturen unter einem begrenzten Rechenbudget zu priorisieren.

Methodik: TIGER

TIGER (Traceable Inference with Graph-Based Evidence Routing) ist ein Framework für die Inferenzzeit, das darauf ausgelegt ist, Halluzinationen durch die Neugestaltung des Feedback-Mechanismus zu mildern. Es operiert auf einem eingefrorenen Backbone-Modell und besteht aus drei Kernkomponenten:

1. Unabhängige atomare Projektion:
   Anstatt Input und Output gemeinsam zu verarbeiten, extrahiert TIGER diese unabhängig voneinander in strukturierte Faktengraphen:

   • Beobachtungsgraph ($G_X$): Extrahiert aus dem Input ($X$) mittels eines Prompts, der beobachtbare Fakten als Tripel $(e_1, rel, e_2)$ aufzählt. Dieser Graph wird einmal berechnet und bleibt fix.
   • Behauptungsgraph ($G_{Y_t}$): Extrahiert aus dem aktuellen Output ($Y_t$) unter Verwendung desselben atomaren Extraktions-Prompts.
     Diese Trennung verhindert, dass die hallucinierten Behauptungen im Output die Extraktion von Fakten aus dem Input beeinflussen.

2. Deterministisches Risiko-Ranking auf Faktbene:
   TIGER berechnet einen Risiko-Score $r(f)$ für jede Behauptung $f$ in $G_{Y_t}$ basierend auf ihrer Beziehung zu $G_X$:

   • Support-Score ($s(f)$): Misst die Ähnlichkeit zwischen einer Behauptung und dem am besten passenden Fakt in $G_X$. Um Extraktionsauslassungen zu handhaben, wird dieser Score entlang von Koreferenz-Kanten in $G_{Y_t}$ mit geometrischem Zerfall propagiert.
   • Konflikt-Score ($c(f)$): Misst den stärksten Widerspruch zwischen einer Behauptung und $G_X$, definiert durch thematische Konsistenz und Schlussfolgerungsdivergenz.
   • Risiko-Berechnung: $r(f) = (1 - s(f)) + \lambda \cdot c(f)$.
     Da das Scoring deterministisch ist, kann das System Behauptungen ranken und eine spezifische Teilmenge ($\text{top-}\lceil \alpha N \rceil$) für die Reparatur auswählen, was ein Scheduling auf Faktbene ermöglicht.

3. Lokalisierte Verfeinerung:
   Das Modell führt eine iterative Reparatur durch, bei der nur die ausgewählten Hochrisiko-Behauptungen gezielt adressiert werden. Der Verfeinerungsschritt ($Y_{t+1} = \Phi(P_{refine}, X, Y_t, F_t)$) verwendet den rohen Input $X$ und den aktuellen Output $Y_t$, um die markierten Abschnitte lokal zu reparieren, während der Backbone eingefroren bleibt.

Theoretische Garantie:
Die Arbeit liefert eine Konvergenzanalyse (Theorem 3.1), die zeigt, dass unter milden Annahmen (beschränkte Graphgröße, Reparaturfortschritt pro Fakt, beschränkte Nebeneffekte) der erwartete Gesamtrisiko-Wert geometrisch gegen eine explizite asymptotische Grenze sinkt.

Zentrale Beiträge

1. Identifikation von Feedback-Ausfallmodi: Die Autoren zeigen auf, dass die gemeinsame Konditionierung in der Feedback-Generierung es hallucinierten Behauptungen ermöglicht, die Interpretation des Inputs zu verzerren, was die Verstärkung von Fehlern zur Folge hat.
2. TIGER-Framework: Ein neuartiges Inferenz-Framework, das freiformatisches gemeinsames Feedback durch unabhängige atomare Projektion und deterministisches Risiko-Ranking ersetzt. Dies macht das Feedback explizit, rankbar und geeignet für lokalisierte Reparaturen.
3. Umfassende Evaluierung: TIGER wird über vier cross-modale Generationspfade hinweg evaluiert:
   • Bild $\to$ Text (COCO, AMBER)
   • Bild+Text $\to$ Text (MMHal-Bench)
   • Audio $\to$ Text (Clotho)
   • Video $\to$ Text (VideoHallucer)
     Das Framework nutzt Qwen2.5-Omni als primären Backbone, mit Validierung auf LLaVA-1.5 und proprietären Modellen.

Experimentelle Ergebnisse

• Reduktion von Halluzinationen: TIGER reduziert konsistent ungestützte Behauptungen (gemessen an Metriken wie CHAIR, AEHR und HallucRate) über alle Modalitäten hinweg. Beispielsweise reduzierte es auf COCO mit Qwen2.5-Omni den CHAIR-Wert von 0,070 auf 0,050 und den CHAIRi-Wert von 0,069 auf 0,035.
• Qualitätserhaltung: Im Gegensatz zu einigen Baselines, die Fluenz zugunsten von Genauigkeit opfern, bewahrt oder verbessert TIGER die Aufgabenqualität (z. B. stieg der BERTScore auf COCO von 0,588 auf 0,643).
• Ablationsstudien:
  • Iterative Reparatur allein (ohativ unabhängiger Extraktion) verschlechterte die Leistung, indem sie Halluzinationen verstärkte.
  • Das Hinzufügen der atomaren Projektion stellte die Leistung wieder her.
  • Das Hinzufügen des deterministischen Risiko-Rankings lieferte die besten Ergebnisse, was bestätigt, dass alle drei Komponenten notwendig sind.
• Mechanismus-Analyse: Experimente zeigten, dass die atomare Projektion die Erwähnungsrate fehlender Objekte im Feedback senkt (von 5,0 % bei gemeinsamem Feedback auf 2,0 % bei TIGER). Zudem gelang es dem Verfeinerungsschritt, korrekte Fakten wiederherzustellen, die während der initialen Extraktion des Input-Graphen übersehen wurden.
• Reales Fallbeispiel: In einem Multi-Quellen-Krisenbericht-Szenario (CrisisFACTS) verbesserte TIGER die Präzision von 0,65 auf 0,96 und den F1-Wert von 0,66 auf 0,74, was seine Fähigkeit demonstriert, Zusammenfassungen in verrauschten Multi-Quellen-Evidenzen zu fundieren.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass TIGER eine robuste Lösung für das Problem des „Feedback-Bias“ bei der iterativen multimodalen Reparatur bietet. Durch die Entkopplung der Input-Beobachtung von der Extraktion der Output-Behauptungen und die Einführung eines deterministischen, rankbaren Risiko-Metrik ermöglicht TIGER präzise, lokalisierte Reparaturen ohne das Training von Modellen (Fine-Tuning). Die Autoren behaupten, dass dieser Ansatz über verschiedene Backbones und Modalitäten hinweg generalisiert und effektiv Halluzinationen reduziert, während der Nutzen der generierten Inhalte erhalten bleibt. Die Arbeit legt nahe, dass strukturierte, graphbasierte Evidenz-Routing ein gangbarer Weg zu einer treueren multimodalen Generierung in realen, verrauschten Umgebungen ist.

Angemerkte Limitationen:
Die Autoren räumen ein, dass sich TIGER auf lokalisierte faktische Tripel konzentriert, was für abstrakte, kausale oder subjektive Inhalte weniger direkt sein kann. Zudem erhöht die iterative Natur die Inferenzzeit-Berechnung, was auf einen Bedarf an zukünftigen Arbeiten zu effizienteren Scheduling-Strategien für den Echtzeit-Einsatz hindeutet.