Detecting Misbehaviors of Large Vision-Language Models by Evidential Uncertainty Quantification

Diese Arbeit stellt die Evidenzbasierte Unsicherheitsquantifizierung (EUQ) vor, eine feingranulare Methode, die mithilfe der Evidenztheorie interne Konflikte und Wissenslücken in Large Vision-Language Models erfasst, um deren Fehlverhalten wie Halluzinationen oder Sicherheitsverletzungen zuverlässiger zu erkennen als bestehende Ansätze.

Das Wesentliche

Das Problem: Der „halluzinierende" KI-Koch

Stell dir vor, du hast einen riesigen, super-intelligenten Koch namens LVLM (Large Vision-Language Model). Dieser Koch kann Bilder sehen und dazu Geschichten erzählen. Er ist genial, aber er hat einen kleinen Defekt: Manchmal lügt er.

• Halluzination: Er sieht ein Bild von einem Hund und sagt: „Das ist ein Elefant."
• Jailbreak: Jemand zeigt ihm ein Bild mit einem versteckten Code, und plötzlich beginnt er, gefährliche Anleitungen zu geben, obwohl er eigentlich „gut" programmiert ist.
• Verwirrung: Er sieht ein Bild, das er noch nie gesehen hat (z. B. ein futuristisches Auto), und gibt einfach eine zufällige Antwort, weil er es nicht kennt.

Das Problem ist: Wenn wir diesen Koch in kritischen Situationen einsetzen (z. B. beim Autofahren oder in der Medizin), müssen wir wissen, wann er lügt oder unsicher ist. Bisherige Methoden waren wie ein einfacher Thermometer: Sie sagten nur „Es ist heiß" oder „Es ist kalt", aber nicht warum.

Die Lösung: Ein neuer Detektiv namens EUQ

Die Autoren dieses Papers haben einen neuen Detektiv erfunden, der EUQ (Evidential Uncertainty Quantification) heißt. Statt nur zu messen, wie „unsicher" der Koch ist, schaut er sich genau an, woher die Unsicherheit kommt.

Sie haben herausgefunden, dass es im Gehirn des Kochs zwei Hauptgründe für Fehler gibt:

1. Der innere Konflikt (Conflict): Der Koch sagt sich selbst: „Moment mal, das Bild zeigt ein rotes Auto, aber mein Text sagt 'Blau'. Das passt nicht zusammen!" Er ist hin- und hergerissen.
2. Die Unwissenheit (Ignorance): Der Koch sagt: „Ich habe keine Ahnung, was das ist. Ich habe das noch nie gesehen." Er hat keine Informationen, um eine Entscheidung zu treffen.

Wie funktioniert der Detektiv? (Die Analogie)

Stell dir vor, der Koch trifft eine Entscheidung, indem er Hinweise (Beweise) sammelt.

• Positive Hinweise: „Das sieht aus wie ein Hund."
• Negative Hinweise: „Aber es hat keine Pfoten."

Der Detektiv EUQ nutzt eine alte mathematische Regel (die Dempster-Shafer-Theorie, klingt kompliziert, ist aber wie ein cleveres Abstimmen), um diese Hinweise zu zählen.

• Szenario A (Konflikt): Der Koch hat 10 Hinweise, die sagen „Hund", und 10 Hinweise, die sagen „Katze". Das ist ein hoher Konflikt. Der Detektiv schreit: „Achtung! Der Koch ist verwirrt!" (Das passiert oft bei Halluzinationen).
• Szenario B (Unwissenheit): Der Koch hat 0 Hinweise für „Hund" und 0 Hinweise für „Katze". Er steht einfach nur da und starrt ins Leere. Das ist hohe Unwissenheit. Der Detektiv schreit: „Achtung! Der Koch weiß gar nichts!" (Das passiert oft bei fremden Bildern, die nicht in seiner Trainingsdatenbank waren).

Warum ist das genial?

Bisherige Methoden mussten den Koch oft mehrmals dasselbe Bild zeichnen lassen, um zu sehen, ob er jedes Mal dasselbe sagt (wie wenn man einen Freund 10 Mal fragt: „Ist das ein Hund?" und hofft, dass er nicht jedes Mal eine andere Antwort gibt). Das ist langsam und rechnet viel Energie.

EUQ ist anders:

1. Einmal reicht: Der Detektiv schaut sich nur einmal an, was im Gehirn des Kochs passiert, während er das Bild betrachtet. Das ist extrem schnell.
2. Kein Training nötig: Man muss den Koch nicht neu lernen lassen. Der Detektiv schaut sich einfach die bestehenden Daten an.
3. Präzise Diagnose: Er kann unterscheiden: „Hey, bei diesem Bild lügt er, weil er verwirrt ist (Konflikt), aber bei jenem Bild lügt er, weil er es einfach nicht kennt (Unwissenheit)."

Was haben sie herausgefunden?

In ihren Tests haben sie vier verschiedene Arten von Fehlern geprüft (Lügen, Sicherheitslücken, Angriffe, fremde Bilder).

• Ergebnis: Wenn der Koch halluziniert (etwas Erfindet), ist der Konflikt hoch.
• Ergebnis: Wenn der Koch an einem fremden Bild scheitert, ist die Unwissenheit hoch.

Das ist wie ein Arzt, der nicht nur sagt „Der Patient ist krank", sondern genau weiß: „Er hat Fieber wegen einer Infektion" oder „Er ist schwach, weil ihm das Essen fehlt".

Fazit

Diese Forschung gibt uns ein besseres Werkzeug, um KI-Systeme zu überwachen. Anstatt blind darauf zu vertrauen, können wir jetzt genau sehen, warum eine KI unsicher ist. Das macht KI sicherer, besonders wenn wir sie in wichtigen Bereichen wie dem Autofahren oder der Medizin einsetzen.

Kurz gesagt: EUQ ist wie ein Spiegel, der der KI zeigt, ob sie sich nur streitet oder ob sie einfach nichts weiß.

Technische Zusammenfassung

1. Problemstellung

Large Vision-Language Models (LVLMs) haben zwar beeindruckende Fortschritte im multimodalen Verständnis erzielt, zeigen jedoch bei herausfordernden oder verteilungsverschobenen Eingaben häufig unzuverlässiges oder schädliches Verhalten. Diese „Fehlverhalten" (Misbehaviors) umfassen:

• Halluzinationen: Erfinden nicht existierender Objekte oder falscher Beziehungen.
• Jailbreaks: Umgehen von Sicherheitsrichtlinien durch visuelle Manipulationen.
• Adversäre Verwundbarkeit: Anfälligkeit für kaum wahrnehmbare Störungen, die zu falschen Vorhersagen führen.
• Out-of-Distribution (OOD) Fehler: Versagen bei Eingaben, die von der Trainingsverteilung abweichen.

Bestehende Unsicherheitsquantifizierungsverfahren (Uncertainty Quantification, UQ) erfassen meist nur die gesamte prädiktive Unsicherheit. Sie können jedoch nicht unterscheiden, ob diese Unsicherheit aus internen Widersprüchen (Konflikt zwischen verschiedenen Evidenzen im Modell) oder aus mangelndem Wissen (Fehlen unterstützender Informationen) resultiert. Diese Unterscheidung ist jedoch entscheidend, um die Ursache des Fehlverhaltens zu diagnostizieren und geeignete Gegenmaßnahmen zu ergreifen.

2. Methodik: Evidential Uncertainty Quantification (EUQ)

Die Autoren schlagen EUQ vor, ein training-freies Framework, das epistemische Unsicherheit explizit in zwei Komponenten zerlegt: Konflikt (Conflict, CF) und Ignoranz (Ignorance, IG).

Kernkonzepte:

• Evidenz aus Pre-Logits: Anstatt auf Wahrscheinlichkeiten (Softmax) oder wiederholte Stichproben (Sampling) zurückzugreifen, nutzt EUQ die Pre-Logits-Features (die Ausgabe vor der Softmax-Schicht) des LVLM. Diese Features werden als Evidenz für die Entscheidungsfindung interpretiert.
• Dempster-Shafer-Theorie (DST): Das Framework basiert auf der Theorie der Evidenz (Dempster-Shafer Theory). Es wendet eine Basic Belief Assignment (BBA) auf die Features an.
• Zerlegung in positive und negative Evidenz:
  • Die lineare Projektionsschicht des Modells wird als Fusion von Evidenzen betrachtet.
  • Die Features werden in positive Evidenz (Unterstützung einer Hypothese) und negative Evidenz (Widerspruch zur Hypothese) zerlegt.
  • Dies geschieht durch eine affine Transformation der Pre-Logits, optimiert unter dem Prinzip des geringsten Engagements (Least Commitment Principle), um unnötige Annahmen zu vermeiden.
• Berechnung von CF und IG:
  • Konflikt (CF): Misst den Grad der Widersprüchlichkeit zwischen der aggregierten positiven und negativen Evidenz. Hoher CF deutet auf innere Inkonsistenzen hin (z. B. wenn das Modell gleichzeitig starke Hinweise für und gegen ein Objekt hat).
  • Ignoranz (IG): Misst den Mangel an unterstützender Information (die Masse, die dem gesamten Hypothesenraum zugeordnet wird). Hohe IG deutet darauf hin, dass dem Modell relevante Informationen fehlen.
• Effizienz: Die Berechnung erfolgt in einem einzigen Vorwärtsdurchlauf (Single Forward Pass) ohne zusätzliche Inferenz oder Feinabstimmung.

3. Hauptbeiträge

1. Erste explizite Charakterisierung: EUQ ist der erste Ansatz, der zwei Arten epistemischer Unsicherheit (Konflikt und Ignoranz) in LVLMs explizit trennt und quantifiziert.
2. Training-frei und effizient: Im Gegensatz zu bayesschen Methoden oder Sampling-basierten Ansätzen erfordert EUQ keine Modifikation des Modells, kein Nachtrainieren und keine wiederholte Inferenz.
3. Schichtweise Dynamikanalyse: Die Autoren führen eine Analyse der Unsicherheitsdynamik über die Decoder-Schichten hinweg durch. Sie zeigen, dass die Ignoranz in tieferen Schichten tendenziell abnimmt (da mehr Kontext gesammelt wird), während der Konflikt zunimmt (da Features polarisieren).
4. Differenzierung von Fehlverhalten: Die Analyse zeigt, dass bestimmte Fehlverhalten spezifische Unsicherheitsmuster aufweisen, was eine differenzierte Diagnose ermöglicht.

4. Ergebnisse

Die Methode wurde an vier fortschrittlichen LVLMs (DeepSeek-VL2-Tiny, Qwen2.5-VL-7B, InternVL2.5-8B, MoF-Models-7B) und über vier Fehlverhaltenskategorien hinweg evaluiert.

• Leistungssteigerung: EUQ (sowohl CF als auch IG) übertrifft starke Baselines (wie Predictive Entropy, Semantic Entropy und Sampling-Methoden) konsistent.
  • AUROC: Relative Verbesserungen von bis zu 10,5 %.
  • AUPR: Relative Verbesserungen von bis zu 5,5 %.
• Spezifische Erkenntnisse:
  • Halluzinationen korrelieren stark mit hohem Konflikt (CF). Das Modell hat widersprüchliche Evidenzen (z. B. Text sagt "Hund", Bild zeigt "Katze").
  • OOD-Fehler korrelieren stark mit hoher Ignoranz (IG). Das Modell erkennt, dass ihm Informationen fehlen, um eine korrekte Entscheidung zu treffen.
  • Jailbreaks und Adversäre Angriffe zeigen gemischte, aber gut detektierbare Muster, wobei CF oft die besseren Ergebnisse liefert.
• Effizienz: Im Vergleich zu Sampling-Methoden (die 10-fache Inferenzkosten verursachen) ist EUQ extrem schnell und für Echtzeitanwendungen geeignet.

5. Bedeutung und Fazit

Das Paper bietet einen Paradigmenwechsel in der Detektion von Fehlverhalten bei multimodalen Modellen. Anstatt nur zu fragen „Wie unsicher ist das Modell?", fragt EUQ „Warum ist das Modell unsicher?".

• Diagnosefähigkeit: Durch die Trennung von Konflikt und Ignoranz können Entwickler gezielt herausfinden, ob ein Modell aufgrund von Inkonsistenzen (z. B. schlechte Multimodal-Alignment) oder aufgrund von Wissenslücken (z. B. OOD-Szenarien) versagt.
• Skalierbarkeit: Da die Methode training-frei ist und auf den internen Repräsentationen (Pre-Logits) basiert, ist sie auf große Modelle anwendbar, ohne deren Architektur zu verändern oder Rechenressourcen für wiederholte Inferenzen zu verschwenden.
• Sicherheitsrelevanz: Die Fähigkeit, Jailbreaks und Adversäre Angriffe effizient zu erkennen, ist entscheidend für den sicheren Einsatz von LVLMs in kritischen Bereichen wie autonomem Fahren oder medizinischer Diagnostik.

Zusammenfassend stellt EUQ einen robusten, effizienten und theoretisch fundierten Ansatz dar, um die Zuverlässigkeit von Large Vision-Language Models durch evidenzbasierte Unsicherheitsquantifizierung zu verbessern. Der Quellcode ist öffentlich verfügbar.