🤖 AI

Disentangling Hallucinations: Orthogonal Semantic Projection for Robust Interpretability

Dieses Paper führt einen vereinheitlichten theoretischen Rahmen und eine geometrische Intervention namens Orthogonal Semantic Projection (OSP) ein, um semantische Halluzinationen in Erklärungen von Vision-Language-Modellen mathematisch zu erklären und zu mildern, indem Abfragevektoren gegenüber Distraktorkonzepten orthogonalisiert werden, um eine robuste Interpretierbarkeit zu gewährleisten.

Ursprüngliche Autoren: Emirhan Bilgiç, Baptiste Caramiaux, Zhi Yan, Gianni Franchi

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Emirhan Bilgiç, Baptiste Caramiaux, Zhi Yan, Gianni Franchi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „verwirrte Scheinwerfer“

Stellen Sie sich vor, Sie haben ein intelligentes Kamerasystem (ein Vision-Language-Modell), das ein Bild betrachten und Ihnen sagen kann, was darauf zu sehen ist. Um sicherzustellen, dass wir dieser Kamera vertrauen können, verwenden wir ein spezielles Werkzeug namens XAI (Explainable AI). Dieses Werkzeug fungt wie eine Taschenlampe oder eine Heatmap, die auf die Teile des Bildes leuchtet, auf die die Kamera bei ihrer Entscheidung „schaut“.

Das Problem: Manchmal wird diese Taschenlampe verwirrt.
Wenn Sie die Kamera fragen: „Wo ist die Katze?“, im Foto aber eigentlich ein Hund zu sehen ist, leuchtet die Taschenlampe vielleicht trotzdem hell auf den Hund. Es ist, als ob die Taschenlampe denkt: „Nun ja, Hunde und Katzen sind beide flauschige Tiere mit vier Beinen, also markiere ich den Hund, obwohl du nach einer Katze gefragt hast.“

Das Paper nennt dies „Semantische Halluzination“. Die Erklärung wirkt überzeugend, aber sie lügt. Sie hebt das falsche Objekt hervor, weil die Konzepte im Gehirn des Computers zu „klebrig“ und vermischt sind.

Die Ursache: Der „überfüllte Raum“ der Ideen

Warum passiert das? Das Paper argumentiert, dass im Gehirn des Computers alle Wörter und Bilder in einem riesigen, hochdimensionalen Raum leben.

In diesem Raum liegen die Konzepte von „Katze“ und „Hund“ nicht in separaten, isolierten Ecken.
Stattdessen stehen sie nah beieinander und teilen sich denselben Raum, weil sie ähnliche Merkmale teilen (wie „Fell“ oder „Pfoten“).

Wenn der Computer versucht, eine „Katze“ zu finden, greift er nach dem gesamten Cluster der „Katzenhaftigkeit“. Da der „Hund“ aber direkt daneben steht und denselben Raum teilt, erwischt der Computer versehentlich auch den „Hund“-Teil mit. Dies wird als „Linear Semantic Leakage“ bezeichnet. Die Ideen „sickern“ ineinander, weil sie nicht perfekt voneinander getrennt sind.

Die Lösung: Der „Noise-Canceling“-Filter

Die Autoren schlagen eine neue Methode namens Orthogonal Semantic Projection (OSP) vor. Betrachten Sie dies als einen intelligenten Noise-Canceling-Filter für die Gedanken des Computers.

So funktioniert es, Schritt für Schritt:

Das Wörterbuch der Ablenkungen: Bevor der Computer das Bild betrachtet, erstellt OSP eine Liste von „Distraktoren“ (Ablenkungen). Wenn Sie nach einer „Katze“ suchen, weiß das System, dass „Hund“, „Löwe“ und „Tiger“ nahe Verwandte sind. Es sammelt die mathematischen „Signaturen“ dieser Distraktoren.
Die geometrische Reinigung: OSP nimmt die „Katze“-Idee des Computers und drückt sie mathematisch von den „Hund“, „Löwe“ und „Tiger“-Ideen weg.
- Analogie: Stellen Sie sich vor, Sie versuchen, ein bestimmtes Lied (die „Katze“) in einem überfüllten Raum zu hören, in dem alle ähnliche Melodien singen. OSP ist wie ein Kopfhörer, der aktiv die Stimmen der Leute ausblendet, die über Hunde und Löwen singen.
Das reine Signal: Was übrig bleibt, ist eine „gereinigte“ Version der „Katze“-Idee. Alle gemeinsamen Merkmale mit anderen Tieren wurden entfernt. Sie ist nun orthogonal (in einem perfekten 90-Grad-Winkel) zu den Distraktoren.
Das Ergebnis: Wenn der Computer diese gereinigte „Katze“-Idee verwendet, um seine Taschenlampe zu richten, ignoriert er den Hund vollständig. Die Heatmap leuchtet nun nur noch die tatsächliche Katze an – oder gar nichts, falls keine Katze vorhanden ist.

Warum das wichtig ist

Das Paper beweist, dass dies nicht nur ein Trick für einen speziellen Kameratyp ist; es funktioniert für viele verschiedene KI-Modelle (wie CLIP, SigLIP und Stable Diffusion) und viele verschiedene Arten, Heatmaps zu erstellen.

Es stoppt die Lügen: Der Computer hört auf, Objekte hervorzuheben, die nicht da sind, nur weil sie ähnlich aussehen.
Es bewahrt die Wahrheit: Es macht den Computer nicht schlechter darin, das richtige Objekt zu finden; tatsächlich macht es das „richtige“ Highlight oft sogar noch schärfer.
Es ist ein Plug-and-Play-Tool: Sie müssen nicht das gesamte KI-Modell neu trainieren. Sie fügen einfach diesen „Filter“-Schritt hinzu, bevor die Erklärung generiert wird.

Der Beweis

Die Forscher haben dies an tausenden von Bildern getestet.

Quantitativer Beweis: Sie haben gemessen, wie oft die KI das richtige Objekt korrekt identifizierte und die falschen ignorierte. Der „Filter“ (OSP) verbesserte diese Werte signifikant.
Menschlicher Beweis: Sie zeigten Heatmaps 200 echten Menschen. Wenn die Maps mit der alten Methode generiert wurden, waren die Menschen oft verwirrt oder wurden durch die falschen Hervorhebungen getäuscht. Wenn sie die Maps sahen, die mit der neuen OSP-Methode generiert wurden, konnten die Menschen viel besser erraten, worauf die KI schaute, und fühlten sich sicherer in ihrer Antwort.

Zusammenfassung

Kurz gesagt führt dieses Paper eine Methode ein, um das Vokabular der KI zu bereinigen, bevor sie versucht, sich selbst zu erklären. Durch das mathematische Trennen ähnlicher Konzepte (wie Katzen und Hunde), damit diese nicht ineinander überlaufen, kann die KI endlich genau auf das Ding leuchten, nach dem Sie gefragt haben, ohne versehentlich das daneben liegende Objekt mit zu beleuchten.

Technisches Resümee: Entkopplung von Halluzinationen durch orthogonale semantische Projektion

Problemstellung

Da Vision-Language-Modelle (VLMs) und multimodale Diffusionsmodelle vermehrt in sicherheitskritischen Anwendungen eingesetzt werden, ist die Vertrauenswürdigkeit ihrer Erklärungen von entscheidender Bedeutung. Bestehende Methoden der erklärbaren KI (XAI) für diese Modelle leiden jedoch häufig unter semantischer Halluzination. Bei diesem Phänomen heben Attributionskarten (Saliency Maps) Bildregionen hervor, die Objekten entsprechen, die bei einer spezifischen Textbeschreibung im Bild gar nicht vorhanden sind. Beispielsweise könnte ein Modell einen Hund hervorheben, wenn der Prompt „Katze“ lautet, oder ein Schaf hervorheben, wenn der Prompt „Katze“ lautet und kein Schaf existiert.

Das Paper argumentiert, dass dieses Problem nicht bloß ein Mangel spezifischer Architekturen ist, sondern eine fundamentale Folge von linearer semantischer Leckage innerhalb hochdimensionaler Embedding-Räume. In Modellen wie CLIP und SigLIP liegen Text- und Bild-Embeddings in einem gemeinsamen Raum vor, in dem semantisch verwandte, aber unterschiedliche Konzepte (z. B. „Katze“ und „Hund“) nicht orthogonal sind. Sie teilen gemeinsame Richtungsanteile. Wenn Saliency-Methoden Attributionen basierend auf diesen nicht-orthogonalen Embeddings berechnen, führen die gemeinsamen Komponenten dazu, dass die Methode irrelevante Regionen hervorhebt, was zu „Geister-Signalen“ oder halluzinierten Erklärungen führt. Das Paper postuliert, dass das Modell zwar korrekt erscheinen mag, aber eigentlich „aus den falschen Gründen richtig liegt“.

Methodik: Orthogonale Semantische Projektion (OSP)

Um dies zu adressieren, schlagen die Autoren die Orthogonale Semantische Projektion (OSP) vor, eine geometrische Intervention, die darauf abzielt, eindeutige semantische Signale von geteilten Konzepten zu entkoppeln, bevor Saliency Maps berechnet werden.

Theoretischer Rahmen

Die Autoren formalisieren das Problem durch das Framework der Linearen Semantischen Attribution (LSA). Sie zeigen auf, dass die meisten multimodalen Saliency-Methoden (einschließlich GradCAM, LeGrad, CheferCAM und DAAM) als lineare (oder lokal lineare) Funktionen des Text-Embeddings ausgedrückt werden können.

Lemma 1 (Lineare semantische Leckage): Wenn der Winkel zwischen dem Text-Embedding der Zielklasse $A$ und einer Distraktor-Klasse $B$ ungleich Null ist (d. h. sie sind nicht orthogonal), enthält die Saliency Map für $B$ eine Komponente, die proportional zur wahren Saliency Map von $A$ ist. Dieses „Geister-Signal“ wird direkt durch die Kosinus-Ähnlichkeit der Embeddings gesteuert.

Der OSP-Algorithmus

OSP nutzt Orthogonal Matching Pursuit (OMP), um eine spärliche Dekomposition (Sparse Decomposition) des Text-Embeddings durchzuführen. Der Prozess umfasst:

Konstruktion des Wörterbuchs: Ein semantisches Wörterbuch ( $\mathbf{D}$ ) wird erstellt, das aus „Distraktor“-Konzepten besteht, die semantisch oder visuell mit dem Ziel verwandt sind. Die Autoren untersuchen vier Strategien hierfür: ImageNet-Klassen, ImageNet + WordNet-Relationen sowie durch LLMs generierte Wörterbücher (Gemini 3 Flash und GPT-OSS 120B).
Spärliche Dekomposition: Das Ziel-Text-Embedding ( $\mathbf{a}^{\text{txt}}_{\text{target}}$ ) wird als ein Signal behandelt, das durch die Atome des Wörterbuchs approximiert werden soll.
Extraktion des Residums: Der Algorithmus wählt iterativ jene Atome aus, die am stärksten mit dem aktuellen Residuum korrelieren, und aktualisiert den aktiven Satz. Entscheidend ist, dass das finale Residuum ( $\mathbf{r}$ ) strikt orthogonal zu allen ausgewählten Distraktor-Atomen ist.
Projektion: Das Residuum $\mathbf{r}$ repräsentiert die „einzigartige semantische Richtung“ des Zielkonzepts, die von den geteilten Komponenten mit den Distraktoren bereinigt wurde.
Anwendung: Dieses gereinigte Residuum ersetzt das ursprüngliche Text-Embedding in der Saliency-Berechnung. Bei diskriminativen Modellen erfolgt dies direkt auf dem Query-Embedding. Bei Diffusionsmodellen (wie Stable Diffusion) wird OSP auf die Key-Vektoren im Cross-Attention-Mechanismus vor der Softmax-Operation angewendet.

Die Methode ist Plug-and-Play und erfordert kein Retraining des zugrunde liegenden VLM oder Diffusionsmodells.

Zentrale Beiträge

Geometrische Analyse der Halluzination: Das Paper liefert einen formalen mathematischen Rahmen, der Grounding-Fehler mit der Nicht-Orthogonalität semantischer Embedding-Richtungen verknüpft. Es charakterisiert Halluzination als Funktion linearer semantischer Leckage und bietet eine geometrische Interpretation, wie diese Fehler propagiert werden.
Eine universelle XAI-Technik: OSP wird als generalisiertes Framework präsentiert, das mit mehreren Architekturen (CLIP, SigLIP, Diffusionsmodelle) und verschiedenen Saliency-Methoden (GradCAM, LeGrad, CheferCAM, AttentionCAM, DAAM) kompatibel ist.
Umfassende Validierung: Die Methode wird über drei fundamentale Modelle, fünf XAI-Methoden und mehrere Datensätze (ImageNet-Segmentation, MS COCO) hinweg evaluiert.
Menschzentrierte Evaluierung: Eine Nutzerstudie mit 200 Teilnehmern zeigt, dass OSP die Genauigkeit, das Vertrauen und die Identifikationsfähigkeit von Menschen bei der Interpretation von Modelerklärungen verbessert.

Experimentelle Ergebnisse

Die Autoren evaluierten OSP auf den Datensätzen ImageNet-Segmentation und MS COCO unter Verwendung von Metriken wie mean Intersection-over-Union (mIoU), mean Average Precision (mAP) und Area Under the ROC Curve (AUROC).

Unterdrückung von Halluzinationen: OSP vergrößert konsistent die Lücke zwischen positiven Prompts (Ziel vorhanden) und negativen Prompts (Ziel abwesend). Speziell verbessert es die AUROC signifikant, was auf eine bessere Diskriminierung zwischen vorhandenen und abwesenden Konzepten hindeutet.
Lokalisations-Fidelität: Die Methode verbessert oder erhält die Lokalisationsleistung (mIoU) für positive Prompts, während sie gleichzeitig ungenaue Heatmaps für negative Prompts unterdrückt.
Robustheit: Die Verbesserungen halten über verschiedene Strategien der Wörterbuch-Konstruktion hinweg stand, einschließlich derer, die durch LLMs oder statische Datensätze wie ImageNet und WordNet generiert wurden.
Effizienz: Der Rechenaufwand von OSP ist vernachlässigbar (weniger als eine Sekunde), was es praktikabel für Interventionen zur Laufzeit macht.
Nutzerstudie: Teilnehmer, die OSP-verbesserte Heatmaps verwendeten, zeigten eine höhere Genauigkeit bei der Identifizierung des Fokus des Modells, eine höhere Konfidenz in ihre Antworten und ein größeres Vertrauen in die Erklärungen im Vergleich zu Baseline-Methoden.

Bedeutung und Ansprüche

Das Paper behauptet, dass OSP eine fundamental neue Paradigmenwechsel für die Interpretierbarkeit darstellt. Im Gegensatz zu bisherigen Ansätzen, die versuchen, Bild-Embeddings zu dekomponieren, um visuelle Konzepte zu finden, dekomponiert OSP mathematisch den Text-Embedding-Raum, um reine semantische Richtungen zu isolieren.

Die Autoren betonen, dass sie durch die Adressierung der Ursache von Halluzinationen – der Nicht-Orthogonalität von Embeddings im Repräsentationsraum – eine theoretisch fundierte und empirisch validierte Lösung bieten. Sie unterstreichen, dass diese geometrische Intervention Attributionskarten zuverlässiger für Endnutzer macht und somit theoretische Fundierung in messbare Verbesserungen der menschlichen Interpretierbarkeit übersetzt. Die Arbeit legt nahe, dass die geometrische Perspektive vielversprechende Wege eröffnet, um robuste Interpretierbarkeit auf größere generative Architekturen und breitere Anwendungen vertrauenswürdiger KI auszuweiten.