💬 NLP

Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language Models

Dieses Paper identifiziert, dass Dual-Encoder-Vision-Language-Modelle aufgrund einer „Bag-of-Concepts“-Ähnlichkeitsschnittstelle bei der kompositorischen Argumentation versagen, und schlägt eine trainingsfreie Methode namens LCSE (Logic-Constrained Score Editing) vor, die die Extraktion von Evidenz von der Ausführung von Constraints trennt, um die logische Genauigkeit signifikant zu verbessern und gleichzeitig die Retrieval-Leistung zu bewahren.

Ursprüngliche Autoren: Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides

Veröffentlicht 2026-07-28

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, die Welt zu „sehen“, indem Sie ihm Millionen von Bildern zeigen und diese mit Worten beschreiben. Dies ist die Welt der Vision-Language-Modelle (VLMs), ein Zweig der künstlichen Intelligenz, bei dem Computer lernen, Bilder mit Text zu verknüpfen. Die populärste Art und Weise, wie diese Roboter lernen, besteht darin, eine gemeinsame „Landkarte“ aufzubauen, auf der ähnliche Bilder und ähnliche Wörter nah beieinander liegen. Wenn Sie dem Roboter eine Frage stellen, misst er einfach den Abstand zwischen Ihren Worten und den Bildern, um die beste Übereinstimmung zu finden. Es ist wie ein riesiges Spiel von „Heiß und Kalt“, bei dem der Roboter „heißer“ (zuversichtlicher) wird, wenn er Bilder findet, die den Worten ähneln, die Sie getippt haben.

Es gibt jedoch ein kniffliges Problem mit diesem einfachen Distanzspiel. Während der Roboter großartig darin ist, einzelne Dinge zu erkennen – wie einen „Hund“ oder einen „Ball“ –, gerät er oft durcheinander, wenn Sie ihn bitten, diese Dinge mit Logik zu kombinieren, wie zum Beispiel „ein Hund, aber kein Ball“ oder „eine Katze und ein Vogel“. Der Roboter neigt dazu, die Teile wie „aber kein“ oder „und“ zu ignorieren und sucht stattdien nur nach den Wörtern, die er kennt. Es ist, als würde der Roboter ein Spiel namens „Bag of Words“ spielen, bei dem er nur zählt, wie oft ein Wort vorkommt, und dabei die Regeln des Satzes völlig vergisst. Diese Arbeit untersucht, warum das passiert, und schlägt einen cleveren neuen Weg vor, um die Logik des Roboters zu korrigieren, ohne sein gesamtes Gehirn neu trainieren zu müssen.

Das Problem: Der „Bag of Concepts“ des Roboters

Die Autoren dieser Arbeit entdeckten, dass Standard-KI-Modelle, die eigentlich intelligent genug sein sollten, um komplexe Sätze zu verstehen, sich in Wirklichskeit wie ein sehr wörtlicher, leicht verwirrter Bibliothekar verhalten. Stellen Sie sich vor, Sie bitten diesen Bibliothekar nach einem Buch über „ein rotes Auto ohne Fahrer“. Anstatt ein Auto ohne Fahrer zu finden, reicht Ihnen der Bibliothekar ein Buch über ein rotes Auto mit Fahrer, weil der Bibliothekar so auf die Wörter „rotes“ und „Auto“ fixiert ist, dass er das Wort „ohne“ völlig ignoriert.

In technischer Hinssicht verwenden diese Modelle einen „skalaren Ähnlichkeitswert“ (scalar similarity score). Betrachten Sie diesen Score als eine einzige Zahl, die Ihnen sagt, wie gut ein Bild zu einem Text passt. Die Arbeit zeigt, dass, wenn Sie nach einer Kombination von Ideen fragen (wie „A und nicht B“), das Modell die Logik von „A und B“ nicht tatsächlich mathematisch berechnet. Stattdessen mittelt es einfach die Evidenz für „A“ und die Evidenz für „B“. Es ist wie das Machen eines Smoothies: Wenn Sie nach „Erdbeeren, aber keine Bananen“ fragen, mischt das Modell einfach die Erdbeeren und Bananen zusammen und gibt Ihnen eine Mischung, weil es denkt, dass die „keine“-Anweisung nur eine weitere Zutat ist, die hineingemischt werden muss, anstatt eine Regel, um eine Zutat zu entfernen.

Die Forscher testeten dies, indem sie die Modelle baten, Bilder zu finden, die spezifischen logischen Regeln entsprachen, wie etwa „Regenschirm und keine Person“. Selbst wenn das Modell eine Person im Bild deutlich sehen konnte, bewertete es dieses Bild immer noch als gute Übereinstimmung, weil das Wort „Person“ in der Suchanfrage enthalten war. Das Modell versagte nicht dabei, die Person zu sehen; es versagte dabei, die Logik des Satzes zu nutzen, um die Person herauszufiltern.

Die Untersuchung: Warum die Logik scheitert

Um herauszufinden, warum das passiert, führten die Autoren eine „Operation“ am Gehirn des Modells durch. Sie schauten in den Text, den das Modell liest, um zu sehen, ob die Logikwörter (wie „nicht“ oder „und“) tatsächlich die Bedeutung des Satzes veränderten. Sie fanden heraus, dass die Logik im Text zwar vorhanden war, verborgen innerhalb der Wörter, aber zu schwach war, um den endgültigen Score zu verändern.

Stellen Sie sich das Text-Embedding (die digitale Repräsentation des Satzes) als ein Team aus zwei Personen vor, die eine schwere Kiste tragen: Eine Person repräsentiert die „Konzepte“ (die Substantive wie „Hund“ oder „Auto“), und die andere repräsentiert die „Logik“ (das „und“ oder „nicht“). Die Autoren fanden heraus, dass die „Konzept“-Person ein Riese ist, während die „Logik“-Person ein kleines Kind ist. Wenn beide die Kiste drücken, um zu entscheiden, welches Bild ausgewählt wird, drückt der Riese so stark, dass der Stoß des kleinen Kindes völlig ignoriert wird. Das Ergebnis? Die Kiste bewegt sich in die Richtung der Konzepte, und die Logik geht im Getümmel verloren.

Die Autoren prüften auch, ob ein einfaches Nachtrainieren des Modells (das Erlernen neuer Beispiele) das Problem lösen würde. Sie stellten fest, dass das Modell selbst nach dem Training an tausenden Beispielen von „kein“ und „nicht“ weiterhin Schwierigkeiten hatte. Es ist, als würde man versuchen, einem Menschen, der von Natur aus Linkshänder ist, durch bloße Übung beizubringen, perfekt mit der rechten Hand zu schreiben; das zugrunde liegende Muskelgedächtnis (wie das Modell Scores kombiniert) ist der eigentliche Flaschenhals, nicht der Mangel an Übung.

Die Lösung: Faktorisierte Inferenz und LCSE

Da der interne „Logik-Muskel“ des Modells zu schwach ist, um das Problem zu beheben, schlugen die Autoren eine neue Strategie namens Faktorisierte Inferenz (Factored Inference) vor. Anstatt das Modell zu bitten, die Mathematik auf einmal zu erledigen, entschieden sie sich, die Aufgabe in zwei separate Schritte aufzuteilen:

Evidenzextraktion: Fragen Sie zuerst das unveränderte (frozen) Modell, einfach die einzelnen Konzepte zu identifizieren. „Ist da ein Hund? Ja, zu 90 % sicher. Ist da eine Katze? Ja, zu 80 % sicher.“
Constraint-Ausführung: Nehmen Sie dann diese Zahlen und führen Sie die Logik-Mathematik außerhalb des Modells durch. Wenn der Benutzer „Hund, aber keine Katze“ gesagt hat, nimmt das System den „Hund“-Score, subtrahiert den „Katze“-Score (oder kehrt den „Katze“-Score um, um „keine Katze“ darzustellen) und kombiniert sie unter Verwendung strenger Logikregeln.

Um dies zu ermöglichen, ohne die Fähigkeit des Modells zur Handhabung normaler Sätze zu beeinträchtigen, führten sie eine Methode namens LCSE (Logic-Constrained Score Editing) ein. Betrachten Sie LCSE als einen klugen Editor. Er hört auf die ursprüngliche Antwort des Modells, aber wenn der Satz eine Logikregel enthält (wie „kein“ oder „und“), greift der Editor ein und passt den endgültigen Score gerade so weit an, dass die Logik funktioniert. Wenn der Satz einfach ist, lässt der Editor den Score unverändert. Auf diese Weise behält das Modell seine ursprüngliche „Persönlichkeit“ und seine Suchfähigkeiten, befolgt aber endlich die Regeln der Logik.

Die Ergebnisse: Ein großer Sprung in der Logik

Die Ergebnisse dieser neuen Methode waren beeindruckend. Die Autoren testeten ihr System auf einem neuen Benchmark, den sie selbst erstellt haben, genannt FACTOR-Bench, der speziell darauf ausgelegt ist, zu testen, ob ein Modell Logik versteht.

Der alte Weg: Die besten existierenden Modelle (selbst jene, die speziell darauf trainiert wurden, Negation zu verstehen) lösten etwa 73,2 % der Logikfragen korrekt.
Der neue Weg (LCSE): Die Methode der Autoren, die dieselben zugrunde liegenden Modelle, aber mit ihrem neuen „Editor“, erreichte eine Genauigkeit von 85,5 %.
Noch besser: Als sie diese Methode auf ein neueres, stärkeres Modell namens SigLIP 2 anwandten, schoss die Genauigkeit auf 90,7 % empor.

Sie testeten es auch auf einer anderen Herausforderung namens NegBench, die sich auf „kein“ und „nicht“ Fragen konzentriert. Das Standardmodell löste nur 27,2 % korrekt, aber mit LCSE verbesserte es sich auf 65,2 %. Entscheidend ist, dass diese massive Verbesserung in der Logik die Fähigkeit des Modells zur normalen Suche nicht beeinträchtigte; es behielt die gleiche hohe Leistung für die Standard-Bildabfrage bei.

Warum das wichtig ist

Diese Arbeit legt nahe, dass das Problem nicht darin besteht, dass KI-Modelle nicht gut genug „sehen“ oder „lesen“ können; sondern dass die Art und Weise, wie sie Informationen kombinieren, für komplexe Aufgaben grundlegend fehlerhaft ist. Indem wir das „Sehen“ (Finden der Konzepte) vom „Denken“ (Anwenden der Logikregeln) trennen, können wir diese Modelle viel intelligenter machen, ohne sie von Grund auf neu bauen zu müssen. Es ist eine Erinnerung daran, dass der beste Weg, einen smarten Roboter zu reparieren, manchmal nicht darin besteht, ihm mehr Fakten beizubringen, sondern ihm einen besseren Taschenrechner für die Fakten zu geben, die er bereits kennt.

Technisches Resümee: Ähnlichkeit ist nicht Logik: Faktorisierte Inferenz für Dual-Encoder Vision-Language-Modelle

1. Problemstellung

Dual-Encoder Vision-Language-Modelle (VLMs), wie CLIP und SigLIP, bilden Bilder und Texte in einen gemeinsamen Embedding-Raum ab, wobei eine skalare Ähnlichkeitsschnittstelle (typischerweise Kosinusähnlichkeit oder Skalarprodukt) verwendet wird. Diese Schnittstelle erfüllt jedoch nicht die kompositionellen Constraints, die mit logischen Operatoren (Negation, Konjunktion, Disjunktion) einhergehen.

Der Kern des Problems ist ein „Bag-of-Concepts“-Effekt auf der Ebene der Schnittstelle. Wenn eine Abfrage logische Operatoren enthält (z. B. „Regenschirm und kein Mensch“), approximiert der skalare Ähnlichkeitswert eine Mittelwertbildung (Mean Pooling) der Evidenz für einzelne Konzepte, anstatt den logischen Operator auszuführen. Infolgedessen:

Versagt die Negation: Abfragen wie „kein Mensch“ rufen oft Bilder ab, die eine Person enthalten, da der Ähnlichkeitswert die Präsenz eines Konzepts verfolgt, statt dessen Abwesenheit.
Ist die Konjunktion instabil: Abfragen wie „A und B“ rufen häufig Bilder ab, die entweder nur A oder nur B enthalten.
Versagt der Ausschluss: Abfragen, die darauf abzielen, Konzepte auszuschließen (z. B. „weder A noch B“), rufen systematisch Bilder ab, die diese Konzepte enthalten.

Die Autoren führen dieses Versagen nicht auf einen Mangel an operatorabhängigen Informationen in den Text-Embeddings zurück (diese sind vorhanden, aber schwach), sondern auf den Ausführungsmechanismus: Das Skalarprodukt-Scoring aggregiert Evidenz auf eine Weise, die die Operator-Semantik unterdrückt und sich unabhängig von der logischen Struktur wie eine weiche Mittelwertbildung verhält.

2. Methodik: Faktorisierte Inferenz und LCSE

Das Paper schlägt die Faktorisierte Inferenz vor, ein Paradigma, das die Evidenzextraktion von der Constraint-Ausführung trennt. Anstatt sich auf die ganzheitliche Ähnlichkeit einer zusammengesetzten Abfrage zu verlassen, extrahiert die Methode atomare Evidenz für jedes Konzept und führt die logischen Operatoren extern aus.

2.1. Logic-Constrained Score Editing (LCSE)

Der Hauptbeitrag ist LCSE, eine trainingsfreie Methode, welche den Ähnlichkeitswert eines eingefrorenen VLM modifiziert, um logische Constraints durchzusetzen und gleichzeitig die Standard-Retrieval-Leistung zu bewahren. Der Prozess umfasst vier Schritte:

Parsing: Eine Abfrage wird in visuelle Konzepte ( $c_i$ ), deren Polaritäten (vorhanden/nicht vorhanden, $n_i$ ) und den logischen Operator ( $o$ ) zerlegt.
Evidenzextraktion: Der eingefrorene VLM kodiert das Bild und jedes atomare Konzept-Phrase unabhängig, um Präsenz-Scores ( $p_i$ ) zu generieren. Diese Scores werden mittels einer Sigmoid-Funktion von Roh-Ähnlichkeiten in Wahrscheinlichkeiten kalibriert.
Constraint-Ausführung:
- Polaritätsanpassung: Für negierte Konzepte wird der Score invertiert ( $1 - p_i$ ).
- Aggregation: Die angepassten Scores werden unter Verwendung eines Potenzmittels ( $M_\gamma$ $M_{γ}$ ) aggregiert.
  - Die Konjunktion ( $A \land B$ ) verwendet $\gamma < 0$ (geht gegen das Minimum).
  - Die Disjunktion ( $A \lor B$ ) verwendet $\gamma \gg 1$ (geht gegen das Maximum).
  - Dies ersetzt die implizite Mittelwertbildung des ganzheitlichen Scores durch eine wahrheitsfunktionale Aggregation.
Score-Editing (Der „LCSE“-Schritt): Um den Verlust ganzheitlicher Informationen (Szenenkontext, Stil, räumliches Layout) zu verhindern, die durch atomare Konzept-Scores nicht erfasst werden, wendet die Methode eine leichte Korrektur auf den ursprünglichen ganzheitlichen Score ( $s_{hol}$ ) an:
$s_{LCSE} = s_{hol} + \frac{1}{\beta} \left( \text{logit}(p_{logic}) - \text{logit}(p_{soft}) \right)$
Wobei $p_{logic}$ der aggregierte Constraint-Score ist und $p_{soft}$ der einfache Mittelwert der Konzept-Scores. Dieser Term passt den ganzheitlichen Score nur dann an, wenn der logische Operator eine Nicht-Mittelwert-Aggregation erfordert (z. B. strikte Konjunktion oder Negation). Wenn keine Operatoren vorhanden sind, verschwindet die Korrektur, und die Methode kehrt zum Standard-Retrieval zurück.

3. Zentrale Beiträge

Mechanistische Analyse des Constraint-Versagens: Die Autoren liefern eine „Span-Residual-Zerlegung“ von Text-Embeddings und zeigen, dass zwar operatorabhängige Signale in der Residualkomponente existieren, diese jedoch zu schwach oder falsch ausgerichtet sind, um unter dem Standard-Skalarprodukt-Scoring die Rankings zu beeinflussen. Die Span-Komponente (dominiert durch Konzept-Evidenz) approximiert eine Mittelwertbildung, was zum Versagen führt.
Trainingsfreie Schnittstelle (LCSE): Eine Methode zur Ausführung von Booleschen Constraints explizit über atomare Evidenz, ohne die Encoder neu zu trainieren. Sie bewahrt das Standard-Retrieval-Verhalten, wenn keine Constraints vorliegen.
FACTOR-Bench: Ein neuer Benchmark, der darauf ausgelegt ist, die Semantik von Booleschen Operatoren mittels operator-kontrastiver Caption-Paare (gleiche Konzepte, unterschiedliche Operatoren) mit validierten Ground-Truth-Präsenzen/Abwesenheiten zu testen.
Empirische Validierung: Umfangreiche Evaluierung, die zeigt, dass LCSE die feingetunten Baselines bei logischen Constraints signifikant übertrifft, während die Zero-Shot-Retrieval-Leistung beibehalten wird.

4. Experimentelle Ergebnisse

Die Autoren evaluierten LCSE auf FACTOR-Bench, NegBench und Standard-Retrieval-Retention-Aufgaben mit CLIP- und SigLIP 2-Backbones.

FACTOR-Bench Genauigkeit:
- LCSE (CLIP): Erreichte 85,5 % Genauigkeit und übertraf damit deutlich die beste feingetunte Baseline (NegationCLIP mit 73,2 %).
- LCSE (SigLIP 2): Erreichte 90,7 % Genauigkeit, was zeigt, dass bessere atomare Evidenz zu besserer Constraint-Ausführung führt.
- Negations-Handhabung: Auf NegBench MCQ verbesserte LCSE die Genauigkeit von 56,2 % (NegCLIP-NegFull) auf 60,3 % für CLIP und von 27,2 % auf 65,2 % für SigLIP 2.
Retrieval Retention: Im Gegensatz zu feingetunten Modellen, die oft die Standard-Retrieval-Leistung verschlechtern (Rangkorrelation $\rho \approx 0,63\text{--}0,85$ ), bewahrt LCSE die Standard-Retrieval-Leistung fast perfekt ( $\rho = 0,999$ für CLIP, R@5 unverändert).
Stratifizierte Analyse: Der Leistungszuwachs von LCSE skaliert mit der Qualität der atomaren Evidenz. Wenn die Konzeptdetektion zuverlässig ist (AUC > 0,90), erreicht LCSE 90,4 % Genauigkeit, während das ganzheitliche Scoring nur 57,8 % erreicht.
Ablation: Die Methode funktioniert über verschiedene Backbones und Aggregationsstrategien hinweg. Die Komponente „Score Editing“ ist entscheidend; das Entfernen dieser Komponente (durch Nutzung reiner faktorisierter Scores) verschlechtert das Retrieval bei natürlichen Sprachabfragen, die keine expliziten Operatoren enthalten.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass das Versagen von VLMs bei der Handhabung kompositioneller Logik primär ein Problem der Schnittstelle ist (wie Scores Evidenz aggregieren) und nicht ein Problem der Repräsentationsebene (was Encoder repräsentieren).

Begrenzter Umfang: Die Autoren betonen ausdrücklich, dass ihre Analyse und Methode auf Booleschen Operatoren über visuelle Konzepte validiert wurden (ein bis zwei Konzepte, mit Erweiterungen auf 3–4 Konzepte). Sie behaupten nicht, die gesamte kompositionelle Argumentation (z. B. Attributbindung, Relationen, Zählen) gelöst zu haben, schlagen aber vor, dass das Prinzip der faktorierten Inferenz erweitert werden kann, sofern zuverlässige atomare Evidenz verfügbar ist.
Praktische Relevanz: Die Methode bietet eine trainingsfreie Lösung, die auf bestehende eingefrorene VLMs angewendet werden kann, um strukturierte Abfragen und Filterung zu ermöglichen, ohne die Instabilität oder den Datenbedarf von Fine-Tuning.
Limitierungen: Der Ansatz hängt von der Fähigkeit ab, die Boolesche Struktur zu parsen (gehandhabt durch einen LLM-Parser mit hoher Genauigkeit) und von der Qualität der zugrunde liegenden atomaren Konzeptdetektion des Encoders. Wenn der Encoder ein Konzept nicht zuverlässig detektieren kann, kann die externe Ausführung die Korrektheit nicht wiederherstellen.

Zusammenfassend argumentiert das Paper, dass „Ähnlichkeit nicht Logik ist“ und schlägt die Faktorisierte Inferenz als Mechanismus vor, um die Extraktion von Evidenz von der Ausführung logischer Constraints zu entkoppeln, wodurch eine hohe Genauigkeit bei logischen Aufgaben bei gleichzeitiger Beibehaltung der robusten Zero-Shot-Retrieval-Fähigkeiten von Standard-VLMs erreicht wird.