Inference-Time Structural Reasoning for Compositional Vision-Language Understanding

1. Problemstellung

Vision-Language-Modelle (VLMs) wie CLIP, BLIP oder LLaVA sind zwar hervorragend im Bild-Text-Retrieval, scheitern jedoch häufig an kompositionellem Reasoning. Das Kernproblem besteht darin, dass Modelle oft auf „Bag-of-Words"-Statistiken angewiesen sind und die strukturelle Beziehung zwischen Entitäten nicht verstehen.
Ein klassisches Beispiel ist das Minimalpaar: „Der Hund jagt die Katze" vs. „Die Katze jagt den Hund". Beide Sätze enthalten dieselben Wörter, unterscheiden sich aber in der Zuordnung von Agent und Patient. VLMs bewerten beide Beschreibungen oft ähnlich für ein Bild, da sie die relationalen Strukturen nicht korrekt erfassen. Der Winoground-Benchmark operationalisiert dieses Problem durch 400 Paare aus Bildern und Texten, die dieselben Wörter in unterschiedlicher relationaler Struktur verwenden.

2. Methodik

Das Paper stellt ein einheitliches Evaluierungs- und Augmentierungs-Framework vor, das vier architektonisch diverse VLMs (CLIP, BLIP, LLaVA, Qwen3-VL-8B-Thinking) testet. Der Ansatz erfolgt vollständig inference-time (während der Inferenz), ohne Nachtraining der Modelle.

Die Methodik gliedert sich in drei Hauptkomponenten:

• TextSceneGraphParser:
  Ein regelbasierter Parser (basierend auf spaCy), der aus Bildunterschriften (Captions) Abhängigkeitsbäume extrahiert und diese in Tripel der Form <Subjekt, Relation, Objekt> (SVO) umwandelt. Der Parser deckt fünf syntaktische Konstruktionen ab: SVO, Präpositionalphrasen, Kopulasätze, existenzielle Sätze („there is") und Possessivkonstruktionen.
• Graph Asymmetry Scorer:
  Ein Mechanismus zur Bewertung der strukturellen Asymmetrie zwischen zwei Graphen (z. B. den Graphen zweier konkurrierender Captions). Er nutzt eine optimale bipartite Zuordnung (Hungarian-Algorithmus), um die Kosten für das Vertauschen von Agent und Patient zu berechnen. Dies dient als struktureller Prior.
• Augmentierungsstrategien:
  Je nach Modellarchitektur werden die extrahierten Strukturinformationen unterschiedlich integriert:
  • Additive Augmentierung (für Encoder-Modelle wie CLIP/BLIP): Der Asymmetrie-Score wird als zusätzlicher Term zur Basis-Score-Funktion addiert.
  • Prompt-Injection (für generative Modelle wie LLaVA): Die Tripel werden direkt in den Prompt eingefügt, um das Modell zu instruieren, auf die Struktur zu achten.
  • Multi-Turn SG-Filterung (für Qwen3-VL): Dies ist die zentrale Innovation. In einem Zwei-Schritt-Verfahren generiert das Modell im ersten Durchgang eine Teilmenge der visuell relevanten Tripel (Filterung von Rauschen), die dann im zweiten Durchgang für die endgültige Zuordnung genutzt werden.

3. Schlüsselbeiträge

1. Einheitliches Framework: Eine vergleichende Evaluation von vier verschiedenen VLM-Architekturen auf Winoground unter reinen und strukturaugmentierten Bedingungen.
2. TextSceneGraphParser: Ein spezialisierter Parser, der SVO-Tripel sowie komplexe syntaktische Konstruktionen aus reinem Text extrahiert, ohne visuelle Graph-Generatoren zu benötigen.
3. Graph Asymmetry Scorer: Ein mathematischer Ansatz zur Quantifizierung von Agent-Patient-Rollentausch durch optimale bipartite Matching.
4. Ablationsstudie: Systematische Experimente (Maskierung und Vertauschung von Subjekt/Objekt), die zeigen, dass leistungsstarke Modelle wie Qwen3-VL stark auf Entitätsidentität und relationale Syntax angewiesen sind, während schwächere Modelle eher auf Bag-of-Words-Statistiken basieren.
5. Neuer State-of-the-Art: Ein neuer Open-Source-Rekord auf Winoground durch die Multi-Turn-Filterstrategie.

4. Ergebnisse

Die Ergebnisse zeigen einen klaren Zusammenhang zwischen der Basisfähigkeit des Modells und dem Nutzen struktureller Augmentierung:

• Leistungsfähigkeit: Das Modell Qwen3-VL-8B-Thinking erreicht bereits im Basis-Modus (ohne SG) eine Gruppenscore von 62,8 %, was deutlich über allen Encoder-basierten Modellen liegt.
• Effekt der Augmentierung:
  • Bei schwächeren Modellen (CLIP, BLIP) bringt die additive SG-Augmentierung vernachlässigbare oder sogar negative Gewinne, da das Basissignal zu schwach ist.
  • Bei LLaVA führt die direkte Prompt-Injection zu einem Leistungsabfall (Over-Specification), da das Modell die explizit gelisteten Entitäten über die visuellen Beweise stellt.
  • Qwen3-VL mit Multi-Turn SG-Filterung erreicht einen Gruppenscore von 66,0 %. Dies übertrifft den vorherigen Open-Source-Rekord (SCRAMBLe-Molmo-7B mit 54,8 %) um 11,2 Punkte, ohne dass ein Nachtraining (Fine-Tuning) stattfand.
• Vergleich: Der Score von 66,0 % nähert sich der menschlichen Leistung (85,5 %) an und zeigt, dass strukturelles Reasoning in ausreichend leistungsfähigen Basismodellen durch Inferenzzeit-Methoden freigeschaltet werden kann.

5. Bedeutung und Fazit

Das Paper demonstriert, dass Inferenzzeit-Reasoning eine effektive Alternative zum aufwändigen Fine-Tuning (z. B. durch Preference Optimization) sein kann, sofern das Basis-Modell über ausreichende visuelle Grounding-Fähigkeiten verfügt.

• Capability–Augmentation Tradeoff: Strukturelle Priors helfen nur Modellen, die bereits eine gewisse kompositionelle Sensitivität besitzen. Schwächere Modelle können diese Priors nicht effektiv nutzen.
• Strukturierte Selbstkonsistenz: Die Multi-Turn-Strategie wird als Form der strukturierten Selbstkonsistenz interpretiert, bei der das Modell seine eigenen visuellen Repräsentationen nutzt, um irrelevante strukturelle Informationen zu filtern, bevor die finale Entscheidung getroffen wird.
• Diagnostisches Werkzeug: Die vorgestellte Ablationsstudie (Maskierung/Vertauschung) bietet ein wiederverwendbares Protokoll, um vorherzusagen, ob ein neues VLM von strukturellen Augmentierungen profitieren wird.

Zusammenfassend beweist die Arbeit, dass die Kombination aus leistungsfähigen generativen VLMs und formal definierten strukturellen Priors (via Text-Scene-Graphs) die Grenzen des kompositionellen Verstehens in multimodalen Systemen signifikant erweitern kann.