Improving Visual Reasoning with Iterative Evidence Refinement

1. Problemstellung

Vision-Language-Modelle (VLMs) haben zwar beeindruckende Fortschritte beim logischen Schließen über Bilder gemacht, doch ihre Reasoning-Pipelines sind oft textzentriert. In herkömmlichen Inferenzprozessen wird das Bild einmalig in feste visuelle Tokens kodiert, die als statischer Kontext dienen. Während die autoregressive Textgenerierung fortschreitet, verlagert sich die Konditionierung des Modells zunehmend auf den generierten Text, wodurch der Einfluss der visuellen Beweise schwindet.

Zur Lösung dieses Problems nutzen aktuelle Ansätze oft externe Werkzeuge (wie Zoomen oder Zuschneiden), um während der Inferenz feinere Details neu zu erfassen. Diese Methoden haben jedoch zwei wesentliche Nachteile:

1. Unterbrechung der Reasoning-Kette: Neue Bildansichten werden als separate Eingaben angehängt, statt nahtlos in den Chain-of-Thought (CoT) integriert zu werden.
2. Ineffizienz: Jede neue Ansicht erfordert eine erneute Kodierung (Re-Encoding) des Bildes, was rechenintensiv ist und den Inferenzfluss stört.
3. Komplexes Training: Das Erlernen des Aufrufs externer Tools erfordert große Datenmengen und komplexe Trainingspipelines.

Die Autoren stellen die Hypothese auf, dass die internen Repräsentationen des VLM bereits ausreichend Informationen enthalten und dass der eigentliche Engpass darin liegt, dass das Modell nicht in der Lage ist, relevante visuelle Beweise selektiv während des Generierungsprozesses wiederzuverwenden.

2. Methodik: SIEVE (Self-revisit framework for Iterative Evidence)

SIEVE ist ein End-to-End-Framework, das es VLMs ermöglicht, visuelle Beweise durch interne Repräsentationen erneut zu nutzen, ohne externe Werkzeuge oder Re-Encoding.

Kernkomponenten:

• Selbstgeführte Entdeckung visueller Beweise (Self-Guided Evidence Discovery):

  • Das System identifiziert automatisch saliente Text-Token (Anker) basierend auf deren Gradient-Saliency (wie stark die Ausgabe auf Änderungen dieses Tokens reagiert).
  • Diese Text-Anker werden dann im gemeinsamen multimodalen Repräsentationsraum mit Bild-Patch-Tokens abgeglichen (Cross-Modal Similarity).
  • Es werden die relevantesten Bildregionen lokalisiert, deren Embeddings extrahiert und als kompakte „Evidence Snapshots" zwischengespeichert.
  • Wichtig: Die Extraktion erfolgt bevorzugt aus den mittleren Schichten des Transformers, da diese eine bessere Balance zwischen semantischer Abstraktion und räumlicher Genauigkeit bieten als frühe oder späte Schichten.

• Visuell fundiertes Reinforcement Learning (RL):

  • SIEVE verwendet eine RL-Policy (basierend auf GRPO), um dem Modell beizubringen, wann es visuelle Beweise benötigt und welche Embeddings es in die Reasoning-Kette einfügen soll.
  • Der Zustand $s_t$ umfasst das Originalbild, den bisherigen Text und alle bisher eingefügten visuellen Embeddings.
  • Die Policy entscheidet an jedem Schritt, ob sie antwortet oder einen gespeicherten Embedding-Block (z. B. für eine spezifische Bildregion) in den Kontext injiziert.

• Reward-Funktion:
  Die Belohnung setzt sich aus vier Komponenten zusammen:

  1. Ergebnis-Reward ($R_{res}$): Korrektheit der finalen Antwort.
  2. Format-Reward ($R_{format}$): Einhaltung der strukturellen Anforderungen (CoT + Antwort).
  3. Embedding-Reward ($R_{emb}$): Bonus, wenn das Modell bei korrekter Antwort aktiv visuelle Beweise genutzt hat.
  4. Action-Reward ($R_{act}$): Verhindert, dass das Modell in „nicht-kommitierenden" Zuständen verharrt oder zu kurze Reasoning-Pfade generiert; fördert substanzielle Gedankenprozesse.

3. Hauptbeiträge

1. Neues Paradigma: SIEVE ersetzt externe Tool-Aufrufe (Zoom/Crop) durch die direkte Wiederverwendung und Injektion von Region-Level-Embeddings aus der ursprünglichen Bildkodierung.
2. Effiziente Saliency-Mechanismen: Entwicklung eines automatischen Verfahrens zur Identifikation kritischer visueller Regionen basierend auf Text-Gradienten und Cross-Modal-Similarität, ohne manuelle Annotation.
3. Daten-Effizienz: Das Framework benötigt nur einen sehr kleinen Trainingsdatensatz (ca. 1.500 Beispiele), um die Fähigkeit zum visuellen „Re-Visiting" zu erlernen.
4. Leistungsnachweis: Validierung über verschiedene Modellgrößen (4B und 8B Parameter) und Benchmarks, die zeigt, dass interne Repräsentationen ausreichen, um die Leistung externer Tools zu übertreffen.

4. Ergebnisse

Die Evaluierung erfolgte auf mehreren Benchmarks, darunter V*Bench, HR-Bench (hohe Auflösung), MME-Real-Lite, MathVista und HallusionBench.

• Leistungsgewinn: SIEVE erzielt konsistent Verbesserungen gegenüber Baseline-Modellen (Vanilla) und Tool-augmentierten Methoden (wie ZoomEye, DyFo).
  • Durchschnittliche Steigerung von 8 % über mehrere Benchmarks.
  • Auf dem V*Bench (4B-Modell) wurde eine Verbesserung von +7,85 % (Overall) und auf HR-Bench 8K von +3,75 % erreicht.
  • Besonders stark waren die Gewinne bei Aufgaben, die tiefes visuelles Verständnis erfordern (z. B. +12,8 % bei Reasoning auf MME-Real-Lite für das 4B-Modell).
• Vergleich mit Tools: SIEVE übertrifft oft komplexe Tool-basierte Ansätze, obwohl es keine neuen Bilder generiert. Dies beweist, dass die ursprünglichen Embeddings ausreichend Information enthalten, wenn sie korrekt abgerufen werden.
• Hallusionsreduktion: Das Modell zeigt eine verbesserte Widerstandsfähigkeit gegen Halluzinationen, da es gezielt auf visuelle Beweise zurückgreift, um Unsicherheiten zu klären.

5. Bedeutung und Fazit

Die Arbeit demonstriert, dass für effektives visuelles „Re-Visiting" keine externen Agenten oder aufwendige Bildmanipulationen notwendig sind. Stattdessen kann die Wiederverwendung interner Embeddings eine effizientere und skalierbare Lösung bieten.

• Effizienz: Durch das Vermeiden von Re-Encoding und Tool-Aufrufen wird die Inferenzzeit reduziert und die Kontinuität des Reasoning-Prozesses gewahrt.
• Skalierbarkeit: Da nur eine kleine Menge an Trainingsdaten benötigt wird, ist das Framework leicht auf verschiedene Modellgrößen und Domänen übertragbar.
• Zukunftsperspektive: SIEVE legt den Grundstein für „Self-Guided" Reasoning in VLMs, bei denen Modelle ihre eigenen internen Signale nutzen, um ihre Aufmerksamkeit dynamisch und kontextabhängig auf relevante Bildbereiche zu lenken.

Zusammenfassend zeigt SIEVE, dass die Fähigkeit zur iterativen Verfeinerung von Beweisen bereits in den latenten Repräsentationen von VLMs vorhanden ist und durch gezieltes RL-Training effektiv erschlossen werden kann.