💻 computer science

CASHEW: Stabilizing Multimodal Reasoning via Iterative Trajectory Aggregation

Das Paper stellt CASHEW, ein Framework für die Inferenzzeit, und CASHEW-RL, eine mittels Group Sequence Policy Optimization trainierte gelernte Variante, vor, um multimodale Argumentation durch iteratives Aggregieren von Kandidaten-Trajektorien und das Filtern von Halluzinationen mittels visueller Verifizierung zu stabilisieren, wodurch signifikante Leistungssteigerungen über 13 Benchmarks zum Verständnis von Bildern und Videos erzielt werden.

Ursprüngliche Autoren: Chaoyu Li, Deeparghya Dutta Barua, Fei Tao, Pooyan Fazli

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chaoyu Li, Deeparghya Dutta Barua, Fei Tao, Pooyan Fazli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein kniffliges Rätsel zu lösen, wie zum Beispiel genau herauszufinden, was eine Tasse Wasser in einem Malvideo gerade macht. Wenn Sie eine Standard-KI (ein Vision-Language-Modell) nur einmal fragen, könnte sie raten: „Vielleicht bewahrt der Künstler dort seinen Pinsel auf?“ Sie ist zwar selbstbewusst, liegt aber falsch. Wenn Sie sie erneut fragen, könnte sie raten: „Vielleicht dient sie dazu, den Pinsel auszuruhen?“ Sie rät immer noch, und ihre Antworten ändern sich ständig. Dies ist das Problem, das das Paper als instabile Argumentation bezeichnet.

Die Autoren dieses Papers, von der Arizona State University und NewsBreak, haben eine Lösung namens CASHEW (und eine intelligentere Version namens CASHEW-RL) entwickelt, um dies zu beheben. So funktioniert es, erklärt anhand einfacher Analogien:

1. Das Problem: Der „einsame Denker“

Aktuelle KI-Modelle sind wie eine einzelne Person, die versucht, ein Puzzle in einem dunklen Raum zu lösen. Sie könnten über ihre eigenen Füße stolpern (einen Fehler machen) und immer weiter in die falsche Richtung laufen, weil sie das Gesamtbild nicht klar sehen können. Sie „halluzinieren“ oft, was bedeutet, dass sie Fakten erfinden, die gar nicht existieren, wie zum Beispiel zu sagen, eine Tasse sei zur Aufbewahrung gedacht, wenn sie eigentlich zum Reinigen dient.

2. Die Lösung: Die „Lerngruppe“ (CASHEW)

Anstatt die KI alleine denken zu lassen, verwandelt CASHEW die KI in eine Lerngruppe.

Der Prozess: Wenn die KI eine Frage erhält, gibt sie nicht einfach eine Antwort. Sie generiert eine ganze Menge verschiedener „Gedankengänge“ (Trajektorien). Stellen Sie sich 8 verschiedene Studenten in einem Raum vor, von denen jeder versucht, das Rätsel auf seine eigene Weise zu lösen.
Der Realitätscheck (Visuelle Verifizierung): Dies ist das Geheimrezept. Bevor die Gruppe sich auf eine Antwort einigt, prüft ein „Schiedsrichter“ (ein Werkzeug zur visuellen Verifizierung) ihre Arbeit anhand des tatsächlichen Bildes oder Videos. Wenn ein Student sagt: „Die Tasse ist zur Aufbewahrung da“, schaut der Schiedsrichter in das Video und sagt: „Nein, ich sehe kein Aufbewahrungsregal. Ich sehe, wie der Künstler den Pinsel zum Reinigen eintaucht.“
Die Synthese: Die KI nimmt dann die besten Teile der Ideen aller 8 Studenten, filtert die Lügen (Halluzinationen) mithilfe der Notizen des Schiedsrichters heraus und kombelt sie zu einer supergenauen, evidenzbasierten Antwort.

Es ist, als würde man eine chaotische Brainstorming-Sitzung nehmen und sie in einen polierten, faktengeprüften Bericht verwandeln.

3. Das Upgrade: Der „internalisierte Experte“ (CASHEW-RL)

Die erste Version (CASHEW) ist großartig, aber sie erfordert, dass der Computer den Prozess der „Lerngruppe“ jedes Mal neu durchläuft, wenn er eine Frage beantwortet, was langsam sein kann.

Die Autoren haben auch CASHEW-RL entwickelt. Betrachten Sie dies als den Versuch, die Lerngruppe zu nehmen und die KI zu lehren, selbst die Gruppenleiterin zu werden.

Sie haben die KI mit einem speziellen Belohnungssystem trainiert (ähnlich einem Highscore in einem Videospiel), das Punkte vergab für:
1. Das Beantworten der richtigen Frage.
2. Das Zitieren der korrekten visuellen Beweise (wie das Zeigen auf die Tasse).
3. Das Nicht-Verschwenden von Zeit bei einfachen Fragen (Effizienz).
Nach diesem Training lernte die KI, das „Gruppendenken“ und die „Faktenchecks“ ganz allein, innerhalb ihres eigenen Gehirns, viel schneller und effizienter zu vollziehen.

Was haben sie herausgefunden?

Das Paper testete dies an 13 verschiedenen Benchmarks, die Bilder und Videos beinhalten. Die Ergebnisse waren wie das Finden eines Zauberstabs für die KI-Argumentation:

Große Sprünge in der Genauigkeit: Bei einem Wissenschaftsquiz namens ScienceQA stieg die Punktzahl der KI um 26,2 Prozentpunkte. Bei einem Test zur Videoreasoning namens EgoSchema stieg sie um 9,1 Prozentpunkte.
Weniger Halluzinationen: Die KI hörte auf, Fakten zu erfinden. Sie begann, sich an das zu halten, was sie tatsächlich im Bild sehen konnte.
Besser als die Konkurrenz: Im Vergleich zu anderen Methoden, die versuchen, die KI-Argumentation zu verbessern (wie etwa die KI einfach 8 Mal dieselbe Frage zu stellen und die häufigste Antwort zu wählen), gewann CASHEW jedes Mal.

Zusammenfassend

Das Paper behauptet, dass wir die KI viel zuverlässiger machen können, indem wir sie dazu zwingen, in Gruppen zu denken, ihre Arbeit gegen die visuellen Beweise zu prüfen und aus ihren Fehlern zu lernen. Es stoppt die KI beim selbstbewussten Raten und führt sie auf den Pfad einer sorgfältigen, evidenzbasierten Argumentation.

Technisches Resümee: CASHEW – Stabilisierung der multimodalen Argumentation durch iterative Trajektorien-Aggregation

1. Problemstellung

Vision-Language-Modelle (VLMs) haben signifikante Erfolge beim multimodalen Verständnis und bei Aufgaben des logischen Schließens erzielt. Ihre mehrstufigen Argumentationsprozesse bleiben jedoch fragil und instabil. Zu den Kernproblemen gehören:

Instabilität: Wiederholtes Sampling desselben Inputs führt oft zu divergierenden Argumentationspfaden (Trajektorien) und inkonsistenten Endvorhersagen.
Halluzinationen: Modelle neigen zu visuellen Halluzinationen, bei denen die Argumentationsschritte nicht in tatsächlichen visuellen Belegen fundiert sind.
Einschränkungen des aktuellen Test-Time-Scaling: Bestehende Ansätze folgen oft einem „Sample-and-Select“-Paradigma, bei dem mehrere unabhängige Ketten generiert werden und die Teilerkenntnisse aus verworfenen Pfaden verworfen werden. Darüber hinaus kann das bloße Erhöhen der Argumentationslänge oder der Sampling-Anzahl ohne explizite Erdung frühe Wahrnehmungsfehler verstärken, anstatt sie zu korrigieren, was dazu führt, dass Modelle zwar „länger denken“, aber nicht „besser denken“.

2. Methodik

Das Paper schlägt zwei komplementäre Ansätze vor, um diese Einschränkungen zu adressieren: CASHEW (ein Framework für die Inferenzzeit) und CASHEW-RL (eine gelernte Variante).

CASHEW: Iteratives Aggregations-Framework

CASHEW behandelt die Argumentation als einen evolutionären Prozess, bei dem eine Population von Kandidaten-Trajektorien iterativ synthetisiert und verfeinert wird. Es operiert in vier Stufen:

Population-Initialisierung: Das Basis-VLM generiert eine initiale Population von $N$ Kandidaten-Argumentationspfaden.
Subset-Sampling: In jeder Iteration wird eine zufällige Teilmenge von Peer-Trajektorien als Referenzkandidaten ausgewählt, um Diversität einzuführen und ein Kollabieren in einen einzelnen Argumentationsmodus zu verhindern.
Visuelle Verifizierung: Vor der Aggregation verifiziert ein leichtgewichtiges Modul zur visuell-textuellen Erdung (implementiert mittels Grounding DINO) Objekt- und Attribut-Behauptungen gegen den visuellen Input. Nur fundierte Belege werden beibehalten, um nachfolgende Schritte zu leiten.
Gegroundete Aggregation: Das Modell synthetisiert die gesampelten Trajektorien und deren verifizierte visuelle Belege, um eine aktualisierte, qualitativ hochwertigere Argumentations-Trajektorie zu generieren. Dieser Prozess wiederholt sich für $T$ Iterationen und gipfelt in einer finalen, konsolidierten Trajektorie.

CASHEW-RL: Gelernte Aggregation via GSPO

CASHEW-RL verinnerlicht das Aggregationsverhalten in einem einzelnen Modell durch einen zweistufigen Post-Training-Prozess:

Supervised Fine-Tuning (SFT): Das Modell wird auf einem strukturierten Aggregationsformat trainiert, das drei Komponenten enthält: einen Argumentationsverlauf (<thought>), eine Menge verifizierter visueller Schlüssel (<visual_keys>) und die finale Antwort (<answer>). Dies etabliert eine Referenz-Policy ( $\pi_{ref}$ ) und lehrt das Modell, Evidenzen zu artikulieren und Ausgaben zu formatieren.
Reinforcement Learning (RL) via Group Sequence Policy Optimization (GSPO): Das Modell wird unter Verwendung einer zusammengesetzten Belohnungsfunktion optimiert, die drei Ziele ausbalanciert:
- Antwortkorrektheit ( $R_{acc}$ ): Exakter Treffer mit der Grundwahrheit (Ground Truth).
- Qualität der Evidenzauswahl ( $R_{key}$ ): Eine ausgewogene Präzisions-Recall-Formulierung, die die Auswahl relevanter visueller Schlüssel fördert und eine wahllose Proliferation vermeidet.
- Schwierigkeitsbewusste Längenstrafe ( $R_{len}$ ): Eine adaptive Strafe, die übermäßige Verbosität bei einfachen Aufgaben (bei denen hohe Lösungsraten beobachtet werden) abschreckt, während sie für schwierige Aufgaben Flexibilität zulässt.

Das Training verwendet ein Curriculum-basiertes Gemisch aus Offline-Lehrer-generierten Trajektorien und On-Policy-Trajektorien, wobei der Anteil selbstgenerierter Daten schrittweise erhöht wird, um die Robustheit zu verbessern und den Distribution Shift zu reduzieren.

3. Zentrale Beiträge

CASHEW: Ein Plug-and-Play-Inferenz-Framework, das die multimodale Argumentation durch iterative Aggregation von Kandidaten-Trajektorien mit expliziter visueller Verifizierung stabilisiert, wodurch Halluzinationen effektiv gefiltert und die Argumentation in Belegen geerdet wird.
CASHEW-RL: Eine gelernte Variante, die die Trajektorien-Aggregation durch GSPO und eine zusammengesetzte Belohnung verinnerlicht, was es dem Modell ermöglicht, eine robuste, visuell fundierte Aggregation mit adaptiver Kontrolle über den Argumentationsaufwand durchzuführen.
Empirische Validierung: Umfangreiche Experimente demonstrieren konsistente Leistungssteigerungen über verschiedene Modell-Backbones und Modalitäten hinweg.

4. Experimentelle Ergebnisse

Die Methoden wurden auf 13 Benchmarks evaluiert, die Bildverständnis, Videoverständnis und Video-Argumentation abdecken.

Leistungssteigerungen:
- Bild-Benchmarks: CASHEW-RL erzielte signifikante Verbesserungen, einschließlich +26,2 Prozentpunkte bei ScienceQA (Qwen3-VL-4B) und +9,1 Prozentpunkte bei EgoSchema (InternVL3.5-8B).
- Video-Benchmarks: Konsistente Gewinne wurden über Video-MME, LongVideoBench und MVBench beobachtet. Beispielsweise verbesserte CASHEW-RL die EgoSchema-Scores um +9,1 Punkte für InternVL3.5-8B.
Vergleich mit SOTA: CASHEW übertraf bestehende Test-Time-Scaling-Baselines (Self-Consistency, Self-Selector und Self-Synthesizer) in allen Metriken. Bemerkenswerterweise übertraf es auf dem MME-Benchmark den stärksten Baseline-Ansatz (Self-Synthesizer) um +48,2 und +82,6 Punkte bei den Wahrnehmungs- bzw. Kognitionswerten.
Ablationsstudien: Die Entfernung des visuellen Erdungsmoduls (Grounding DINO) führte immer noch zu Verbesserungen gegenüber dem Basis-VLM, was darauf hindeutet, dass die iterative Aggregation der primäre Treiber der Leistung ist, während die visuelle Erdung die Zuverlässigkeit weiter erhöht.
Effizienz: CASHEW-RL erreichte eine mit tieferen CASHEW-Konfigurationen vergleichbare Leistung mit weniger Aggregations-Iterationen, was auf eine verbesserte Aggregationseffizienz hindeutet.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass CASHEW und CASHEW-RL eine robuste Lösung für die Instabilität der multimodalen Argumentation bieten. Durch den Wechsel vom „Sample-and-Select“-Paradigma zum „Iterative Aggregation“-Paradigma stellen die Methoden sicher, dass der Argumentationskonsens in visuellen Belegen verankert ist. Die Autoren betonen, dass ihr Ansatz es Modellen ermöglicht, „gemeinsam zu denken“ statt nur „länger zu denken“, wodurch Halluzinationen effektiv gemildert und die Konsistenz verbessert wird. Die Integration von visueller Verifizierung und adaptivem Argumentationsaufwand via GSPO ermöglicht es dem Modell, Antworten zu produzieren, die nicht nur korrekt, sondern auch in minimalen, aber ausreichenden visuellen Belegen fundiert sind.

6. Limitationen

Die Autoren räumen ein, dass die aktuelle Arbeit ein festes Aggregationsbudget verwendet, um kontrollierte Vergleiche zu ermöglichen, was für ressourcenbeschränkte Anwendungen, bei denen einfache Beispiele möglicherweise keine umfangreiche Aggregation erfordern, nicht optimal sein könnte. Während CASHEW-RL dies teilweise durch die Internalisierung des Aggregationsverhaltens adressiert, wird eine systematische Untersuchung der adaptiven Budgetallokation als zukünftige Arbeit identifiziert.