💬 NLP

SPARC: Separating Perception And Reasoning Circuits for Test-time Scaling of VLMs

Dieses Paper stellt SPARC vor, ein modulares Framework, das die visuelle Wahrnehmung von der Argumentation in Vision-Language-Modellen entkoppelt, um eine effiziente, asymmetrische Test-Time-Skalierung zu ermöglichen und die Leistung bei visuellen Argumentationsaufgaben mit reduzierten Token-Budgets signifikant zu verbessern.

Ursprüngliche Autoren: Niccolo Avogaro, Nayanika Debnath, Li Mi, Thomas Frick, Junling Wang, Zexue He, Hang Hua, Konrad Schindler, Mattia Rigotti

Veröffentlicht 2026-06-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Niccolo Avogaro, Nayanika Debnath, Li Mi, Thomas Frick, Junling Wang, Zexue He, Hang Hua, Konrad Schindler, Mattia Rigotti

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Puzzle zu lösen, aber anstatt das gesamte Bild auf einmal zu betrachten, müssen Sie jedes einzelne Teil in einer langen, ausschweifenden Geschichte beschreiben, bevor Sie das endgültige Bild erraten können. So arbeiten viele heutige „Vision-Language-Modelle“ (KI, die sieht und spricht). Sie versuchen, ein Bild zu betrachten und gleichzeitig darüber nachzudenken, wobei sie oft verwirrt werden, Details erfinden oder sich in ihren eigenen langen Erklärungen verlieren.

Das Paper stellt eine neue Methode namens SPARC (Separating Perception And Reasoning Circuits) vor. Betrachten Sie SPARC als ein kluges Team aus zwei Spezialisten, die zusammenarbeiten, anstatt als einen überarbeiteten Generalisten, der versucht, alles gleichzeitig zu erledigen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „überanalysierende“ Detektiv

Aktuelle KI-Modelle sind wie Detektive, die versuchen, ein Verbrechen aufzuklären, indem sie den gesamten Tatort anstarren und gleichzeitig laut über alle Möglichkeiten sprechen.

Das Problem: Wenn der Detektiv ein winziges Detail übersieht (wie einen Staubkorn), während er gerade über das Wetter spricht, baut er vielleicht eine ganze falsche Theorie basierend auf diesem Fehler auf. Dies wird als „Halluzination“ bezeichnet.
Die Kosten: Um die richtige Antwort zu erhalten, müssen diese Modelle oft tausende Wörter an „Denkprozessen“ (Tokens) generieren, was langsam und teuer ist.

2. Die SPARC-Lösung: Der „Spotter“ und der „Solver“

SPARC teilt die Aufgabe in zwei deutliche Schritte auf, inspiriert davon, wie das menschliche Gehirn arbeitet. Es trennt Wahrnehmung (Sehen) von Schlussfolgerung (Denken).

Schritt 1: Der Spotter (Perception Circuit)
Stellen Sie sich einen hochtrainierten Spotter vor, dessen einzige Aufgabe darin besteht, ein Foto anzusehen und auf den spezifischen Teil des Bildes zu zeigen, der für die Frage relevant ist.
- Beispiel: Wenn die Frage lautet: „Welche Farbe hat der Schal?“, gibt der Spotter keine Antwort. Er sagt nur: „Schau genau hier auf den Hals der Frau“ und zoomt auf diesen winzigen Bereich hinein.
- Dieser Schritt ist schnell, fokussiert und versucht noch nicht, das Rätsel zu lösen. Er findet nur die „Nadel im Heuhaufen“.
Schritt 2: Der Solver (Reasoning Circuit)
Sobald der Spotter auf den richtigen Bereich herangezoomt hat, erhält der Solver eine klare, hochauflösende Sicht auf genau diese Stelle.
- Der Solver schaut nun auf das vergrößerte Bild und sagt: „Ah, das ist ein grüner Schal.“
- Da der Solver nicht durch den restlichen unordentlichen Hintergrund abgelenkt wird, kann er die Antwort schnell und präzise geben.

3. Warum dies ein Game-Changer ist

A. Der „Effekt der Lupe“
Das Paper zeigt, dass man der KI eine perfekte, herangezoomte Ansicht des richtigen Ortes gibt, kann sie das Problem lösen, selbst wenn der Rest des Bildes unscharf oder von geringer Qualität ist.

Analogie: Es ist wie der Versuch, ein winziges Etikett auf einer Flasche zu lesen. Man muss nicht das ganze Geschäft sehen; man braucht nur eine Lupe auf dem Etikett. SPARC fungiert als diese Lupe und ermöglicht es der KI, weniger Rechenleistung zu verwenden und gleichzeitig bessere Ergebnisse zu erzielen.

B. Das „Sicherheitsnetz“ (Self-Consistency)
Manchmal zeigt der Spotter versehentlich auf die falsche Stelle. SPARC nutzt einen cleveren Trick: Es bittet den Spotter, achtmal schnell auf eine Stelle zu zeigen.

Wenn der Spotter 7 von 8 Mal auf dieselbe Stelle zeigt, weiß das System, dass dies der richtige Ort ist.
Dies ist viel kostengünstiger, als den gesamten „Detektiv“ acht verschiedene Wege denken zu lassen. Es ist, als würde man ein Team von Spottern abstimmen lassen, wo der Ort ist, und dann erst den finalen Experten-Solver schicken.

C. Das Team separat trainieren
Auf die alte Art: Wenn man versucht, der KI beizubringen, Dinge besser zu finden, könnte man sie versehentlich schlechter darin machen, Probleme zu lösen (wie etwa einem Schachspieler beizubringen zu jonglieren, wodurch er das Schachspielen verlernt).

Mit SPARC können Sie den „Spotter“ trainieren, Dinge exzellent zu finden, ohne den „Solver“ zu beeinflussen. Das bedeutet, Sie können die visuelle Wahrnehmung der KI verbessern, ohne ihr Gehirn zu beschädigen.

4. Die Ergebnisse in einfachem Deutsch

Die Forscher haben dies an sehr schwierigen visuellen Rätseln getestet, bei denen die KI winzige Details in riesigen, hochauflösenden Bildern finden musste (wie Satellitenfotos oder komplexe Diagramme).

Bessere Genauigkeit: SPARC beantwortete signifikant mehr Fragen richtig als die Standardmodelle, die „überanalysieren“.
Viel schneller: Es verbrauchte bis zu 200-mal weniger Rechenleistung (Tokens), um die gleichen oder bessere Ergebnisse zu erzielen.
Robustheit: Selbst wenn das Bild unscharf oder die Frage knifflig war, wurde SPARC nicht so leicht verwirrt oder erfand so oft falsche Antworten wie die anderen Modelle.

Zusammenfassung

SPARC ist wie die Einstellung eines Spotters, der den richtigen Teil des Puzzles findet, und eines Solvers, der ihn zusammensetzt, anstatt eine Person zu zwingen, beides gleichzeitig zu tun, während sie stundenlang Selbstgespräche führt. Durch die Trennung von „Hinschauen“ und „Nachdenken“ wird die KI schneller, kostengünstiger im Betrieb und macht deutlich weniger Fehler.

Technisches Resümee: SPARC – Trennung von Wahrnehmungs- und Schlussfolgerungskreisläufen für das Test-Time-Scaling von VLMs

1. Problemstellung

Trotz jüngster Fortschritte bleibt das Test-Time-Scaling – die dynamische Erweiterung des Token-Budgets während der Inferenz zur Leistungssteigerung – für Vision-Language-Modelle (VLMs) fragil. Aktuelle Ansätze, insbesondere das Paradigma des „Denkens mit Bildern“, verlassen sich auf unstrukturierte visuelle Argumentationsketten, die Wahrnehmung und Schlussfolgerung (Reasoning) miteinander verweben. Diese Verwebung führt zu mehreren kritischen Problemen:

Kaskadierende Fehler: Kleine Wahrnehmungsfehler in frühen Argumentationsschritten können sich fortpflanzen und zu völlig falschen Endergebnissen führen (Halluzinationen oder „Mirage Reasoning“).
Recheneffizienz: Unstrukturierte Ketten erzeugen oft lange, unorganisierte Kontexte, was ein teures Reinforcement Learning (RL) mit handgefertigten Belohnungen erfordert, um sie zu optimieren.
Inflexibilität: Monolithische Ansätze verfügen über keine Mechanismen, um die Rechenressourcen basierend auf der Aufgabenkomplexität anzupassen. Die Entscheidung über den Abbruch einer Antwort wird dem LLM überlassen, was oft zu einem übermäßigen Token-Verbrauch bei einfachen Wahrnehmungsaufgaben oder unzureichender Konzentration bei komplexen Details führt.
Trainingskomplexität: Das Erlernen der Verwaltung von Multi-Turn-Konversationen, die visuelle und Schlussfolgerungs-Token mischen, ist rechenintensiv und anfällig für katastrophales Vergessen (Catastrophic Forgetting) bereits trainierter Fähigkeiten, insbesondere bei kleineren Modellen.

2. Methodik: Das SPARC-Framework

Inspiriert von der hierarchischen Informationsverarbeitung des biologischen Gehirns (speziell der Trennung der „Was“- und „Wo“-visuellen Pfade, die im präfrontalen Kortex konvergieren), schlagen die Autoren SPARC (Separating Perception And Reasoning Circuits) vor. Dies ist eine modulare, zweistufige Pipeline, die die visuelle Wahrnehmung explizit von der Schlussfolgerung entkoppelt.

Stufe 1: Implizite Relevanzdetektion (IRD) – Der Wahrnehmungskreislauf

Anstatt das Modell direkt zur Beantwortung einer Frage aufzufordern, überträgt die erste Stufe dem Modell die Aufgabe, eine explizite visuelle Suche durchzuführen.

Input: Das Originalbild und die Frage.
Output: Koordinaten (Bounding Boxes oder Punkte), die die für die Anfrage relevanten Bildregionen identifizieren.
Mechanismus: Das Modell agiert als Wahrnehmungskreislauf und lokalisiert strikt die salienten Regionen. Dies wird als „Implizite Relevanzdetektion“ bezeichnet, da das Modell die latente visuelle Relevanz aus einem High-Level-Prompt ableiten muss, anstatt dass ihm ein expliziter Objektname vorgegeben wird (wie beim Standard-Referring Expression Comprehension).
Optimierung: Diese Stufe kann mit einer asymmetrischen Rechenressourcen-Allokation betrieben werden. Beispielsweise können mehrere Rollouts (z. B. $N=8$ ) mit einem gemeinsamen KV-Cache generiert werden, um eine robuste Lokalisierung mittels Weighted Box Fusion (WBF) zu gewährleisten, ohne die Kosten vollständiger Argumentationsketten zu verursachen.

Stufe 2: Perzeptive Schlussfolgerung – Der Schlussfolgerungskreislauf

Die zweite Stufe konditioniert den Schlussfolgerungsprozess auf die Ausgaben der ersten Stufe.

Input: Das Originalbild (oder eine globale Ansicht) kombiniert mit den hochauflösenden Ausschnitten (Crops), die in Stufe 1 identifiziert wurden.
Output: Die endgültige Antwort.
Mechanismus: Das Modell agiert als Schlussfolgerungskreislauf (analog zum präfrontalen Kortex) und synthetisiert eine Chain-of-Thought (CoT) basierend nur auf den relevanten, hochpräzisen visuellen Belegen.
Kontext-Engineering: Durch die Bereitstellung eines strukturierten Kontextes, der nur die notwendigen hochauflösenden Inhalte enthält, vermeidet SPARC den „Tunnelblick“ oder den Kontextkollaps, der mit langen, unorganisierten multimodalen Rollouts einhergeht.

Trainingsstrategie

SPARC ermöglicht eine unabhängige Optimierung. Die Autoren zeigen, dass der Wahrnehmungskreislauf spezifisch für die IRD-Aufgabe feinabgestimmt werden kann (z. B. via Low-Rank Adaptation/LoRA), ohne die vortrainierten Fähigkeiten des Reasoning-Backbones zu beeinträchtigen. Dies verhindert das katastrophale Vergessen, das oft auftritt, wenn monolithische Modelle auf komplexen Multi-Turn-Reasoning-Traces feinabgestimmt werden.

3. Wichtigste Beiträge

SPARC-Framework: Ein Prompting-Schema, das ein zuverlässiges Test-Time-Scaling von Wahrnehmungsaufgaben im Zero-Shot-Modus mit minimalem Rechenaufwand ermöglicht.
Asymmetrische Rechenressourcen-Allokation: Die Fähigkeit, Wahrnehmung und Schlussfolgerung unabhängig voneinander zu skalieren. Die Autoren zeigen, dass die selektive Anwendung von Self-Consistency (mehrere Rollouts) auf den Wahrnehmungszweig signifikante Leistungssteigerungen bei einem Bruchteil der Token-Kosten im Vergleich zu naivem Ensembling vollständiger Argumentationsketten liefert.
Effizientes Training: Eine Demonstration, dass die Entkopplung eine effiziente, gezielte Feinabstimmung des Wahrnehmungsmodells (mittels Standard-Supervised Fine-Tuning) ermöglicht, ohne die ursprünglichen Fähigkeiten des Schlussfolgerungsmodells zu gefährden.
Auflösungs-Kompensation: Empirische Belege dafür, dass eine präzise perzeptive Führung (präzises Cropping) den Verlust an globalen visuellen Details vollständig kompensieren kann, wodurch Modelle mit niedriger Auflösung die Leistung von Modellen mit voller Auflösung erreichen können, sofern sie die korrekten Ausschnitte erhalten.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SPARC auf anspruchsvollen visuellen Argumentations-Benchmarks, einschließlich V* (hochauflösende Objektlokalisierung), HRBench-4K/8K und dem Out-of-Distribution (OOD) Benchmark XLRS für Fernerkundung.

Leistungssteigerungen:
- Auf dem V* Benchmark verbesserte SPARC Qwen3-VL 4B um 6,7 Punkte (von 41,7 auf 51,0 bei 256px Auflösung) im Vergleich zum nativen Baseline-Modell.
- In einem OOD-Szenario (XLRS) übertraf SPARC das „Thinking with Images“-Paradigma um 4,6 Punkte bei gleichzeitig 200-mal niedrigerem Token-Budget.
- SPARC übertraf konsistent monolithische Baselines und starke Visual-Grounding-Ansätze über alle getesteten Modellfamilien (Qwen3-VL und Molmo2) und Größen hinweg.
Effizienz:
- SPARC erreicht eine überlegene Genauigkeit mit deutlich weniger Tokens. Beispielsweise übertrifft SPARC bei der 256px-Einstellung oft das „Thinking with Images“-Verfahren, das mit voller Auflösung läuft.
- Die Verwendung von Weighted Box Fusion (WBF) mit 8 Rollouts in der Wahrnehmungsphase führte zu nur etwa 3,3 finalen Crops für Qwen3-VL 4B, was die Anzahl der visuellen Tokens für die Schlussfolgerungsphase drastisch reduzierte.
Trainingseffizienz:
- Die Feinabstimmung des Wahrnehmungsmoduls mit einem spezialisierten LoRA-Adapter (trainiert auf synthetischen Daten eines größeren Teacher-Modells) steigerte die Leistung zusätzlich. Kontraintuitiv lieferte das Training bei niedrigeren Auflösungen (256px) eine bessere Generalisierung als das Training bei voller Auflösung, da dies als Regularisierung wirkte, die das Modell zwang, robuste strukturelle Merkmale statt hochfrequenter Details zu lernen.
Robustheit:
- SPARC litt nicht unter „Tunnelblick“ bei globalen oder relationalen Abfragen; die Architektur behält den globalen Bildkontext während der Schlussfolgerungsphase bei, sodass das Modell bei Bedarf auf die Gesamtansicht zurückgreifen kann.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass SPARC einen Paradigmenwechsel in der VLM-Inferenz darstellt, indem es von unstrukturierter, verwebter Argumentation zu strukturierten, modularen Wahrnehmungs-Schlussfolgerungs-Pipelines übergeht.

Biologische Plausibilität: Die Architektur spiegelt die Trennung von sensorischer Verarbeitung und hoher kognitiver Integration wider, wie sie im Gehirn vorkommt, und bietet somit eine robustere und effizientere Inferenzstrategie.
Skalierbarkeit: Durch die Entkopplung der Kreisläufe ermöglicht SPARC eine dynamische Ressourcenallokation (z. B. mehr Rechenleistung für die Wahrnehmung bei schwierigen visuellen Aufgaben bei gleichzeitig niedrigen Kosten für die Schlussfolgerung).
Praktikabilität: Die Methode ist weitgehend trainingsfrei (basiert auf Prompting), unterstützt aber auch eine effiziente, gezielte Feinabstimmung ohne die Instabilität komplexer Reinforcement-Learning-Frameworks, die für „Thinking with Images“-Ansätze erforderlich sind.
Limitierungen: Die Autoren räumen ein, dass SPARC derzeit auf VLMs angewiesen ist, die über native räumliche Lokalisierungsfähigkeiten (Koordinaten- oder Punkt-Outputs) verfügen. Die Anwendung auf rein textgenerierende VLMs würde die Integration eines externen Objekterkennungsmodells erfordern.

Zusammenfassend zeigt SPARC, dass die explizite Trennung von „Wo“ (Wahrnehmung) und „Warum“ (Schlussfolgerung) es VLMs ermöglicht, effektiv zu skalieren, Halluzinationen zu reduzieren und eine State-of-the-Art-Leistung bei signifikant reduzierten Rechenkosten zu erzielen.