🤖 machine learning

VisReason: A Large-Scale Dataset for Visual Chain-of-Thought Reasoning

Dieses Paper führt VisReason ein, einen groß angelegten Datensatz mit 489.000 annotierten Beispielen mit menschenähnlichen, mehrstufigen Begründungen, sowie dessen von Experten kuratierten Teilmenge VisReason-Pro, welche die schrittweise visuelle Argumentation, Interpretierbarkeit und Generalisierungsfähigkeit von multimodalen großen Sprachmodellen signifikant verbessern.

Ursprüngliche Autoren: Lingxiao Li, Yifan Wang, Xinyan Gao, Chen Tang, Xiangyu Yue, Chenyu You

Veröffentlicht 2026-07-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lingxiao Li, Yifan Wang, Xinyan Gao, Chen Tang, Xiangyu Yue, Chenyu You

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Rätsel in einem riesigen, vollgestellten Raum zu lösen. Die meisten aktuellen „smarten“ Computer (genannt Multimodale Large Language Models) verhalten sich wie jemand, der einen kurzen Blick aus dem Türrahmen in den Raum wirft und die Antwort baselt, basierend auf dem, was er zu sehen glaubt. Sie könnten sagen: „Ich sehe einen Vogel, also muss er einen weißen Bauch haben“, ohne ihn tatsächlich überprüft zu haben.

VisReason ist ein neues Trainingsprogramm, das darauf ausgelegt ist, diese Computer zu lehren, aufzuhören zu raten und stattdelt zu untersuchen, genau wie ein menschlicher Detektiv.

Hier ist die Erklärung des Papers, unterteilt in einfache Konzepte:

1. Das Problem: Die „Blick-und-Rate“-Gewohnheit

Aktuelle KI-Modelle sind großartig darin, einfache Fragen zu beantworten, scheitern aber oft, wenn die Antwort in einem winzigen Detail verborgen ist oder das Verständnis darüber erfordert, wie Objekte im 3D-Raum gestapelt sind. Sie neigen dazu, „Abkürzungen“ zu nutzen (wie das Raten basierend auf gängigen Wörtern), anstatt genau hinzusehen. Es ist, als würde man versuchen, ein winziges Etikett auf einer Medikamentenflasche aus der Ferne zu lesen; man rät vielleicht, dass dort „Aspirin“ steht, aber man könnte falsch liegen.

2. Die Lösung: Ein „Zoom-und-Verifiziere“-Handbuch

Die Forscher haben einen massiven Datensatz namens VisReason (und eine super-detaillierte Version namens VisReason-Pro) erstellt. Betrachten Sie diesen Datensatz nicht als eine Liste von Fragen und Antworten, sondern als ein schrittweises Trainingshandbuch, das die KI dazu zwingt, ihren Rechenweg offenzulegen.

Anstatt nur zu sagen „Die Antwort ist X“, wird die KI darauf trainiert, in Runden laut zu denken:

Runde 1 (Der Scan): „Ich sehe einen Vogel auf einem Netz. Ich muss genauer auf seinen Bauch schauen.“ (Die KI zieht einen Kasten um diesen Bereich).
Runde 2 (Der Zoom): Zoomt in den Kasten hinein. „Okay, jetzt kann ich es klar sehen. Der Bauch ist weiß und einfarbig.“
Runde 3 (Die Schlussfolgerung): „Daher ist die Antwort: Ja.“

Der Datensatz enthält 489.000 Beispiele dieses Prozesses über vier verschiedene „Rätseltypen“ hinweg:

Text/Dokumente: Das Lesen von winzigem Text auf einem Beleg oder einer Rechnung.
Feingliedrigkeit (Fine-Grained): Das Unterscheiden zwischen sehr ähnlichen Dingen (wie verschiedenen Vogelarten).
Allgemeine Fragen: Das Beantworten von Standardfragen über eine Szene.
Räumliche Beziehungen: Das Herausfinden, was hinter oder vor was liegt (z. B. „Was ist hinter dem Baum?“).

3. Die Geheimzutat: „Pseudo-Tiefe“

Eine der einzigartigen Funktionen der fortgeschrittenen Version (VisReason-Pro) ist, dass sie der KI etwas über Tiefe (3D-Raum) beibringt, obwohl sie nur ein flaches 2D-Bild hat.

Die Analogie: Stellen Sie sich vor, Sie betrachten ein Foto einer Straße. Ein Mensch weiß, dass das Auto hinten „hinter“ dem Auto vorne ist. Die KI hat damit meist Schwierigkeiten.
Die Lösung: Die Forscher verwendeten spezielle Werkzeuge, um zu schätzen, wie weit Objekte entfernt sind (wie eine „Tiefenkarte“). Sie speisten diese zusätzlichen Informationen während des Trainings in die KI ein. Es ist, als würde man dem Detektiv eine 3-D-Brille geben, damit er verstehen kann, welches Objekt die Sicht auf ein anderes blockiert.

4. Die Ergebnisse: Bessere Detektive

Als die Forscher ihre KI-Modelle mit diesem neuen „Untersuchungshandbuch“ trainierten:

Sie wurden besser in Details: Sie hörten auf zu raten und begannen, die spezifischen Beweise zu finden, die zur Beantwortung nötig sind.
Sie wurden besser im Raumverständnis: Sie konnten Objekte korrekt identifizieren, die hinter anderen oder in bestimmten Ecken verborgen waren.
Sie wurden ehrlicher: Die KI zeigte ihre Gedankengänge auf, was es für Menschen einfacher machte zu sehen, warum sie eine Antwort gab, anstatt nur eine „Black-Box“-Vermutung zu erhalten.

Was das Paper nicht behauptet

Es ist wichtig, sich an das zu halten, was das Paper tatsächlich sagt:

Es behauptet nicht, dass diese Technologie bereits bereit für medizinische Diagnosen oder selbstfahrende Autos ist.
Es sagt nicht, dass die KI nun in 3D „sieht“ wie ein Mensch mit Augen; sie hat lediglich gelernt, Tiefenhinweise besser zu nutzen als zuvor.
Es behauptet nicht, dass die KI perfekt ist; das Paper gibt zu, dass wenn die KI im ersten Schritt an die falsche Stelle zoomt, sie dort stecken bleiben könnte (ein „Kaskadenfehler“).

Zusammenfassend

VisReason ist eine massive Bibliothek von „Zeig deinen Rechenweg“-Beispielen, die KI-Modelle lehrt, aufzuhören, ein Bild nur flüchtig zu betrachten, und stattdelt stattdessen hineinzuzoomen, Details zu prüfen und räumliche Beziehungen zu verstehen, genau wie ein sorgfältiger Mensch es tun würde.

Technisches Resümee: VisReason

Problemstellung

Aktuelle multimodale Large Language Models (MLLMs) haben signifikante Fortschritte im visuellen Verständnis erzielt, sind jedoch in ihren Reasoning-Paradigmen begrenzt. Im Gegensatz zu rein textbasierten Large Language Models (LLMs), die von Chain-of-Thought (CoT)-Prompting profitieren, um zwischengeschaltete Begründungen zu artikulieren, sind die meisten MLLMs auf die direkte Abbildung von Input zu Antwort optimiert. Dieser Mangel an expliziter Zwischensupervision führt zu mehreren Defiziten:

Shortcut Learning (Abkürzungenlernen): Modelle verlassen sich oft auf linguistische Priors oder globale Szenenstatistiken, anstatt eine bewusste, schrittweise visuelle Inspektion durchzuführen.
Mangelnde räumliche Verankerung (Spatial Grounding): Bestehende Datensätze für visuelles Reasoning sind oft klein, domänenspezifisch oder es fehlt ihnen an der strukturierten Multi-Runden-Supervision, die für kompositorisches Reasoning notwendig ist.
Unzureichendes Tiefenbewusstsein: Die meisten Datensätze bieten nur 2D-Annotationen und versäumen es daher, das Reasoning über relative Tiefe, Okklusion und ordinale räumliche Beziehungen (z. B. „hinter“, „vor“) zu unterstützen.

Das Kernproblem ist das Fehlen großskaliger Datensätze, die den menschlich anmutenden Global-zu-Lokal-Reasoning-Workflow erfassen, der für komplexe visuelle Abfragen erforderlich ist, bei denen ein Modell iterativ in relevante Regionen hineinzoomen muss, um Beweise zu verifizieren.

Methodik

Datensatzkonstruktion: VisReason und VisReason-Pro

Die Autoren führen VisReason ein, einen großskaligen Datensatz mit 489.000 annotierten Beispielen aus vier verschiedenen Domänen: Text-/Dokumentenverständnis, feingliedrige Erkennung (Fine-Grained Recognition), allgemeines VQA und räumlich orientiertes Relations-Reasoning.

Der Datensatz wird unter Verwendung einer einheitlichen Pipeline konstruiert, die einen Global-zu-Lokal-Reasoning-Workflow erzwingt:

Multi-Round CoT: Jedes Sample enthält einen Multi-Turn-Reasoning-Trace, bei dem das Modell zuerst die globale Szene bewertet, dann eine Region of Interest (RoI) mittels eines Bounding Box identifiziert und eine Begründung liefert, bevor es potenziell für die nächste Runde hineinzoomt.
Dynamisches Zoomen: Die Pipeline erzwingt ein „Zoom-and-Verify“-Verhalten. Wenn das Zielobjekt oder der Text klein oder subtil ist, wird das Modell angewiesen, eine engere Bounding Box vorherzusagen und einen neuen Reasoning-Schritt basierend auf dem zugeschnittenen Bild zu generieren. Dieser Prozess setzt sich fort, bis die Antwort abgeleitet ist oder ein Rundenlimit (typischerweise 3–4 Runden) erreicht wird.
Tiefen-Augmentierung: Um das Fehlen von 3D-Grounding zu adressieren, integrieren die Autoren Pseudo-Tiefen-Cues, die aus Monokularer Tiefenschätzung (DepthAnythingV2) und semantischer Segmentierung (SegmentAnythingV2) abgeleitet wurden. Diese Cues liefern ordinale Tiefeninformationen (z. B. die relative Anordnung von Objekten), um das räumliche Reasoning zu leiten.

VisReason-Pro ist ein hochpräziser Subset von 165.000 Beispielen (primär aus dem GQA-Datensatz). Es wurde unter Verwendung stärkerer GPT-4.1-Serie-Modelle kuratiert, um reichhaltigere Begründungen und präzisere, tiefeninformierte Annotationen zu generieren. Dieses Subset zielt spezifisch auf komplexe räumliche Relationen und Abfragen kleiner Objekte ab.

Trainingsparadigma

Die Autoren schlagen eine Trainings- und Inferenz-Pipeline vor, bei der das MLLM lernt, eine Sequenz von Aktionen $Y = (a_0, a_1, \dots, a_T)$ zu generieren.

Definition der Aktion: Jede Aktion $a_t$ besteht aus einem textuellen Reasoning-Snippet $r_t$ und einer vorhergesagten Bounding Box $b_{t+1}$ für die nächste Region of Interest.
Iterativer Kontext: Der visuelle Kontext für Schritt $t$ wird durch das Zuschneiden des Originalbildes $I$ mittels der Bounding Box aus dem vorherigen Schritt erhalten. Das Modell generiert das nächste Token autoregressiv basierend auf der Abfrage, der Historie der Aktionen und den visuellen Merkmalen des aktuellen Ausschnitts.
Supervision: Die Modelle werden mittels Supervised Fine-Tuning (SFT) unter Verwendung eines Standard-Negative-Log-Likelihood-Ziels feinjustiert, wobei die Wahrscheinlichkeit der Ground-Truth-Reasoning-Sequenz (einschließlich sowohl Text als auch serialisierter Box-Koordinaten) maximiert wird.

Zentrale Beiträge

VisReason Datensatz: Die Veröffentlichung eines großskaligen (489K) Datensatzes, der Multi-Round, RoI-gegroundete Rationales enthält, die den visuellen Reasoning-Prozess explizit überwachen, anstatt nur die finale Antwort.
VisReason-Pro: Ein qualitativ hochwertiges, tiefen-augmentiertes Subset (165K), das detaillierte Reasoning-Traces und ordinale Tiefen-Supervision bereitstellt, was es Modellen ermöglicht, über räumliche Relationen und Okklusion zu argumentieren.
Evaluations-Suite: Ein umfassendes Benchmark, das darauf ausgelegt ist, schrittweises Reasoning, RoI-Lokalisierungsgenauigkeit und tiefen-augmentierte räumliche Reasoning-Fähigkeiten zu bewerten.
Einheitliche Pipeline: Ein Nachweis, dass das Fine-Tuning starker MLLM-Backbones (z. B. Qwen2.5-VL, InternVL) auf diesen Daten erhebliche Verbesserungen in der feingliedrigen Erkennung, dem räumlichen Reasoning und der Interpretierbarkeit bewirkt.

Experimentelle Ergebnisse

Die Autoren evaluierten ihre Modelle (VisReason-7B und VisReason-Pro-7B, basierend auf Qwen2.5-VL-7B) gegen State-of-the-Art MLLMs auf dem Visual-CoT-Benchmark und anderen Standard-Suites.

Leistungssteigerungen: VisReason-Pro-7B erreichte den höchsten Durchschnittswert (0,802) unter den Open-Source-MLLMs und übertraf Baselines wie LLaVA-NeXT-8B und InternVL-2.5-8B.
Domänenspezifische Verbesserungen: Die signifikantesten Gewinne wurden bei der feingliedrigen Erkennung (z. B. Birds-200-2011: 0,681 $\to$ 0,831) und dem räumlichen Relations-Reasoning (z. B. OpenImages: 0,498 $\to$ 0,805) beobachtet, was die Wirksamkeit der RoI-gegroundeten Supervision bestätigt.
RoI-Lokalisierung: Auf der VisReason-Pro Held-out Suite erreichte das Modell überlegene Intersection-over-Union (IoU) Scores (0,34 bei IoU@0.5) im Vergleich zu den Baselines, was eine verbesserte Fähigkeit zur Lokalisierung relevanter visueller Evidenz zeigt.
Tiefen-Reasoning: Das Modell zeigte eine signifikante Verbesserung in der „Grounded Ratio“ (0,276 gegenüber < 0,04 bei den Baselines) und einen reduzierten Tiefenfehler, was die Nützlichkeit von ordinalen Tiefen-Cues validiert.
Humane Evaluierung: In einer Blindstudie mit 30 Bewertern erzielten die VisReason-Pro-Modelle die höchsten Werte in Grounded Faithfulness (4,46/5) und Stepwise Clarity (4,37/5), was auf reliablere und kohärentere Reasoning-Ketten hindeutet.
Format-Sensitivität: Die Autoren stellten fest, dass Multi-Round CoT zwar bei räumlichen und feingliedrigen Aufgaben exzellent ist, die Leistung bei Standard-Kurzantwort-Benchmarks (wie MME) jedoch sinken kann, wenn das Evaluationsprotokoll nicht dem ausführlichen CoT-Format entspricht. Ein Wechsel zu einem Direct-QA-Prompt stellte die Leistung jedoch weitgehend wieder her, was darauf hindeutet, dass die Fähigkeit vorhanden ist, aber das Inferenzformat entscheidend ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass VisReason die fundamentale Diskrepanz zwischen aktuellen MLLM-Trainingsparadigmen und der menschlichen visuellen Kognition adressiert. Durch die Bereitstellung einer großskaligen, prozessorientierten Supervision, die den menschlichen „Zoom-and-Verify“-Workflow nachahmt, ermöglicht der Datensatz MLLMs:

Über Shortcut Learning und linguistische Priors hinauszugehen.
Systematisches, verifizierbares visuelles Reasoning durchzuführen, das in lokalisierten Hinweisen verankert ist.
Komplexe räumliche Relationen und die Erkennung kleiner Objekte zu handhaben, die aus einer einzigen globalen Ansicht schwer zu lösen sind.

Die Autoren positionieren VisReason als Eckpfeiler für die Kultivierung menschlich anmutenden visuellen Reasonings und ebnen den Weg für die nächste Generation multimodaler Intelligenz, die durch Bilder mit derselben iterativen Strenge wie textbasiertes Reasoning argumentieren kann. Sie räumen Einschränkungen ein, wie etwa die Abhängigkeit von Pseudo-Tiefe (nicht metrischem 3D) und das Risiko kaskadierender Lokalisierungsfehler, falls eine initiale RoI falsch ausgerichtet ist, und merken an, dass zukünftige Arbeiten selbstkorrigierende Rollback-Mechanismen untersuchen könnten.