💬 NLP

Vero: An Open RL Recipe for General Visual Reasoning

Die Arbeit stellt Vero vor, eine Familie vollständig offener Vision-Language-Modelle, die durch Skalierung von RL-Daten und -Belohnungen über sechs Aufgabenkategorien hinweg (Vero-600K) den State-of-the-Art bei visuellem Reasoning erreicht und dabei proprietäre Modelle ohne zusätzliche geschlossene Daten übertrifft.

Ursprüngliche Autoren: Gabriel Sarch, Linrong Cai, Qunzhong Wang, Haoyang Wu, Danqi Chen, Zhuang Liu

Veröffentlicht 2026-04-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Gabriel Sarch, Linrong Cai, Qunzhong Wang, Haoyang Wu, Danqi Chen, Zhuang Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest einen Roboter-Artist und Wissenschaftler gleichzeitig ausbilden. Er soll nicht nur mathematische Diagramme lesen können, sondern auch verstehen, wie viele Äpfel auf einem Tisch liegen, wo sich ein versteckter Schatz in einem Bild befindet, und sogar einen lustigen Instagram-Text zu einem Foto schreiben.

Das ist die große Herausforderung, an der das Team um die Universität Princeton gearbeitet hat. Sie haben Vero entwickelt – ein neues, „offenes" Modell für künstliche Intelligenz, das visuelles Denken meistert.

Hier ist die Geschichte von Vero, einfach erklärt:

1. Das Problem: Der verschlossene Kochtopf

Bisher waren die besten KI-Modelle, die Bilder verstehen, wie ein verschlossener Kochtopf. Man wusste, dass sie köstliche Gerichte (sehr gute Antworten) servierten, aber niemand durfte sehen, wie sie gekocht haben. Die Geheimrezepte (Daten und Trainingsmethoden) waren hinter verschlossenen Türen von großen Tech-Firmen versteckt. Man wusste nicht genau, ob sie nur für Mathe-Tests trainiert waren oder ob sie wirklich „denken" konnten.

Andere offene Projekte waren wie ein Kochkurs, der sich nur auf Pasta (Mathematik) spezialisiert hatte. Wenn man sie bat, einen Salat zuzubereiten (z. B. einen Raum zu beschreiben), versagten sie oft.

2. Die Lösung: Vero – Der Allrounder-Kochkurs

Die Forscher haben Vero geschaffen. Das ist wie ein riesiges, offenes Kochbuch, das jeder nutzen darf. Das Besondere daran? Sie haben das Modell nicht nur auf eine Sache trainiert, sondern auf sechs völlig verschiedene Disziplinen gleichzeitig:

STEM: Wie ein Wissenschaftler (Mathe, Physik, Diagramme).
Raum & Aktion: Wie ein Architekt oder Roboter (Wo ist was? Wie bewege ich mich?).
Wissen & Erkennen: Wie ein Detektiv (Was ist das für ein Vogel? Welches Land ist das?).
Diagramme & Text: Wie ein Büroangestellter (Tabellen lesen, Text in Bildern finden).
Ortung & Zählen: Wie ein Zähler (Wie viele Hunde sind da? Wo ist der Hund?).
Beschreibung & Anweisungen: Wie ein Künstler (Schreibe einen lustigen Text dazu).

3. Das Geheimrezept: Der „Bunte Mix" statt der Einbahnstraße

Das war der entscheidende Durchbruch. Früher dachte man: „Trainiere das Modell erst auf Mathe, dann auf Bildern."
Die Forscher haben aber entdeckt: Wenn man das Modell nur auf Mathe trainiert, vergisst es, wie man spricht. Wenn man es nur auf Bilder trainiert, vergisst es die Logik.

Stell dir vor, du lernst nur Klavier. Wenn du plötzlich Geige spielen sollst, klingen deine Finger steif. Vero lernt stattdessen, alle Instrumente gleichzeitig zu spielen.

Sie haben 600.000 Beispiele aus 59 verschiedenen Quellen gesammelt.
Sie haben das Modell so trainiert, dass es für jede Aufgabe die richtige „Denkstrategie" wählt. Bei Mathe denkt es lange und gründlich (wie ein Mathematiker). Bei der Ortung schaut es schnell und zielgerichtet hin (wie ein Jäger).

4. Der Belohnungssystem-Trick

Wie lernt man einem Roboter bei so vielen verschiedenen Aufgaben, was „gut" ist?
Stell dir vor, du gibst einem Schüler für eine Mathe-Antwort einen Stern, aber für einen lustigen Witz einen anderen Stern. Das wäre verwirrend.
Vero nutzt ein intelligentes Belohnungssystem:

Wenn die Antwort auf eine Mathefrage stimmt, gibt es Punkte.
Wenn die Antwort auf eine Bildbeschreibung kreativ ist, gibt es Punkte.
Das System prüft genau, ob die Antwort der richtigen Art von Aufgabe entspricht. So lernt das Modell: „Aha, bei diesem Bild muss ich zählen, bei jenem muss ich logisch denken."

5. Das Ergebnis: Der Meister der Vielfalt

Das Ergebnis ist beeindruckend. Vero ist jetzt so gut wie die besten geschlossenen Modelle (die Geheimrezepte der Tech-Giganten), aber es ist frei verfügbar.

Es schlägt andere Modelle in fast allen Kategorien.
Es kann nicht nur Mathe lösen, sondern auch verstehen, was auf einem Bildschirm passiert, oder einen Text zu einem Foto schreiben, ohne dabei die Logik zu verlieren.

Zusammenfassung in einem Satz

Vero ist wie ein universeller Schüler, der nicht nur für eine Prüfung gelernt hat, sondern durch das Üben mit einer riesigen, bunten Mischung aus Aufgaben gelernt hat, in jeder Situation die richtige Denkweise zu wählen – und das alles mit einem offenen Rezept, das jeder nachkochen kann.

Die Forscher zeigen damit: Man braucht keine geheimen Daten, um eine super-intelligente KI zu bauen. Man braucht nur die richtige Mischung aus Vielfalt und Geduld.

1. Problemstellung

Vision-Language-Modelle (VLMs) werden zunehmend erwartet, über ein breites Spektrum visueller Aufgaben hinweg zu reasoning, von der Interpretation von Diagrammen und wissenschaftlichen Abbildungen bis hin zum räumlichen Verständnis und offenen Fragen. Obwohl die stärksten aktuellen Modelle (wie GPT-5 oder Qwen3-VL) beeindruckende Fähigkeiten in diesem Bereich zeigen, bleiben ihre Trainingsmethoden („Rezepte") intransparent. Diese basieren oft auf proprietären Reinforcement-Learning-(RL)-Pipelines mit nicht-öffentlichen Daten und undurchsichtigen Reward-Designs.

Bestehende offene Versuche konzentrieren sich häufig nur auf enge Domänen (z. B. visuelle Mathematik), was zu einer mangelnden Generalisierung auf andere visuelle Fähigkeiten führt. Die zentrale Frage ist: Was ist notwendig, um einen allgemein fähigen visuellen Reasoner zu trainieren, ohne auf proprietäre Daten oder mehrstufige, komplexe Pipelines angewiesen zu sein?

2. Methodik: Das Vero-Ökosystem

Die Autoren stellen Vero vor, eine Familie von vollständig offenen VLMs, die mit einem einstufigen RL-Ansatz trainiert wurden. Der Kern der Methode liegt in der sorgfältigen Gestaltung von Daten, Filterung und Belohnungsmechanismen.

A. Vero-600K: Ein umfassender Datensatz

Statt sich auf eine einzige Domäne zu konzentrieren, wurde Vero-600K erstellt, ein Trainingsdatensatz mit 600.000 Samples aus 59 verschiedenen Quellen. Dieser Datensatz ist in sechs Hauptkategorien unterteilt, die unterschiedliche visuelle Reasoning-Fähigkeiten abdecken:

STEM: Mathematik, Wissenschaft, Medizin.
Spatial & Action: Räumliches Verständnis, UI-Navigation, Embodied AI.
Knowledge & Recognition: Objekterkennung, Weltwissen, VQA.
Chart & OCR: Extraktion und Reasoning aus Diagrammen, Tabellen und Texten.
Grounding, Counting & Search: Lokalisierung von Objekten (Bounding Boxes), Zählen und Suchen.
Captioning & Instruction Following: Offene Bildbeschreibungen und Befehlsbefolgung.

Datenkurierung:

Auswahl: Über 250 Kandidatendatensätze wurden gescreent.
Filterung: Mehrstufiger Prozess (heuristisch, manuelle Qualitätskontrolle, LLM-basierte Fragenfilterung zur Eliminierung von Mehrdeutigkeiten, Antwortfilterung zur Normalisierung für stabile Reward-Berechnung).
Mixing: Die Daten werden gleichmäßig (uniform) über die sechs Kategorien gemischt, um ein ausgewogenes Lernen zu gewährleisten.

B. Task-Routed Rewards (Aufgaben-spezifische Belohnungen)

Ein zentrales Element ist das Design eines task-routierten Reward-Systems. Da die Antwortformate je nach Aufgabe stark variieren (z. B. Bounding Boxes, numerische Werte, Multiple Choice, freier Text), wird für jede Kategorie ein spezifischer Verifizierer verwendet:

String Match / Multiple Choice: Exakte Übereinstimmung.
Numeric: Symbolisches Parsing (z. B. via MATH-VERIFY).
Grounding: IoU/F1-Score für Bounding Boxes.
Instruction Following: Programmatische Prüfung von Constraints.
Open-Ended: Ein „LLM-as-Judge" (Qwen3-32B) bewertet die Qualität offener Antworten, wobei strenge Richtlinien gegen „Reward Hacking" (z. B. selbstbewertende Sprache) gelten.

Die Gesamtreward-Funktion kombiniert Genauigkeit ( $R_{acc}$ ), Formatierung ( $R_{fmt}$ ) und eine Strafe für zu lange Antworten ( $R_{overlong}$ ).

C. Training

Algorithmus: Das Training basiert auf GSPO (Group Sequence Policy Optimization), einer Weiterentwicklung von GRPO, die Sequenz-Level-Ratios verwendet und eine asymmetrische Clipping-Strategie sowie das Entfernen der KL-Strafe nutzt, um weniger restriktive Updates zu ermöglichen.
Basis-Modelle: Die Methode wurde auf vier verschiedenen Basis-Modellen getestet (Qwen2.5-VL-7B, Qwen3-VL-8B-Instruct, Qwen3-VL-8B-Thinking, MiMo-VL-7B).
VeroEval: Zur Evaluation wurde ein Suite mit 30 Benchmarks entwickelt, die alle sechs Kategorien abdecken.

3. Wichtige Beiträge

Vollständig offenes Rezept: Vero ist der erste vollständig offene Ansatz, der State-of-the-Art (SOTA) Leistung in der visuellen Reasoning erreicht, ohne proprietäre Daten oder mehrstufige Curricula zu benötigen.
Datenvielfalt als Schlüssel: Die Studie zeigt, dass die Vielfalt der Trainingsdaten (Breite der Aufgabenabdeckung) wichtiger ist als die algorithmische Komplexität. Ein einfacher, einstufiger RL-Ansatz mit diversen Daten übertrifft spezialisierte Ansätze.
Task-Routed Rewards: Die Einführung von aufgabenspezifischen Reward-Funktionen ist entscheidend, um heterogene Antwortformate effektiv zu belohnen und Interferenzen zwischen Aufgaben zu minimieren.
Analyse von Reasoning-Mustern: Die Autoren zeigen, dass verschiedene Aufgabenkategorien qualitativ unterschiedliche Reasoning-Muster hervorrufen (z. B. führt STEM zu mehr „Backtracking", während Grounding zu direkter visueller Suche führt). Eine gemischte Trainingsverteilung ist notwendig, um diese Fähigkeiten zu kombinieren.

4. Ergebnisse

State-of-the-Art Leistung: Vero-Modelle (insbesondere Vero-Qwen3T-8B und Vero-Qwen3I-8B) erreichen die besten Gesamtergebnisse unter allen 8B-Parametern VLMs auf VeroEval.
- Vero-Qwen3T-8B (trainiert auf dem „Thinking"-Basis-Modell) schlägt das proprietäre Qwen3-VL-8B-Thinking auf 24 von 30 Benchmarks, obwohl es keine zusätzlichen proprietären „Thinking"-Daten verwendet.
- Vero-Qwen3I-8B (trainiert auf dem „Instruct"-Basis-Modell) schlägt Qwen3-VL-8B-Thinking auf 23 von 30 Benchmarks.
Überlegenheit gegenüber proprietären Pipelines: Vero-MiMo-7B, trainiert mit dem offenen Rezept auf dem MiMo-VL-7B-SFT, übertrifft das proprietäre MiMo-VL-7B-RL (das auf demselben Startpunkt basiert, aber nicht-öffentliche Daten nutzt) in drei von sechs Kategorien.
Robustheit: Das Training auf Vero-600K führt zu konsistenten Verbesserungen (+3,7 bis +5,5 Punkte im Durchschnitt) über alle vier getesteten Basis-Modelle hinweg.
Vergleich mit anderen Open-RL-Datensätzen: Vero-600K übertrifft bestehende offene RL-Datensätze (wie OpenMMReasoner oder VL-Rethinker) in fast allen Kategorien, insbesondere in Bereichen wie „Captioning & Instruction Following" und „Grounding", wo spezialisierte Datensätze oft versagen.

5. Bedeutung und Fazit

Das Paper demonstriert, dass Transparenz und Datenvielfalt entscheidend für den Fortschritt im Bereich des multimodalen Reasonings sind.

Wissenschaftlicher Fortschritt: Es widerlegt die Annahme, dass komplexe, mehrstufige Pipelines oder proprietäre Daten zwingend erforderlich sind, um SOTA-Leistung zu erzielen. Stattdessen zeigt es, dass ein gut kurierter, diverser Datensatz in Kombination mit einem intelligenten Reward-Design ausreicht.
Generalisierung: Die Ergebnisse belegen, dass Multi-Task-RL mit sorgfältigem Mixing positive Transfer-Effekte erzeugt, während das Training auf einzelnen Domänen oft zu negativem Transfer (Verschlechterung anderer Fähigkeiten) führt.
Reproduzierbarkeit: Durch die Veröffentlichung von Daten, Code und Modellen ermöglicht Vero der Community, die Mechanismen hinter visuellem Reasoning zu studieren und weiterzuentwickeln, was für die Sicherheit und das Verständnis von KI-Systemen essenziell ist.

Zusammenfassend liefert Vero einen blauen Druck für die Entwicklung leistungsfähiger, allgemeiner visueller Reasoner durch offene, datengetriebene Reinforcement-Learning-Strategien.