🤖 AI

VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct

VeriEvol ist ein iteratives Framework, das multimodale mathematische Argumentation skaliert, indem es die Erweiterung der Prompt-Schwierigkeit durch typenbewusste Evolutionsoperatoren von der Durchsetzung der Antwortzuverlässigkeit durch mehrquellenbasierte Hypothesen-Test-Falsifizierung entkoppelt und dadurch hochwertige verifizierte Daten generiert, die die Modellleistung auf visuellen-mathematischen Benchmarks signifikant steigern.

Ursprüngliche Autoren: Haoling Li, Kai Zheng, Jie Wu, Can Xu, Qingfeng Sun, Han Hu, Yujiu Yang

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haoling Li, Kai Zheng, Jie Wu, Can Xu, Qingfeng Sun, Han Hu, Yujiu Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr klugen, aber etwas naiven Schüler beizubringen, wie man komplexe mathematische Probleme mithilfe von Bildern (wie Diagrammen, Tabellen und Grafiken) löst.

In der Vergangenheit versuchten Forscher, diesen Schüler schlauer zu machen, indem sie ihm einfach mehr Hausaufgaben gaben. Sie erstellten tausende neue Aufgaben. Aber es gab einen Haken: Sie machten die Fragen oft nur länger oder ein wenig schwieriger, ohne jedoch zu prüfen, ob die Antworten auch richtig waren. Es war so, als würde ein Lehrer einen Test ausgeben, bei dem der Lösungsschlüssel Fehler enthielt. Wenn der Schüler die falschen Antworten lernte, wurde er nicht besser, sondern schlechter.

VeriEvol ist ein neues System, das die Art und Weise, wie wir diese Hausaufgaben erstellen, verändert. Anstatt nur „mehr“ Fragen zu generieren, konzentriert es sich auf „bessere“ Fragen und „verifizierte“ Antworten. Die Autoren nennen dies ein „Verifiable Evol-Instruct“-Framework.

So funktioniert es, unterteilt in einfache Schritte:

1. Das „Evolution“-Fitnessstudio (Fragen schwieriger machen)

Stellen Sie sich eine einfache Übung vor: „Schau dir dieses Bild eines Dreiecks an und sag mir, wie viele Seiten es hat.“ Das ist viel zu einfach für einen klugen Schüler.

VeriEvol hat einen speziellen Coach (das Evolution Module), der sich das Bild und die Frage ansieht und dann die Hausaufgabe umschreibt, um sie viel schwieriger zu machen, wobei man aber weiterhin das Bild betrachten muss.

Die Metapher: Anstatt nur zu fragen „Wie viele Seiten?“, schreibt der Coach es um zu: „Wenn du dieses Dreieck in der Mitte durchschneidest und drehst, wie würde sich die Fläche im Vergleich zu einem Quadrat mit demseltem Umfang verändern?“
Der Trick: Der Coach ist klug genug zu wissen, welche Art von Bild es ist. Wenn es eine Grafik ist, erstellt er eine grafikbasierte Frage. Wenn es eine geometrische Zeichnung ist, erstellt er eine Geometrie-Frage. Er wirft dem Schüler nicht einfach nur wahllos Wörter zu; er baut eine spezifische Herausforderung auf, die den Schüler dazu zwingt, tatsächlich auf das Bild zu schauen, um es zu lösen.

2. Der „Skeptiker“-Detektiv (Die Antworten prüfen)

Das ist der wichtigste Teil. Normalerweise nehmen wir einfach an, dass eine Antwort richtig ist, wenn ein Computer sie generiert. VeriEvol sagt: „Auf keinen Fall. Versuchen wir erst einmal zu beweisen, dass sie falsch ist.“

Sie haben ein Detektivsystem namens HTV-Agent entwickelt.

Die Metapher: Stellen Sie sich einen Gerichtssaal vor. Der Computer generiert eine Antwort (die „Hypothese“). Der HTV-Agent ist ein Team aus skeptischen Anwälten, deren einzige Aufgabe es ist, Beweise zu finden, dass die Antwort falsch ist.
So kämpfen sie:
- Sie nutzen verschiedene „Zeugen“ (unterschiedliche KI-Solver), um zu sehen, ob diese sich alle einig sind.
- Sie nutzen einen „Taschenrechner“ (Code-Ausführung), um die Mathematik zu überprüfen.
- Sie nutzen „Augen“ (visuelle Werkzeuge), um zu prüfen, ob die Zahlen in der Antwort tatsächlich mit den Pixeln im Bild übereinstimmen.
Das Urteil: Wenn die Detektive irgendeinen Beweis finden können, dass die Antwort falsch ist, fliegt die Hausaufgabe in den Müll. Die Antwort wird nur akzeptiert, wenn die Detektive ihr Bestes gegeben haben, um sie zu widerlegen, und dabei gescheitert sind. Erst dann wird sie zu einer „verifizierten“ Antwort.

3. Das Ergebnis: Ein superzuverlässiges Lehrbuch

Das System nimmt diese zwei Schritte und lässt sie in einer Schleife laufen:

Nimm eine einfache Frage.
Entwickle sie zu einer schwierigen, bildbasierten Herausforderung weiter.
Generiere eine Antwort.
Schicke sie an die skeptischen Detektive.
Wenn die Detektive sie nicht widerlegen können, behalte sie. Wenn doch, wirf sie weg und versuche es erneut.

Das Ergebnis ist eine riesige Bibliothek von über 250.000 mathematischen Problemen, bei denen jede einzelne Antwort streng geprüft und verifiziert wurde.

Was passierte, als sie es verwendeten?

Die Forscher testeten dies an einem „Schüler“-KI-Modell (einem Modell mit 7 Milliarden Parametern).

Ohne VeriEvol: Der Schüler war ganz okay, wurde aber oft durch Bilder verwirrt oder rät basierend auf Textmustern.
Mit VeriEvol: Der Schüler wurde signifikant besser.
- Als sie nur die „entwickelten“ Fragen verwendeten (oh ohne den strengen Verifizierer), verbesserte sich der Schüler.
- Als sie zusätzlich den „skeptischen Detektiv“ hinzufügten, um sicherzustellen, dass die Antworten perfekt sind, verbesserte sich der Schüler noch mehr.
- Die Skalierung: Sie zeigten, dass der Schüler immer schlauer wurde, je mehr dieser verifizierten Fragen man hinzufügte (von 10.000 auf 250.000), was beweist, dass die Qualität der Daten wichtiger ist als nur die Quantität.

Warum das wichtig ist (in einfachen Worten)

Die meisten KI-Forschungen versuchen, den „Lehrer“ (den KI-Optimierer) schlauer zu machen. VeriEvol sagt: „Lass uns zuerst das Lehrbuch korrigieren.“

Indem sie den Prozess des „Fragen schwieriger machen“ vom „Prüfen, ob Antworten richtig sind“ trennten, schufen sie ein System, in dem die Daten selbst vertrauenswürdig sind. Sie haben nicht nur einen besseren Schüler gebaut, sondern ein besseres Curriculum. Sie haben sogar alle ihre „Detektivberichte“ (die Spuren, wie sie jede Antwort verifiziert haben) veröffentlicht, damit andere Forscher ihre Arbeit prüfen können, um sicherzustellen, dass niemand beim Hausaufgabenlernen schummelt.

Kurz gesagt: VeriEvol ist ein System, das automatisch schwierigere mathematische Probleme basierend auf Bildern schreibt und dann ein Team von digitalen Detektiven einsetzt, um sicherzustellen, dass die Antworten zu 100 % korrekt sind, bevor es eine KI davon lernen lässt.

Technisches Resümee: VeriEvol

Problemstellung

Die Skalierung von Reinforcement Learning (RL) für visuelle mathematische Argumentation steht vor einem kritischen Engpass: Mit zunehmendem Datenvolumen sinkt oft die Zuverlässigkeit der Belohnungslabels (Reward Labels). Bestehende Ansätze versuchen die Supervision durch automatisierte Labeler zu skalieren oder setzen voraus, dass die zugrunde liegenden Antworten korrekt sind, wodurch sie den kumulativen Effekt von Label-Rauschen in RL nicht adressieren. In der visuellen Argumentation, bei der Modelle Variablen in Diagrammen verankern und mehrstufige Inferenzen ausführen müssen, können unverifizierte Labels eine falsche Policy systematisch verstärken. Zudem führt das bloße Generieren schwierigerer Fragen oft zu Prompts, die lediglich länger sind oder über Text-Priors lösbar sind, aber keine echte, bildbasierte Komplexität aufweisen. Die Kernherausforderung besteht darin, eine Datenpipeline zu konstruieren, die gleichzeitig die Prompt-Schwierigkeit skaliert und die Antwortzuverlässigkeit sicherstellt, ohne diese Prozesse an den Policy-Optimizer zu koppeln.

Methodik: VeriEvol-Framework

VeriEvol ist ein iteratives Framework, das die Prompt-Schwierigkeit und die Antwortzuverlässigkeit entkoppelt, bevor ein Policy-Update erfolgt. Es transformiert leicht zuordbare Bild-Fragen-Seeds in verifizierte, hochwertige Trainingsbeispiele durch zwei erweiterbare Komponenten:

1. Typ-bewusste Prompt-Evolution (Type-Aware Prompt Evolution)

Anstatt ein einheitliches Evolution-Template anzuwenden, leitet VeriEvol Seeds in ein strukturiertes Tag-Tupel $z = (t, y, u, c)$ weiter, welches die Problemfamilie, den Antworttyp, empfohlene Werkzeuge und visuelle Evidenz-Skizzen repräsentiert.

Routenspezifische Operatoren: Für jede Route schreiben spezifische Evolution-Operatoren die Seed-Frage $q$ in einen schwierigeren, bildbasierten Prompt $q'$ um. Diese Operatoren sind darauf beschränkt, spezifische Argumentationsfähigkeiten zu verstärken, notwendige visuelle Evidenz beizubehalten und die Lösbarkeit rein über Text zu vermeiden.
Fragen-Ebene-Gate (Question-Level Gate): Generierte Prompts durchlaufen ein unabhängiges Gate $\phi_q$ , das die Bild-Verankerung (Image Grounding), die visuelle Konsistenz, den nicht-trivialen Schwierigkeitsgrad und die Dublettenprüfung prüft. Dies stellt sicher, dass das Bild für die Lösung notwendig bleibt.

2. HTV-Agent (Hypothesis–Test Verifier)

Diese Komponente behandelt Kandidatenantworten als falsifizierbare Hypothesen statt als Grundwahrheit. Sie nutzt eine „Refutations-suchende“ Strategie über vier Stufen:

Hypothesengenerierung: Drei unabhängige Solver-Zweige (mit variierenden Temperaturen) generieren Kandidatenantworten und Reasoning-Traces.
Refutations-suchende Verifizierung: Verifizierer suchen aktiv nach Gegenbeweisen mittels:
- Programmatischer Kanäle: Übersetzung von Constraints in Python-Assertions, die in einem eingeschränkten Interpreter ausgeführt werden.
- Visueller Kanäle: Nutzung von OCR, lokalen Ausschnitten und Pixel-Level-Probes, um zu verifizieren, dass zitierte Mengen und Symbole im Bild verankert sind.
Konfliktlösung: Ein Entscheider evaluiert die Solver-Hypothesen gegen die Verifizierer-Berichte. Er bewertet die logische Stichhaltigkeit der Einwände, anstatt dem Verifizierer blind zu vertrauen. Wenn ein Verifizierer einen Solver mit hinreichender Evidenz widerlegt, wird die Antwort revidiert; wenn die Evidenz inkonsistent ist, wird die Probe abgelehnt.
Deterministisches Akzeptanz-Gate: Ein finales Gate $g(\hat{a}, m)$ akzeptiert eine Antwort nur, wenn sie alle konjunktiven Prüfungen besteht: Schema-Konformität, visuelle Unterstützung, Verifizierer-Zustimmung, ausführbare Assertions und Solver-Cluster-Konsens.

3. Daten-Materialisierung (Data Materialization)

VeriEvol-SFT: Speichert den vollständigen Reasoning-Trace und die Evidenz für das Supervised Fine-Tuning.
VeriEvol-RL: Speichert den Prompt, die verifizierte Antwort und die Verifizierungs-Metadaten. Der Reasoning-Trace wird entfernt, um die Policy zu zwingen, ihren eigenen während der Rollouts zu generieren. Die Metadaten enthalten einen deterministischen Reward-Checker (z. B. exakter Match, symbolische Äquivalenz), der mit bestehenden GRPO-ähnlichen RL-Rezepten kompatibel ist.

Zentrale Beiträge

Skalierbares Multimodales Evol-Instruct-Framework: Eine Pipeline, die einfache Seeds in schwierigere, bildbasierte Prompts transformiert. Experimente zeigen, dass die Skalierung der SFT-Daten von 10K auf 250K Samples die mittlere Genauigkeit um +19,31 erhöht. In der RL-Phase skaliert die verifizierte Datenmenge von 10K auf 130K mit einem glatten Gewinn von +4,60, wobei das Design selbst +3,88 gegenüber einer un-evolved Baseline beiträgt (aufgeteilt in +1,82 durch evolvierte Prompts und +2,06 durch den Verifizierer).
HTV-Agent: Ein modularer, Hypothesis-Test Agent-as-a-Judge, der Antworten durch unabhängige Solver, Multi-Source-Gegenbeweise (programmatisch und visuell) und einen Entscheider filtert. Er ermöglicht das Hinzufügen neuer Verifizierer-Kanäle, ohne den Policy-Optimizer neu konstruieren zu müssen.
Nachvollziehbarer Open-Release: Die Autoren veröffentlichen Prompts, Daten, Modelle und den vollständigen Verifizierer-Trace für jede Probe (einschließlich Solver-Hypothesen, Gegenbeweis-Berichten, Tool-Outputs und Gate-Ergebnissen). Dies ermöglicht nachfolgenden Arbeiten, die Konstruktionsentscheidungen zu auditieren, anstatt nur die Endoutputs zu inspizieren.

Experimentelle Ergebnisse

Evaluierung auf einer Suite aus fünf Benchmarks für visuelle Mathematik (MathVista, MathVision, MathVerse-VO, DynaMath, We-Math) unter Verwendung eines Qwen2.5-VL-7B Backbones:

Performance: VeriEvol erreicht eine mittlere Genauigkeit von 59,12, führt damit in drei der fünf Benchmarks und im Gesamtdurchschnitt gegenüber starken externen 7B-Baselines. Insbesondere führt es bei MathVerse-VO (70,46 vs. 63,80 für den nächstbesten Wert) und We-Math-Strict (63,05 vs. 53,81).
Skalierungsverhalten:
- SFT-Skalierung: Die mittlere Genauigkeit steigt monoton von 35,42 (10K) auf 54,73 (250K).
- RL-Skalierung: Verifizierte RL-Daten skalieren monoton von 54,52 (10K) auf 59,12 (130K), wobei kein Benchmark eine Leistungsdegradation bei steigendem Volumen zeigt.
Komponenten-Analyse:
- Evolution: Evolvierte Prompts allein fügen der RL-Baseline +1,82 hinzu. Die Trainingsdynamik zeigt, dass evolvierte Prompts eine höhere Policy-Entropie aufrechterhalten und höhere terminale Rewards erzielen, was eine vorzeitige Konvergenz zu Low-Entropy-Modi verhindert.
- Verifizierung: Der HTV-Agent fügt +2,06 hinzu. Ablationsstudien zum Verifizierer als Inference-Time-Judge zeigen, dass Multi-Solver-Selbstkonsistenz visuell reiche Aufgaben begünstigt, während programmatische Ausführung rechenintensive Aufgaben begünstigt, was die Komplementarität der Evidenzkanäle bestätigt.
Fehleranalyse: Ein Pilot-Audit an 60 Proben deutet auf eine Verschiebung der Fehlerverteilung hin. Fehler in der visuellen Verankerung (VG) und Text-Shortcuts (TS) gingen signifikant zurück (von 57 % auf 38 % der Restfehler), während die verbleibenden Fehler des Systems zu Reasoning-Chain- und symbolischen/arithmetischen Limitationen übergingen, die der Kapazität des 7B-Backbones inhärent sind.

Bedeutung und Ansprüche

Das Paper postuliert, dass die Skalierung visueller Argumentation erfordert, die Datengenerierung als ein verifizierbares Problem zu behandeln, statt als ein Problem der Policy-seitigen Optimierung. Durch die Entkopplung von Prompt-Evolution und Antwortverifizierung stellt VeriEvol sicher, dass die Belohnungssignale mit wachsendem Datenvolumen zuverlässig bleiben.

Orthogonalität: Das Framework ist orthogonal zu Policy-seitigen Innovationen (z. B. GRPO-Varianten, Reward Shaping), sodass zukünftige Optimierer direkt auf VeriEvol-RL-Daten aufbauen können.
Komponierbarkeit: Die modulare Natur des Verifizierers erlaubt das Hinzufügen gezielter Refutations-Kanäle (z. B. neue Tools oder Evidenztypen), um spezifische Fehlermodi zu adressieren, ohne den Trainingsloop neu zu entwerfen.
Transparenz: Durch die Veröffentlichung der vollständigen Verifizierer-Traces zielen die Autoren darauf ab, den Fokus der nachfolgenden Forschung von der Inspektion von Outputs hin zur Auditierung der Konstruktionspipeline zu verschieben, was eine robustere Skalierung und Verifizierung von multimodalen Argumentationssystemen ermöglicht.

Die Autoren räumen Einschränkungen ein, darunter die Abhängigkeit von der Abdeckung des Seed-Pools, das Potenzial für geteilte Schwachstellen zwischen Solvern und Verifizierern sowie die Tatsache, dass die RL-bereite Teilmenge aufgrund strengerer Verifizierungsanforderungen enger gefasst ist als die SFT-bereite Teilmenge. Sie betonen, dass die beobachteten Gewinne eher Trends als statistisch signifikante Unterschiede im Bereich geringfügiger Margen auf Einzel-Benchmark-Ebene sind.