Technische Samenvatting: VeriEvol

Probleemstelling

Het opschalen van reinforcement learning (RL) voor visuele wiskundige redenering staat voor een kritieke flessenhals: naarmate het datavolume toeneemt, neemt de betrouwbaarheid van beloningslabels vaak af. Bestaande benaderingen vertrouwen doorgaans op geautomatiseerde labelaars om supervisie op te schalen of gaan ervan uit dat onderliggende antwoorden correct zijn, waarbij ze falen om het cumulatieve effect van labelruis in RL aan te pakken. In visuele redenering, waar modellen variabelen in diagrammen moeten verankeren en meerstapsinferentie moeten uitvoeren, kunnen niet-geverifieerde labels systematisch incorrecte beleidstrategieën (policies) versterken. Bovendien resulteert het simpelweg genereren van moeilijkere vragen vaak in prompts die slechts langer zijn of oplosbaar zijn via tekstuele priors, zonder dat ze over echte, op afbeeldingen gebaseerde moeilijkheidsgraad beschikken. De kernuitdaging is het construeren van een datapijplijn die zowel de prompt-moeilijkheidsgraad als de antwoordbetrouwbaarheid tegelijkertijd opschaalt, zonder deze processen te koppelen aan de policy-optimizer.

Methodologie: VeriEvol Framework

VeriEvol is een iteratief framework dat de prompt-moeilijkheidsgraad en de antwoordbetrouwbaarheid ontkoppelt voordat er een policy-update plaatsvindt. Het transformeert prompts met een lage moeilijkheidsgraad naar geverifieerde, hoogwaardige trainingsvoorbeelden via twee uitbreidbare componenten:

1. Type-bewuste Prompt Evolutie

In plaats van een uniforme evolutie-template toe te passen, stuurt VeriEvol seeds naar een gestructureerde tag-tuple $z = (t, y, u, c)$ die de probleemsfamilie, het type antwoord, aanbevolen tools en visuele bewijsschetsen vertegenwoordigt.

• Route-specifieke Operatoren: Voor elke route herschrijven specifieke evolutie-operatoren de seed-vraag $q$ naar een moeilijkere, op afbeeldingen gebaseerde prompt $q'$. Deze operatoren zijn beperkt tot het versterken van specifieke redeneervaardigheden, het behouden van noodzakelijke visuele bewijslast en het vermijden van oplosbaarheid via enkel tekst.
• Vraag-niveau Gate: Gegenereerde prompts passeren een onafhankelijke gate $\phi_q$ die controleert op beeldverankering (image grounding), visuele consistentie, een niet-triviale stijging in moeilijkheidsgraad en deduplicatie. Dit zorgt ervoor dat de afbeelding noodzakelijk blijft voor de oplossing.

2. HTV-Agent (Hypothese–Test Verifier)

Deze component behandelt kandidaat-antwoorden als weerlegbare hypothesen in plaats van grondwaarheden. Het hanteert een "refutatie-zoekende" strategie over vier stadia:

• Hypothesegeneratie: Drie onafhankelijke solver-takken (met variërende temperaturen) genereren kandidaat-antwoorden en redeneersporen (reasoning traces).
• Refutatie-zoekende Verificatie: Verifiers zoeken actief naar tegenbewijs met behulp van:
  • Programmatische Kanalen: Het vertalen van restricties naar Python-assertions die worden uitgevoerd in een beperkte interpreter.
  • Visuele Kanalen: Het gebruik van OCR, lokale crops en pixel-niveau probes om te verifiëren dat geciteerde hoeveelheden en symbolen verankerd zijn in de afbeelding.
• Conflictresolutie: Een decider evalueert de solver-hypothesen tegenover de verifier-rapporten. Het beoordeelt de logische houdbaarheid van bezwaren in plaats van de verifier blindelings te vertrouwen. Als een verifier een solver weerlegt met voldoende bewijs, wordt het antwoord herzien; als het bewijs inconsistent is, wordt het monster afgewezen.
• Deterministische Acceptatie Gate: Een definitieve gate $g(\hat{a}, m)$ accepteert een antwoord alleen als het voldoet aan alle conjunctieve controles: schema-compliance, visuele ondersteuning, verifier-goedkeuring, uitvoerbare assertions en solver-cluster consensus.

3. Data Materialisatie

• VeriEvol-SFT: Slaat het volledige redeneerspoor en het bewijs op voor supervised fine-tuning.
• VeriEvol-RL: Slaat de prompt, het geverifieerde antwoord en de verificatie-metadata op. Het redeneerspoor wordt verwijderd om de policy te dwingen tijdens rollouts zijn eigen spoor te genereren. De metadata bevat een deterministische reward-checker (bijv. exacte match, symbolische equivalentie) die compatibel is met bestaande GRPO-stijl RL-recepten.

Belangrijkste Bijdragen

1. Schaalbare Multimodale Evol-Instruct Framework: Een pijplijn die prompts met een lage moeilijkheidsgraad transformeert naar moeilijkere, op afbeeldingen gebaseerde prompts. Experimenten tonen aan dat het opschalen van SFT-data van 10K naar 250K samples de gemiddelde nauwkeurigheid met +19,31 verhoogt. In de RL-fase voegt het opschalen van geverifieerde data van 10K naar 130K een vloeiende +4,60 winst toe, waarbij het ontwerp zelf +3,88 bijdraagt ten opzichte van een niet-geëvolueerde baseline (gedecomposeerd in +1,82 van geëvolueerde prompts en +2,06 van de verifier).
2. HTV-Agent: Een modulaire, hypothese-test agent-as-a-judge die antwoorden screent via onafhankelijke solvers, multi-source tegenbewijs (programmatisch en visueel) en een decider. Het maakt het mogelijk om nieuwe verifier-kanalen toe te voegen zonder de policy-optimizer te herontwerpen.
3. Traceerbare Open Release: De auteurs publiceren prompts, data, modellen en het volledige verifier-spoor voor elke sample (inclusief solver-hypothesen, tegenbewijs-rapporten, tool-outputs en gate-uitkomsten). Dit stelt downstream werk in staat om constructiebeslissingen te auditeren in plaats van enkel de uiteindelijke outputs te inspecteren.

Experimentele Resultaten

Geëvalueerd op een suite van vijf wiskunde-benchmarks (MathVista, MathVision, MathVerse-VO, DynaMath, We-Math) met een Qwen2.5-VL-7B backbone:

• Prestaties: VeriEvol bereikt een gemiddelde nauwkeurigheid van 59,12, waarmee het drie van de vijf benchmarks en het algemene gemiddelde leidt tegen sterke externe 7B baselines. Specifiek leidt het op MathVerse-VO (70,46 vs. 63,80 voor de volgende beste) en We-Math-Strict (63,05 vs. 53,81).
• Schaalgedrag:
  • SFT Schaling: Gemiddelde nauwkeurigheid stijgt monotoon van 35,42 (10K) naar 54,73 (250K).
  • RL Schaling: Geverifieerde RL-data schaalt monotoon van 54,52 (10K) naar 59,12 (130K), zonder dat een benchmark prestatievermindering vertoont bij toenemend volume.
• Componentanalyse:
  • Evolutie: Geëvolueerde prompts alleen voegen +1,82 toe aan de RL-baseline. Trainingsdynamiek laat zien dat geëvolueerde prompts een hogere policy-entropie behouden en hogere terminale beloningen bereiken, wat vroegtijdige convergentie naar lage-entropie modi voorkomt.
  • Verificatie: De HTV-Agent voegt +2,06 toe. Ablatiestudies naar de verifier als inference-time judge laten zien dat multi-solver zelfconsistentie voordelen biedt voor visueel rijke taken, terwijl programmatische executie voordelen biedt voor computationeel zware taken, wat de complementariteit van bewijskanalen bevestigt.
• Foutanalyse: Een pilot-audit op 60 samples geeft aan dat de foutdistributie verschuift. Fouten in visuele verankering (VG) en tekst-alleen shortcuts (TS) zijn aanzienlijk afgenomen (van 57% naar 38% van de resterende fouten), terwijl de resterende fouten van het systeem verschoven zijn naar redeneerketens en symbolische/arithmetische beperkingen die inherent zijn aan de 7B backbone capaciteit.

Betekenis en Claims

Het paper stelt dat het opschalen van visuele redenering vereist dat dataconstructie wordt behandeld als een verifieerbaar probleem in plaats van een policy-zijde optimalisatieprobleem. Door de prompt-evolutie te ontkoppelen van de antwoordverificatie, zorgt VeriEvol ervoor dat beloningssignalen betrouwbaar blijven naarmate het datavolume groeit.

• Orthogonaliteit: Het framework is orthogonaal aan policy-zijde innovaties (bijv. GRPO-varianten, reward shaping), waardoor toekomstige optimizers direct op VeriEvol-RL data kunnen voortbouwen.
• Composabiliteit: Het modulaire karakter van de verifier maakt het mogelijk om gerichte refutatie-kanalen toe te voegen (bijv. nieuwe tools of bewijstypes) om specifieke foutmodi aan te pakken zonder de trainingslus te herontwerpen.
• Transparantie: Door het volledige verifier-spoor vrij te geven, beogen de auteurs de focus van downstream onderzoek te verschuiven van het inspecteren van outputs naar het auditeren van de constructie-pijplijn zelf, wat robuustere schaling en verificatie van multimodale redeneersystemen mogelijk maakt.

De auteurs erkennen beperkingen, waaronder de afhankelijkheid van de dekking van de seed-pool, het potentieel voor gedeelde blinde vlekken tussen solvers en verifiers, en het feit dat de RL-klare subset smaller is dan de SFT-klare subset vanwege striktere verificatie-eisen. Ze benadrukken dat de geobserveerde winsten suggestief zijn voor trends en niet noodzakelijkerwijs statistisch significante verschillen betekenen op het niveau van een enkele benchmark voor kleine marges.