Sintesi Tecnica: VeriEvol

Definizione del Problema

La scalabilità dell'apprendimento per rinforzo (RL) per il ragionamento matematico visivo affronta un collo di bottiglia critico: all'aumentare del volume dei dati, l'affidabilità delle etichette di ricompensa spesso degrada. Gli approcci esistenti tipicamente scalano la supervisione fidandosi di etichettatori automatizzati o assumendo che le risposte sottostanti siano corrette, fallendo nel gestire l'effetto cumulativo del rumore nelle etichette durante l'RL. Nel ragionamento visivo, dove i modelli devono ancorare le variabili ai diagrammi ed eseguire inferenze multi-step, le etichette non verificate possono rinforzare sistematicamente policy errate. Inoltre, semplicemente generare domande più difficili spesso produce prompt che sono solo più lunghi o risolvibili tramite prior testuali, privi di una reale difficoltà basata sull'immagine. La sfida centrale è costruire una pipeline di dati che scali simultaneamente la difficoltà del prompt e garantisca l'affidabilità della risposta senza accoppiare questi processi all'ottimizzatore della policy.

Metodologia: Framework VeriEvol

VeriEvol è un framework iterativo che decoppia la difficoltà del prompt e l'affidabilità della risposta prima di qualsiasi aggiornamento della policy. Trasforma semi di bassa difficoltà (immagine-domanda) in campioni di alta qualità e verificati attraverso due componenti estensibili:

1. Evoluzione del Prompt Consapevole del Tipo (Type-Aware)

Invece di applicare un template di evoluzione uniforme, VeriEvol instrada i semi in una tupla di tag strutturata $z = (t, y, u, c)$ che rappresenta la famiglia del problema, il tipo di risposta, gli strumenti raccomandati e gli schizzi di evidenza visiva.

• Operatori Specifici per Percorso: Per ogni percorso, specifici operatori di evoluzione riscrivono la domanda seed $q$ in un prompt $q'$ più difficile e ancorato all'immagine. Questi operatori sono vincolati per amplificare specifiche abilità di ragionamento, mantenere l'evidenza visiva necessaria ed evitare la risolvibilità basata solo sul testo.
• Gate a Livello di Domanda: I prompt generati passano attraverso un gate indipendente $\phi_q$ che controlla l'ancoraggio all'immagine, la coerenza visiva, l'incremento di difficoltà non banale e la deduplicazione. Ciò assicura che l'immagine rimanga necessaria per la soluzione.

2. HTV-Agent (Hypothesis–Test Verifier)

Questa componente tratta le risposte candidate come ipotesi falsificabili piuttosto che come verità fondamentali. Impiega una strategia di "ricerca della confutazione" attraverso quattro stadi:

• Generazione dell'Ipotesi: Tre rami di risoluzione indipendenti (con diverse temperature) generano risposte candidate e tracce di ragionamento.
• Verifica di Ricerca della Confutazione: I verifier cercano attivamente prove contrarie utilizzando:
  • Canali Programmatici: Traduzione dei vincoli in asserzioni Python eseguite in un interprete ristretto.
  • Canali Visivi: Utilizzo di OCR, ritagli locali e sonde a livello di pixel per verificare che le quantità e i simboli citati siano ancorati nell'immagine.
• Risoluzione dei Conflitti: Un decisore valuta le ipotesi dei solver rispetto ai report dei verifier. Valuta la solidità logica delle obiezioni piuttosto che fidarsi ciecamente del verifier. Se un verifier confuta un solver con prove sufficienti, la risposta viene rivista; se le prove sono incoerenti, il campione viene scartato.
• Gate di Accettazione Deterministico: Un gate finale $g(\hat{a}, m)$ accetta una risposta solo se supera tutti i controlli congiuntivi: conformità dello schema, supporto visivo, approvazione del verifier, asserzioni eseguibili e consenso del cluster di solver.

3. Materializzazione dei Dati

• VeriEvol-SFT: Memorizza l'intera traccia di ragionamento e l'evidenza per il fine-tuning supervisionato.
• VeriEvol-RL: Memorizza il prompt, la risposta verificata e i metadati di verifica. La traccia di ragionamento viene rimossa per costringere la policy a generare la propria durante i rollout. I metadati includono un controllore di ricompensa deterministico (es. corrispondenza esatta, equivalenza simbolica) compatibile con le ricette RL di tipo GRPO esistenti.

Contributi Chiave

1. Framework di Evol-Instruct Multimodale Scalabile: Una pipeline che trasforma semi di bassa difficoltà in prompt più difficili e ancorati all'immagine. Gli esperimenti mostrano che scalare i dati SFT da 10K a 250K campioni aumenta l'accuratezza media di +19.31. Nella fase di RL, scalare i dati verificati da 10K a 130K aggiunge un guadagno fluido di +4.60, con il design stesso che contribuisce con +3.88 rispetto a una baseline non evoluta (decomposto in +1.82 dai prompt evoluti e +2.06 dal verifier).
2. HTV-Agent: Un agente modulare "agent-as-a-judge" basato su ipotesi-test che filtra le risposte attraverso solver indipendenti, contro-evidenze da molteplici fonti (programmatiche e visive) e un decisore. Permette l'aggiunta di nuovi canali di verifica senza riprogettare l'ottimizzatore della policy.
3. Rilascio Open Tracciabile: Gli autori rilasciano prompt, dati, modelli e la traccia completa del verifier per ogni campione (inclusi ipotesi dei solver, report di contro-evidenza, output degli strumenti e risultati dei gate). Ciò consente al lavoro a valle di auditare e scalare le decisioni di costruzione invece di ispezionare meramente gli output finali.

Risultati Sperimentali

Valutato su una suite di cinque benchmark di matematica visiva (MathVista, MathVision, MathVerse-VO, DynaMath, We-Math) utilizzando un backbone Qwen2.5-VL-7B:

• Performance: VeriEvol raggiunge un'accuratezza media di 59.12, guidando tre dei cinque benchmark e la media complessiva rispetto a forti baseline esterne da 7B. Nello specifico, guida su MathVerse-VO (70.46 vs 63.80 del secondo miglior risultato) e We-Math-Strict (63.05 vs 53.81).
• Comportamento di Scaling:
  • Scaling SFT: L'accuratezza media sale monotonicamente da 35.42 (10K) a 54.73 (250K).
  • Scaling RL: I dati RL verificati scalano monotonicamente da 54.52 (10K) a 59.12 (130K), senza che alcun benchmark mostri degradazione delle prestazioni all'aumentare del volume.
• Analisi dei Componenti:
  • Evoluzione: I soli prompt evoluti aggiungono +1.82 alla baseline RL. La dinamica di addestramento mostra che i prompt evoluti sostengono un'entropia della policy più elevata e raggiungono reward terminali più alti, prevenendo la convergenza precoce verso modalità a bassa entropia.
  • Verifica: L'HTV-Agent aggiunge +2.06. Gli studi di ablazione sul verifier come giudice all'inferenza mostano che la self-consistency multi-solver beneficia i compiti ricchi di immagini, mentre l'esecuzione programmatica beneficia i compiti ad alto carico computazionale, confermando la complementarità dei canali di evidenza.
• Analisi degli Errori: Un audit pilota su 60 campioni indica uno spostamento nella distribuzione degli errori. Gli errori di ancoraggio visivo (VG) e di scorciatoia puramente testuale (TS) sono diminuiti significativamente (dal 57% al 38% degli errori residui), mentre gli errori rimanenti del sistema si sono spostati verso limiti della catena di ragionamento e limiti simbolici/aritmetici inerenti alla capacità del backbone 7B.

Significato e Assertions

Il paper sostiene che scalare il ragionamento visivo richiede di trattare la costruzione dei dati come un problema verificabile piuttosto che come un problema di ottimizzazione lato policy. Decoppiando l'evoluzione del prompt dalla verifica della risposta, VeriEvol assicura che i segnali di ricompensa rimangano affidabili al crescere del volume dei dati.

• Ortogonalità: Il framework è ortogonale alle innovazioni lato policy (es. varianti di GRPO, reward shaping), permettendo a futuri ottimizzatori di costruire direttamente sui dati VeriEvol-RL.
• Componibilità: La natura modulare del verifier permette l'aggiunta di canali di refutazione mirati (es. nuovi strumenti o tipi di evidenza) per affrontare specifici pattern di errore senza ridisegnare il ciclo di addestramento.
• Trasparenza: Rilasciando le tracce complete del verifier, gli autori mirano a spostare il focus della ricerca a valle dall'ispezione degli output all'audit della pipeline di costruzione stessa, abilitando una scalabilità e una verifica più robuste dei sistemi di ragionamento multimodale.

Gli autori riconoscono i limiti, tra cui la dipendenza dalla copertura del pool di semi, il potenziale di blind spot condivisi tra solver e verifier, e il fatto che il sottoinsieme pronto per l'RL sia più ristretto di quello pronto per l'SFT a causa dei requisiti di verifica più severi. Enfatizzano che i guadagni osservati sono suggestivi di trend piuttosto che differenze statisticamente significative a livello di singolo benchmark per margini ridotti.