Riepilogo Tecnico: AIR: Ragionamento Intercalato Adattivo con Codice nei Modelli Linguistici Multimodali di Grandi Dimensioni

Definizione del Problema

Sebbene i recenti progressi nei Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM) abbiano integrato l'Apprendimento per Rinforzo da Ricompense Verificabili (RLVR) per potenziare le capacità di ragionamento, i paradigmi esistenti si concentrano principalmente sull'uso di strumenti per compiti di percezione visiva (ad es., rotazione, zoom). Questi approcci si affidano a euristiche predefinite per la manipolazione visiva e non riescono ad affrontare problemi di calcolo numerico complessi. Gli attuali MLLM spesso mancano della capacità di attivare autonomamente script Python durante il ragionamento testuale per gestire compiti matematici intricati, una capacità essenziale per colmare il divario tra la deliberazione multimodale e l'esecuzione agentica. Inoltre, l'addestramento di modelli per tale invocazione adattiva degli strumenti porta spesso all'instabilità, incluso il collasso del modello, quando l'uso degli strumenti diventa eccessivo o non regolamentato.

Metodologia

Il documento propone AIR (Adaptive Interleaved Reasoning with Code), un framework progettato per dotare gli MLLM di capacità di ragionamento intercalato adattivo attraverso un paradigma di addestramento in due fasi: Supervised Fine-Tuning (SFT) per il cold-start e potenziamento tramite Reinforcement Learning (RL).

1. Costruzione dei Dati per il Cold-Start in Due Fasi

Per superare la difficoltà di attivare il ragionamento intercalato nei modelli open-source più piccoli, gli autori introducono una pipeline di sintesi dati disaccoppiata in due passaggi:

• Generazione del CoT Testuale: Un MLLM genera percorsi iniziali di Chain-of-Thought (CoT) testuale per problemi complessi.
• Riscrittura Intercalata: Un LLM riscrive questi percorsi, sostituendo i componenti di calcolo numerico con snippet di codice Python eseguibili.
• Verifica: I dati risultanti sono sottoposti a una rigorosa verifica in un ambiente sandbox per garantire l'integrità dell'esecuzione del codice e l'accuratezza dei risultati prima di essere utilizzati come dati di cold-start.

2. Strategie di Filtraggio dei Dati RL

Per garantire dati di addestramento ad alta fedeltità per la fase RL, vengono impiegate due distinte strategie di filtraggio:

• Strategia Auto-Campionata (Self-Sampled): Utilizza un meccanismo di consenso multi-turno in cui le proprie roll-out del modello candidato determinano l'idoneità in base alla metrica Pass@k. Ciò consente un re-filtraggio iterativo man mano che il modello migliora.
• Strategia Pre-Filtrata (Prior-Filtered): Sfrutta modelli "insegnanti" ad alta capacità (ad es., GPT, Gemini) per agire come un gate di qualità estrinseco, etichettando i campioni di dati in base al fatto che necessitino o meno dell'invocazione di strumenti per una risoluzione efficace.

3. Invocazione Adattiva degli Strumenti tramite Ricompensa Vincolata al Gruppo

L'innovazione principale risiede nella fase di addestramento RL, che utilizza l'algoritmo Group Relative Policy Optimization (GRPO) potenziato da una funzione di ricompensa vincolata al gruppo.

• Struttura della Ricompensa Ibrida: La ricompensa totale ($R$) combina una Ricompensa di Formato ($R_f$), una Ricompensa di Accuratezza ($R_{acc}$) e una Ricompensa Integrata con Codice ($R_{code}$).
• Vincoli di Gruppo: A differenza del GRPO standard, questo metodo introduce vincoli intra-gruppo sulla proporzione di sequenze di ragionamento intercalate. La ricompensa per l'uso del codice ($R_{code}$) è regolata in base alla proporzione di sequenze di chiamata di strumenti all'interno di un gruppo, differenziando tra se la risposta finale è corretta ($P_r$) o errata ($P_w$).
• Meccanismo di Stabilità: Questo vincolo impedisce al modello di invocare eccessivamente gli strumenti (il che porta a picchi di entropia e al collasso dell'addestramento) pur incoraggiando l'invocazione adattiva. Esso disaccoppia la ricompensa del codice dalla ricompensa dell'accuratezza, riconoscendo che l'uso dello strumento è una componente della catena di ragionamento piuttosto che il determinante unico del successo.

Contributi Chiave

1. Metodologia di Costruzione dei Dati in Due Fasi: Una pipeline per sintetizzare dati di cold-start che supportano il ragionamento intercalato aumentato dal codice, abbassando efficacementamente la barriera per la generazione di traiettorie di addestramento di alta qualità.
2. Strategie di Filtraggio dei Dati: La proposta di strategie Self-Sampled e Prior-Filtered per curare i dati di ragionamento intercalato, mitigando il rumore e garantendo un'ottimizzazione della policy stabile.
3. Strategia di Invocazione Adattiva degli Strumenti: Lo sviluppo di una variante di GRPO con vincoli di gruppo che consente ai modelli di determinare autonomamente la necessità e il momento delle chiamate agli strumenti, garantendo al contempo la stabilità dell'addestramento a lungo termine.

Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando il modello Qwen2.5-VL-7B su sei benchmark di ragionamento matematico (MathVista, MathVision, MathVerse, DynaMath, WeMath, LogicVista).

• Guadagni di Performance: Dopo l'addestramento RL con la ricompensa vincolata al gruppo, il modello AIR ha ottenuto un miglioramento medio di 6,1 punti percentuali (pp) tra i benchmark rispetto al baseline.
• Miglioramenti Specifici: Guadagni degni di nota includono +8,1 pp su MathVista, +7,7 pp su MathVerse e +9,9 pp su WeMath.
• Accuratezza del Ragionamento Intercalato: L'accuratezza specificamente per i campioni di ragionamento intercalato è aumentata di 9,9 pp.
• Successo nell'Uso degli Strumenti: Il tasso di successo complessivo nell'uso degli strumenti ha superato il 95% attraverso vari rapporti di chiamata degli strumenti.
• Stabilità: Il meccanismo di vincolo di gruppo ha prevenuto con successo il collasso dell'addestramento, un problema comune nell'RL Agentico dove l'uso eccessivo degli strumenti porta all'instabilità.

Significato e Rivendicazioni

Il documento afferma che AIR rappresenta un passo significativo nell'abilitare gli MLLM a eseguire il ragionamento di Sistema 2 (pensiero lento) orchestrando autonomamente strumenti specializzati per compiti ad alta intensità di calcolo. A differenza dei lavori precedenti focalizzati sulla percezione visiva (Sistema 1), AIR affronta la lacuna critica nel calcolo numerico complesso.

Gli autori asseriscono che il loro approccio fornisce una soluzione robusta per il ragionamento multimodale complesso tramite:

1. Il disaccoppiamento della generazione delle tracce di ragionamento dall'esecuzione del codice, consentendo una produzione di dati più affidabile.
2. La stabilizzazione dell'addestramento RL agentico a lungo raggio attraverso ricompense vincolate al gruppo, prevenendo il collasso del modello associato all'invocazione non regolamentata degli strumenti.
3. La dimostrazione che l'invocazione adattiva degli strumenti, piuttosto che l'uso fisso o eccessivo, è la chiave per migliorare le prestazioni sui benchmark matematici.

Il documento conclude con modestia, osservando che sebbene AIR raggiunga risultati solidi, le sue prestazioni rimangono limitate dalle capacità intrinseche di codifica e percezione del modello base, e che il lavoro futuro dovrebbe espandere la valutazione oltre il ragionamento matematico verso domini come la fisica e la finanza.