🤖 AI

Improving Generalization Robustness of Multimodal RLVR

Questo articolo propone il Prompt-Invariant RLVR (PIRL), un metodo di post-training robusto che combina una ricompensa ternaria dinamica e un regolarizzatore di consistenza nello spazio di embedding per mitigare la fragilità del RLVR standard nei modelli multimodali, migliorando significativamente la generalizzazione attraverso prompt semanticamente equivalenti ma perturbati.

Autori originali: Pengfei Zhou, Zhiwei Tang, Xiaopeng Peng, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You

Pubblicato 2026-08-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Pengfei Zhou, Zhiwei Tang, Xiaopeng Peng, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot brillante ma letterale come risolvere gli enigmi. Gli mostri l'immagine di un gatto e gli chiedi: "Che animale è questo?". Il robot impara a dire "Gatto" perfettamente. Ma poi, cambi leggermente la domanda in: "Identifica il felino nell'immagine". Improvvisamente, il robot si blocca o dà una risposta errata. Questo è il mondo dei Modelli Linguistici di Grandi Dimensioni Multimodali (MLLM): sistemi di IA super intelligenti che possono vedere immagini e leggere testo contemporaneamente. Per rendere questi robot ancora più intelligenti, gli scienziati utilizzano una tecnica chiamata Apprendimento per Rinforzo con Ricompense Verificabili (RLVR). Immagina questo come un videogioco in cui il robot ottiene un "punto" solo se la sua risposta corrisponde a una lista di controllo rigorosa (come un formato specifico o un numero corretto). L'obiettivo è addestrare il robot a ragionare meglio e a ottenere più punti. Ma ecco il problema: se il robot impara a barare con la lista di controllo invece di comprendere davvero l'enigma, diventa fragile. Potrebbe eccellere nei test quando le domande sono identiche a quelle di pratica, ma fallire miseramente se cambi semplicemente la formulazione della domanda. Questo è un enorme problema per gli utilizzi nel mondo reale, come la diagnosi medica o la consulenza legale, dove un robot che si blocca quando cambi la formulazione potrebbe essere pericoloso.

Entra in gioco un nuovo studio che cerca di risolvere questa "fragilità". I ricercatori, guidati da Pengfei Zhou e colleghi, hanno scoperto che i metodi di addestramento standard stanno insegnando all'IA a essere un "snob del formato". Hanno scoperto che quando un'IA riceve una ricompensa per una risposta corretta, il sistema di ricompensa spesso confonde due cose: dare la risposta giusta e seguire le regole di formattazione (come inserire la risposta all'interno di una specifica casella). Se l'IA dimentica di mettere la risposta nella casella, riceve zero punti, anche se la risposta è perfetta. Questo confonde l'IA, portandola a concentrarsi sulla casella invece che sulla matematica o sulla logica. Inoltre, l'IA si esercita solo su un insieme minuscolo e specifico di stili di domanda. Quando si trova di fronte a un nuovo modo di porre la stessa domanda nel mondo reale, va nel panico.

Per risolvere questo, il team ha proposto un nuovo metodo di addestramento chiamato RLVR Prompt-Invariant (PIRL). Hanno introdotto due trucchi principali. Primo, hanno fornito all'IA una "Ricompensa Trinaria Dinamica". Invece di un semplice punteggio "Giusto/Sbagliato", l'IA riceve ora un punteggio a tre livelli: +1 per una risposta corretta nel formato corretto, 0 per una risposta corretta nel formato errato e -1 per un fallimento della formattazione. Questo insegna all'IA che il contenuto della risposta è importante anche se la formattazione è disordinata. Secondo, hanno aggiunto un "sosia" all'addestramento. Hanno creato un agente avversario che riscrive costantemente le domande in modi sottili (come cambiare la formulazione o lo stile dell'istruzione) mantenendo però invariato il significato. L'IA è quindi costretta a dare la stessa risposta corretta indipendentemente da come la domanda viene presentata. È come addestrare uno studente non solo a risolvere un problema di matematica su un foglio di esercizi specifico, ma a risolverlo sia che sia scritto in corsivo, stampatello o parlato ad alta voce.

I risultati sono promettenti. Quando hanno testato il loro nuovo metodo contro il vecchio standard (chiamato GRPO), hanno scoperto che le prestazioni del vecchio metodo diminuivano significativamente quando le domande venivano riformulate (un "test di resistenza"). Ad esempio, in alcuni benchmark matematici, l'accuratezza del metodo standard è scesa di circa il 3% o il 4% quando il prompt è cambiato. Al contrario, il nuovo metodo PIRL è rimasto straordinariamente costante, con la sua accuratezza che scendeva solo dell'1% o meno. In settori ad alto rischio come quelli medici e legali, dove l'affidabilità è fondamentale, PIRL ha mantenuto la sua accuratezza molto meglio della concorrenza. Lo studio suggerisce che, separando la ricompensa per l'"essere corretti" dalla ricompensa per l'"apparire corretti" e praticando su una varietà più ampia di stili di domanda, possiamo costruire un'IA che non sia solo intelligente, ma anche robusta e affidabile, capace di gestire il modo disordinato e imprevedibile in cui parlano realmente gli esseri umani.

Sintesi Tecnica: Migliorare la Robustezza della Generalizzazione del Multimodal RLVR

1. Definizione del Problema

Il documento affronta il gap di robustezza rispetto al prompt nei Modelli Linguistici Multimodali (MLLM) perfezionati tramite Reinforcement Learning con Verifiable Rewards (RLVR). Sebbene l'RLVR migliori significativamente l'accuratezza sui benchmark standard ottimizzando rispetto a segnali deterministici (ad es., corrispondenza regex o verifica simbolica), questi guadagni sono fragili. Gli autori osservano che il semplice parafrasare una domanda o alterare il template del prompt può causare un drastico degrado delle prestazioni, rendendo i modelli inaffidabili per l'impiego in contesti ad alto rischio (ad es., VQA medico o legale).

Gli autori identificano due cause profonde all'interno dell'obiettivo standard RLVR:

Entanglement della Ricompensa (Reward Entanglement): I verificatori binari standard (ad es., $V = V_f \cdot V_c$ ) confondono la conformità del formato ( $V_f$ ) con la correttezza semantica ( $V_c$ ). Una ricompensa pari a zero non può distinguere tra un modello che ha fallito la comprensione del compito e uno che ha semplicemente fallito nel seguire il formato di output. Ciò porta a una perdita di varianza informativa della ricompensa, in particolare quando la conformità del formato è elevata, causando un segnale di gradiente distorto verso comportamenti specifici del template piuttosto che verso un ragionamento generale.
Dipendenza dal Prompt (Prompt Dependency): L'RLVR standard ottimizza su una distribuzione di addestramento fissa ( $P_{train}$ ). L'analisi teorica (Proposizione B.5) dimostra che questo obiettivo è non-identificabile: le policy che performano perfettamente sui template di addestramento ma falliscono su prompt semanticamente equivalenti ma non visti possono ottenere la stessa ricompensa di addestramento. Di conseguenza, il modello impara a sfruttare specifici template di prompt invece di apprendere un ragionamento invariante rispetto al prompt.

2. Metodologia: Prompt-Invariant RLVR (PIRL)

Per affrontare queste problematiche, gli autori propongono il Prompt-Invariant RLVR (PIRL), che operazionalizza due condizioni di design: Decomposizione della Ricompensa (C1) e Controllo dell'Invarianza (C2).

2.1. Dynamic Trinary Reward (DTR)

Per soddisfare la Decomposizione della Ricompensa, PIRL sostituisce il verificatore binario standard con una Ricompensa Trinaria Dinamica (DTR):
$R = R_t + \alpha_{rew} R_s$

$R_t$ (Verificatore Trinario Sensibile al Formato): Assegna $+1$ per una risposta corretta nel formato corretto, $0$ per una risposta errata nel formato corretto, e $-1$ per un fallimento del formato. Questo decupla la conformità del formato dalla correttezza semantica.
$R_s$ (Punteggio Semantico): Un punteggio semantico limitato (derivato da uno scorer NLI) che fornisce varianza all'interno dei bucket di formato. Anche se il formato è corretto, $R_s$ può differenziare i gradi di correttezza semantica.
Decoupled Advantage Normalization (DAN): Per evitare che la scala del punteggio semantico domini il segnale trinario durante la normalizzazione di gruppo, gli autori propongono di applicare lo z-scoring a $R_t$ e $R_s$ separatamente all'interno di ogni gruppo di rollout prima di combinarli.

2.2. Avversario nello Spazio degli Embedding e Regolarizzazione della Consistenza

Per soddisfare il Controllo dell'Invarianza, PIRL introduce un ciclo di addestramento avversariale:

Agente Avversariale: Un avversario perturba gli embedding dei token di istruzione all'interno di una ball $\ell_2$ limitata ( $\|\delta\|_2 \le \epsilon_{emb}$ ). Questo simula la peggiore riformulazione possibile delle istruzioni senza alterare l'input visivo o la risposta corretta (ground-truth). L'avversario mira a minimizzare la ricompensa DTR attesa della policy.
Regolarizzazione della Consistenza: Per garantire che la policy non collassi sotto queste perturbazioni, viene aggiunta una perdita di consistenza. Questa perdita minimizza la divergenza di Kullback-Leibler (KL) tra le distribuzioni dei token della policy sotto il prompt pulito e il prompt avversariale (perturbato). Ciò funge da surrogato trattabile per imporre l'invarianza a livello di risposta attraverso la classe di equivalenza semantica.

2.3. Obiettivo di Addestramento

L'obiettivo complessivo combina la perdita GRPO troncata (utilizzando gli advantage normalizzati tramite DAN dal DTR) con la penalità di consistenza:
$\min_{\theta} \mathbb{E}_{\mathbf{x} \sim \mathcal{D}} \left[ \mathcal{L}^{DAN}_{G}(\pi_\theta, \bar{q}; R_t, R_s) + \lambda \mathcal{L}_{cons}(\theta; \mathbf{x}, \bar{\phi}) \right]$
dove $\bar{q}$ rappresenta i campioni avversariali congelati generati tramite ascensione proiettata.

3. Contributi Chiave

Identificazione del Gap di Robustezza del Prompt: Il documento rivela formalmente che l'RLVR standard porta all'overfitting sui formati dei prompt, creando un gap in cui i modelli degradano su prompt parafrasati nonostante l'alta accuratezza di addestramento.
Formulazione Teorica: Gli autori formalizzano la robustezza del prompt come ottimizzazione su classi di equivalenza semantica. Dimostrano che le ricompense binarie standard causano un bias della varianza della ricompensa e che l'obiettivo di addestramento soffre di non-identificabilità rispetto alle policy invarianti rispetto al prompt.
Framework PIRL: Propongono un metodo concreto (PIRL) che istanzia la decomposizione della ricompensa tramite DTR e il controllo dell'invarianza tramite un avversario nello spazio degli embedding e la regolarizzazione della consistenza.
Validazione Empirica: Esperimenti estesi su benchmark VQA di ambito Exam, Medical e Legal dimostrano che PIRL riduce significativamente i cali di prestazione sotto stress test rispetto a GRPO standard e ai baseline multi-template.

4. Risultati Sperimentali

Gli autori hanno valutato PIRL su Qwen2.5-VL-7B e Qwen3-VL-8B in tre domini:

Template Stress Test (T-Stress): I modelli sono stati testati su prompt con un numero variabile di template non visti ( $N=1$ $N = 1$ a $15$).
- Il GRPO standard mostra un degrado significativo (ad es., $\Delta T \approx -4.4\%$ su MathVista per Qwen2.5).
- PIRL mantiene la stabilità, mostrando spesso cali positivi o trascurabili (ad es., $\Delta T \approx +0.3\%$ su MathVista).
- PIRL supera il baseline Multi-Template (GRPO-MT), che mitiga solo parzialmente il problema.
Valutazione Dinamica (D-Test): Utilizzando mutazioni basate su operatori (parafrasi, cambiamenti di layout, ecc.).
- PIRL ottiene costantemente il minor calo medio di prestazioni rispetto a GRPO e GRPO-MT.
- Nei domini ad alto rischio (Medical e Legal), PIRL preserva l'accuratezza dove GRPO degrada significativamente (ad es., su PathVQA, GRPO scende del $-6.7\%$ mentre PIRL scende solo del $-0.8\%$ ).
Studi di Ablazione: La configurazione completa di PIRL (MT + ADV + DTR) ha prodotto i risultati migliori. Sebbene l'ablazione non abbia isolato in modo definitivo la necessità individuale di DTR o dell'avversario oltre il baseline multi-template in tutte le metriche, la combinazione ha fornito le prestazioni più robuste senza costi rilevabili.

5. Significatività e Rivendicazioni

Il documento afferma che PIRL ripristina la robustezza dei modelli ottimizzati con RLVR a un livello comparabile o superiore al modello base, chiudendo efficacemente il gap di robustezza del prompt.

Affidabilità: Il metodo è particolarmente significativo per domini ad alto rischio (medico, legale) dove l'incapacità di un modello di gestire istruzioni riformulate ne compromette l'affidabilità indipendentemente dall'accuratezza grezza.
Meccanismo: Il lavoro dimostra che la fragilità dell'RLVR non è un limite inerente al reinforcement learning, ma una conseguenza dell'entanglement della ricompensa e della copertura limitata dell'addestramento. Decuplicando il formato dalla semantica e imponendo l'invarianza, il modello impara a generalizzare attraverso la classe di equivalenza semantica invece di memorizzare i template.
Modestia: Gli autori riconoscono che la robustezza non garantisce la correttezza (un modello stabile può comunque essere erroneamente sicuro) e che il loro obiettivo di invarianza è una rilassazione trattabile della piena classe di equivalenza semantica (operando nello spazio degli embedding piuttosto che nello spazio dei token discreti). Posizionano PIRL come un metodo per supportare, non sostituire, il giudizio esperto umano in domini critici.