Riepilogo Tecnico: Calibrazione Consapevole del Ranking per l'Apprendimento per Rinforzo Multimodale Affidabile

1. Enunciato del Problema

Sebbene il post-addestramento tramite Apprendimento per Rinforzo (RL) abbia significativamente migliorato l'accuratezza del ragionamento dei Modelli Linguistici Visivi (VLM) e dei Modelli Linguistici di Grande Dimensione Multimodali (MLLM), tali modelli soffrono spesso di una scarsa calibrazione. Nello specifico, le ricompense per la correttezza terminale, comunemente utilizzate nell'RL basato sugli esiti, non penalizzano gli errori sicuri più di quelli incerti, né impongono una relazione tra la confidenza e la qualità delle evidenze visive di supporto.

Questo disallineamento strutturale diventa critico in presenza di input visivi corrotti o ambigui. In tali scenari, i modelli generano frequentemente ragionamenti fluenti ma errati mantenendo un'alta confidenza, portando a "ragionamenti autorevoli errati" o all'allucinazione. I metodi di calibrazione esistenti, come la scalatura della temperatura post-hoc o l'elicita della confidenza verbalizzata, operano su modelli congelati e non possono alterare il comportamento appreso della politica riguardo alla confidenza. Inoltre, gli obiettivi standard basati solo sul testo non tengono conto del degrado delle evidenze visive, una sfida unica nel ragionamento multimodale in cui la confidenza dovrebbe attenuarsi al diminuire della qualità delle evidenze.

2. Metodologia: Il Framework RAC

Gli autori propongono la Calibrazione Consapevole del Ranking (RAC), un framework di fase di addestramento che integra la calibrazione come obiettivo nativo all'interno dell'RL multimodale. RAC sfrutta la struttura esistente dell'RL basato su gruppi (nello specifico, l'Ottimizzazione della Politica Relativa di Gruppo, o GRPO) per generare segnali di supervisione senza richiedere annotazioni esterne di confidenza.

Il framework introduce due segnali di supervisione relativi derivati dal campionamento RL:

A. Loss di Gruppo Consapevole del Ranking (All'interno del Prompt)

Questa loss affronta l'ordinamento della confidenza tra molteplici soluzioni candidate (rollout) per lo stesso prompt.

• Meccanismo: Per un dato prompt $x$, la politica campiona un gruppo di $n$ rollout. Il metodo identifica coppie in cui un rollout è corretto (punteggio del verificatore più alto) e un altro è errato.
• Obiettivo: Impone un vincolo basato sul margine in cui il rollout corretto deve ricevere un punteggio di confidenza più alto rispetto a quello errato ($c_{better} > c_{worse} + m_{rank}$).
• Effetto: Questo costringe la politica a distinguere tra percorsi di ragionamento corretti e errati. Richiedendo al modello di assegnare una confidenza distinguibilmente più alta alle risposte corrette, rafforza la qualità del ragionamento sottostante, migliorando di conseguenza l'accuratezza del compito oltre quanto ottenuto dalle sole ricompense di correttezza.

B. Loss Coppia Pulito-Corrotto (Tra le Evidenze)

Questa loss affronta la relazione tra confidenza e qualità delle evidenze visive.

• Meccanismo: Per ogni prompt pulito $x^{(0)}$, viene generata una versione sinteticamente corrotta $x^{(s)}$ (utilizzando gli operatori ImageNet-C con severità variabile $s$). La politica campiona rollout per entrambe le versioni.
• Obiettivo: Impone un vincolo direzionale in cui la confidenza sulla vista corrotta deve essere inferiore rispetto alla vista pulita, con il gap richiesto che scala con la severità della corruzione ($c_{clean} > c_{corrupted} + m_{corr} + \alpha s$).
• Effetto: Questo insegna al modello ad attenuare la confidenza quando le evidenze visive si degradano, riducendo l'Errore di Calibrazione Atteso (ECE) e il punteggio di Brier sotto input degradati.

C. Ottimizzazione Unificata

Queste due loss vengono convertite in ricompense di modellazione a livello di sequenza e integrate nell'obiettivo GRPO standard. La ricompensa finale per un rollout $i$ è:
$$\tilde{r}_i = r_{task, i} + \lambda_{rank} r_{rank, i} + \lambda_{corr} r_{corr, i} + \lambda_{fmt} r_{fmt, i}$$
dove $r_{task}$ è la ricompensa standard di correttezza, e gli altri termini sono derivati dalle loss di ranking e corruzione. Questo approccio non richiede modifiche all'ottimizzatore sottostante o all'architettura del modello.

3. Contributi Chiave

1. Visione della Supervisione Relativa: Il documento identifica che l'RL standard basato sugli esiti manca di vincoli direzionali sulla confidenza. Dimostra che questi vincoli possono essere supervisionati utilizzando confronti già intrinseci nel campionamento RL (gruppi di rollout all'interno dello stesso prompt e coppie pulito-corrotto corrispondenti), eliminando la necessità di etichette esterne di confidenza.
2. Il Framework RAC: Una formalizzazione di questi assi di supervisione in loss di ranking e coppia basate sul margine. Queste vengono ridistribuite in ricompense a livello di sequenza, creando un obiettivo di calibrazione unificato compatibile con qualsiasi pipeline di post-addestramento RL basata su gruppi.
3. Valutazione Empirica sotto Corruzione: Valutazione estesa su sei benchmark di ragionamento multimodale utilizzando i backbones Qwen2.5-VL e InternVL-3.5. Lo studio copre input puliti e cinque livelli di corruzione visiva progressiva (ImageNet-C).

4. Risultati Sperimentali

Gli autori hanno valutato RAC su tre famiglie di modelli (Qwen2.5-VL-3B/7B e InternVL-3.5-8B) attraverso sei benchmark (M3CoT, ScienceQA, MathVerse, MMMU, We-Math, MathVision).

• Miglioramenti nella Calibrazione: La loss di corruzione a coppie (+Pair) ha ridotto sostanzialmente l'ECE e i punteggi di Brier (ad esempio, una riduzione del 13,4% dell'ECE per InternVL-3.5-8B) lasciando l'accuratezza del compito sostanzialmente invariata. Questo conferma il suo ruolo nell'insegnare l'attenuazione della confidenza senza ottimizzare direttamente per la correttezza della risposta.
• Miglioramenti nell'Accuratezza: La loss consapevole del ranking (+Rank) ha migliorato costantemente l'accuratezza del compito (ad esempio, un guadagno assoluto dell'11,9% per InternVL-3.5-8B) incoraggiando la politica ad assegnare una confidenza più alta ai percorsi di ragionamento corretti.
• Prestazioni Combinate: La combinazione di entrambe le loss (+Pair+Rank) ha ottenuto le migliori prestazioni su entrambe le dimensioni nella maggior parte delle configurazioni. Per InternVL-3.5-8B, la combinazione ha ridotto l'ECE del 13,4% e il punteggio di Brier dell'18,1% rispetto all'RL Vanilla, aumentando simultaneamente l'accuratezza del 24,2%.
• Severità della Corruzione nell'Addestramento: Lo studio ha rilevato una relazione non monotona tra la forza della corruzione durante l'addestramento e la generalizzazione. Una corruzione lieve (severità $T_{0.2}$) ha fornito il miglior trasferimento di calibrazione, mentre una corruzione eccessiva ($T_{0.6}$ e superiore) ha destabilizzato il segnale di supervisione e degradato le prestazioni.

5. Significato e Affermazioni

Il documento afferma che RAC colma un divario strutturale nell'RL multimodale in cui la confidenza non è esplicitamente legata alla qualità del ragionamento o alla qualità delle evidenze. Trattando la calibrazione come un obiettivo nativo piuttosto che come una correzione post-hoc, RAC:

• Migliora l'Affidabilità: Riduce il rischio di ragionamenti autorevoli errati assicurando che la confidenza diminuisca quando le evidenze visive sono degradate.
• Potenzia l'Accuratezza: Dimostra che imporre un ordinamento relativo della confidenza agisce come un segnale di discriminazione più forte rispetto alle sole ricompense di correttezza, portando a un ragionamento migliore.
• Efficienza: Raggiunge questi guadagni senza annotazioni esterne o modifiche architetturali, utilizzando esclusivamente la geometria di campionamento intrinseca all'RL basato su gruppi.

Gli autori concludono che, sebbene RAC sia attualmente valutato su benchmark a scelta multipla dove è disponibile una correttezza binaria, il framework offre una direzione promettente per migliorare l'affidabilità dei sistemi di ragionamento multimodale, in particolare in scenari che coinvolgono input visivi rumorosi o ambigui. Si suggerisce un lavoro futuro per esplorare curricula di corruzione adattivi e l'applicazione a contesti di generazione aperta.