Sintesi Tecnica: Smetti di Pensare, Inizia a Guardare

Definizione del Problema

Il Question Answering su Documenti Multimodali (DocQA) richiede non solo la generazione di testo corretto, ma anche l'esecuzione del Document Visual Grounding (DVG): la localizzazione precisa della regione visiva che supporta una risposta. Gli approcci attuali affrontano due limitazioni primarie:

1. Fine-Tuning Supervisionato (SFT): Sebbene efficace, l'SFT spesso raggiunge un plateau di ottimizzazione in cui l'ulteriore scalabilità dei dataset annotati produce rendimenti decrescenti sulla precisione geometrica.
2. Reinforcement Learning (RL) Centrato sul Ragionamento: Paradigmi recenti (ad es. DocThinker) postulano che tracce di ragionamento intermedio esplicite (Chain-of-Thought) siano necessarie per colmare il divario tra comprensione semantica e localizzazione spaziale. Tuttavia, queste tracce verbiose gonfiano i costi di token durante l'inferenza e introducono latenza senza un chiaro beneficio empirico per compiti intrinsecamente percettivi.

Inoltre, la dinamica dell'RL in contesti multimodali rimane poco esplorata, in particolare per quanto riguarda se il ragionamento sia realmente necessario per il grounding o se introduca instabilità e sovraccarichi computazionali non necessari.

Metodologia: Perception-RFT

Gli autori introducono Perception-RFT, un framework di addestramento progettato per allineare direttamente le caratteristiche visive con output di grounding strutturati, bypassando i token di ragionamento intermedi.

Framework Core

• Formulazione del Task: Il compito è definito come un problema di Visual QA generativo in cui la policy $\pi_\theta$ produce un JSON strutturato contenente la risposta e un bounding box normalizzato ($[x_1, y_1, x_2, y_2]$).
• Vincolo di Percezione Diretta: A differenza degli approcci RL standard che incoraggiano il ragionamento verboso, Perception-RFT impone un system prompt che proibisce esplicitamente spiegazioni o passaggi intermedi ("NON includere spiegazioni... Output ONLY il JSON valido finale"), costringendo il modello a mappare le caratteristiche visive direttamente sulla regressione delle coordinate.
• Algoritmo di Ottimizzazione: Il framework utilizza la Group Relative Policy Optimization (GRPO). Invece di massimizzare la coerenza logica tramite catene di ragionamento, l'obiettivo massimizza il vantaggio degli output validi basandosi su un segnale di reward congiunto, controllando la deriva della policy tramite la divergenza KL.

Meccanismo di Gated Dense Reward

Per stabilizzare l'addestramento senza guida intermedia, gli autori propongono una funzione di reward composita $R = R_{format} + R_{sem} + R_{loc}$:

1. Consistenza del Formato ($R_{format}$): Uno switch binario (0 o 1) che assicura che l'output sia un JSON valido con lo schema corretto.
2. Precisione Semantica ($R_{sem}$): Utilizza l'Average Normalized Levenshtein Similarity (ANLS) con scaling quadratico per penalizzare aggressivamente i casi di quasi-errore.
3. Gated Localization Reward ($R_{loc}$): Un meccanismo a "effetto scogliera" (cliff-edge).
   • Stato di Shaping: Se l'IoU è al di sotto di una soglia ($\tau=0.6$), il reward viene scalato verso il basso ($\lambda \cdot \text{IoU}$) per prevenire la convergenza su sovrapposizioni parziali subottimali.
   • Stato di Successo: Se l'IoU $\geq 0.6$, il reward salta a 1.0, incoraggiando un margine di sicurezza geometrica.

Design Sperimentale

Lo studio impiega Qwen3-VL-4B e confronta diverse configurazioni:

• SFT: Fine-tuning supervisionato standard su circa 23k campioni di documenti finanziari.
• RFTs (SFT $\to$ RL): Perception-RFT applicato dopo l'inizializzazione SFT.
• RFTb (Cold-Start RL): Perception-RFT applicato direttamente al modello base senza SFT.
• Reasoning-RFTb: Una variante controllata che permette tracce di ragionamento intermedio sotto identiche condizioni di RL per isolare il ruolo del ragionamento.
• Dataset: Addestramento su documenti finanziari curati (DocILE, FormNLU) e valutazione su set In-Distribution (ID) e due benchmark Out-of-Distribution (OOD): DOGR-Bench (800 campioni) e MMDocBench (4.028 campioni).

Risultati Chiave

1. Il Ragionamento è Ridondante e Detrimentale

La scoperta più significativa è che il ragionamento esplicito non migliora le prestazioni nei compiti di DVG sotto RL.

• Gap di Performance: La variante priva di ragionamento (RFTb) supera costantemente la variante abilitata al ragionamento (Reasoning-RFTb) sia sui dataset ID che su quelli OOD. Ad esempio, sui dati OOD, RFTb raggiunge un F1all di 0.600 rispetto allo 0.382 di Reasoning-RFTb.
• Compressione delle Tracce: Anche quando il ragionamento è abilitato, i modelli comprimono e eliminano progressivamente le tracce di ragionamento durante l'addestramento. Alla convergenza, la lunghezza media dei token di ragionamento scende del 62% (da ~191 a ~72 token), convergendo effettivamente verso una policy di percezione diretta.
• Stabilità: L'addestramento abilitato al ragionamento mostra una varianza più alta e una convergenza meno stabile rispetto all'approccio di percezione diretta.

2. L'RL Supera la Saturazione dell'SFT

• Rompere il Soffitto: Sui dati In-Distribution, l'SFT raggiunge un plateau di performance (F1all = 0.668). L'applicazione di Perception-RFT (RFTs) rompe questo soffitto, migliorando l'F1all a 0.718, con guadagni significativi sia nell'estrazione del testo che nella localizzazione.
• Importanza dell'Inizializzazione: Il Cold-start RL (RFTb) migliora rispetto al modello base ma rimane sostanzialmente al di sotto di RFTs, confermando che l'inizializzazione supervisionata fornisce una base stabile per l'apprendimento geometrico sotto RL.

3. Il Fenomeno della Divergenza del Grounding

Gli autori identificano un trade-off precedentemente non caratterizzato, denominato Divergenza del Grounding. Sotto ottimizzazione RL congiunta su dati OOD:

• La Localizzazione Migliora: La precisione geometrica si trasferisce robustamente a domini non visti (ad es., il salto della localizzazione in DOGR-Bench da 0.416 a 0.759).
• La Robustezza Semantica Degrada: Le capacità di estrazione semantica spesso falliscono nel trasferirsi o degradano rispetto al modello zero-shot base.
• Implicazione: L'RL induce una generalizzazione asimmetrica; eccelle nell'apprendere pattern geometrici trasferibili, ma può specializzarsi eccessivamente nell'estrazione semantica, portando a un trade-off selettivo tra precisione geometrica e flessibilità semantica.

4. Efficienza dei Dati

Una transizione precoce da SFT a RL (RFTs-Early) raggiunge una precisione comparabile al full SFT+RL utilizzando il 65% in meno di dati di addestramento. Ciò suggerisce che un apprendimento supervisionato prolungato non è strettamente necessario per un grounding ad alta precisione se l'RL viene introdotto precocemente.

Significato e Rivendicazioni

Il paper sostiene di aver stabilito che il Document Visual Grounding è un compito a dominanza percettiva dove l'allineamento diretto tra caratteristiche visive e output spaziali è più efficace del ragionamento mediato.

• Efficienza: Bypassando i token di ragionamento, l'approccio riduce la lunghezza dei token di inferenza per query di oltre il 60%, offrendo una strategia di deployment più economica e veloce.
• Dinamiche di Ottimizzazione: Il lavoro estende le scoperte del post-training nel dominio testuale (saturazione SFT e instabilità del cold-start RL) al dominio multimodale e identifica il trade-off specifico della "Divergenza del Grounding".
• Guida Pratica: Gli autori sostengono che per il DVG, i modelli dovrebbero "Smettere di pensare, iniziare a guardare". La policy ottimale si basa sulla percezione diretta piuttosto che sul ragionamento esplicito, e la transizione precoce SFT-to-RL offre il miglior equilibrio tra efficienza dei dati e performance.

Lo studio è di portata modesta, rilevando che queste scoperte sono stabilite alla scala di 4 miliardi di parametri e che il comportamento di scalabilità verso modelli più grandi rimane un oggetto di ricerca futura. Inoltre, la mancanza di dati supervisionati annotati per il ragionamento limita la possibilità di costruire una pipeline SFT $\to$ RL abilitata al ragionamento per ulteriori confronti.