UniDoc-RL: Coarse-to-Fine Visual RAG with Hierarchical Actions and Dense Rewards

1. Il Problema: Limitazioni del RAG Visuale Esistente

Il Retrieval-Augmented Generation (RAG) estende i Large Vision-Language Models (LVLM) con conoscenze esterne visive. Tuttavia, i sistemi attuali presentano tre criticità fondamentali:

• Recupero Generico: Le tecniche di recupero esistenti si basano su segnali di similarità generici (spesso decoupled) che non catturano le semantiche visive fini necessarie per il ragionamento complesso, portando a contesti irrilevanti e allucinazioni.
• Utilizzo Passivo delle Immagini: I modelli tendono a codificare intere immagini nel contesto, ignorando la natura gerarchica della comprensione visiva. Questo mantiene molto "rumore" di sfondo e spreca capacità di contesto, rendendo difficile isolare le regioni informative.
• Ricompense Sparse: I metodi di Reinforcement Learning (RL) esistenti utilizzano ricompense basate solo sull'esito finale (outcome-based). Questo crea un problema di assegnazione del credito (credit assignment), rendendo difficile ottimizzare le decisioni intermedie come il recupero, la selezione o il ritaglio attivo delle immagini.

2. Metodologia: UniDoc-RL

UniDoc-RL è un framework unificato di Reinforcement Learning in cui un agente LVLM esegue congiuntamente recupero, reranking, percezione visiva attiva e ragionamento. Il sistema formula l'acquisizione di informazioni visive come un problema di decisione sequenziale con uno spazio di azioni gerarchico e un sistema di ricompense denso.

A. Spazio di Azioni Gerarchico (Coarse-to-Fine)

L'agente opera attraverso tre fasi distinte per affinare progressivamente le prove visive:

1. Search Action (Recupero): Esegue un recupero iniziale "grezzo" (coarse-grained) da un corpus esterno utilizzando un motore di ricerca basato su query testuali estratte dal modello.
2. Precise Selection Action (Selezione): L'LVLM valuta semanticamente le immagini recuperate e seleziona quelle più rilevanti, filtrando il rumore a livello documentale. Questo colma il divario semantico tra il recupero generico e il ragionamento specifico.
3. Visual Perception Action (Percezione Attiva): Invece di elaborare passivamente l'immagine intera, l'agente impara a eseguire operazioni di crop e zoom su regioni specifiche (definite da bounding box <bbox>). Questo meccanismo simula l'attenzione visiva umana, isolando le regioni ad alta densità informativa e rimuovendo il contenuto ridondante.

B. Meccanismo di Ricompensa Denso (Dense Multi-Reward)

Per risolvere il problema della supervisione sparsa, UniDoc-RL introduce un sistema di ricompense multi-livello che fornisce feedback a ogni stadio del processo decisionale:

• NDCG-Based Reward: Valuta la qualità del recupero iniziale rispetto alle immagini "golden" (corrette).
• IoU-Based Reward: Misura l'accuratezza del crop attivo confrontando le regioni selezionate con le regioni di verità (ground-truth) tramite Intersection over Union.
• Selection Reward: Ricompensa la scelta corretta dell'immagine rilevante tra i candidati.
• Pattern Reward: Assicura che la struttura della sequenza di azioni (tag XML come <search>, <select>, <bbox>) sia sintatticamente corretta.
• Outcome Reward: Valuta la correttezza finale della risposta generata.
  La ricompensa totale è una somma ponderata di questi componenti, permettendo un'ottimizzazione end-to-end senza bisogno di una rete di valore separata.

C. Addestramento e Dati

• Algoritmo: Utilizza GRPO (Group Relative Policy Optimization) per allineare il comportamento dell'agente con gli obiettivi multipli.
• Dataset: Gli autori hanno curato un dataset di alta qualità con 12.621 campioni per il Supervised Fine-Tuning (SFT) e 5.537 per il RL. Le traiettorie di ragionamento sono state sintetizzate utilizzando un modello "teacher" (Qwen3-VL-235B) e strumenti di analisi del layout (Mineru) per generare annotazioni fini sulle regioni di interesse.

3. Risultati Sperimentali

Il modello è stato valutato su tre benchmark complessi: SlideVQA, ViDoSeek e MMLongBench.

• Performance Superiori: UniDoc-RL supera costantemente gli stati dell'arte (SOTA), inclusi metodi basati su RL precedenti come VRAG-RL.
• Miglioramenti Quantitativi: Rispetto ai metodi RL basati su precedenti, UniDoc-RL ottiene guadagni fino al 17,7% di accuratezza.
• Robustezza: Il modello dimostra eccellenti capacità sia nel ragionamento multi-hop (SlideVQA, ViDoSeek) che nella discriminazione visiva fine-grained (MMLongBench).
• Analisi Ablative: Gli esperimenti dimostrano che l'aggiunta della Selezione Precisa migliora significativamente il recupero delle immagini rilevanti, mentre l'azione di Percezione Visiva è cruciale per i task che richiedono dettagli specifici, riducendo il rumore di fondo.

4. Contributi Chiave

1. Framework UniDoc-RL: Un approccio unificato che modella recupero, reranking, percezione attiva e ragionamento in un singolo processo decisionale sequenziale.
2. Dataset di Traiettorie di Ragionamento: Pubblicazione di un dataset completo con annotazioni di azioni fini (ricerca, selezione, crop) per supportare la ricerca futura sul RL per il RAG visuale.
3. Meccanismo di Ricompensa Denso: Una strategia innovativa che risolve il problema dell'assegnazione del credito nelle fasi intermedie, guidando l'agente a imparare non solo cosa rispondere, ma come cercare e osservare le informazioni.

5. Significato e Impatto

Il lavoro di UniDoc-RL segna un passo avanti significativo nell'integrazione tra LVLM e strumenti esterni. Dimostra che passare da un consumo visivo passivo a una percezione attiva e gerarchica (simile all'attenzione umana) è essenziale per il ragionamento su documenti visivi complessi. Inoltre, la proposta di un sistema di ricompense denso offre una soluzione pratica ai limiti dell'RL applicato a compiti multimodali complessi, aprendo la strada a agenti AI più autonomi, precisi e capaci di gestire documenti tecnici, grafici e report scientifici con un livello di dettaglio senza precedenti.