Lang2Act: Fine-Grained Visual Reasoning through Self-Emergent Linguistic Toolchains

Titolo: Lang2Act: Ragionamento Visivo Fine-Grained attraverso Catene di Strumenti Linguistici Auto-Emergenti

1. Il Problema

I modelli Vision-Language (VLM) stanno diventando sempre più capaci, ma affrontano sfide significative quando devono rispondere a query complesse basate su documenti visivi ricchi (come slide, grafici e tabelle) tramite la Visual Retrieval-Augmented Generation (VRAG).

• Limiti degli approcci attuali: Le framework VRAG esistenti si basano spesso su strumenti esterni rigidi e predefiniti (es. API per ritagliare o ingrandire immagini). Questi metodi separano esplicitamente la percezione visiva dal processo di ragionamento logico.
• Perdita di informazioni: L'uso di strumenti meccanici come il "cropping" (ritaglio) delle immagini può portare a una perdita irreversibile di informazioni visive critiche, specialmente se l'operazione non è perfetta o se viene tagliata una parte essenziale del contesto.
• Disaccoppiamento: La decoupling tra percezione e ragionamento impedisce al modello di mantenere un contesto visivo globale mentre esegue operazioni locali, limitando la capacità di ragionamento fine-grained.

2. Metodologia: Lang2Act

Il paper propone Lang2Act, un framework unificato che abilita il ragionamento visivo fine-grained attraverso catene di strumenti linguistici auto-emergenti. Invece di chiamare motori esterni fissi, Lang2Act internalizza le operazioni visive come azioni linguistiche generate autoregressivamente dal modello stesso.

Il framework si basa su un processo di training in due fasi basato sul Reinforcement Learning (RL):

• Fase 1: Esplorazione e Curation degli Strumenti (Action RL)

  • Il modello VLM viene addestrato a esplorare autonomamente traiettorie di ragionamento visivo di alta qualità per risolvere problemi.
  • Utilizzando l'algoritmo DAPO (Decoupled Clip and Dynamic sampling Policy Optimization), il modello genera percorsi di ragionamento che portano a risposte corrette.
  • Da queste traiettorie di successo, vengono estratte e astratte azioni visive efficaci (es. "leggi il testo", "trova il valore numerico"). Queste azioni vengono formalizzate in un pool di strumenti linguistici (Toolbox) standardizzati (triplette: nome, descrizione, parametri).

• Fase 2: Ottimizzazione tramite Prompting basato su Strumenti (Tool-based RL)

  • Una volta costruita la "Linguistic Toolbox" ($T_{box}$), il VLM viene ulteriormente ottimizzato per utilizzare questi strumenti durante l'inferenza e il training.
  • Il modello genera una catena di strumenti linguistici ($z$) insieme alla risposta finale. Questa catena è strutturata in due componenti:
    1. Routing Visivo ($z_{route}$): Seleziona le pagine del documento più rilevanti tra quelle recuperate.
    2. Esecuzione degli Strumenti ($z_{exec}$): Esegue una sequenza di azioni linguistiche (es. <tool name="read_numeric_value" args="...">) che guidano il modello a focalizzarsi su regioni specifiche dell'immagine e a estrarre evidenze visive in modo mirato.
  • La funzione di ricompensa bilancia la correttezza della risposta finale e la validità strutturale dell'uso degli strumenti.

3. Contributi Chiave

• Strumenti Linguistici Auto-Emergenti: A differenza dei metodi precedenti che usano API esterne rigide, Lang2Act fa emergere gli strumenti direttamente dalle traiettorie di ragionamento del modello, creando un toolbox adattivo e contestuale.
• Integrazione Percezione-Ragionamento: Il framework unifica la percezione visiva e il ragionamento logico all'interno del processo di generazione autoregressiva, evitando la perdita di informazioni tipica del cropping fisico.
• Framework di Training a Due Stadi: Un approccio innovativo che prima scopre le azioni efficaci e poi le internalizza come strumenti linguistici per migliorare le capacità di percezione del VLM.
• Riduzione delle Allucinazioni: Dimostrando che l'uso di strumenti linguistici permette un ancoraggio più preciso alle evidenze visive, riducendo la dipendenza da conoscenze memorizzate errate.

4. Risultati Sperimentali

Il framework è stato valutato su tre benchmark principali per il Visual Question Answering (VQA) su documenti: SlideVQA, ViDoSeek e MMLongBench-Doc.

• Prestazioni Superiori: Lang2Act supera tutti i modelli baseline (inclusi metodi basati su prompt, VLM con ragionamento RL, e VLM potenziati da strumenti) con un miglioramento superiore al 4% in media.
• Confronto con Strumenti Visivi: Rispetto a metodi come VRAG-RL e Pixel-Reasoner che usano il cropping delle immagini, Lang2Act ottiene un miglioramento di oltre il 5%.
• Analisi di Percezione:
  • Esiste una forte correlazione positiva tra il tasso di percezione delle regioni "golden" (corrette) e l'accuratezza della risposta. Lang2Act mostra il tasso di percezione più alto.
  • Anche quando le regioni corrette vengono percepite, Lang2Act ottiene un'accuratezza superiore, indicando una migliore capacità di sfruttare le evidenze visive per il ragionamento.
• Robustezza e Generalizzazione:
  • Funziona efficacemente su diversi modelli base (Qwen2.5-VL da 3B a 32B parametri).
  • Dimostra una forte capacità di generalizzazione su dataset fuori dominio (FetaTab, PaperTab) senza bisogno di ri-addestrare la toolbox.
  • Riduce drasticamente gli errori di formato e di generazione degli strumenti (da un tasso di errore del 9.35% a 0.27% dopo il training).

5. Significato e Impatto

Lang2Act rappresenta un cambio di paradigma nel campo della VRAG e del ragionamento visivo:

• Superamento dei limiti del "Cropping": Dimostra che le operazioni visive possono essere eseguite in modo più sicuro ed efficace attraverso il linguaggio, preservando il contesto globale e i dettagli locali senza frammentare l'immagine.
• Efficienza e Flessibilità: Elimina la necessità di motori di elaborazione immagini esterni complessi e latenti, integrando tutto nel flusso di generazione del modello.
• Futuro della Ricerca: Apre la strada all'uso di "toolchain" linguistiche come meccanismo primario per l'interazione con dati visivi complessi, suggerendo che la capacità di un modello di "parlare" delle sue azioni visive è fondamentale per un ragionamento fine-grained robusto.

In sintesi, Lang2Act trasforma il modo in cui i VLM interagiscono con i documenti visivi, passando da un'interazione meccanica e potenzialmente distruttiva (ritaglio) a un'interazione cognitiva e linguistica che preserva e potenzia l'informazione visiva.