🤖 AI

Reading is not Reasoning: Bridging the Agentic Policy Gap in Vision-Text Compression

Questo articolo introduce CAPS, un framework di auto-distillazione di policy agentiche cross-modali che colma il divario di prestazioni tra le cronologie degli agenti basate su testo e quelle compresse visivamente, utilizzando la più forte policy testuale di un modello per supervisionare la sua controparte con cronologia visiva, migliorando così significativamente l'accuratezza del processo decisionale e riducendo drasticamente i costi del contesto di memoria.

Autori originali: Cheng Fan, Junyi Zhou, Tingzhang Luo, RongJian Xu, Qiyanhui Lu, Mingjian Zhu, Hanting Chen, Jianyuan Guo

Pubblicato 2026-08-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Cheng Fan, Junyi Zhou, Tingzhang Luo, RongJian Xu, Qiyanhui Lu, Mingjian Zhu, Hanting Chen, Jianyuan Guo

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un robot detective super intelligente che cerca di risolvere un mistero. Per fare il suo lavoro, deve parlare con un computer, porre domande, leggere le risposte e poi decidere cosa fare dopo. Ma ecco il problema: ogni volta che il robot compie un passo, deve ricordare tutto ciò che è accaduto prima. Se il mistero è lungo, la sua "memoria" diventa enorme, come uno zaino che viene continuamente riempito di pietre sempre più pesanti. Alla fine, lo zaino diventa così pesante che il robot si muove più lentamente, costa più soldi per essere gestito e potrebbe persino inciampare nei propri pensieri.

Gli scienziati hanno cercato di risolvere questo problema prendendo tutti quei pesanti ricordi testuali e schiacciandoli in un'unica immagine densa. È come trasformare un romanzo di 100 pagine in un'unica pagina di fumetto ricca di informazioni. L'idea è che il robot possa guardare l'immagine e ricordare la storia senza dover trasportare il pesante testo. Ma c'è un problema: i robot sono solitamente addestrati a leggere parole, non a "pensare" attraverso le immagini. Quando passano dal leggere un libro al guardare un fumetto, spesso si confondono. Potrebbero essere in grado di leggere perfettamente le parole nell'immagine, ma dimenticano come usare quelle parole per risolvere l'enigma. Diventano bravissimi a leggere, ma terribili nel ragionare.

Questo è esattamente il puzzle che un team di ricercatori della City University of Hong Kong e Huawei Technologies si è messo in testa di risolvere. Hanno scoperto che trasformare semplicemente il testo in immagini non è sufficiente; il robot ha bisogno di imparare come "pensare" con le immagini, non solo come leggerle. Hanno scoperto che il divario tra un robot che legge il testo e uno che legge le immagini non è dovuto al fatto che il robot non sappia vedere le parole (le legge benissimo); invece, il robot perde il suo "piano d'azione". Inizia a fare scelte sbagliate, a porre le domande sbagliate o ad arrendersi troppo presto, anche se ha tutte le informazioni necessarie proprio davanti ai suoi occhi.

Per risolvere la questione, il team ha inventato un metodo di addestramento ingegnoso chiamato CAPS (Cross-modal Agentic Policy Self-distillation). Immaginalo come uno chef esperto (il robot che legge il testo) che insegna a un apprendista (il robot che legge le immagini) come cucinare. Lo chef non mostra solo all'apprendista gli ingredienti; lo chef osserva l'apprendista mentre cucina e dice: "Ehi, quando vedi questa foto degli ingredienti, dovresti tagliare le cipolle in questo modo, non in quello". L'apprendista impara a imitare il processo decisionale dello chef, anche se lo chef sta guardando un libro di ricette e l'apprendista sta guardando una foto degli ingredienti.

I ricercatori hanno testato questo metodo su due tipi di giochi molto diversi: un quiz di un motore di ricerca dove il robot deve trovare risposte online, e una casa virtuale dove il robot deve spostare oggetti. Hanno scoperto che il loro nuovo metodo, CAPS, ha reso il robot che legge le immagini molto più intelligente. Non è solo diventato più bravo a leggere le immagini; è diventato più bravo a ragionare con esse. Il robot ha iniziato a fare le scelte giuste, a porre le domande giuste e a fermarsi al momento giusto, proprio come il robot che legge il testo.

I risultati sono stati impressionanti. Nel quiz di ricerca, il nuovo metodo ha migliorato il tasso di successo del robot di circa il 5% rispetto ai metodi precedenti. Nel gioco della casa virtuale, il miglioramento è stato ancora maggiore, con un salto di oltre il 15%. Ma la parte migliore? Il robot portava ancora il suo zaino a forma di "fumetto" super leggero. Risolveva i problemi più velocemente e usava molta meno memoria del computer, riducendo il costo della memoria fino all'83% in alcuni casi.

Il team ha dimosto che non è necessario scegliere tra una memoria pesante e lenta e una veloce e leggera. Insegnando al robot come pensare come un professionista, anche quando guarda delle immagini, si può ottenere il meglio di entrambi i mondi: un robot che sia incredibilmente intelligente e super efficiente. Hanno dimostrato che il problema non era che il robot non riuscisse a "leggere" la storia compressa; il problema era che doveva imparare a "ragionare" con essa. E con CAPS, hanno finalmente insegnato al robot come fare proprio questo.

Sintesi Tecnica: Leggere non è Ragionare: Colmare il Gap della Policy Agente nella Compressione Visione-Testo

Definizione del Problema

Gli agenti basati su Large Language Model (LLM) che risolvono compiti complessi e multi-step accumulano cronologie di interazione sempre più ampie. L'elaborazione ripetuta di questo contesto in espansione comporta costi sostanziali in termini di token, memoria e latenza. La compressione Visione-Testo (VTC) offre una soluzione rendendo le cronologie basate su testo in immagini dense di informazioni, riducendo significativamente il conteggio dei token. Tuttavia, sebbene la VTC migliori l'efficienza del contesto, introduce un significativo divario di capacità: gli agenti che operano su cronologie visive si comportano marcatamente peggio rispetto a quelli che operano su cronologie testuali, nonostante ricevano lo stesso contenuto di interazione.

La domanda centrale affrontata da questo lavoro è se tale degradazione delle prestazioni derivi da un'incapacità di leggere la cronologia compressa (un problema percettivo/OCR) o da un'incapacità di ragionare e agire sulle informazioni recuperate (un problema di policy agente).

Metodologia: Framework CAPS

Gli autori introducono CAPS (Cross-modal Agentic Policy Self-distillation), un framework in due fasi progettato per trasferire le capacità di ragionamento e processo decisionale da una forte policy con cronologia testuale a una policy con cronologia visiva. L'intuizione fondamentale è che la policy con cronologia testuale funge da "insegnante" superiore per la "studentessa" con cronologia visiva, poiché condividono lo stesso modello base e lo stesso spazio di azione, ma differiscono solo per la modalità della rappresentazione della cronologia.

1. Auto-distillazione Offline delle Traiettorie

Nella prima fase, il framework inizializza la policy con cronologia visiva apprendendo dalle traiettorie di successo generate dalla policy con cronologia testuale.

Costruzione dei Dati: Vengono raccolte le esecuzioni (rollout) di successo della policy con cronologia testuale. Per ogni passaggio decisionale, la cronologia testuale viene renderizzata nella sua forma visiva (immagine), mentre la risposta target (ragionamento + azione) rimane invariata.
Obiettivo: La policy con cronologia visiva viene addestrata tramite la previsione del token successivo per riprodurre le risposte complete (ragionamento + azione) della policy insegnante dato l'input della cronologia visiva. Questa fase trasferisce il "comportamento di successo", ma è limitata agli stati visitati dall'insegnante.

2. Auto-distillazione Online della Policy

La seconda fase affronta il disallineamento della distribuzione durante l'apprendimento per rinforzo (RL), dove la policy con cronologia visiva visita stati indotti dalle proprie azioni, che possono differire dalla traiettoria dell'insegnante.

Meccanismo: Durante l'addestramento GRPO (Group Relative Policy Optimization), per ogni stato visitato dalla policy studentessa (visiva), il sistema costruisce un contesto di cronologia testuale accoppiato che contiene le stesse osservazioni e azioni.
Supervisione: Una policy insegnante con cronologia testuale congelata elabora questo contesto testuale accoppiato e fornisce una supervisione a vocabolario completo sui prefissi della risposta generata dallo studente.
Funzione di Perdita (Loss): Viene calcolata una perdita di divergenza KL forward tra le distribuzioni dei token dell'insegnante e dello studente, con un clipping per evitare che gli outlier dominino il gradiente. Questa perdita si combina con l'obiettivo standard della ricompensa RL, fornendo una supervisione densa della policy sulla propria distribuzione di interazione.

Contributi Chiave

Diagnosi del Gap della Policy Agente: Attraverso valutazioni controllate (recupero della cronologia, decisioni su stati corrispondenti, qualità della traiettoria), gli autori dimostrano che il divario di prestazioni non è dovuto principalmente alla qualità dell'OCR. Sebbene il recupero della cronologia sia imperfetto, il fallimento primario è un drift sistematico nella selezione delle azioni, nella formulazione delle query, nelle decisioni di arresto e nell'uso delle evidenze. Gli agenti con cronologia visiva "leggono" il contenuto ma falliscono nel ragionare efficacemente su di esso.
Framework CAPS: La proposta di un framework di auto-distillazione cross-modale in due fasi che trasferisce con successo i comportamenti di ragionamento della cronologia testuale agli agenti con cronologia visiva, colmando il gap della policy senza sacrificare l'efficienza dei token della VTC.
Validazione Empirica: Esperimenti estesi che mostrano che l'allineamento esplicito della policy cross-modale è necessario per preservare la capacità dell'agente sotto la compressione visione-testo.

Risultati Sperimentali

Il framework è stato valutato su SearchQA (compiti di ricerca multi-hop) e ALFWorld (compiti domestici incarnati) utilizzando backbone con 3B e 7B parametri.

SearchQA: CAPS ha migliorato l'Exact Match (EM) rispetto al baseline AgentOCR del 5,0% (3B) e del 3,4% (7B). Notevolmente, CAPS con un backbone da 7B ha superato il proprio insegnante con cronologia testuale di 0,5 punti.
ALFWorld: Sui compiti a cronologia completa ( $H=50$ ), CAPS ha raggiunto tassi di successo del 93,8% (3B) e del 95,7% (7B), superando AgentOCR rispettivamente del 15,6% e del 14,5%.
Efficienza: Nonostante i guadagni di prestazione, CAPS mantiene i benefici di efficienza della VTC. Rispetto alle policy con cronologia testuale corrispondente, CAPS ha ridotto i costi medi del contesto di memoria fino al 63,3% e i costi di picco fino all'83,4%.
Studi di Ablazione: È stato dimostrato che entrambi gli stadi di distillazione offline e online sono complementari: la sola distillazione offline è stata insufficiente per inizializzare la policy per il ragionamento visivo, mentre la distillazione online è stata cruciale per adattarsi alla propria distribuzione di stato.

Significato e Rivendicazioni

L'articolo sostiene che l'efficienza del contesto non implica intrinsecamente la preservazione della capacità. Il collo di bottiglia principale nella compressione visione-testo per gli agenti non è la capacità di recuperare il testo dalle immagini (OCR), ma il gap della policy agente: il fallimento del modello nel ragionare e agire efficacemente sulle informazioni recuperate.

Gli autori affermano che i loro risultati dimostrano che l'auto-distillazione della policy cross-modale esplicita è un meccanismo vitale e necessario per colmare questo divario. Sfruttando le più forti capacità di ragionamento di una policy con cronologia testuale per supervisionare una policy con cronologia visiva, CAPS consente agli agenti di operare su contesti visivi compressi mantenendo, e in alcuni casi superando, le prestazioni dei loro omologhi basati su testo. Ciò suggerisce che i futuri sistemi di agenti efficienti debbano concentrarsi sull'allineamento della policy tra le modalità piuttosto che solo sulla fedeltà della compressione.

Il lavoro conclude che una compressione efficace della cronologia visiva richiede l'allineamento della policy, non solo la preservazione del contenuto recuperabile.