Riepilogo Tecnico: Compressione del Testo Visivo come Trasporto di Misura

Enunciato del Problema

La Compressione del Testo Visivo (VTC) è emersa come una strategia per l'elaborazione di contesti lunghi, rendendo il testo in immagini e re-encodandolo tramite Modelli Linguaggio-Visione (VLM). Questo approccio spesso ottiene una significativa compressione dei token (3–20 volte meno token rispetto alla tokenizzazione a sub-parole). Tuttavia, i risultati empirici mostrano che il risparmio di token non predice l'utilità a valle. Su alcuni compiti (ad esempio, QA multi-hop), il percorso visivo supera i Modelli Linguistici su larga scala (LLM) basati solo sul testo, mentre su altri (ad esempio, ragionamento logico, QA di tipo cloze), le prestazioni collassano. I benchmark esistenti documentano queste instabilità ma mancano di una misura principiale per prevedere quando la codifica visiva preserva le informazioni rilevanti per il compito e quando le scarta. Il problema centrale è che il rapporto di compressione è meramente una statistica di efficienza, non un predittore della perdita di informazioni.

Metodologia

Gli autori formulano la VTC nel linguaggio del trasporto di misura. Trattano i token testuali e i token visivi come misure di probabilità empiriche. La pipeline di rendering e codifica è modellata come una mappa push-forward ($T\#$) indotta dal codificatore di patch del Vision Transformer (ViT). Questa mappa trasforma unità testuali localizzate in supporti di token visivi più grossolani, alterando la geometria in cui avviene il ragionamento a valle.

1. Decomposizione del Costo di Trasporto

Il documento sostiene che la mappa push-forward induce una perdita di informazioni rilevanti per il compito che si decompone in due costi distinti:

• Costo di Precisione ($\Delta_{intra}$): Derivante dall'aggregazione intra-patch. Il ViT fonde distinzioni lessicali fini-grana (ad esempio, "2023" vs "2024") in un singolo embedding di patch, danneggiando i compiti che richiedono una fedeltà lessicale esatta.
• Costo di Copertura ($\Delta_{inter}$): Derivante dalla frammentazione inter-patch. Le prove distribuite su patch o pagine diverse devono essere ricomposte tramite attenzione spaziale 2D piuttosto che attraverso la struttura posizionale nativa 1D del testo, indebolendo l'integrazione di prove a lungo raggio.

2. Proxy Senza Etichette a Valle ($C(x)$)

Per rendere operativa questa teoria senza richiedere etichette a valle durante l'inferenza, gli autori derivano una funzione di costo proxy $C(x)$:
$$C(x) = \alpha \cdot W(x) + \beta \cdot L(x) \cdot (1 - TRR(x))$$

• $W(x)$ (Caratteristica di Precisione): Misura la sensibilità alle distinzioni a livello di token basata sul formato della risposta del compito (ad esempio, estrattivo vs classificazione). Stimata dalle specifiche del compito, non dalle etichette dei dati.
• $L(x)$ (Caratteristica di Copertura): Misura la dispersione delle prove rilevanti per il compito nell'input, stimata tramite punteggi di rilevanza BM25 tra domande e segmenti di testo.
• $TRR(x)$ (Tasso di Ridondanza del Testo): Stimato tramite il rapporto di compressione gzip per scontare le informazioni ridondanti che tamponano la perdita da frammentazione.
• $\alpha, \beta$: Scalari specifici del modello stimati tramite sonde sintetiche senza etichette a valle.

3. Efficienza di Trasporto (TE) e Instradamento

Gli autori definiscono un punteggio di Efficienza di Trasporto (TE) per bilanciare la sopravvivenza delle informazioni contro i benefici della compressione:
$$TE(x) = ISR(x) \cdot VCR(x) = (1 + \gamma - C(x)) \cdot VCR(x)$$

• $VCR(x)$: Rapporto di Compressione Visiva (token testuali / token visivi).
• $\gamma$: Un bonus per formati strutturati per input in cui il rendering preserva il layout 2D (ad esempio, tabelle) che le sequenze piatte di token non possono esprimere.
• Regola di Instradamento: Selezionare il percorso visivo se $TE(x) \ge \tau$ (dove $\tau$ è una soglia fissa), altrimenti utilizzare il percorso testuale. Questa decisione viene presa senza consultare etichette a valle.

4. Foveazione Informata dal Trasporto

Per gli input instradati al percorso visivo, il framework applica la foveazione per riparare localmente le regioni ad alto costo. Calcola un costo a livello di patch $C_q$ e re-codifica selettivamente le patch ad alto costo a una risoluzione superiore. Questo agisce come un'inversa localizzata della mappa push-forward, attivata solo quando le informazioni recuperate superano il sovraccarico di token.

Contributi Chiave

1. Analisi dell'Instabilità Dipendente dal Compito: Dimostrato che le prestazioni della VTC sono altamente non uniformi sui benchmark NLP e che il rapporto di compressione da solo non può predire l'utilità.
2. Formulazione del Trasporto di Misura: Riformulato la codifica visiva basata su ViT come una mappa push-forward, derivando un costo di trasporto decomposto (precisione e copertura) che spiega le instabilità osservate.
3. Instradamento e Foveazione Senza Etichette: Sviluppato un criterio decisionale completamente privo di etichette a valle ($TE(x)$) e un meccanismo di raffinamento a livello di patch (foveazione) derivati dallo stesso modello di costo.
4. Validazione Empirica: Validato il framework su 24 dataset NLP utilizzando il backbone Qwen3-4B, mostrando che la regola senza etichette corrisponde all'oracolo per dataset nel 70,8% dei casi e migliora il punteggio medio macro rispetto a una baseline puramente LLM riducendo al contempo l'uso di token.

Risultati

Valutato su 24 benchmark NLP (che coprono comprensione, ragionamento e generazione) utilizzando Qwen3-4B:

• Prestazioni di Instradamento: La regola di instradamento senza etichette ha selezionato correttamente il percorso ottimale (testo vs visivo) per 17 dataset su 24 (70,8%), eguagliando le prestazioni di un oracolo supervisionato che conosce la verità fondamentale.
• Guadagni di Prestazioni: La strategia instradata ha ottenuto un aumento di +1,5 punti nel punteggio medio macro (+3,3% relativo) rispetto a una baseline puramente LLM.
• Efficienza: La strategia instradata ha utilizzato 10,3% in meno di token di input medi rispetto alla baseline puramente LLM.
• Foveazione: La foveazione localizzata ha migliorato il punteggio del percorso visivo di +0,4 punti in media, con guadagni concentrati su compiti in cui regioni specifiche ad alto costo portavano prove critiche (ad esempio, QA multi-hop).
• Cross-Scala e Cross-Architettura: I pattern qualitativi sono rimasti validi attraverso le scale 4B, 8B e 32B. La validazione cross-architettura con InternVL3.5 ha confermato che il divario compito-dipendente tra visivo e testo è una proprietà strutturale del processo di trasporto, non un artefatto di una specifica famiglia di modelli.

Significato e Affermazioni

Il documento afferma che le contraddizioni nelle prestazioni della VTC derivano da un costo di trasporto non uniforme piuttosto che dal solo rapporto di compressione. Modellando il codificatore visivo come una mappa push-forward, gli autori forniscono una spiegazione strutturale della perdita di informazioni che è:

• Esplicativa: Decompone le modalità di fallimento in costi di precisione (intra-patch) e di copertura (inter-patch).
• Operativa: Produce una regola pratica di instradamento senza etichette e un meccanismo di raffinamento (foveazione) che condividono gli stessi parametri di costo sottostanti.
• Diagnostica: Identifica quando la compressione visiva è affidabile e quando dovrebbe essere evitata o riparata.

Gli autori affermano esplicitamente di non rivendicare risultati all'avanguardia su singoli benchmark o una soluzione universale per tutti gli scenari VTC. Al contrario, il contributo è un framework diagnostico basato sul trasporto che sposta il focus da "quanti token vengono risparmiati" a "quali informazioni rilevanti per il compito vengono perse", offrendo un punto di partenza principiale per la ricerca futura nella compressione del testo visivo. Il framework è presentato come uno strumento per diagnosticare e gestire i compromessi della VTC, piuttosto che come una sostituzione di tutti i processi basati sul testo.