Technische Samenvatting: Visuele Tekstcompressie als Maatstaftransport

Probleemstelling

Visuele Tekstcompressie (VTC) heeft zich ontwikkeld als een strategie voor verwerking van lange contexten door tekst om te zetten in afbeeldingen en deze opnieuw te coderen via Vision-Language Models (VLM's). Deze aanpak bereikt vaak aanzienlijke tokencompressie (3–20× minder tokens dan subword-tokenisatie). Empirische resultaten tonen echter aan dat tokenbesparingen de downstream-nuttigheid niet voorspellen. Bij sommige taken (bijvoorbeeld multi-hop QA) presteert het visuele pad beter dan tekst-only Large Language Models (LLM's), terwijl bij andere taken (bijvoorbeeld logisch redeneren, cloze-stijl QA) de prestaties instorten. Bestaande benchmarks documenteren deze instabiliteiten, maar missen een principiële maatstaf om te voorspellen wanneer visuele codering taakrelevante informatie behoudt en wanneer deze deze verwijdert. Het centrale probleem is dat de compressieverhouding slechts een efficiëntiestatistiek is, geen voorspeller van informatieverlies.

Methodologie

De auteurs formuleren VTC binnen de taal van maatstaftransport. Ze behandelen teksttokens en visuele tokens als empirische waarschijnlijkheidsmaten. De pipeline voor rendering en codering wordt gemodelleerd als een push-forward afbeelding ($T\#$) die wordt geïnduceerd door de Vision Transformer (ViT) patch-encoder. Deze afbeelding transformeert gelokaliseerde tekstuele eenheden naar grovere visuele token-dragers, waardoor de geometrie waarin downstream-redenering plaatsvindt, wordt gewijzigd.

1. Decompositie van Transportkosten

Het artikel stelt dat de push-forward afbeelding een taakrelevante informatieverlies induceert dat decomposeert in twee distincte kosten:

• Precisiecost ($\Delta_{intra}$): Ontstaand uit aggregatie binnen een patch. De ViT voegt fijnmazige lexicaal onderscheidingen (bijvoorbeeld "2023" versus "2024") samen tot één patch-embedding, wat schadelijk is voor taken die exacte lexicaal trouw vereisen.
• Dekkingskost ($\Delta_{inter}$): Ontstaand uit fragmentatie over patches heen. Bewijs dat verspreid is over verschillende patches of pagina's, moet opnieuw worden samengesteld via 2D ruimtelijke aandacht in plaats van de native 1D positionele structuur van tekst, wat de integratie van bewijs op lange afstand verzwakt.

2. Downstream-Label-Vrije Proxy ($C(x)$)

Om deze theorie te operationaliseren zonder downstream-labels tijdens inferentie af te vragen, leiden de auteurs een proxy-kostfunctie $C(x)$ af:
$$C(x) = \alpha \cdot W(x) + \beta \cdot L(x) \cdot (1 - TRR(x))$$

• $W(x)$ (Precisiefunctie): Meet de gevoeligheid voor token-niveau onderscheidingen op basis van het antwoordformaat van de taak (bijvoorbeeld extractief versus classificatie). Geschat op basis van taakspecificaties, niet op data-labels.
• $L(x)$ (Dekkingsfunctie): Meet de dispersie van taakrelevant bewijs over de invoer, geschat via BM25-relevantiescores tussen vragen en tekstsegmenten.
• $TRR(x)$ (Tekstredundantieratio): Geschat via gzip-compressieverhouding om redundante informatie af te rekenen die fragmentatieverlies buffert.
• $\alpha, \beta$: Model-specifieke scalars geschat via synthetische, downstream-label-vrije probes.

3. Transportefficiëntie (TE) en Routing

De auteurs definiëren een Transportefficiëntie (TE)-score om informatiethering te balanceren tegen compressievoordelen:
$$TE(x) = ISR(x) \cdot VCR(x) = (1 + \gamma - C(x)) \cdot VCR(x)$$

• $VCR(x)$: Visuele Compressieverhouding (teksttokens / visuele tokens).
• $\gamma$: Een bonus voor gestructureerde formaten voor invoer waarbij rendering de 2D-indeling behoudt (bijvoorbeeld tabellen) die vlakke tokensequenties niet kunnen uitdrukken.
• Routingregel: Kies het visuele pad als $TE(x) \ge \tau$ (waarbij $\tau$ een vaste drempel is), gebruik anders het tekstpad. Deze beslissing wordt genomen zonder downstream-labels te raadplegen.

4. Transport-informeerde Foveatie

Voor invoer die naar het visuele pad wordt gerouteerd, past het kader foveatie toe om lokaal hoge-kost regio's te repareren. Het berekent een patch-niveau kost $C_q$ en selecteert hoog-kost patches opnieuw te coderen met een hogere resolutie. Dit fungeert als een gelokaliseerde inverse van de push-forward afbeelding, geactiveerd alleen wanneer de herstelde informatie de token-overhead weegt.

Belangrijkste Bijdragen

1. Taakafhankelijke Instabiliteitsanalyse: Aangetoond dat VTC-prestaties sterk niet-uniform zijn over NLP-benchmarks en dat de compressieverhouding alleen de nuttigheid niet kan voorspellen.
2. Maatstaftransport-Formulering: Visuele codering op basis van ViT opnieuw geformuleerd als een push-forward afbeelding, waarbij een gedecomposeerde transportkost (precisie en dekking) wordt afgeleid die de waargenomen instabiliteiten verklaart.
3. Label-vrije Routing en Foveatie: Ontwikkeling van een volledig downstream-label-vrije beslissingscriteria ($TE(x)$) en een patch-niveau verfijningsmechanisme (foveatie) afgeleid van hetzelfde kostmodel.
4. Empirische Validatie: Validatie van het kader op 24 NLP-datasets met de Qwen3-4B backbone, waarbij blijkt dat de label-vrije regel overeenkomt met de per-dataset orakel op 70,8% van de datasets en de macro-gemiddelde score verbetert ten opzichte van een pure-LLM-baseline, terwijl het tokengebruik wordt verminderd.

Resultaten

Geëvalueerd op 24 NLP-benchmarks (overvleugeling van begrip, redeneren en generatie) met Qwen3-4B:

• Routingprestaties: De label-vrije routingregel selecteerde correct het optimale pad (tekst versus visueel) voor 17 van de 24 datasets (70,8%), overeenkomend met de prestaties van een gesuperviseerde orakel die de grondwaarheid kent.
• Prestatieverbeteringen: De gerouteerde strategie bereikte een +1,5 punt toename in macro-gemiddelde score (+3,3% relatief) ten opzichte van een pure-LLM-baseline.
• Efficiëntie: De gerouteerde strategie gebruikte 10,3% minder gemiddelde invoertokens dan de pure-LLM-baseline.
• Foveatie: Gelokaliseerde foveatie verbeterde de visuele pad-score met gemiddeld +0,4 punt, met winsten geconcentreerd op taken waarbij specifieke hoge-kost regio's kritiek bewijs droegen (bijvoorbeeld multi-hop QA).
• Cross-Schaal en Cross-Architectuur: De kwalitatieve patronen bleven gelden over schalen van 4B, 8B en 32B. Cross-architectuur validatie met InternVL3.5 bevestigde dat de taakafhankelijke visueel-tegen-tekst kloof een structurele eigenschap is van het transportproces, en geen artefact van een specifiek modelgezin.

Betekenis en Claims

Het artikel stelt dat de tegenstrijdigheden in VTC-prestaties voortkomen uit niet-uniforme transportkosten in plaats van alleen de compressieverhouding. Door de visuele encoder te modelleren als een push-forward afbeelding, bieden de auteurs een structurele verantwoording van informatieverlies dat:

• Verklarend is: Het decomposeert faalmodi in precisie (binnen-patch) en dekking (over-patch) kosten.
• Operationeel is: Het levert een praktische, label-vrije routingregel en een verfijningsmechanisme (foveatie) op die dezelfde onderliggende kostparameters delen.
• Diagnostisch is: Het identificeert wanneer visuele compressie betrouwbaar is en wanneer deze vermeden of gerepareerd moet worden.

De auteurs stellen expliciet dat ze geen claims maken op state-of-the-art resultaten op individuele benchmarks of een universele oplossing voor alle VTC-scenario's. In plaats daarvan is de bijdrage een transport-gebaseerd diagnostisch kader dat de focus verschuift van "hoeveel tokens worden bespaard" naar "welke taakrelevante informatie verloren gaat", en een principiële startpunt biedt voor toekomstig onderzoek in visuele tekstcompressie. Het kader wordt gepresenteerd als een hulpmiddel om de trade-offs van VTC te diagnosticeren en te beheren, in plaats van als vervanging voor alle tekstgebaseerde verwerking.