Technische Zusammenfassung: Visuelle Textkompression als Maßtransport

Problemstellung

Die Visuelle Textkompression (VTC) hat sich als Strategie für die Verarbeitung langer Kontexte etabliert, indem Text in Bilder umgewandelt und anschließend über Vision-Language-Modelle (VLMs) neu kodiert wird. Dieser Ansatz erzielt häufig eine signifikante Token-Kompression (3–20-mal weniger Token als die Subword-Tokenisierung). Empirische Ergebnisse zeigen jedoch, dass Token-Einsparungen die nachgelagerte Nutzbarkeit nicht vorhersagen. Bei einigen Aufgaben (z. B. Multi-Hop-Fragebeantwortung) übertrifft der visuelle Pfad reine Text-basierte Large Language Models (LLMs), während er bei anderen (z. B. logisches Reasoning, Cloze-artige Fragebeantwortung) versagt. Bestehende Benchmarks dokumentieren diese Instabilitäten, fehlen jedoch eine prinzipielle Messgröße, um vorherzusagen, wann die visuelle Kodierung aufgabenrelevante Informationen bewahrt und wann sie diese verwirft. Das zentrale Problem besteht darin, dass das Kompressionsverhältnis lediglich eine Effizienzstatistik ist und kein Prädiktor für Informationsverlust.

Methodik

Die Autoren formulieren VTC im Rahmen der Sprache des Maßtransports. Sie behandeln Text-Token und visuelle Token als empirische Wahrscheinlichkeitsmaße. Die Pipeline aus Rendering und Kodierung wird als Push-Forward-Abbildung ($T\#$) modelliert, die durch den Patch-Encoder des Vision Transformer (ViT) induziert wird. Diese Abbildung transformiert lokalisierte textuelle Einheiten in gröbere visuelle Token-Träger und verändert die Geometrie, in der nachgelagertes Reasoning stattfindet.

1. Zerlegung der Transportkosten

Die Arbeit argumentiert, dass die Push-Forward-Abbildung einen aufgabenrelevanten Informationsverlust induziert, der in zwei unterschiedliche Kosten zerfällt:

• Präzisionskosten ($\Delta_{intra}$): Entstehen durch Aggregation innerhalb eines Patches. Der ViT fasst feinkörnige lexikalische Unterscheidungen (z. B. „2023" vs. „2024") zu einer einzigen Patch-Embedding zusammen, was Aufgaben schadet, die eine exakte lexikalische Treue erfordern.
• Abdeckungskosten ($\Delta_{inter}$): Entstehen durch Fragmentierung über Patches hinweg. Evidenz, die über verschiedene Patches oder Seiten verteilt ist, muss über eine 2D-räumliche Aufmerksamkeit neu zusammengesetzt werden, anstatt die native 1D-Positionsstruktur von Text zu nutzen, was die Integration von Evidenz über große Distanzen abschwächt.

2. Nachgelagert-label-freier Proxy ($C(x)$)

Um diese Theorie ohne Notwendigkeit von nachgelagerten Labels während der Inferenz zu operationalisieren, leiten die Autoren eine Proxy-Kostenfunktion $C(x)$ ab:
$$C(x) = \alpha \cdot W(x) + \beta \cdot L(x) \cdot (1 - TRR(x))$$

• $W(x)$ (Präzisionsmerkmal): Misst die Sensitivität gegenüber Token-Level-Unterscheidungen basierend auf dem Antwortformat der Aufgabe (z. B. extraktiv vs. Klassifikation). Wird aus Aufgabenspezifikationen geschätzt, nicht aus Daten-Labels.
• $L(x)$ (Abdeckungsmerkmal): Misst die Streuung aufgabenrelevanter Evidenz über den Eingabetext hinweg, geschätzt über BM25-Relevanzscores zwischen Fragen und Textsegmenten.
• $TRR(x)$ (Textredundanzrate): Geschätzt über das gzip-Kompressionsverhältnis, um redundante Informationen abzuziehen, die Fragmentierungsverluste puffern.
• $\alpha, \beta$: Modellspezifische Skalare, geschätzt über synthetische, nachgelagert-label-freie Proben.

3. Transporteffizienz (TE) und Routing

Die Autoren definieren einen Transporteffizienz (TE)-Score, um das Überleben von Informationen gegen Kompressionsvorteile abzuwägen:
$$TE(x) = ISR(x) \cdot VCR(x) = (1 + \gamma - C(x)) \cdot VCR(x)$$

• $VCR(x)$: Visuelles Kompressionsverhältnis (Text-Token / visuelle Token).
• $\gamma$: Ein Bonus für strukturierte Formate bei Eingaben, bei denen das Rendering ein 2D-Layout bewahrt (z. B. Tabellen), das flache Token-Sequenzen nicht ausdrücken können.
• Routing-Regel: Wähle den visuellen Pfad, wenn $TE(x) \ge \tau$ (wobei $\tau$ ein fester Schwellenwert ist), andernfalls nutze den Textpfad. Diese Entscheidung wird ohne Konsultation nachgelagerter Labels getroffen.

4. Transportinformierte Foveation

Für Eingaben, die zum visuellen Pfad geroutet werden, wendet das Framework Foveation an, um lokal hochkostige Regionen zu reparieren. Es berechnet eine Patch-level-Kosten $C_q$ und kodiert hochkostige Patches selektiv in höherer Auflösung neu. Dies wirkt als lokalisierte Inverse der Push-Forward-Abbildung und wird nur ausgelöst, wenn der wiedergewonnene Informationsgehalt den Token-Overhead überwiegt.

Hauptbeiträge

1. Aufgabenabhängige Instabilitätsanalyse: Es wurde gezeigt, dass die VTC-Leistung über NLP-Benchmarks hinweg hochgradig ungleichmäßig ist und dass das Kompressionsverhältnis allein die Nutzbarkeit nicht vorhersagen kann.
2. Maßtransport-Formulierung: Die visuelle Kodierung auf Basis von ViT wurde als Push-Forward-Abbildung neu gefasst, wobei eine zerlegte Transportkosten (Präzision und Abdeckung) abgeleitet wurden, die die beobachteten Instabilitäten erklären.
3. Label-freies Routing und Foveation: Entwicklung eines vollständig nachgelagert-label-freien Entscheidungskriteriums ($TE(x)$) und eines Patch-level-Verfeinerungsmechanismus (Foveation), die beide vom selben Kostenmodell abgeleitet sind.
4. Empirische Validierung: Validierung des Frameworks an 24 NLP-Datensätzen unter Verwendung des Qwen3-4B-Backbones. Es zeigt sich, dass die label-freie Regel in 70,8 % der Datensätze mit dem pro-Datensatz-Oracle übereinstimmt und die makro-durchschnittliche Punktzahl gegenüber einer reinen LLM-Baseline verbessert, während der Token-Verbrauch reduziert wird.

Ergebnisse

Evaluiert an 24 NLP-Benchmarks (umfassend Verständnis, Reasoning und Generierung) unter Verwendung von Qwen3-4B:

• Routing-Leistung: Die label-freie Routing-Regel wählte den optimalen Pfad (Text vs. visuell) korrekt für 17 von 24 Datensätzen (70,8 %) aus und entsprach damit der Leistung eines überwachten Orakels, das die Ground Truth kennt.
• Leistungssteigerungen: Die geroutete Strategie erzielte eine +1,5 Punkte Steigerung der makro-durchschnittlichen Punktzahl (+3,3 % relativ) im Vergleich zu einer reinen LLM-Baseline.
• Effizienz: Die geroutete Strategie verwendete 10,3 % weniger durchschnittliche Eingabe-Token als die reine LLM-Baseline.
• Foveation: Lokale Foveation verbesserte die Punktzahl des visuellen Pfads im Durchschnitt um +0,4 Punkte, wobei die Gewinne auf Aufgaben konzentriert waren, bei denen spezifische hochkostige Regionen kritische Evidenz trugen (z. B. Multi-Hop-Fragebeantwortung).
• Skalen- und Architekturübergreifend: Die qualitativen Muster hielten über Skalen von 4B, 8B und 32B hinweg. Die architekturübergreifende Validierung mit InternVL3.5 bestätigte, dass die aufgabenabhängige Lücke zwischen visuell und textbasiert eine strukturelle Eigenschaft des Transportprozesses ist und kein Artefakt einer spezifischen Modellfamilie.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Widersprüche in der VTC-Leistung aus nicht-uniformen Transportkosten und nicht allein aus dem Kompressionsverhältnis resultieren. Durch die Modellierung des visuellen Encoders als Push-Forward-Abbildung liefern die Autoren eine strukturelle Erklärung für Informationsverlust, die:

• Erklärend ist: Sie zerlegt Fehlermodi in Präzisionskosten (innerhalb von Patches) und Abdeckungskosten (über Patches hinweg).
• Operational ist: Sie liefert eine praktische, label-freie Routing-Regel und einen Verfeinerungsmechanismus (Foveation), die dieselben zugrundeliegenden Kostenparameter teilen.
• Diagnostisch ist: Sie identifiziert, wann visuelle Kompression vertrauenswürdig ist und wann sie vermieden oder repariert werden sollte.

Die Autoren stellen ausdrücklich klar, dass sie keine State-of-the-Art-Ergebnisse auf einzelnen Benchmarks oder eine universelle Lösung für alle VTC-Szenarien beanspruchen. Stattdessen ist der Beitrag ein transportbasiertes Diagnoseframework, das den Fokus von „wie viele Token gespart werden" auf „welche aufgabenrelevanten Informationen verloren gehen" verlagert und einen prinzipiellen Ausgangspunkt für zukünftige Forschung in der visuellen Textkompression bietet. Das Framework wird als Werkzeug präsentiert, um die Trade-offs von VTC zu diagnostizieren und zu managen, nicht als Ersatz für alle textbasierten Verarbeitungen.