Résumé Technique : Compression de Texte Visuel comme Transport de Mesure

Énoncé du Problème

La Compression de Texte Visuel (VTC) est apparue comme une stratégie pour le traitement de contextes longs en rendant le texte sous forme d'images et en les ré-encodant via des Modèles Vision-Langage (VLM). Cette approche atteint souvent une compression significative des tokens (3 à 20 fois moins de tokens que la tokenisation par sous-mots). Cependant, les résultats empiriques montrent que les économies de tokens ne prédisent pas l'utilité en aval. Sur certaines tâches (par exemple, la question-réponse multi-sauts), le chemin visuel surpasse les Modèles de Langage à Grande Échelle (LLM) textuels uniquement, tandis que sur d'autres (par exemple, le raisonnement logique, la question-réponse de type cloze), les performances s'effondrent. Les benchmarks existants documentent ces instabilités mais manquent d'une mesure principielle pour prédire quand l'encodage visuel préserve les informations pertinentes pour la tâche et quand il les rejette. Le problème central est que le taux de compression n'est qu'une statistique d'efficacité, et non un prédicteur de perte d'information.

Méthodologie

Les auteurs formulent la VTC dans le langage du transport de mesure. Ils traitent les tokens textuels et les tokens visuels comme des mesures de probabilité empiriques. Le pipeline de rendu et d'encodage est modélisé comme une application image directe ($T\#$) induite par l'encodeur de patches du Vision Transformer (ViT). Cette application transforme des unités textuelles localisées en supports de tokens visuels plus grossiers, modifiant la géométrie dans laquelle le raisonnement en aval s'opère.

1. Décomposition du Coût de Transport

L'article soutient que l'application image directe induit une perte d'information pertinente pour la tâche qui se décompose en deux coûts distincts :

• Coût de Précision ($\Delta_{intra}$) : Provenant de l'agrégation au sein d'un patch. Le ViT fusionne des distinctions lexicales fines (par exemple, "2023" vs "2024") en un seul embedding de patch, nuisant aux tâches nécessitant une fidélité lexicale exacte.
• Coût de Couverture ($\Delta_{inter}$) : Provenant de la fragmentation entre les patches. Les preuves distribuées sur différents patches ou pages doivent être recomposées via une attention spatiale 2D plutôt que par la structure positionnelle native 1D du texte, affaiblissant l'intégration des preuves à longue portée.

2. Proxy Sans Étiquette en Aval ($C(x)$)

Pour opérationnaliser cette théorie sans nécessiter d'étiquettes en aval lors de l'inférence, les auteurs dérivent une fonction de coût proxy $C(x)$ :
$$C(x) = \alpha \cdot W(x) + \beta \cdot L(x) \cdot (1 - TRR(x))$$

• $W(x)$ (Caractéristique de Précision) : Mesure la sensibilité aux distinctions au niveau des tokens basée sur le format de réponse de la tâche (par exemple, extraction vs classification). Estimée à partir des spécifications de la tâche, et non des étiquettes de données.
• $L(x)$ (Caractéristique de Couverture) : Mesure la dispersion des preuves pertinentes pour la tâche à travers l'entrée, estimée via les scores de pertinence BM25 entre les questions et les segments de texte.
• $TRR(x)$ (Taux de Redondance Textuelle) : Estimé via le taux de compression gzip pour décompter les informations redondantes qui tamponnent la perte de fragmentation.
• $\alpha, \beta$ : Échelles spécifiques au modèle estimées via des sondes synthétiques sans étiquettes en aval.

3. Efficacité de Transport (TE) et Routage

Les auteurs définissent un score d'Efficacité de Transport (TE) pour équilibrer la survie de l'information contre les bénéfices de la compression :
$$TE(x) = ISR(x) \cdot VCR(x) = (1 + \gamma - C(x)) \cdot VCR(x)$$

• $VCR(x)$ : Taux de Compression Visuel (tokens textuels / tokens visuels).
• $\gamma$ : Un bonus de format structuré pour les entrées où le rendu préserve la mise en page 2D (par exemple, les tableaux) que les séquences de tokens plates ne peuvent exprimer.
• Règle de Routage : Sélectionner le chemin visuel si $TE(x) \ge \tau$ (où $\tau$ est un seuil fixe), sinon utiliser le chemin textuel. Cette décision est prise sans consulter les étiquettes en aval.

4. Foveation Informée par le Transport

Pour les entrées routées vers le chemin visuel, le cadre applique une fovéation pour réparer localement les régions à haut coût. Il calcule un coût au niveau du patch $C_q$ et ré-encode sélectivement les patches à haut coût à une résolution plus élevée. Cela agit comme une inverse localisée de l'application image directe, déclenchée uniquement lorsque l'information récupérée l'emporte sur la surcharge de tokens.

Contributions Clés

1. Analyse d'Instabilité Dépendante de la Tâche : Démonstration que les performances de la VTC sont hautement non uniformes à travers les benchmarks de TAL et que le taux de compression seul ne peut prédire l'utilité.
2. Formulation par Transport de Mesure : Reformulation de l'encodage visuel basé sur le ViT comme une application image directe, dérivant un coût de transport décomposé (précision et couverture) qui explique les instabilités observées.
3. Routage et Fovéation Sans Étiquette : Développement d'un critère de décision entièrement sans étiquettes en aval ($TE(x)$) et d'un mécanisme de raffinement au niveau des patches (fovéation) dérivés du même modèle de coût.
4. Validation Empirique : Validation du cadre sur 24 jeux de données de TAL utilisant le socle Qwen3-4B, montrant que la règle sans étiquettes correspond à l'oracle par jeu de données sur 70,8 % des jeux de données et améliore le score moyen macro par rapport à une base de référence purement LLM tout en réduisant l'utilisation des tokens.

Résultats

Évalué sur 24 benchmarks de TAL (couvrant la compréhension, le raisonnement et la génération) utilisant Qwen3-4B :

• Performance de Routage : La règle de routage sans étiquettes a correctement sélectionné le chemin optimal (texte vs visuel) pour 17 jeux de données sur 24 (70,8 %), correspondant à la performance d'un oracle supervisé connaissant la vérité terrain.
• Gains de Performance : La stratégie routée a atteint une augmentation de +1,5 point du score moyen macro (+3,3 % relatif) par rapport à une base de référence purement LLM.
• Efficacité : La stratégie routée a utilisé 10,3 % de tokens d'entrée en moyenne en moins que la base de référence purement LLM.
• Fovéation : La fovéation localisée a amélioré le score du chemin visuel de +0,4 point en moyenne, avec des gains concentrés sur les tâches où des régions spécifiques à haut coût portaient des preuves critiques (par exemple, la question-réponse multi-sauts).
• Transversalité d'Échelle et d'Architecture : Les schémas qualitatifs ont été maintenus à travers les échelles 4B, 8B et 32B. La validation transversale des architectures avec InternVL3.5 a confirmé que l'écart visuel-vs-texte dépendant de la tâche est une propriété structurelle du processus de transport, et non un artefact d'une famille de modèles spécifique.

Signification et Revendications

L'article affirme que les contradictions dans les performances de la VTC découlent d'un coût de transport non uniforme plutôt que du taux de compression seul. En modélisant l'encodeur visuel comme une application image directe, les auteurs fournissent un compte rendu structurel de la perte d'information qui est :

• Explicatif : Il décompose les modes d'échec en coûts de précision (au sein du patch) et de couverture (entre les patches).
• Opérationnel : Il produit une règle de routage pratique sans étiquettes et un mécanisme de raffinement (fovéation) qui partagent les mêmes paramètres de coût sous-jacents.
• Diagnostique : Il identifie quand la compression visuelle est fiable et quand elle doit être évitée ou réparée.

Les auteurs déclarent explicitement ne pas revendiquer des résultats de l'état de l'art sur des benchmarks individuels ou une solution universelle pour tous les scénarios de VTC. Au lieu de cela, la contribution est un cadre diagnostique basé sur le transport qui déplace l'accent de "combien de tokens sont économisés" vers "quelles informations pertinentes pour la tâche sont perdues", offrant un point de départ principiel pour les recherches futures en compression de texte visuel. Le cadre est présenté comme un outil pour diagnostiquer et gérer les compromis de la VTC, plutôt que comme un remplacement de tout traitement basé sur le texte.