Resumo Técnico: Compressão de Texto Visual como Transporte de Medida

Enunciado do Problema

A Compressão de Texto Visual (VTC) emergiu como uma estratégia para processamento de contexto longo, convertendo texto em imagens e recodificando-as por meio de Modelos Visão-Linguagem (VLMs). Esta abordagem frequentemente alcança compressão significativa de tokens (3–20× menos tokens do que a tokenização por subpalavras). No entanto, resultados empíricos mostram que a economia de tokens não prevê a utilidade downstream. Em algumas tarefas (por exemplo, QA multi-hop), o caminho visual supera os Modelos de Linguagem de Grande Escala (LLMs) baseados apenas em texto, enquanto em outras (por exemplo, raciocínio lógico, QA estilo cloze), o desempenho colapsa. Benchmarks existentes documentam essas instabilidades, mas carecem de uma medida principista para prever quando a codificação visual preserva informações relevantes para a tarefa e quando a descarta. O problema central é que a taxa de compressão é meramente uma estatística de eficiência, não um preditor de perda de informação.

Metodologia

Os autores formulam a VTC na linguagem do transporte de medida. Eles tratam tokens de texto e tokens visuais como medidas de probabilidade empíricas. O pipeline de renderização e codificação é modelado como um mapa de empurrão ($T\#$) induzido pelo codificador de patches do Vision Transformer (ViT). Este mapa transforma unidades textuais localizadas em suportes de tokens visuais mais grosseiros, alterando a geometria na qual o raciocínio downstream ocorre.

1. Decomposição do Custo de Transporte

O artigo argumenta que o mapa de empurrão induz uma perda de informação relevante para a tarefa que se decompõe em dois custos distintos:

• Custo de Precisão ($\Delta_{intra}$): Decorrente da agregação dentro do patch. O ViT funde distinções lexicais de alta granularidade (por exemplo, "2023" vs. "2024") em um único embedding de patch, prejudicando tarefas que exigem fidelidade lexical exata.
• Custo de Cobertura ($\Delta_{inter}$): Decorrente da fragmentação entre patches. Evidências distribuídas entre diferentes patches ou páginas devem ser recompostas via atenção espacial 2D, em vez da estrutura posicional nativa 1D do texto, enfraquecendo a integração de evidências de longo alcance.

2. Proxy Livre de Rótulos Downstream ($C(x)$)

Para operacionalizar essa teoria sem exigir rótulos downstream durante a inferência, os autores derivam uma função de custo proxy $C(x)$:
$$C(x) = \alpha \cdot W(x) + \beta \cdot L(x) \cdot (1 - TRR(x))$$

• $W(x)$ (Característica de Precisão): Mede a sensibilidade a distinções ao nível de token com base no formato de resposta da tarefa (por exemplo, extrativa vs. classificação). Estimada a partir de especificações da tarefa, não de rótulos de dados.
• $L(x)$ (Característica de Cobertura): Mede a dispersão de evidências relevantes para a tarefa através da entrada, estimada via pontuações de relevância BM25 entre perguntas e segmentos de texto.
• $TRR(x)$ (Taxa de Redundância de Texto): Estimada via taxa de compressão gzip para descontar informações redundantes que amortizam a perda por fragmentação.
• $\alpha, \beta$: Escalares específicos do modelo estimados por meio de sondas sintéticas, livres de rótulos downstream.

3. Eficiência de Transporte (TE) e Roteamento

Os autores definem uma pontuação de Eficiência de Transporte (TE) para equilibrar a sobrevivência da informação contra os benefícios da compressão:
$$TE(x) = ISR(x) \cdot VCR(x) = (1 + \gamma - C(x)) \cdot VCR(x)$$

• $VCR(x)$: Taxa de Compressão Visual (tokens de texto / tokens visuais).
• $\gamma$: Um bônus de formato estruturado para entradas onde a renderização preserva o layout 2D (por exemplo, tabelas) que sequências planas de tokens não conseguem expressar.
• Regra de Roteamento: Selecionar o caminho visual se $TE(x) \ge \tau$ (onde $\tau$ é um limiar fixo), caso contrário, usar o caminho de texto. Esta decisão é tomada sem consultar rótulos downstream.

4. Foveação Informada por Transporte

Para entradas roteadas para o caminho visual, o framework aplica foveação para reparar localmente regiões de alto custo. Calcula-se um custo ao nível de patch $C_q$ e re-codifica-se seletivamente patches de alto custo em resolução mais alta. Isso atua como um inverso localizado do mapa de empurrão, acionado apenas quando a informação recuperada supera o custo em tokens.

Principais Contribuições

1. Análise de Instabilidade Dependente da Tarefa: Demonstrou que o desempenho da VTC é altamente não uniforme em benchmarks de PLN e que a taxa de compressão sozinha não pode prever a utilidade.
2. Formulação de Transporte de Medida: Reenquadrou a codificação visual baseada em ViT como um mapa de empurrão, derivando um custo de transporte decomposto (precisão e cobertura) que explica as instabilidades observadas.
3. Roteamento e Foveação Livres de Rótulos: Desenvolveu um critério de decisão totalmente livre de rótulos downstream ($TE(x)$) e um mecanismo de refinamento ao nível de patch (foveação) derivados do mesmo modelo de custo.
4. Validação Empírica: Validou o framework em 24 conjuntos de dados de PLN usando o backbone Qwen3-4B, mostrando que a regra livre de rótulos corresponde ao oráculo por conjunto de dados em 70,8% dos conjuntos de dados e melhora a pontuação média macro sobre uma linha de base de LLM puro, reduzindo ao mesmo tempo o uso de tokens.

Resultados

Avaliado em 24 benchmarks de PLN (abrangendo compreensão, raciocínio e geração) usando Qwen3-4B:

• Desempenho de Roteamento: A regra de roteamento livre de rótulos selecionou corretamente o caminho ótimo (texto vs. visual) para 17 dos 24 conjuntos de dados (70,8%), correspondendo ao desempenho de um oráculo supervisionado que conhece a verdade fundamental.
• Ganhos de Desempenho: A estratégia roteada alcançou um aumento de +1,5 pontos na pontuação média macro (+3,3% relativo) em comparação com uma linha de base de LLM puro.
• Eficiência: A estratégia roteada utilizou 10,3% menos tokens de entrada em média do que a linha de base de LLM puro.
• Foveação: A foveação localizada melhorou a pontuação do caminho visual em +0,4 pontos em média, com ganhos concentrados em tarefas onde regiões específicas de alto custo carregavam evidências críticas (por exemplo, QA multi-hop).
• Cross-Escala e Cross-Arquitetura: Os padrões qualitativos mantiveram-se nas escalas 4B, 8B e 32B. A validação cross-arquitetura com InternVL3.5 confirmou que a lacuna dependente da tarefa entre visual e texto é uma propriedade estrutural do processo de transporte, e não um artefato de uma família de modelos específica.

Significado e Alegações

O artigo alega que as contradições no desempenho da VTC surgem de custo de transporte não uniforme e não apenas da taxa de compressão. Ao modelar o codificador visual como um mapa de empurrão, os autores fornecem uma conta estrutural de perda de informação que é:

• Explicativa: Decompõe modos de falha em custos de precisão (dentro do patch) e cobertura (entre patches).
• Operacional: Gera uma regra prática de roteamento livre de rótulos e um mecanismo de refinamento (foveação) que compartilham os mesmos parâmetros de custo subjacentes.
• Diagnóstica: Identifica quando a compressão visual é confiável e quando deve ser evitada ou reparada.

Os autores afirmam explicitamente não alegar resultados state-of-the-art em benchmarks individuais ou uma solução universal para todos os cenários de VTC. Em vez disso, a contribuição é um framework de diagnóstico baseado em transporte que desloca o foco de "quantos tokens são economizados" para "quais informações relevantes para a tarefa são perdidas", oferecendo um ponto de partida principista para pesquisas futuras em compressão de texto visual. O framework é apresentado como uma ferramenta para diagnosticar e gerenciar os trade-offs da VTC, em vez de um substituto para todo o processamento baseado em texto.