Pixels for Programs? A Cross-Provider Case Study of Input-Token Accounting for Source Code as Text and Images

Resumo Técnico: Pixels para Programas? Um Estudo de Caso Multi-Provedor de Contabilidade de Tokens de Entrada para Código-Fonte como Texto e Imagens

Definição do Problema
Contextos de código-fonte longos frequentemente excedem os limites de tokens dos modelos de linguagem, motivando propostas para renderizar o código como imagens para modelos de linguagem e visão (VLMs). Embora pesquisas recentes investiguem se os modelos conseguem resolver tarefas de codificação após essa transformação, uma questão sistêmica crítica permanece sem resposta: como os provedores de API comerciais contabilizam as requisições resultantes? Especificamente, não está claro como a contabilidade de tokens de entrada muda quando o código é transmitido como texto bruto versus imagens renderizadas compactas, como essa relação escala com o comprimento da fonte e se a "compressão visual" oferece uma redução líquida nos tokens relatados entre diferentes provedores e aliases de modelos.

Metodologia
O estudo emprega um protocolo de medição de caixa-preta reprodutível para comparar a contabilidade de tokens de entrada entre três grandes provedores: Anthropic, OpenAI e Google Vertex AI.

• Corpus: O conjunto de dados consiste em cinco arquivos de origem com revisão fixada (Python, JavaScript, Rust, Go e Java) de projetos de código aberto proeminentes. Esses arquivos são fatiados em nove prefixos aninhados, variando de 20 a 2.000 linhas.
• Tratamento (Imagem Compacta): O braço de imagem aplica uma transformação de dois estágios:
  1. Compressão de Indentação: Espaços à esquerda são substituídos por marcadores compactos (ex: > para recuos de 4 espaços, ^N para sequências irregulares).
  2. Renderização: O texto transformado é renderizado como páginas PNG.
• Design Experimental: Para cada tamanho de fonte e linguagem, pares de requisições são enviados para 15 aliases de modelos disponíveis (4 Anthropic, 6 OpenAI, 5 Gemini). Ambos os braços incluem uma instrução de sumarização de uma única frase ("Resuma o que este código faz em uma frase").
• Métricas: A métrica primária é a razão entre os tokens de entrada de imagem reportados pelo provedor ($I$) e os tokens de entrada de texto ($T$). O estudo reporta razões agregadas ponderadas (somando todos os tokens do conjunto de dados) e razções estratificadas por tamanho para identificar pontos de equilíbrio (break-even).
• Restrições: O estudo isola explicitamente a contabilidade de tokens da fidelidade semântica, precisão da tarefa, latência, custo monetário ou eficiência de agentes de codificação. Não afirma que os tokens de imagem são computacionalmente equivalentes aos tokens de texto.

Contribuições Principais

1. Artefato Reprodutível: Um conjunto de dados de 1.350 chamadas de API bem-sucedidas e 675 pares completos de texto/imagem, incluindo registros de uso brutos, validadores e scripts de análise determinísticos.
2. Medições Estratificadas por Tamanho: Evidência empírica mostrando que a redução de tokens não é uniforme; ela varia significamente conforme o comprimento da fonte e o provedor.
3. Auditoria de Modalidade: Uma investigação direcionada revelando comportamento não monotônico na contabilidade de imagens, especificamente em limites de página.
4. Limite de Validade: Uma demarcação clara entre métricas de contagem de tokens e preservação de informação, evitando a confusão de "menos tokens" com "melhor desempenho" ou "menor custo".

Resultos

• Reduções Agregadas: Em todo o benchmark, as imagens compactas recebem significativamente menos tokens de entrada reportados do que o texto bruto:
  • Anthropic: 0,135 de razão (redução de 86,5%).
  • OpenAI: 0,194 de razão (redução de 80,6%).
  • Gemini: 0,242 de razão (redução de 75,8%).
• Comportamento de Ponto de Equilíbrio (Break-Even): As razões agregadas ocultam diferenças críticas de escala:
  • Anthropic e OpenAI: As entradas de imagem recebem contagens de tokens menores do que o texto em todos os tamanhos testados (20 a 2.000 linhas).
  • Gemini: Imagens incorrem em um overhead massivo para contextos curtos. Em 20 linhas, as imagens do Gemini exigem 6,95 vezes mais tokens do que o texto. A abordagem de imagem só se torna vantajosa (cruzando abaixo da paridade) em 200 linhas.
• Aliases de Modelos: Dentro dos provedores, muitos aliases de modelos compartilham assinaturas de contabilidade idênticas (ex: todos os seis modelos da OpenAI no estudo retornaram razões agregadas idênticas), sugerindo regras de contabilidade interna compartilhadas em vez de comportamentos de modelos independentes.
• Não Monotonicidade: Uma auditoria direcionada ao Gemini revelou que a contagem de tokens de imagem reportada pode mudar de forma não monotônica em limites de página. Por exemplo, aumentar a fonte de 800 para 1.200 linhas (adicionando uma segunda página) resultou em uma diminuição nos tokens de imagem reportados para um modelo, contradizendo a expectativa de que as contagens de tokens escalam linearmente com o conteúdo.

Significância e Alegações
O artigo alega que, embora a renderização de imagem compacta possa reduzir drasticamente os tokens de entrada reportados para contextos longos, o benefício é altamente condicional:

1. Especificidade do Provedor: Não existe uma vantagem universal de "compressão visual". Provedores como o Gemini exibem custos fixos elevados que tornam as imagens contraproducentes para contextos curtos.
2. Implicações de Roteamento: Um sistema de automação (coding harness) não pode confiar em uma política global de "enviar código como imagens". Em vez disso, a lógica de roteamento deve ser calibrada por provedor e tamanho de fonte, potencialmente retornando ao texto para contextos curtos ou quando limites de página introduzem descontinuidades.
3. Limitações das Contagens de Tokens: O estudo enfatiza que uma redução nos tokens reportados não implica conteúdo de informação equivalente, menor custo monetário ou menor computação. Marcadores de indentação podem ser mal decodificados e a rasterização pode obscurecer pontuação ou estrutura.
4. Trabalhos Futuros: Os autores posicionam este estudo como uma "superfície de medição" sobre a qual pesquisas futuras podem construir. Eles argumentam que o próximo passo necessário é cruzar a representação com a qualidade da tarefa (ex: transcrição exata, localização de defeitos) para determinar se a economia de tokens se traduz em utilidade real de codificação.

O artigo conclui que o código renderizado compacto é uma estratégia viável para contabilidade de tokens em regimes específicos (contextos longos, provedores específicos), mas requer calibração cuidadosa e específica por provedor, além de validação adicional quanto à fidelidade da informação.