The Compression Gap: Why Discrete Tokenization Limits Vision-Language-Action Model Scaling

Título: A Lacuna de Compressão: Por que a Tokenização Discreta Limita a Escalabilidade de Modelos Visão-Linguagem-Ação (VLA)

Autor: Takuya Shiba (Shibattic Inc.)
Data: Abril de 2026 (Pré-impressão)

---

1. O Problema

A premissa central da escalabilidade em modelos de Visão-Linguagem-Ação (VLA) é que melhorar o codificador de visão (vision encoder) deve, inevitavelmente, melhorar o desempenho downstream na manipulação robótica. Em modelos de linguagem e visão-linguagem, upgrades em codificadores (ex: de ResNet para SigLIP) resultam consistentemente em melhor compreensão e geração.

No entanto, o artigo questiona se essa lógica se mantém para políticas de manipulação robótica, dependendo de como as ações são representadas. A hipótese é que, em certas arquiteturas, melhorias no codificador de visão podem ser "bloqueadas" por gargalos de informação posteriores no pipeline, tornando o upgrade ineficaz.

2. Metodologia e Conceito Teórico

O Princípio da Lacuna de Compressão (Compression Gap)

O autor introduz um princípio baseado na teoria da informação: o comportamento de escalabilidade de um sistema é governado pela localização do gargalo de informação mais apertado (binding bottleneck) ao longo do pipeline.

• Caminho Contínuo (ex: Diffusion Policy): O gargalo está no próprio codificador de visão. Melhorar o codificador amplia o fluxo de informação até a ação.
• Caminho Discreto (ex: OAT - Ordered Action Tokenization): O gargalo está na tabela de código (codebook) de tokenização. Mesmo que o codificador de visão forneça informações ricas, a quantização para um espaço discreto de capacidade fixa descarta o excesso de informação.

Configuração Experimental

O estudo utiliza uma abordagem controlada no benchmark LIBERO-10 (10 tarefas de manipulação) para isolar o efeito da representação de ação:

1. Variável Principal (Representação de Ação):
   • Discreta (OAT): Usa tokenização ordenada com Quantização Escalar Finita (FSQ). As ações contínuas são comprimidas em tokens discretos com uma capacidade fixa de ~80 bits (vocabulário de 1000 tokens, horizonte de 8).
   • Contínua (Diffusion Policy): Modela a distribuição de ação como um processo de remoção de ruído em espaço contínuo, sem etapas de quantização discreta.
2. Variável de Intervenção (Codificador de Visão):
   • Comparação entre ResNet-18 (codificador limitado, 64 dimensões) e SigLIP (codificador rico, 1152 dimensões, pré-treinado em escala web).
3. Variáveis de Controle:
   • Tamanho do Modelo (M e L) para descartar limitações de capacidade da rede neural.
   • Gradiente de Qualidade do Codificador (testando DINOv2 e SigLIP 2 além de ResNet/SigLIP).
   • Variação do Tamanho do Codebook (testando capacidades FSQ maiores para verificar causalidade).

3. Contribuições Principais

1. Identificação da "Lacuna de Compressão": Demonstra que a eficácia de escalar codificadores de visão depende criticamente da representação de ação. Em pipelines discretos, o ganho é bloqueado pela capacidade do codebook; em pipelines contínuos, o ganho é propagado integralmente.
2. Evidência Causal via Experimentos de Gargalo:
   • Prova que o gargalo não é a capacidade do modelo (policy backbone), mas sim a etapa de quantização.
   • Mostra que aumentar a capacidade do codebook em modelos discretos recupera parcialmente a sensibilidade à qualidade do codificador.
3. Conexão com Escalabilidade Multimodal: Estabelece uma analogia direta entre os resultados de escalabilidade em robótica e descobertas recentes em pré-treinamento multimodal (onde representações VAE saturam, enquanto codificadores semânticos continuam a escalar).

4. Resultados Chave

Os resultados foram validados através de três linhas de evidência:

A. Sensibilidade ao Codificador de Visão (Fatorial)

• Diffusion Policy (Contínuo): A atualização de ResNet-18 para SigLIP resultou em um aumento massivo no sucesso:
  • Tamanho M: +21,2% (36,4% $\to$ 57,6%).
  • Tamanho L: +26,0% (44,0% $\to$ 70,0%).
• OAT (Discreto): A mesma atualização produziu ganhos drasticamente atenuados:
  • Tamanho M: +3,6% (53,8% $\to$ 57,4%).
  • Tamanho L: +10,4% (48,0% $\to$ 58,4%).
• Conclusão: O upgrade de codificador é bloqueado pelo codebook de 80 bits no OAT, enquanto flui livremente no Diffusion Policy.

B. Gradiente de Qualidade do Codificador

• Ao testar quatro codificadores de qualidades variadas, o Diffusion Policy mostrou uma correlação monótona: melhor codificador = melhor desempenho.
• O OAT permaneceu "plano" (flat), com desempenho oscilando em uma faixa estreita independentemente da riqueza da representação visual upstream.
• Interseção Curiosa: Com codificadores fracos (ResNet), o OAT superou o Diffusion Policy. Com codificadores fortes (DINOv2/SigLIP), o Diffusion Policy superou o OAT em mais de 12 pontos percentuais, invertendo a vantagem inicial.

C. Variação do Tamanho do Codebook (Evidência Causal)

• Ao aumentar a capacidade do codebook do OAT (de 1000 para 4375 tokens), a sensibilidade à qualidade do codificador foi parcialmente recuperada.
• Com codebooks maiores, a diferença de desempenho entre ResNet e SigLIP no OAT aumentou, aproximando-se do comportamento do Diffusion Policy. Isso confirma que a capacidade de compressão é a causa raiz da insensibilidade, e não a tokenização em si.

5. Significado e Implicações

• Para a Escalabilidade de IA Física (Physical AI): O artigo alerta que simplesmente aumentar o tamanho do modelo ou dos dados não é suficiente. É crucial identificar onde estão os gargalos de informação. Se houver uma etapa de compressão com perda (lossy compression) com capacidade fixa, melhorias upstream serão desperdiçadas.
• Escolha de Arquitetura:
  • Para sistemas que dependem de codificadores de visão de última geração (foundation models), representações contínuas (como Diffusion Policy) são superiores, pois permitem que o pipeline explore toda a riqueza semântica.
  • Representações discretas (OAT) ainda têm valor para integração com LLMs e decodificação prefixada, mas exigem codebooks muito grandes ou arquiteturas híbridas para não se tornarem gargalos de escalabilidade.
• Futuro da Pesquisa: Sugere a necessidade de desenvolver codificadores de visão otimizados especificamente para a interação física (geometria de contato, affordances), já que os codificadores atuais (focados em semântica) podem não capturar todas as informações necessárias, mesmo em pipelines contínuos.

Conclusão

O artigo demonstra que a "Lacuna de Compressão" é uma propriedade estrutural fundamental. Em pipelines de ação discreta, o codebook atua como um gargalo rígido que impede a propagação de melhorias de codificadores de visão. Para escalar efetivamente a robótica com IA, é necessário remover ou expandir esses gargalos de compressão, permitindo que a informação flua continuamente do sensor para o atuador.