Resumo Técnico: Estrutura sobre Pixels: Aprendendo Programas Visuais de Comprimento Variável

Declaração do Problema

As redes neurais profundas atuais se destacam em tarefas de visão computacional, mas produzem representações que são frequentemente verbosas, distribuídas e difíceis de inspecionar ou validar. Embora os tokenizadores visuais discretos (DVTs) ofereçam um caminho para descrições estruturadas de cenas, mapeando imagens em sequências ordenadas de códigos discretos, as abordagens existentes sofrem com duas limitações principais:

1. Comprimento Fixo do Programa: A maioria dos DVTs (por exemplo, VQ-VAE, VQGAN e tokenizadores 1D recentes) impõe uma grade espacial fixa ou um número fixo de slots latentes por imagem. Isso desacopla o "orçamento de código" da complexidade visual real da cena, violando princípios como a navalha de Occam e o comprimento mínimo de descrição.
2. Treinamento Centrado em Pixels: Os DVTs padrão são tipicamente treinados com perdas de reconstrução em nível de pixel. Essa ênfase na fidelidade frequentemente força o modelo a desperdiçar capacidade na captura de características texturais de baixo nível, em vez de estrutura semântica ou geométrica de alto nível.

Além disso, os métodos existentes que permitem tokenização de comprimento variável frequentemente dependem de busca post-hoc, roteamento no momento da inferência ou conjuntos discretos de taxas pré-treinadas, em vez de aprender um comprimento de sequência contínuo, por imagem, acoplado diretamente ao modelo e ao conteúdo da cena.

Metodologia: STROP

Os autores propõem o STROP (Estrutura sobre Tokens), uma arquitetura de tokenizador visual discreto projetada para formar representações estruturadas de cenas enquanto aprende simultaneamente o comprimento ótimo do programa visual de uma imagem.

Arquitetura

O STROP compreende cinco etapas principais:

1. Codificador Congelado: Um codificador ViT DINOv3 congelado extrai características por patch da imagem de entrada.
2. Gerador de Programa: Um transformer apenas de codificador processa as características de patch acrescidas de uma sequência de tokens de consulta aprendíveis. Uma máscara causal garante que os tokens de consulta atendam apenas a consultas anteriores e características de origem, gerando uma sequência de programa bruta $Z_p$.
3. Quantização Vetorial: O programa bruto é projetado em um espaço de baixa dimensão e quantizado contra um livro de códigos fixo ($|CB|=1024$) via busca por vizinho mais próximo, produzindo tokens discretos.
4. Cabeça de Comprimento: Um MLP leve prevê o comprimento ativo do programa ($\hat{L}$) diretamente a partir das características do codificador. Isso permite que o modelo determine quanto da sequência expor sem amostragem autoregressiva.
5. Interpretador: Um transformer espelhado apenas de codificador expande o programa truncado (prefixo de comprimento $\hat{L}$) de volta para uma grade de características espaciais. Essa grade é então passada para um decodificador convolucional.

Objetivo de Treinamento e Currículo

Diferentemente dos tokenizadores tradicionais, o STROP contorna os gradientes de reconstrução em nível de pixel para moldar o livro de códigos. Em vez disso, todo o sinal de treinamento é derivado de características de patch DINOv3 congeladas via destilação de características. A função de perda combina alinhamento latente (similaridade de cosseno e MSE contra características do professor), perda de compromisso e um regularizador de diversidade.

Para permitir o truncamento adaptativo, o STROP emprega um currículo de quatro fases:

• Fase 1 (Truncamento Aleatório): O modelo treina em programas truncados aleatoriamente para forçar conteúdo informativo a ser carregado nos tokens iniciais.
• Fase 2 (Estimativa do Oráculo): O sistema estima comprimentos de "oráculo" para cada amostra analisando erros de reconstrução e inclinações locais da curva taxa-distorção.
• Fase 3 (Treinamento Supervisionado): A cabeça de comprimento é treinada para prever esses alvos de oráculo enquanto o truncamento permanece aleatório, garantindo aprendizado estável.
• Fase 4 (Transferência): A cabeça de comprimento treinada é gradualmente implantada para controlar o truncamento, transitando de comprimentos aleatórios para comprimentos auto-previstos.

Na inferência, a cabeça de comprimento prevê $\hat{L}$, e o programa é truncado rigidamente a esse comprimento antes da decodificação. Um decodificador de pixels desconectado serve apenas como uma camada de inspeção, garantindo que o livro de códigos seja moldado inteiramente pela qualidade das representações latentes de alto nível.

Contribuições Principais

O artigo descreve quatro contribuições concretas:

1. Programas Visuais de Comprimento Variável: O STROP supervisiona o comprimento do programa por imagem usando sondas locais de taxa-distorção e um currículo de prefixo, permitindo que a contagem de tokens cresça com a complexidade da cena.
2. Tokenizador Simples Gerador–Interpretador: A arquitetura usa dois transformers apenas de codificador com consultas aprendíveis para escrever e ler códigos VQ ordenados causalmente, guiados pela destilação de características DINOv3.
3. Sondas de Pixel sem Treinamento de Pixel: Ao usar um decodificador de pixels desconectado, o método trata as reconstruções como uma superfície de inspeção, impedindo que gradientes de pixel moldem o livro de códigos e priorizando a qualidade representacional sobre a textura.
4. Avaliação de Representação e Estrutura: Os autores fornecem uma avaliação abrangente de compensações taxa-qualidade, desempenho em tarefas densas subsequentes e evidências de estrutura composicional através da reutilização de códigos e ancoragem espacial.

Resultados

Alinhamento Latente e Compressão

O STROP alcança forte alinhamento com características DINOv3 congeladas. No conjunto de dados COCO, a variante DINO-S/STROP-S alcança uma similaridade de cosseno de 0,855 e $R^2$ de 0,734. O modelo comprime tensores de características de tamanho variável em uma sequência adaptativa de no máximo 64 códigos discretos, alcançando razões de compressão no pior caso variando de $\sim$4.900$\times$ a $\sim$13.100$\times$, dependendo do backbone.

Desempenho em Tarefas Subsequentes

Quando representações STROP congeladas são usadas para tarefas subsequentes via sondas lineares:

• Segmentação Semântica: O STROP supera consistentemente tokenizadores adaptativos prontos para uso (FlexTok, One-D-Piece) em VOC, COCO-Stuff-27 e ADE20K. Por exemplo, a representação latente DINO-B/STROP-S alcança 67,5 mIoU no VOC, superando significativamente o FlexTok (48,4 mIoU).
• Classificação Multi-rótulo: O STROP iguala ou excede marginalmente o professor DINO congelado e supera o FlexTok em aproximadamente 10 pontos de mAP média em média.
• Estimativa de Profundidade: O STROP preserva conteúdo relevante para a tarefa de estimativa de profundidade, embora fique atrás dos modelos professores mais fortes.

Análise Estrutural

• Correlação de Complexidade: O comprimento do programa correlaciona-se fortemente com a complexidade da cena. No CLEVR, o comprimento do programa ativo mostra uma correlação de Pearson de $r \approx 0,74$ com a contagem real de objetos.
• Estrutura Composicional: Diagnósticos de apagamento de tokens revelam que tokens individuais do programa atuam como "alças" espacialmente coerentes sobre a cena. Sinergias pareadas de tokens alinham-se com regiões semânticas, sugerindo o surgimento de uma gramática visual aprendida.
• Decodificação por LLM: LLMs de fronteira (Qwen3.5, DeepSeek-V3.1) podem decodificar layouts espaciais grosseiros (contagem e posições de objetos) a partir das sequências de códigos, mas falham em vincular tokens a atributos específicos (cor, material) de forma confiável, indicando que o livro de códigos expõe o layout, mas ainda não a vinculação de atributos totalmente transparente.

Significado e Limitações

O artigo afirma que o STROP demonstra que programas visuais de comprimento variável podem ser aprendidos de ponta a ponta sem busca post-hoc, adaptando efetivamente o "orçamento de código" à complexidade da cena. Ao desacoplar o treinamento da reconstrução de pixels, o modelo prioriza a fidelidade estrutural e semântica, resultando em representações altamente eficazes para tarefas subsequentes e que exibem sinais de estrutura composicional.

No entanto, os autores permanecem modestos sobre o estado atual do sistema:

• Lacuna de Legibilidade: Sondagens diretas em tokens quantizados brutos performam pior do que sondagens no campo interpretado, sugerindo que o programa é melhor visto como uma representação intermediária executável em vez de uma característica linear pronta para uso.
• Vinculação de Atributos: O livro de códigos ainda não codifica de forma confiável atributos discretos (cor, material) para modelos de linguagem, limitando sua utilidade como uma interface simbólica totalmente transparente.
• Especificidade de Tarefa: Embora o STROP supere as linhas de base na maioria dos benchmarks, ele fica atrás do FlexTok no conjunto de dados Cityscapes, provavelmente devido à natureza densa e de alta granularidade das cenas de rua, que podem se beneficiar de decodificação consciente de pixels.

O trabalho posiciona o STROP como um passo em direção a representações estruturais principistas, com trabalho futuro sugerido na escalabilidade da capacidade do livro de códigos, desenvolvimento de protocolos de sondagem nativos de programas e alinhamento de identidades de código com sinais de legendagem para melhorar a vinculação de atributos.