Resumo Técnico: Além da Última Camada: Fusão de Representações Multicamada para Tokenização Visual

1. Declaração do Problema

Os tokenizadores visuais mais avançados atuais, particularmente aqueles que aproveitam Modelos Fundamentais de Visão (VFMs) pré-treinados congelados, como o DINOv2, como backbones, sofrem de um gargalo crítico de informação de camada única. Os métodos existentes extraem exclusivamente características da última camada do codificador para definir o espaço latente. Embora essas características da última camada sejam otimizadas para semânticas de alto nível, elas descartam sistematicamente detalhes visuais de baixo nível (texturas, bordas, gradientes de cor) por meio de abstração semântica progressiva.

Análises recentes indicam que informações de baixo nível sobrevivem na camada final apenas como resíduos atenuados por meio de conexões residuais passivas, tornando-se cada vez mais com perdas a cada camada sucessiva. Consequentemente, tokenizadores de camada única descartam a rica informação hierárquica distribuída entre as camadas intermediárias, limitando tanto a fidelidade de reconstrução quanto a qualidade da geração a jusante. Além disso, permanece uma questão em aberto se o aumento da "riqueza de representação" de tokenizadores visuais segue uma lei de escalabilidade previsível análoga à escalabilidade do tamanho do vocabulário em tokenizadores de PLN.

2. Metodologia: DRoRAE

Os autores propõem o DRoRAE (Autoencoder de Representação Roteado por Profundidade), um módulo de fusão leve projetado para agregar características de todas as camadas do codificador, mantendo compatibilidade com decodificadores congelados e modelos generativos a jusante.

Arquitetura Central

O DRoRAE insere um módulo de fusão treinável entre o backbone VFM congelado e o decodificador. O processo envolve três mecanismos principais:

1. Especialistas por Camada: Cada uma das $L$ camadas do codificador está associada a uma rede especialista dedicada (um MLP de duas camadas). Esses especialistas projetam características heterogêneas de camadas em uma escala comum, normalizada pela normalização de camadas do backbone para lidar com disparidades de variância.
2. Roteamento Constrained por Energia: Ao contrário da mistura padrão de especialistas (MoE) que usa normalização softmax, o DRoRAE emprega um mecanismo de roteamento constrained por energia. Uma rede roteadora produz pesos por token em todas as camadas. Crucialmente, essa formulação permite pesos negativos, permitindo que o roteador suprima ativamente contribuições de camadas prejudiciais (remoção de ruído) em vez de apenas selecionar vencedores. A saída é normalizada pela norma $\ell_2$ do vetor de pesos para limitar a energia de saída.
3. Correção Incremental: Em vez de substituir a saída original da última camada ($z_{base}$) pela representação fundida ($z_{fuse}$), o DRoRAE formula a saída como uma correção incremental:
   $$z_{final} = LN_{bb}(z_{base} + \beta \cdot (z_{fuse} - z_{base}))$$
   Aqui, $\beta$ controla a força da fusão. Essa formulação residual garante que o latente fundido permaneça ancorado à distribuição original, prevenindo desvios arbitrários que poderiam quebrar a compatibilidade com a geração a jusante.

Estratégia de Treinamento Desacoplada em Três Fases

Para abordar o desafio de deslocar a distribuição latente do que um decodificador congelado espera, os autores propõem uma estratégia de treinamento progressiva:

• Fase 1 (Treinamento do Decodificador): Treinar o decodificador na linha de base RAE de camada única padrão para estabelecer uma forte "capacidade de decodificação" e definir a distribuição alvo.
• Fase 2 (Treinamento do Módulo de Fusão): Congelar o backbone e o decodificador da Fase 1. Treinar apenas o módulo de fusão. O decodificador congelado atua como uma restrição distribucional implícita, forçando o módulo de fusão a aprender informações complementares que o decodificador já pode inverter, prevenindo desvios de distribuição.
• Fase 3 (Ajuste Fino do Decodificador): Congelar o módulo de fusão otimizado e desbloquear o decodificador. Ajustar finamente o decodificador para explorar totalmente o espaço latente enriquecido, maximizando a qualidade de reconstrução sem prejudicar a geração.

3. Contribuições Principais

1. Identificação do Gargalo: O artigo identifica que os autoencoders de representação existentes descartam informação visual hierárquica ao dependerem exclusivamente da última camada do codificador, onde detalhes de baixo nível são meramente resíduos atenuados.
2. Arquitetura DRoRAE: Um módulo de fusão roteado por profundidade leve (~29M parâmetros) que agrega adaptativamente todas as camadas do codificador por meio de roteamento constrained por energia (permitindo pesos negativos) e correção incremental.
3. Estratégia de Treinamento: Um protocolo de treinamento desacoplado em três fases que garante compatibilidade com geração ao aprender fusão sob a restrição de um decodificador congelado antes de co-adaptar o decodificador.
4. Descoberta de Lei de Escalabilidade: O artigo estabelece uma lei de escalabilidade log-linear ($R^2=0.86$) entre a capacidade de fusão (definida pela capacidade do especialista e número de camadas fundidas) e a qualidade de reconstrução. Isso identifica a "riqueza de representação" como uma nova dimensão previsivelmente escalável para tokenizadores visuais, análoga ao tamanho do vocabulário em PLN.

4. Resultados Experimentais

Os experimentos foram conduzidos no ImageNet-256 (256x256) para reconstrução e geração condicional a classes, e no CC12M-LLaVA-Next para síntese de texto para imagem.

• Reconstrução: O DRoRAE melhora significativamente as métricas de reconstrução sobre a linha de base RAE. O rFID cai de 0,57 para 0,29, o PSNR aumenta de 18,8 para 24,32 dB, e o LPIPS melhora de 0,256 para 0,134.
• Geração Condicional a Classes: Usando um gerador DiTDH-XL com AutoGuidance, o DRoRAE melhora o FID de geração (gFID) de 1,74 para 1,65, mantendo ou melhorando ligeiramente o Inception Score (IS) e Precisão/Recall.
• Síntese de Texto para Imagem: Os ganhos transferem-se para tarefas de texto para imagem, com o DRoRAE alcançando pontuações GenEval comparáveis ou ligeiramente melhores (0,60 vs. 0,56 para RAE) em dimensões de objeto, contagem e espacial.
• Estudos de Ablação:
  • Roteamento Constrained por Energia: Supera o roteamento softmax ao permitir a supressão ativa de camadas ruidosas.
  • Correção Incremental: Essencial para compatibilidade de geração; sem ela, a reconstrução melhora ligeiramente, mas a perda de treinamento de difusão a jusante aumenta significativamente, indicando incompatibilidade de distribuição.
  • Estratégia de Treinamento: O treinamento conjunto sem a restrição da Fase 2 falha em alcançar a mesma qualidade de geração, confirmando a necessidade da abordagem desacoplada.

5. Significado e Alegações

O artigo alega que o DRoRAE demonstra que a fusão multicamada é uma atualização prática e eficaz para tokenizadores baseados em representação, recuperando detalhes de alta frequência perdidos na extração de camada única.

Um significado primário deste trabalho é a descoberta de uma lei de escalabilidade previsível para tokenizadores visuais. Ao mostrar que aumentar o "orçamento de representação" (por meio de mais camadas fundidas ou maiores capacidades de especialistas) produz melhorias log-lineares na qualidade de reconstrução, os autores argumentam que a riqueza de representação é uma dimensão escalável comparável ao tamanho do vocabulário em PLN. Isso sugere que melhorias futuras na tokenização visual podem ser sistematicamente colhidas escalando a capacidade de fusão, em vez de depender exclusivamente de mudanças arquitetônicas ou conjuntos de dados maiores.

O trabalho conclui que, embora os experimentos atuais utilizem DINOv2-B, a metodologia é generalizável para codificadores maiores e potencialmente para tokenização de vídeo, posicionando a fusão multicamada como uma direção fundamental para aprimorar sistemas de geração visual.