⚡ electrical engineering

Vertical Fusion: Condensing Internal Representations for Robust ViT Classification

Este artigo apresenta o VFusion, um método que agrega representações intermediárias dentro de Vision Transformers para recuperar amostras classificadas incorretamente e aumentar significativamente a robustez e a precisão, oferecendo uma alternativa eficiente às abordagens tradicionais de ensemble horizontal.

Autores originais: Francesco Di Salvo, Shyam Nandan Rai, Hamed Damirchi, Ignacio Meza De la Jara, Sebastian Doerrich, Marco Lents, Christian Ledig

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Francesco Di Salvo, Shyam Nandan Rai, Hamed Damirchi, Ignacio Meza De la Jara, Sebastian Doerrich, Marco Lents, Christian Ledig

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô superinteligente chamado Vision Transformer (ViT). É como uma biblioteca gigante de vários andares (ou "camadas") que lê uma imagem e escreve um pequeno relatório sobre o que vê. Normalmente, quando pedimos a este robô para identificar um gato ou um carro, apenas ouvimos o relatório escrito no último andar. Tratamos todos os andares abaixo como uma caixa preta, ignorando suas notas.

Mas e se o último andar errar? E se os outros andares já soubessem a resposta o tempo todo?

Esta é a grande questão que este artigo faz. Os pesquisadores descobriram que os "andares intermediários" do robô são incrivelmente úteis. Na verdade, eles descobriram que 18% a 76% das vezes em que o último andar falha, um dos andares inferiores acertou! Eles chamam isso de "recuperabilidade". É como ter uma equipe de detetives onde o detetive-chefe (a última camada) às vezes perde a pista, mas um detetive júnior (uma camada intermediária) a tem anotada em seu caderno.

O Grande Equívoco: Não é Sobre "Desacordo"

Você pode pensar: "Ah, então as camadas estão todas discutindo entre si, e é por isso que elas são boas?". O artigo diz que não, não é isso.

Normalmente, quando combinamos diferentes opiniões (como em um trabalho em grupo), esperamos que todos tenham perspectivas diferentes. Mas aqui, as camadas não estão discordando. Em vez disso, elas estão todas olhando para a mesma "verdade", mas com quantidades ligeiramente diferentes de ruído. O artigo mostra que as camadas agem como sondas redundantes e estáveis. Elas estão todas tentando lhe dizer a mesma coisa, mas algumas são apenas um pouco mais claras do que outras. A magia não está nelas lutando; está no fato de todas estarem segurando peças do mesmo quebra-cabeça.

A Solução: VFusion (O "Misturador Vertical")

Como o último andar não é perfeito, e os andares inferiores são ignorados, os autores construíram uma nova ferramenta chamada VFusion.

Pense no VFusion como um misturador inteligente que não apenas pega o relatório do último andar. Em vez disso, ele pega as notas de todos os andares (ou uma seleção inteligente deles), mistura tudo e usa um filtro especial para espremer o "ruído" e manter apenas o sinal claro e compartilhado. Ele cria um "token global" super denso que combina o melhor de todas as camadas.

Os resultados são impressionantes:

O VFusion supera a melhor camada individual em cerca de 1,9% em média.
Ele fecha 45% da lacuna entre a melhor camada individual e um "oráculo teórico" (uma pontuação perfeita onde você ganha um ponto se qualquer camada acertar).
Ele funciona ainda melhor quando as imagens são complicadas, como detalhes de grão fino (por exemplo, distinguir diferentes raças de carros ou pássaros) ou quando as imagens estão borradas ou distorcidas.

O Que Eles Descartaram

O artigo é muito claro sobre o que não funciona tão bem quanto o VFusion:

Apenas escolher a "melhor" camada: Você não pode simplesmente adivinhar qual andar é o mais inteligente e usar apenas aquele.
Média simples: Apenas tirar a média dos palpites de todas as camadas (como um voto simples) não funciona tão bem quanto a mistura inteligente do Vfusion.
Ensembles Horizontais: O artigo observa que, embora você pudesse treinar 10 robôs diferentes e deixá-los votar (uma equipe "horizontal"), isso é super caro e lento. O VFusion obtém resultados semelhantes ou melhores usando apenas um robô ao olhar dentro dele (uma abordagem "vertical"). Isso é enorme para campos como a imagem médica, onde você pode ter apenas um modelo pré-treinado disponível.

O Quão Certo Eles Estão?

Os autores não apenas chutaram; eles testaram isso em 16 conjuntos de dados diferentes (variando de dígitos simples a flores e carros complexos) e 5 conjuntos de dados com mudanças complicadas de "fora da distribuição" (onde as imagens parecem diferentes do que o robô foi treinado para ver).

Eles mediram que as camadas intermediárias recuperam de 18% a 76% dos erros.
Mostraram que o VFusion supera consistentemente outros métodos em diferentes tamanhos de modelos (Small, Base, Large) e estilos de treinamento (Supervisionado, Autossupervisionado, CLIP).
Eles até verificaram se funciona em tarefas de "grão fino" (como distinguir entre 100 tipos de pássaros) e descobriram que o VFusion brilha ali, melhorando a precisão em até 7,2% em alguns conjuntos de dados difíceis.

A Conclusão

O artigo sugere que temos estado a ignorar uma mina de ouro de informações dentro de nossos modelos de IA. Ao usar o VFusion, podemos transformar um único cérebro de robô congelado em um classificador super preciso sem precisar treinar um exército inteiro de robôs. É uma forma leve e eficiente de extrair cada gota de inteligência das camadas que já possuímos.

E a melhor parte? Isso não é apenas uma teoria. O código está disponível, e os resultados se sustentam em diferentes tipos de imagens e diferentes tamanhos de modelos. Acontece que a biblioteca inteira é mais inteligente do que apenas o bibliotecário no último andar.

Resumo Técnico: Fusão Vertical (VFusion) para Classificação Robusta de ViT

1. Definição do Problema

Os Vision Transformers (ViTs) alcançaram um desempenho de estado da arte em visão computacional, mas são predominantemente implantados como extratores de características de caixa preta, onde apenas a representação da última camada é utilizada para tarefas subsequentes. Essa convenção baseia-se na suposição implícita de que a última camada condensa de forma ideal toda a informação relevante para a tarefa. No entanto, observações recentes sugerem que camadas intermediárias frequentemente codificam informações complementares, particularmente no que diz respeito à robustez a mudanças de distribuição e dificuldade das amostras.

Estratégias atuais de ensemble (ensemblagem horizontal) melhoram o desempenho ao combinar previsões de múltiplos modelos independentes, mas incorrem em altos custos computacionais e ignoram o sinal "vertical" disponível dentro da hierarquia interna de um único modelo. Além disso, embora as camadas intermediárias em Redes Neurais Convolucionais (CNNs) tenham mostrado utilidade para corrigir erros, sua aplicação em ViTs é menos compreendida devido ao perfil representacional mais uniforme e à alta redundância inerente às arquiteturas ViT. A questão central abordada é se as camadas intermediárias dos ViTs contêm sinais recuperáveis capazes de corrigir falhas da última camada e, se sim, como agregar esses sinais de forma eficaz sem depender da diversidade preditiva (desacordo) entre as camadas.

2. Metodologia

2.1. Análise de Recuperabilidade

Os autores primeiro quantificam a recuperabilidade das camadas intermediárias, definida como a capacidade das sondas intermediárias de classificar corretamente amostras classificadas incorretamente pela sonda da última camada. Em 16 conjuntos de dados diversos, eles descobriram que as sondas intermediárias recuperam de 18% a 76% dos erros da última camada.

Crucialmente, a análise revela que esse ganho não é impulsionado pela diversidade preditiva (ou seja, camadas que cometem tipos diferentes de erros). Em vez disso, provém de uma correspondência de redundância-correção: as camadas internas atuam como sondas estáveis e levemente perturbadas de um sinal discriminativo compartilhado. A alta recuperabilidade correlaciona-se positamente com a "entropia de correção" (capacidade de correção distribuída através da profundidade), mas negativamente com o desacordo geométrico (distância de cosseno entre os logits das amostras classificadas incorretamente). Isso implica que as camadas são correlacionadas, mas não idênticas, oferecendo um traço redundante, porém informativo, da fronteira de decisão correta.

2.2. Arquitetura VFusion

Para explorar essa redundância, os autores propõem a VFusion, uma estratégia de agregação vertical que sintetiza características através da hierarquia interna do ViT em um token global robusto. O framework consiste em três componentes:

Seleção de Camadas: Um subconjunto de camadas $S$ é selecionado a partir do backbone congelado. As estratégias incluem holística (todas as camadas), metade final (last-half) e escalonada (strided). Os autores recomendam a estratégia holística para preservar o rastro completo de informação.
Fusão de Camadas: As representações das camadas selecionadas (especificamente os tokens [CLS]) são concatenadas em um vetor $v$ . Um codificador de fusão treinável $E$ (um MLP - perceptron multicamadas) mapeia este vetor de alta dimensão em um espaço latente de baixa dimensão $z$ . Este codificador atua como um filtro de supressão de ruído, descartando resíduos irrelevantes para a tarefa ( $r^{(\ell)}$ ) para isolar o sinal compartilhado relevante para a tarefa ( $s^{(\ell)}$ ).
Treinamento Supervisionado: O codificador de fusão e um cabeçalho de classificador leve são treinados conjuntamente sobre o backbone congelado. O objetivo de treinamento combina a perda de entropia cruzada padrão ( $L_{CE}$ ) com um regularizador de ortogonalização ( $L_{orth}$ ). Este regularizador penaliza dependências lineares nas dimensões latentes, incentivando o modelo a aprender componentes complementares e decorrelacionados da representação fundida.

3. Principais Contribuições

Quantificação da Recuperabilidade: O artigo introduz e mede o conceito de recuperabilidade em ViTs, demonstrando que as camadas intermediárias podem corrigir entre 18% e 76% das classificações incorretas da última camada em 16 conjuntos de dados.
Identificação do Mecanismo: Estabelece empiricamente que os sinais corretivos surgem de uma correspondência de redundância-correção (sinais estáveis e compartilhados) em vez de diversidade preditiva, desafiando a suposição de que ganhos de ensemble exigem desacordo entre modelos independentes.
Proposta da VFusion: Um método de agregação vertical leve e principiado que sintetiza as características da hierarquia interna em um único token global, superando bases de comparação de agregação estabelecidas (ex: Super Learner, Neural Logit Controller, Mixture of Experts) tanto em configurações de distribuição interna (ID) quanto de distribuição externa (OOD).
Generalização e Eficiência: O método generaliza-se através de tamanhos de modelo (ViT-S, B, L), famílias de backbone (Supervised IN21k, Self-supervised DINOv2, Multimodal CLIP) e regimes de pré-treinamento. Ele alcança esses ganhos com overhead computacional mínimo em comparação com a ensemblagem horizontal.
Diretrizes Empíricas: O estudo fornece diretrizes para seleção de camadas, mostrando que a seleção holística (contígua) produz o melhor desempenho, enquanto a subamostragem escalonada (strided) é menos eficaz.

4. Resultados Experimentais

Desempenho de Distribuição Interna (In-Distribution): Em 16 benchmarks de classificação, a VFusion alcançou uma acurácia média de 91,4%, superando a melhor sonda de camada individual por 1,9% e o baseline mais forte (Super Learner) por 1,7%. Notavelmente, a VFusion fechou 45% da lacuna de acurácia entre a melhor camada individual e o oracle teórico (onde uma amostra é considerada correta se qualquer camada a classificar corretamente).
Robustez de Distribuição Externa (Out-of-Distribution): Sob mudanças de covariável e de subpopulação (5 conjuntos de dados), a VFusion alcançou a maior acurácia média (84,6%), superando a melhor camada individual em até 1,3% em tarefas de detalhamento fino como C-100C e IN-200C.
Estudos de Ablação:
- Seleção de Camadas: A seleção holística apresentou o melhor desempenho; restringir à metade final causou uma queda menor (0,3%), enquanto a seleção escalonada causou uma queda maior (0,9%).
- Generalização de Backbone: Os ganhos foram consistentes através das escalas ViT-S, B e L e diferentes paradigmas de pré-treinamento. Os maiores incrementos foram observados com backbones auto-supervisionados (DINOv2) e multimodais (CLIP).
- Horizontal vs. Vertical: Embora a fusão horizontal entre diferentes backbones (HFusion) tenha gerado os melhores resultados absolutos, a VFusion (fusão vertical dentro de um único backbone) permaneceu competitiva, superando métodos de agregação de nível de logit como o Super Learner em 0,5% em média.

5. Significância e Alegações

O artigo alega que a redundância latente nos ViTs é um ativo benéfico em vez de uma limitação. Ao tratar a hierarquia interna como uma série de sondas estáveis e redundantes, a VFusion condensa efetivamente essa informação para formar um token global que frequentemente excede a capacidade preditiva de qualquer camada individual.

Os autores enfatizam que a VFusion oferece uma alternativa robusta e eficiente aos métodos de ensemble horizontal. Diferente da ensemblagem horizontal, que requer acesso a múltiplos modelos pré-treinados diversos (frequentemente indisponíveis em domínios especializados como imagens médicas) e incorre em altos custos computacionais, a VFusion opera dentro de um único backbone congelado. Ela fornece uma maneira principiada de maximizar a utilidade de modelos pré-treinados prontos para uso sem exigir mudanças arquitetônicas ou ajuste fino extensivo do backbone.

O trabalho conclui que o "sinal vertical" dentro de um único ViT é substancial e que agregar essas representações via compressão de nível de característica é uma estratégia superior à simples seleção de camadas ou média de logits, particularmente para tarefas de imagens degradadas e de detalhamento fino.