Layer by layer, module by module: Choose both for optimal OOD probing of ViT

Este estudo demonstra que, para otimizar a detecção de distribuição fora do domínio (OOD) em Vision Transformers, a melhor estratégia é combinar a sondagem de camadas intermediárias com a seleção específica de módulos, utilizando as ativações da rede feedforward sob grandes deslocamentos de distribuição e a saída normalizada da atenção multi-cabeça quando o deslocamento é fraco.

O essencial

Imagine que você tem um chef de cozinha extremamente talentoso (o modelo de Inteligência Artificial chamado "Vision Transformer") que foi treinado por anos em uma escola de culinária de luxo, aprendendo a cozinhar pratos complexos com ingredientes frescos e perfeitos.

Agora, imagine que você contrata esse chef para trabalhar em um restaurante novo. O problema? O restaurante novo tem ingredientes diferentes, talvez um pouco estragados ou de uma qualidade inferior (isso é o que os cientistas chamam de "mudança de distribuição" ou distribution shift).

Este artigo é como um manual de instruções para descobrir onde exatamente dentro da mente desse chef você deve olhar para pedir a melhor receita, dependendo da qualidade dos ingredientes que você tem.

Aqui está a explicação simplificada, passo a passo:

1. O Mistério: O Fim não é o Melhor Lugar

Antigamente, todos achavam que a melhor parte da "mente" do chef era o último passo antes de servir o prato (a última camada da rede neural). Era como se você dissesse: "O que o chef pensou no final é o que importa".

Mas os pesquisadores descobriram algo curioso: quando os ingredientes do restaurante novo são muito diferentes dos da escola de culinária, o "pensamento final" do chef fica confuso e ele comete erros. No entanto, se você olhar para o que ele pensou no meio do processo (nas camadas intermediárias), a comida fica muito melhor!

A Analogia:
Pense em uma linha de montagem de carros.

• Camada Final: É onde o carro está pronto, pintado e com o motor instalado. Se a fábrica mudou o tipo de metal que chega, o carro final pode ficar torto.
• Camadas Intermediárias: São as etapas onde as peças são cortadas e soldadas. Mesmo com o metal ruim, essas etapas ainda conseguem fazer um bom trabalho de corte. Elas são mais resistentes a erros.

2. A Descoberta Principal: O "Choque" é o Vilão

Os autores provaram que a razão pela qual a camada final falha é o choque entre o que o modelo aprendeu na escola (treinamento) e o que ele vê no novo trabalho (dados reais).

• Se o trabalho é fácil (ingredientes iguais): A camada final é a melhor. O chef sabe exatamente o que fazer.
• Se o trabalho é difícil (ingredientes estranhos): A camada final se perde. As camadas do meio são mais robustas e não se confundem tanto com a mudança.

3. O Segredo Escondido: Não Olhe Apenas para o "Prato Pronto"

A parte mais genial do artigo é que eles não olharam apenas para o "prato final" de cada etapa. Eles olharam para cada pequena ação que o chef faz dentro de uma etapa.

Dentro de cada bloco de processamento do modelo, existem duas máquinas principais:

1. A Máquina de Atenção (MHA): Onde o chef decide quais ingredientes são importantes (como olhar para a foto do prato e escolher o que usar).
2. A Máquina de Processamento (Feedforward - FFN): Onde o chef realmente mistura e transforma os ingredientes.

O que eles descobriram?

• O Pior Lugar para Olhar: Olhar para a saída da "Máquina de Processamento" depois que ela espremeu tudo (chamada de FC2). É como olhar para o prato depois que o chef tentou esmagar tudo num liquidificador. Perde-se a informação.
• O Melhor Lugar (quando os ingredientes são ruins): Olhar para a saída da mistura, logo antes de ser espremida (chamada de Act ou ativação). É como pegar a tigela de mistura enquanto o chef ainda está mexendo. A informação está mais pura e clara.
• O Melhor Lugar (quando os ingredientes são bons): Olhar para a saída da "Máquina de Atenção" ou logo antes da mistura (chamada de LN2).

4. A Lição Prática (O "Pulo do Gato")

Se você estiver usando essa Inteligência Artificial em um mundo real, onde os dados podem ser bagunçados ou diferentes do esperado:

1. Não confie cegamente na última camada. Ela pode estar "alucinando" por causa da mudança de dados.
2. Não olhe para o final do processo de mistura. (Evite a saída FC2).
3. Olhe para o meio da mistura. (A ativação dentro da rede de processamento). É ali que a IA ainda tem a "visão clara" das coisas, mesmo com ingredientes ruins.
4. Se não tiver certeza: Olhe logo antes da mistura começar (a normalização LN2). É um lugar seguro que funciona bem na maioria das vezes.

Resumo em uma frase

Este artigo nos ensina que, quando a Inteligência Artificial enfrenta situações estranhas ou diferentes do treinamento, não devemos perguntar o que ela decidiu no final, mas sim o que ela estava pensando no meio do processo, especificamente logo após ela ter "misturado" as informações, mas antes de tentar "espremer" tudo em uma resposta final.

É como dizer: "Não pergunte ao chef qual é o prato final se a cozinha está bagunçada; pergunte o que ele está pensando enquanto ainda está cortando os legumes!"

Resumo técnico

Título: Camada por Camada, Módulo por Módulo: Escolha Ambos para Probing OOD Ótimo de ViT

1. Problema e Motivação

Os modelos fundacionais baseados em arquiteturas Transformer (como Vision Transformers - ViT) têm alcançado desempenho notável em diversas tarefas. No entanto, sua confiabilidade em ambientes reais é comprometida por desvios de distribuição (distribution shifts), onde os dados de teste (Out-of-Distribution - OOD) diferem dos dados de pré-treinamento.

Estudos recentes (ex: Skean et al., 2025) observaram que, em modelos de linguagem, camadas intermediárias frequentemente superam a camada final em tarefas de probing (análise de representações). Para ViTs, a conclusão inicial foi de que apenas modelos autoregressivos se beneficiavam de camadas intermediárias, enquanto a camada final permanecia ótima para ViTs padrão.
O problema central abordado neste trabalho é:

• Por que as representações das camadas finais degradam-se sob desvios de distribuição em ViTs?
• É a camada final sempre a melhor escolha para extrair características, ou existem camadas e módulos específicos mais robustos?
• A suposição de que a camada final é ótima pode ser falsa em cenários OOD.

2. Metodologia

Os autores realizaram um estudo abrangente utilizando um ViT pré-treinado com 86M parâmetros (treinado no ImageNet-21k) em um conjunto diversificado de 11 benchmarks de classificação de imagens.

• Configuração Experimental:

  • Dados: Benchmarks In-Distribution (ID) como CIFAR-10, CIFAR-100, Flowers102, Pets; e benchmarks Out-of-Distribution (OOD) incluindo variações de CIFAR-10-C (ruído, desfoque, neve) e domínios do DomainNet (Clipart, Sketch).
  • Probing Linear: Para cada representação extraída, aplicou-se uma regressão logística (com solver L-BFGS) sobre o token CLS para avaliar a qualidade da representação sem ajustar os pesos do modelo pré-treinado.
  • Análise Granular: Em vez de analisar apenas a saída do bloco do Transformer (resíduo final), os autores investigaram 8 operações internas dentro de cada bloco:
    1. LN1 (Normalização antes da Atenção)
    2. MHA (Saída da Atenção Multi-Cabeça)
    3. RC1 (Resíduo após Atenção)
    4. LN2 (Normalização antes da Rede Feedforward)
    5. FC1 (Primeira camada totalmente conectada da FFN)
    6. Act (Ativação GeLU entre FC1 e FC2)
    7. FC2 (Segunda camada totalmente conectada da FFN)
    8. RC2 (Saída padrão do bloco/Resíduo final)

• Comparação: Os resultados de probing em modelos apenas pré-treinados (congelados) foram comparados com modelos fine-tuned (ajustados) para estabelecer a linha de base de desempenho e a magnitude do desvio de distribuição.

3. Contribuições Principais

1. Identificação da Causa Raiz da Degradação: O trabalho demonstra que a degradação de desempenho nas camadas finais sob cenários OOD é causada primariamente pelo desvio de distribuição entre os dados de pré-treinamento e os dados downstream, e não apenas pelo objetivo de pré-treinamento (como sugerido anteriormente). Camadas mais profundas tendem a se especializar excessivamente para a tarefa de classificação do pré-treinamento, tornando-se menos robustas a mudanças.
2. Análise Granular de Módulos: O estudo revela que nem todos os módulos dentro de uma camada do Transformer são igualmente eficazes para probing. A escolha do ponto de extração de características é crítica.
3. Diretrizes Práticas para Probing OOD:
   • Em cenários ID (sem desvio significativo), a camada final (RC2) continua sendo a melhor escolha.
   • Em cenários OOD (desvio significativo), as representações intermediárias são superiores.
   • Especificamente, probar a ativação (Act) dentro da Rede Feedforward (FFN) em camadas intermediárias oferece o melhor desempenho sob forte desvio de distribuição.
   • Quando o desvio é fraco, a saída normalizada do módulo de Atenção (LN2) é ótima.

4. Resultados Chave

• Camadas vs. Desvio:
  • Nos cenários ID (ex: Flowers102), a precisão aumenta progressivamente até a última camada.
  • Nos cenários OOD (ex: Ruído Granulado, Neve), a precisão das camadas finais cai drasticamente, enquanto as camadas intermediárias mantêm desempenho superior. Quanto maior o desvio, maior a vantagem das camadas intermediárias.
• Módulos vs. Desvio:
  • FC2 (Saída da FFN): Consistentemente o pior módulo para probing, especialmente sob desvio, pois comprime a informação, prejudicando a separabilidade linear.
  • Act (Ativação GeLU): O melhor módulo globalmente para cenários OOD. Operar em uma dimensão elevada (4d) antes da compressão final permite um melhor desentrelaçamento de características (feature disentanglement).
  • LN2 e RC2: Oferecem resultados estáveis, mas subótimos em comparação com Act em cenários de alto desvio.
  • Tabela 1 (Resumo): Em 10 dos 12 conjuntos de dados testados, o módulo Act (ou FC1) superou o padrão RC2. Em datasets com alto ruído (ex: Speckle Noise, Gaussian Noise), a vantagem do Act sobre RC2 foi significativa.

5. Significado e Implicações

• Mudança de Paradigma: O trabalho desafia a prática padrão de usar sempre a camada final de um ViT como extrator de características para tarefas downstream.
• Robustez em Cenários Reais: Para aplicações onde a distribuição de dados pode mudar (ex: detecção de objetos em diferentes condições climáticas ou domínios não vistos), extrair características das camadas intermediárias (especificamente após a ativação da FFN) pode melhorar drasticamente a robustez sem necessidade de fine-tuning.
• Guia para Praticantes:
  • Se o cenário é conhecido como ID: Use a camada final (RC2).
  • Se o cenário é OOD ou incerto: Use a ativação intermediária (Act) em camadas médias.
  • Se o desvio é difícil de detectar: Use a saída da LN2 (antes da FFN) como uma abordagem mais segura e estável do que a RC2 padrão.
• Futuro da Pesquisa: Sugere que as representações ocultas dos Transformers merecem análise mais profunda usando medidas teóricas da informação e geométricas, tratando as redes Feedforward como memórias chave-valor.

Em resumo, o artigo fornece evidências empíricas sólidas de que a estratégia de extração de características em ViTs deve ser adaptativa: "Camada por Camada, Módulo por Módulo", escolhendo o ponto ótimo com base na magnitude do desvio de distribuição.