Vision Transformers Need More Than Registers

Este artigo identifica que os artefatos nos Vision Transformers (ViTs) decorrem de um comportamento de agregação preguiçosa, onde o modelo utiliza patches de fundo semanticamente irrelevantes como atalhos, e propõe uma solução que integra seletivamente as características dos patches ao token CLS para mitigar esse problema e melhorar o desempenho em diversos benchmarks e paradigmas de supervisão.

O essencial

Imagine que você está ensinando um aluno muito inteligente, mas preguiçoso, a reconhecer um gato em uma foto.

O aluno é o Vision Transformer (ViT), uma tecnologia de Inteligência Artificial que hoje é o "padrão ouro" para ver imagens. O problema é que, apesar de ser brilhante em dizer "Isso é um gato!", ele tem um defeito grave: ele não sabe onde o gato está.

O Problema: O Aluno "Preguiçoso" (Lazy Aggregation)

Aqui está a analogia principal:

Imagine que você mostra uma foto de um gato no sofá para o aluno.

• O que deveria acontecer: O aluno olha para o gato, foca nos bigodes, nas orelhas e no rabo, e diz: "O gato está aqui!".
• O que acontece de verdade (o defeito): O aluno olha para a foto inteira, vê que há muito "sofá" e "parede" (o fundo), e pensa: "Ah, a maioria da foto é sofá. Vou apenas olhar para o sofá e dizer que é um gato. É mais fácil!".

Esse é o comportamento de "agregação preguiçosa" que o artigo descreve.

• Como a IA é treinada apenas com a resposta final (a imagem tem um gato? Sim/Não), ela descobre um "atalho".
• Em vez de focar no objeto principal (o gato), ela foca no fundo (o sofá, a parede, o chão) porque o fundo ocupa a maior parte da imagem.
• Ela aprende que, se olhar para o fundo, consegue a resposta certa com menos esforço.

A consequência: A IA é ótima em classificar a imagem inteira, mas péssima em tarefas detalhadas, como desenhar o contorno do gato ou encontrar objetos em uma cena complexa. É como um aluno que tira 10 na prova de múltipla escolha, mas não consegue explicar por que a resposta está certa.

A Solução: O "LaSt-ViT" (O Professor que Força o Foco)

Os autores do artigo criaram uma nova técnica chamada LaSt-ViT (que significa "Strike Lazy ViT" ou "Atacar a Preguiça do ViT").

Pense no LaSt-ViT como um professor rigoroso que diz ao aluno:

"Não olhe para o sofá! Olhe especificamente para o gato. Se você olhar para o fundo, não vou te dar pontos."

Como eles fazem isso?

1. Análise de Frequência: Eles olham para as "peças" da imagem (os pedaços da foto que a IA processa). O fundo geralmente é bagunçado e muda muito. O objeto principal (o gato) tende a ser mais consistente e estável.
2. Seleção Inteligente: O sistema identifica quais pedaços da imagem são "estáveis" (provavelmente o objeto) e ignora os "instáveis" (provavelmente o fundo).
3. Reagrupamento: Em vez de deixar a IA juntar tudo de qualquer jeito, eles forçam a IA a escolher apenas os pedaços mais importantes e estáveis para formar a resposta final.

O Resultado: O Aluno Acorda

Depois de aplicar o LaSt-ViT, a mágica acontece:

• Fim dos "Fantasmas": A IA para de olhar para o fundo. Se você pedir para ela desenhar o contorno do gato, ela agora consegue fazer isso perfeitamente.
• Versatilidade: Funciona não importa como a IA foi treinada (se foi ensinada por humanos com rótulos, por texto, ou sozinha apenas olhando fotos).
• Melhor em Tudo: Em testes reais, a IA melhorou drasticamente em 12 tarefas diferentes, desde encontrar objetos em fotos até segmentar imagens médicas.

Por que isso é importante?

Antes, os cientistas achavam que o problema era falta de "registros" (uma peça extra de memória na IA). Eles tentaram adicionar mais memória, mas não resolvia o problema de raiz.

Este artigo diz: "Não é falta de memória, é falta de foco!"

A IA não precisa de mais memória; ela precisa ser ensinada a não ser preguiçosa. Ao forçá-la a olhar para o objeto e não para o fundo, tornamos a IA muito mais inteligente, precisa e útil para o mundo real, onde precisamos saber exatamente onde as coisas estão, não apenas o que são.

Resumo em uma frase:
O LaSt-ViT é como um corretor que pega um aluno de IA preguiçoso, que olhava para o fundo da foto para adivinhar a resposta, e o força a olhar diretamente para o objeto, tornando-o um especialista em ver detalhes.

Resumo técnico

Título: Vision Transformers Need More Than Registers

Autores: Cheng Shi, Yizhou Yu, Sibei Yang (HKU e Universidade Sun Yat-sen)
Área: Visão Computacional / Aprendizado de Máquina (ViT, Auto-supervisão, Supervisão Textual)

---

1. O Problema: Artefatos em Vision Transformers (ViTs)

Apesar dos Vision Transformers (ViTs) se tornarem o padrão de facto para reconhecimento de imagens e modelos de fundação, eles apresentam artefatos sistemáticos quando aplicados a tarefas que exigem representações densas (como segmentação semântica ou localização de objetos).

• O Fenômeno: Em diferentes paradigmas de supervisão (supervisionada, auto-supervisionada e supervisionada por texto), os ViTs tendem a atribuir altas pontuações de similaridade a patches de fundo (background) em vez de focar nos objetos de primeiro plano (foreground).
• Consequências:
  • Atenção Deficiente: O token global (CLS) não alinha corretamente com as regiões semânticas relevantes da imagem.
  • Tokens de Alta Norma: Em modelos auto-supervisionados (como DINO), surgem "tokens de alta norma" que distorcem mapas de características e prejudicam a localização de objetos.
  • Falha em Tarefas Densas: Modelos como CLIP (supervisionados por texto) falham em gerar alinhamento preciso entre características de imagem e texto em nível de pixel.
• Limitação de Soluções Atuais: Métodos anteriores, como a introdução de "Registradores" (Registers), tentam mitigar esses artefatos movendo tokens problemáticos para fora do mapa de características, mas não resolvem a causa raiz do comportamento do modelo.

2. Análise e Hipótese: Agregação Preguiçosa (Lazy Aggregation)

Os autores realizam uma análise sistemática para entender a origem desses artefatos, introduzindo duas novas métricas:

1. Patch Score: Similaridade entre as características de um patch e o token global (CLS).
2. Point-in-Box (PiB): Métrica que avalia se o patch com a maior pontuação está dentro da caixa delimitadora (bounding box) do objeto anotado.

Descobertas Chave:

• Viés de Fundo: Em ViTs treinados, os patches de fundo frequentemente obtêm os maiores Patch Scores, enquanto os patches de objeto têm scores menores.
• Robustez ao Mascaramento: Remover até 50% dos patches com maior pontuação (que são majoritariamente de fundo) não prejudica a precisão de classificação da imagem, indicando que o modelo não depende desses patches para a tarefa global.
• Emergência Precoce: Esse viés ocorre desde o início do treinamento e persiste, diferentemente de redes convolucionais (ConvNets) que focam mais nas bordas e regiões salientes.

Hipótese Central: Agregação Preguiçosa (Lazy Aggregation)
Os autores concluem que o comportamento é impulsionado por dois fatores:

1. Supervisão Semântica Grossa (Coarse-grained): O uso de rótulos de nível de imagem (sem anotações de pixel) não fornece orientação espacial precisa.
2. Dependências Globais: O mecanismo de atenção global permite que o modelo "atalhe" a aprendizagem. Em vez de aprender a focar no objeto, o modelo difunde a semântica do objeto para os abundantes patches de fundo, pois isso é uma rota de otimização mais fácil para minimizar a perda de classificação global.

3. Metodologia: LaSt-ViT (LazyStrike ViT)

Para combater a agregação preguiçosa, os autores propõem o LaSt-ViT, uma solução simples que não requer mudanças arquitetônicas complexas ou fine-tuning pós-treinamento, mas sim uma redefinição de como o token CLS agrega informações.

Mecanismo de Funcionamento:
O método baseia-se na observação de que sinais de primeiro plano tendem a ser mais homogêneos semanticamente, enquanto o fundo possui maior diversidade. O LaSt-ViT utiliza uma agregação seletiva baseada em frequência:

1. Estabilidade de Canal: Para cada patch, calcula-se um escore de estabilidade comparando as representações originais com versões filtradas por baixo (low-pass filtering) no domínio da frequência (usando FFT 1D). Patches estáveis (menos variáveis no canal) são considerados mais prováveis de serem de primeiro plano.
2. Agrupamento Top-K por Canal: Em vez de usar Global Average Pooling (que mistura tudo), o método seleciona, para cada canal de características, os $K$ patches mais estáveis.
3. Votação e Agregação: O token CLS é atualizado agregando apenas esses patches selecionados. Isso força o CLS a ancorar-se nas regiões de primeiro plano, eliminando a influência dos tokens de fundo "preguiçosos".

4. Resultados Experimentais

O LaSt-ViT foi testado em 12 benchmarks cobrindo três paradigmas de supervisão: supervisionada, supervisionada por texto e auto-supervisionada.

• Eliminação de Artefatos:
  • O método elimina consistentemente o fenômeno de "alta norma" e melhora drasticamente a métrica Point-in-Box (PiB), aproximando o desempenho do ViT ao de redes ResNet.
  • Em modelos supervisionados por texto (CLIP), a precisão de segmentação semântica zero-shot aumentou significativamente (ex: +26% no VOC, +55% no VOC com ViT-L).
• Desempenho em Tarefas Densas:
  • Descoberta de Objetos Não Supervisionada: No benchmark COCO, o LaSt-ViT superou os melhores métodos anteriores (LOST e DINO-seg), alcançando 51.6% de CorLoc.
  • Detecção e Segmentação Open-Vocabulary: Melhorias consistentes em benchmarks como OV-COCO e LVIS, superando modelos baseados em ConvNet e ViTs base-line.
• Eficiência: O método não adiciona custo computacional significativo e, em alguns casos de descoberta de objetos, é mais rápido que métodos que dependem de cálculos de autovetores.

5. Contribuições Principais

1. Análise Sistemática: Identificação da "agregação preguiçosa" como a causa raiz dos artefatos em ViTs, demonstrando que o modelo usa patches de fundo irrelevantes como atalhos para semântica global.
2. Novas Métricas: Introdução do Patch Score e Point-in-Box (PiB) para quantificar e analisar esses artefatos de forma unificada entre diferentes arquiteturas e métodos de treinamento.
3. Solução Unificada (LaSt-ViT): Proposta de um mecanismo de agregação seletiva e consciente de frequência que corrige o comportamento do ViT durante o pré-treinamento, sem necessidade de registradores adicionais ou mudanças estruturais complexas.
4. Desempenho Geralizado: Demonstração de ganhos consistentes em 12 benchmarks, provando que a compreensão do comportamento interno do ViT permite melhorias robustas em tarefas de visão densa.

6. Significado e Impacto

Este trabalho desafia a visão de que os artefatos em ViTs são apenas um problema de "alta norma" que pode ser resolvido adicionando tokens extras (registradores). Em vez disso, ele aponta para uma falha fundamental na estratégia de otimização do modelo sob supervisão grossa.

Ao forçar o ViT a focar em características estáveis e relevantes (primeiro plano) através da agregação seletiva, o LaSt-ViT oferece uma nova perspectiva sobre o comportamento dos Transformers de Visão. Isso não apenas melhora o desempenho em tarefas existentes, mas também fornece uma base mais sólida para o desenvolvimento de futuros modelos de fundação que exigem alinhamento preciso entre representações globais e locais.

Conclusão: Os Vision Transformers precisam de mais do que apenas "registradores"; eles precisam de mecanismos que previnam a agregação preguiçosa de informações de fundo, garantindo que a representação global seja construída sobre a semântica real do objeto.