Zero-Ablation Overstates Register Content Dependence in DINO Vision Transformers

1. O Problema

Os Vision Transformers (ViTs) auto-supervisionados, como a família DINO (DINOv2 e DINOv3), utilizam tokens de "registrador" (register tokens) para absorver artefatos de alta norma e computação global que, de outra forma, corromperiam as representações de patches (densas). A prática comum para investigar a função desses tokens é a ablação zero (zero-ablation), onde as ativações dos tokens são substituídas por vetores nulos (zeros).

O problema central identificado pelos autores é que a ablação zero cria um deslocamento de distribuição (distributional shift) extremo. Vetores zero são implausíveis em relação às ativações nativas dos registradores. Consequentemente, quando os pesquisadores zeram os registradores e observam uma queda drástica no desempenho (ex: -36,6 pontos percentuais na classificação), eles podem estar medindo o efeito de injetar dados fora da distribuição (out-of-distribution) que causam uma cascata de erros nas camadas subsequentes, e não necessariamente a dependência funcional do modelo sobre o conteúdo específico (informação imagem-específica) desses registradores.

2. Metodologia

Os autores propõem uma abordagem controlada para distinguir entre a dependência da presença do token e a dependência do seu conteúdo.

• Modelos Analisados: DINOv2 (sem registradores), DINOv2+Registradores e DINOv3, em duas escalas: ViT-S (Small) e ViT-B (Base).
• Intervenção: Uso de hooks no PyTorch para substituir as ativações dos tokens [CLS] ou dos registradores em todas as camadas (saída de cada bloco).
• Condições de Controle (Substituição): Em vez de apenas zerar, os autores aplicam três controles de substituição que mantêm as estatísticas da distribuição de ativações, mas alteram o conteúdo:
  1. Substituição pela Média: Substitui as ativações pela média do conjunto de dados por camada.
  2. Substituição por Ruído: Substitui por ruído gaussiano com a mesma média e variância das ativações nativas.
  3. Embaralhamento Cruzado (Cross-image Shuffling): Permuta as ativações dos registradores entre diferentes imagens dentro do mesmo batch, preservando a estrutura de ativação real, mas quebrando a correspondência imagem-específica.
• Tarefas de Avaliação: Classificação (ImageNet), Recuperação (kNN), Correspondência (SPair-71k e pares sintéticos) e Segmentação (Pascal VOC).
• Análises Adicionais: Medição de similaridade de cosseno por patch, divergência de Jensen-Shannon (JS) nos padrões de atenção e rank efetivo da geometria dos patches.

3. Principais Contribuições e Descobertas

A. A Ablação Zero Exagera a Dependência

Os resultados mostram que a ablação zero causa quedas catastróficas no desempenho (ex: -36,6 pp em DINOv3), sugerindo que os registradores são indispensáveis. No entanto, todos os três controles de substituição plausíveis preservam o desempenho dentro de ~1 ponto percentual da linha de base não modificada.

• Conclusão: O modelo depende da presença de ativações plausíveis (que mantêm a distribuição correta) e não do conteúdo exato e imagem-específico dos registradores nas avaliações de recursos congelados (frozen-feature).

B. Perturbação da Representação Interna

Embora os controles de substituição não afetem a tarefa final, eles alteram genuinamente as representações internas.

• A similaridade de cosseno entre as características com substituição e a condição completa é alta (0,95–0,999), indicando que a estrutura é preservada.
• A ablação zero, por outro lado, reduz drasticamente a similaridade de cosseno (para ~0,60) e causa uma divergência de JS nas atenções dezenas de vezes maior do que as substituições. Isso confirma que o vetor zero é um vetor "fora da distribuição" que quebra o fluxo de informação, enquanto as substituições mantêm o modelo no manifold de dados.

C. Papel Estrutural dos Registradores

Os registradores desempenham um papel estrutural crucial, mesmo que seu conteúdo exato não seja crítico para a tarefa:

1. Buffering (Proteção): Eles protegem os recursos densos (patches) da dependência do token [CLS]. Sem registradores, zerar o [CLS] destrói a segmentação (-37,1 pp); com registradores, o impacto é negligente (<1 pp).
2. Compressão Geométrica: Os registradores comprimem a geometria dos patches. O "rank efetivo" (medida de dimensionalidade) cai de 13,5 (DINOv2) para 4,0 (DINOv3), indicando que os registradores ajudam a organizar e compactar a informação espacial.

D. Dissociação entre Roteamento de Atenção e Dependência Funcional

A atenção do [CLS] para os registradores aumenta gradualmente a partir das camadas médias. No entanto, a dependência funcional para a classificação só emerge abruptamente nas camadas finais (10-11). Isso sugere que o roteamento estrutural se desenvolve cedo, mas a necessidade funcional específica é tardia.

4. Resultados Quantitativos Chave (ViT-S, DINOv3)

Nota: Os resultados replicam consistentemente na escala ViT-B.

5. Significado e Implicações

1. Reavaliação de Métodos de Interpretação: O estudo alerta a comunidade de IA sobre o uso indiscriminado da ablação zero em Transformers. Injetar vetores zero pode levar a conclusões errôneas sobre a "indispensabilidade" de componentes, confundindo a necessidade de manter a distribuição de ativações com a necessidade de conteúdo semântico específico.
2. Validação de Controles de Substituição: Os autores recomendam o uso de substituições por média, ruído ou embaralhamento cruzado como controles padrão (standard controls) para qualquer estudo de ablação em ViTs, garantindo que as perturbações sejam in-distribution.
3. Natureza dos Registradores: Os registradores não atuam como portadores de informação semântica única e específica por imagem para as tarefas de recursos congelados testadas. Em vez disso, atuam como canais de contexto estrutural que estabilizam a rede e protegem os recursos espaciais, permitindo que a geometria dos patches seja mais compacta e robusta.
4. Paralelo com Neurociência: O trabalho faz uma analogia direta com estudos de lesão em neurociência, onde danos que causam cascata em circuitos interconectados podem superestimar a localização funcional de uma área específica.

Em resumo, o paper demonstra que os tokens registradores em modelos DINO são estruturalmente essenciais para a estabilidade e qualidade dos recursos densos, mas a crença de que seu conteúdo exato é indispensável para a tarefa é um artefato metodológico causado pelo uso inadequado da ablação zero.