What DINO saw: ALiBi positional encoding reduces positional bias in Vision Transformers

Este trabalho investiga e reduz o viés posicional em Vision Transformers, demonstrando que o ajuste fino com codificação posicional relativa ALiBi preserva a semântica geral enquanto permite a adaptação eficaz para tarefas como a segmentação de imagens de microscopia sem direção preferencial.

O essencial

Imagine que você tem um detetive de imagens superinteligente chamado DINO. Esse detetive foi treinado em milhões de fotos de cachorros, carros e paisagens. Ele é incrível: consegue dizer se uma foto tem um gato ou um carro, e até separar as partes do corpo do animal.

Mas, quando você pede a esse detetive para analisar uma fotografia de um material microscópico (como o interior de uma bateria de celular ou uma amostra de aço vista por um microscópio), ele começa a cometer erros estranhos.

O Problema: O Detetive Viciado em "Lado Esquerdo"

O problema é que o DINO tem um vício escondido. Como ele foi treinado com fotos do mundo real (onde o céu está sempre em cima e o chão embaixo), ele aprendeu a associar certas características da imagem à sua posição.

• Se o detetive vê algo no canto superior esquerdo, ele pensa: "Ah, isso deve ser o céu".
• Se vê algo no canto inferior direito, ele pensa: "Isso é o chão".

O problema é que, nas fotos de materiais científicos, não existe céu ou chão. É uma massa homogênea de partículas. Não importa se você olha o centro ou a borda da imagem; o material é o mesmo.

Quando o DINO tenta analisar essas fotos, ele ignora o que o material realmente é e foca em onde o material está na foto. É como se ele dissesse: "Não importa o que é essa partícula, ela está no canto, então ela deve ser diferente daquela que está no meio". Isso faz com que ele "pinte" a imagem de forma errada, criando faixas ou gradientes que não existem na realidade.

A Solução: O "Alibi" (Álibi)

Os autores deste paper criaram uma nova versão do detetive, chamada ALiBi-Dv2. Para entender como funciona, vamos usar uma analogia de jogo de cartas:

1. O Método Antigo (DINO): Imagine que o DINO recebe uma carta e, ao mesmo tempo, recebe um bilhete escrito: "Você é a carta número 50". Ele memoriza que a carta 50 é sempre "especial". Se você mudar a posição das cartas, ele fica confuso ou continua achando que a carta 50 é especial, mesmo que ela tenha sido movida.
2. O Método Novo (ALiBi): Os pesquisadores tiraram esse bilhete de "número absoluto". Em vez disso, eles deram ao detetive uma nova regra: "Não importa qual é o número da carta, o que importa é quão longe você está da carta vizinha".

Essa nova regra é chamada de ALiBi (Attention with Linear Biases). Ela diz ao modelo: "Esqueça onde você está no mapa global. Foque apenas na distância entre você e seus vizinhos imediatos".

O Resultado: Um Detetive Justo

Com essa mudança, o novo detetive (ALiBi-Dv2) aprendeu a olhar para o conteúdo da imagem, e não para a posição.

• Antes: O detetive via uma mancha de ferrugem no canto e pensava: "Isso é diferente porque está no canto".
• Depois: O detetive vê a mancha de ferrugem e pensa: "Isso é ferrugem, ponto final. Não importa se está no canto ou no meio".

Por que isso é importante?

Na ciência de materiais, os pesquisadores precisam analisar imagens gigantescas e complexas para entender como baterias funcionam ou como metais se quebram. Eles usam o "detetive" para ajudar a separar (segmentar) as diferentes partes da imagem automaticamente.

Se o detetive tiver esse "vício de posição", ele vai errar a análise, dizendo que o centro da bateria é diferente das bordas, quando na verdade é tudo igual. Isso pode levar a conclusões científicas erradas.

O novo modelo ALiBi-Dv2 removeu esse viés. Ele consegue olhar para uma imagem de microscopia e dizer: "Ah, aqui temos um buraco, aqui temos uma partícula", sem se confundir com a localização.

Resumo da Ópera

1. O Problema: Os modelos de IA modernos são ótimos, mas têm um "vício" em saber onde as coisas estão no espaço (cima, baixo, esquerda, direita). Isso atrapalha quando analisamos materiais que são iguais em todo lugar.
2. A Solução: Os cientistas trocaram a "memória de posição absoluta" do modelo por uma "memória de distância relativa" (ALiBi).
3. O Ganho: O modelo agora é mais justo. Ele entende o que é a imagem, e não apenas onde ela está. Isso permite que cientistas analisem materiais complexos com muito mais precisão, sem precisar reensinar o modelo do zero.

É como tirar os óculos coloridos de um detetive para que ele veja a verdade nua e crua, independentemente de onde a cena esteja acontecendo.

Resumo técnico

Título: O que o DINO Viu: Codificação Posicional ALiBi Reduz o Viés Posicional em Vision Transformers

1. O Problema

Os Vision Transformers (ViTs), especialmente os modelos de fundação de características (feature foundation models) como o DINOv2, aprenderam representações ricas e robustas úteis para diversas tarefas de visão computacional. No entanto, o artigo identifica um problema crítico: viés posicional.

• Natureza do Viés: Devido a escolhas arquitetônicas, especificamente o uso de Codificação Posicional (PE) aprendida, esses modelos tendem a codificar informações de posição de forma linear e previsível nos seus canais de saída, independentemente do conteúdo semântico da imagem.
• Impacto em Domínios Específicos: Isso é particularmente prejudicial em áreas como a ciência dos materiais, onde as imagens (geralmente micrografias de microscopia eletrônica de varredura/transmissão - SEM/TEM) são frequentemente seções transversais homogêneas sem uma direção preferencial ou foco central.
• Consequência: Quando esses modelos são usados em tarefas de segmentação "zero-shot" ou "treinável" (onde um classificador é treinado sobre as características do ViT), o classificador aprende a se basear no viés posicional (ex: gradientes da esquerda para a direita) em vez das características reais do material, levando a segmentações de baixa qualidade e artefatos.

2. Metodologia

Os autores propõem uma abordagem em duas etapas para caracterizar e mitigar esse viés:

A. Caracterização do Viés (Linear Probing)

• Os autores utilizaram sondas lineares (linear probes) para analisar as características de saída de vários ViTs (DINO, DINOv2, DINOv3, MAE, etc.).
• Método: Treinaram regressores lineares para mapear as características de saída (ou canais individuais) para funções de rampa 1D (esquerda-direita, cima-baixo, diagonais e radiais).
• Objetivo: Medir o quanto a posição pode ser prevista apenas pelas características do modelo. Um alto coeficiente de determinação ($R^2$) indica um forte viés posicional.
• Descoberta: Eles encontraram canais específicos que funcionam quase puramente como funções de rampa posicional, presentes tanto em modelos com PE aprendida quanto em alguns com RoPE (Rotary Positional Encoding), mas ausentes em modelos supervisionados tradicionais.

B. Mitigação via ALiBi (Attention with Linear Biases)

Para corrigir o problema, os autores desenvolveram o ALiBi-Dv2:

1. Substituição da PE: Removeram a codificação posicional aprendida de um checkpoint DINOv2 pré-treinado.
2. Implementação ALiBi: Introduziram Codificações Posicionais ALiBi 2D. Diferente da PE aprendida, o ALiBi adiciona um viés linear aos scores de atenção baseado na distância relativa entre os tokens, sem alterar o estado oculto do token.
   • Utilizaram condições de contorno cilíndricas (wrap-around) para garantir homogeneidade e evitar assimetrias nas bordas.
   • Escalaras fixas ($m=1$) foram usadas para evitar a compounding de assimetrias.
3. Ajuste Fino (Finetuning):
   • O modelo foi ajustado para minimizar a diferença entre suas novas características e as características originais (viesadas) do DINOv2 (usando o DINOv2 como "professor").
   • Estratégia de Alvo: Surpreendentemente, usar as embeddings viesadas do DINOv2 original como alvo foi suficiente para recuperar a semântica desejada, pois a arquitetura ALiBi impedia que o modelo recriasse os vieses posicionais, forçando-o a aprender apenas a semântica.
   • Durante o treinamento, os quatro canais mais posicionais identificados na análise foram zerados para acelerar a convergência.

3. Principais Contribuições

1. Análise Sistemática do Viés: Demonstraram que o viés posicional é uma propriedade generalizada em modelos de aprendizado auto-supervisionado (SSL) como DINO e MAE, manifestando-se como canais de características puramente posicionais.
2. ALiBi-Dv2: Apresentaram um modelo ajustado que substitui a PE aprendida por ALiBi, resultando em características homogêneas (sem gradientes posicionais artificiais) mas que mantêm a riqueza semântica do DINOv2 original.
3. Validação em Ciência dos Materiais: Provaram que a remoção do viés posicional é crucial para a segmentação de microestruturas homogêneas, onde a direção da imagem não deve influenciar a classificação.

4. Resultados

• Redução do Viés Posicional:
  • O modelo ALiBi-Dv2 apresentou uma redução drástica nos escores $R^2$ das sondas lineares para funções de rampa (ex: de 0.83 para -0.23 em imagens de microscopia), indicando que as características não codificam mais a posição de forma linear.
  • Em comparação, tentativas anteriores como "DVT" (Denoising Vision Transformers) ou "Channel Blanking" (zerar canais) reduziram o viés, mas não o eliminaram completamente.
• Desempenho Semântico (Benchmarks):
  • Em benchmarks de segmentação semântica padrão (VOC07, VOC12, ADE20K), o ALiBi-Dv2 manteve ou superou ligeiramente o desempenho do DINOv2 original, provando que a semântica geral foi preservada.
• Visualização de Características (PCA):
  • As visualizações PCA mostraram que o ALiBi-Dv2 removeu gradientes de borda e rampas visíveis no DINOv2 e DINOv3, produzindo mapas de características mais limpos e semanticamente coerentes.
• Segmentação Treinável em Microscopia:
  • Em tarefas de segmentação de materiais (ex: catodos de baterias de íon-lítio), o DINOv2 original falhou, produzindo segmentações enviesadas pela posição (ex: falhando no centro ou nas bordas da imagem).
  • O ALiBi-Dv2 produziu segmentações homogêneas e precisas, conseguindo capturar efeitos complexos como o "pore-back" (material de camadas inferiores aparecendo na seção transversal) sem confundir a posição com a classe do material.

5. Significado e Conclusão

O trabalho demonstra que a arquitetura de codificação posicional em ViTs de aprendizado auto-supervisionado introduz artefatos que limitam sua aplicabilidade em domínios científicos onde a homogeneidade espacial é a norma.

• Solução Prática: A substituição de PE aprendida por ALiBi é uma estratégia eficaz para "desviesar" modelos fundação existentes sem a necessidade de treiná-los do zero.
• Impacto na Ciência de Dados: Para pesquisadores em ciência dos materiais e biologia, que frequentemente analisam grandes conjuntos de imagens homogêneas, o ALiBi-Dv2 oferece uma ferramenta robusta para análise "zero-shot" ou com poucos dados, eliminando a necessidade de correções manuais ou transformações de dados para mitigar vieses de borda.
• Futuro: O estudo sugere que o viés posicional é uma característica intrínseca do aprendizado auto-supervisionado e que o uso de encoders posicionais baseados em distâncias relativas (como ALiBi) deve ser considerado padrão para aplicações que exigem invariância posicional rigorosa.

O código para reproduzir os resultados está disponível publicamente no repositório GitHub mencionado no artigo.