Suppressing Non-Semantic Noise in Masked Image Modeling Representations

Título: Supressão de Ruído Não-Semântico em Representações de Modelagem de Imagem Mascarada (MIM)

1. O Problema

A Modelagem de Imagem Mascarada (MIM - Masked Image Modeling) tornou-se um paradigma ubíquo para aprendizado auto-supervisionado (SSL) em visão computacional, gerando backbones poderosos como MAE, DINOv2 e iBOT. No entanto, o artigo identifica um defeito fundamental nessas representações aprendidas:

• Viés Posicional e Ruído Não-Semântico: Os objetivos de MIM forçam o modelo a prever não apenas o conteúdo semântico das patches mascaradas, mas também a sua localização exata. Como consequência, as representações aprendidas retêm uma quantidade significativa de informação não-semântica (ruído), especificamente codificada como viés posicional (ex: padrões de esquerda/direita ou topo/fundo).
• Impacto na Inferência: Embora essa informação posicional ajude o modelo a resolver a tarefa de pretext (reconstrução), ela prejudica o desempenho em tarefas downstream, especialmente em cenários zero-shot (sem ajuste fino). O modelo "trapaceia" focando na posição em vez de aprender características semânticas robustas.
• Falta de Diagnóstico: Métodos anteriores tentaram mitigar isso com modificações arquiteturais ou de treinamento, mas não havia uma métrica direta para quantificar esse ruído nem uma solução pós-treinamento eficiente que não exigisse retreinamento.

2. Metodologia

Os autores propõem uma abordagem em duas etapas: diagnóstico e correção.

A. Diagnóstico: Pontuação de Invariância Semântica (SI Score)
Para quantificar o ruído, os autores introduzem uma métrica chamada Semantic Invariance Score (SI).

• Conceito: Um componente da representação é considerado "não-semântico" (ruído) se ele gerar respostas consistentes (invariantes) tanto para imagens reais (semânticas) quanto para imagens sintéticas (ruído sem significado).
• Implementação:
  1. Realiza-se uma Análise de Componentes Principais (PCA) nas representações dos patches.
  2. Gera-se um conjunto de imagens sintéticas (ruído rosa, branco modulado e campos de gradiente) para servir como entrada não-semântica.
  3. Compara-se a ativação dos componentes principais entre imagens reais (ImageNet) e sintéticas.
  4. A pontuação SI mede a similaridade entre as distribuições de ativação. Um alto SI indica que o componente responde da mesma forma independentemente do conteúdo da imagem, sugerindo que ele codifica ruído posicional ou estrutural, e não semântica.

B. Correção: Projeção de Artefatos Ortogonalmente Semânticos (SOAP)
Com base no SI Score, os autores propõem o SOAP (Semantically Orthogonal Artifact Projection), um método de supressão post-hoc (após o treinamento).

• Mecanismo: O SOAP opera no espaço da base PCA. Ele identifica os componentes principais com alto SI Score (que contêm o ruído) e projeta as representações originais para um subespaço ortogonal a esses componentes.
• Filtragem Inteligente: Para evitar suprimir informações úteis, utiliza-se uma função de escala baseada em uma janela de Fermi (comum em ressonância magnética). Isso cria uma transição suave, suprimindo apenas os componentes mais invariantes semanticamente, enquanto preserva os componentes de menor invariância (que contêm a semântica).
• Vantagens:
  • Modelo-Agnóstico: Funciona em qualquer backbone SSL pré-treinado.
  • Zero Treinamento: Não requer ajuste de pesos do modelo; é um cabeçalho linear simples.
  • Simplicidade: Pode ser anexado como um módulo externo.

3. Contribuições Principais

1. Análise Profunda: Demonstração empírica de que objetivos de MIM enviesam sistematicamente as representações para codificar ruído posicional, um fenômeno que é quase inexistente em modelos baseados apenas em aprendizado contrastivo (como DINO puro) ou supervisionado.
2. Nova Métrica (SI Score): Introdução de uma pontuação para medir o nível de invariância semântica, permitindo diagnosticar o compromisso (trade-off) entre ruído posicional e informação semântica.
3. Método SOAP: Proposta de uma estratégia de denoising post-hoc que remove artefatos não úteis para tarefas semânticas, melhorando consistentemente o desempenho em tarefas downstream sem necessidade de retreinamento.

4. Resultados Experimentais

Os autores avaliaram o SOAP em diversos modelos (MAE, DINOv2, DINOv3, iBOT, I-JEPA, CAPI) e tarefas zero-shot:

• Segmentação de Objetos Salientes (TokenCut):
  • O SOAP trouxe melhorias significativas para todos os modelos baseados em MIM.
  • Em alguns casos, modelos MIM corrigidos superaram o DINO (que não usa MIM puro) em tarefas que dependem de correlações globais, pois o ruído posicional foi removido.
  • Exemplo: No dataset ECSSD, o MAE melhorou de ~79.9 para ~82.1 (max Fβ).
• Segmentação Semântica (kNN em ADE20k e PascalVOC):
  • Melhorias consistentes no IoU (Interseção sobre União) e precisão de pixels para todos os modelos MIM testados.
  • O DINO (não-MIM) não mostrou melhoria, confirmando que o ruído é um problema específico do MIM.
• Classificação kNN (ImageNet):
  • Houve melhorias modestas, o que era esperado, pois a classificação de instância depende menos de detalhes locais finos e é menos afetada pelo ruído posicional do que tarefas densas (segmentação).
• Comparação com RASA:
  • O SOAP superou o método RASA (que requer treinamento de camadas lineares para aprender a remover pistas de posição). O SOAP é mais simples, não requer treinamento e alcança resultados superiores.

5. Significado e Conclusão

O trabalho revela um compromisso fundamental no aprendizado auto-supervisionado via MIM: a eficiência na tarefa de reconstrução (que exige saber a posição) ocorre às custas da fidelidade semântica das representações.

• Implicação Prática: O SOAP oferece uma ferramenta prática e leve para engenheiros e pesquisadores que utilizam modelos MIM pré-treinados, permitindo extrair representações mais puras e semânticas sem o custo computacional de retreinar o modelo.
• Implicação Teórica: O estudo sugere que os sinais de aprendizado do MIM podem ser "resolvidos" por atalhos (posicionamento), e que a supressão explícita desses atalhos é necessária para obter generalização robusta em tarefas que exigem compreensão semântica profunda.

Em resumo, o artigo demonstra que o "ruído" posicional é onipresente em modelos MIM e que, ao isolá-lo e removê-lo via projeção ortogonal, é possível recuperar o potencial semântico desses modelos, melhorando seu desempenho em cenários de uso prático (zero-shot).