Resumo Técnico: DOME - Aprendizado de Variáveis de Domínio Transferíveis a partir de Supervisão Esparsa para Adaptação em Tempo de Teste

1. Declaração do Problema

A Adaptação em Tempo de Teste (TTA - Test-Time Adaptation) visa alinhar um modelo pré-treinado com mudanças de domínio de teste usando apenas dados de fluxo não rotulados. Os métodos de TTA existentes baseiam-se predominantemente em um paradigma de "busca implícita", onde tentam inferir uma única distribuição estatística global para representar todo o domínio alvo. Os autores argumentam que essa abordagem é fundamentalmente falha para cenários do mundo real porque:

• Multidimensionalidade: As mudanças de domínio no mundo real são multidimensionais e específicas de cada amostra (por exemplo, uma imagem pode pertencer simultaneamente a um domínio "artístico" e a um domínio "animal").
• Perda de Informação: Forçar todos os dados de destino em uma única representação unificada elimina pistas de domínio específicas da amostra.
• Instabilidade: O conflito entre a realidade multidimensional da amostra e o objetivo de aprender uma única distribuição global leva a uma otimização instável e a mínimos locais.
• Fragilidade: Os métodos atuais frequentemente exigem heurísticas complexas ou algoritmos de adaptação intrincados para mitigar esses problemas, mas permanecem frágeis sob diversas mudanças.

O artigo propõe uma questão central: Podemos modelar explicitamente o domínio de cada amostra em vez de depender da busca implícita?

2. Metodologia: DOME e o Framework Sparse-to-Dense (S2D)

Os autores propõem o DOME (DOMain Encoder), um codificador de domínio zero-shot que gera explicitamente representações de domínio para amostras subsequentes. O DOME é treinado via um framework de aprendizado Sparse-to-Dense (S2D), que consiste em dois componentes sinérgicos:

A. Desentranhamento de Domínio com Rótulos Esparsos (SDD)

Como a supervisão densa de domínio não está disponível, o SDD aprende a isolar fatores específicos de domínio das semânticas de categoria usando supervisão esparsa.

• Banco Esparso de Momento (Momentum Sparse Bank): Um banco de domínio armazena características relacionadas ao domínio de forma esparsa, atualizadas via uma estratégia de momento ($m=0.9$). Isso reforça a informação de domínio compartilhada enquanto suprime o ruído específico da instância.
• Mecanismo de Desentranhamento:
  1. Tokens intermediários de um codificador de visão CLIP têm os codificadores posicionais removidos para suprimir pistas relacionadas à categoria.
  2. Um Dicionário Decoder leve mapeia a representação da imagem em um espaço de alta dimensão e sobrecompleto.
  3. Regularização de Esparsidade: Uma perda $\ell_1$ incentiva o modelo a ativar apenas um subconjunto esparso de características interpretáveis (atributos canônicos de domínio).
  4. JumpReLU: Um limiar aprendível suprime ativações fracas residuais, gerando um sinal de domínio esparso e limpo ($z_{dom}$).

B. Aprendizado de Representações de Domínio Densas (DDRL)

Este componente extrapola as anotações esparsas para um espaço de domínio contínuo e denso para permitir a generalização zero-shot.

• Pré-treinamento Visão-Linguagem: O DOME é inicializado a partir de codificadores de imagem e texto congelados do CLIP. Durante o treinamento, o texto de domínio parcialmente mascarado guia a extração de variáveis de domínio, reduzindo a ambiguidade no espaço multidimensional.
• Reparametrização: O modelo prevê a média por canal ($\hat{\mu}$) e o desvio padrão ($\hat{\sigma}$) para representar as estatísticas do domínio.
• Objetivos de Treinamento: As características densas ($\hat{z}$) são treinadas para se alinharem com os sinais esparsos limpos ($z_{dom}$) via:
  • Perda MSE: Regride as projeções densas em direção aos protótipos esparsos.
  • Perda Auxiliar: Alinha as projeções com as estatísticas brutas de domínio.
  • Perda InfoNCE: Incentiva a coesão intradomínio e a separação interdomínio.

C. Integração de Adaptação em Tempo de Teste (TTA)

Na inferência, o DOME opera como um módulo congelado:

1. Injeção de Domínio: O DOME processa a imagem de teste (e sua aumentação fraca) para gerar estatísticas de domínio.
2. Modulação de Adaptador: Um adaptador MLP leve converte essas estatísticas em parâmetros afins ($g, b$).
3. Modulação de Característica: Esses parâmetros modulam as características de um backbone ViT congelado via $x = x \cdot (1 + g) + b$ após o LayerNorm.
4. Otimização: Apenas o adaptador e as camadas de normalização são atualizados usando um objetivo padrão de minimização de entropia (entropia condicional e marginal) sobre uma única passagem de forward-backward. Nenhuma auto-aprendizagem complexa ou rotulagem pseudo é necessária.

3. Principais Contribuições

1. Injeção Explícita de Domínio: O DOME é o primeiro extrator de características de domínio de propósito geral na literatura de TTA, transformando o paradigma de busca implícita de domínio para injeção explícita de domínio.
2. Framework de Aprendizado Sparse-to-Dense: Uma nova estratégia de treinamento que utiliza um banco esparso atualizado por momento para supervisão desentranhada e pré-treinamento visão-linguagem para extrapolar representações de domínio densas e contínuas para generalização zero-shot.
3. Simplicidade e Desempenho: Os autores demonstram que a adaptação robusta provém de uma representação de domínio explícita e estruturada, e não de algoritmos complexos. Mesmo uma estratégia de minimização de entropia ingênua combinada com o DOME alcança resultados de estado da arte.

4. Resultados Experimentais

O método foi avaliado nos datasets ImageNet-C, ImageNet-R e ImageNet-Sketch usando vários backbones (ViT-B, ViT-L, DINOv2).

• ImageNet-C: DOME + Minimização de Entropia alcançou 66,7% de acurácia média, superando baselines complexos como DeYO (66,4%) e FOA (66,3%). Mostrou força particular em Motion Blur, Zoom Blur e Elastic Transform.
• ImageNet-R: Alcançou 68,7% de acurácia top-1, igualando o método complexo de melhor desempenho (DeYO) e lidando efetivamente com mudanças de estilo.
• ImageNet-Sketch: Estabeleceu um novo estado da arte com 53,9%, superando significativamente o DeYO (50,3%), demonstrando robustez quando as pistas de textura estão ausentes.
• Generalização: Em configurações de TTA offline através de domínios artísticos não vistos, o DOME superou consistentemente um baseline usando estatísticas brutas do CLIP (DomStat), melhorando a acurácia de 52,81% para 68,34% no ViT-B/16.
• Eficiência: O DOME alcança desempenho SOTA com 4$\times$ menos parâmetros treináveis do que métodos de adaptação de modelo total (ex: CoTTA), mantendo a latência em tempo real.

5. Significância e Alegações

O artigo alega que o principal motor de uma TTA robusta não é a complexidade do algoritmo de adaptação (ex: auto-treinamento, alinhamento de protótipo), mas sim a qualidade da representação do domínio.

• Mudança de Paradigma: Ao modelar explicitamente as variáveis de domínio, o processo de inferência torna-se dependente dos dados e customizável para o domínio multidimensional de cada amostra, em vez de ser otimizado para uma distribuição global potencialmente imprecisa.
• Desentranhamento: O framework S2D desentranou com sucesso as pistas de domínio das informações semânticas, permitindo que o modelo foque na informação semântica durante a adaptação enquanto é guiado por pistas de domínio explícitas.
• Capacidade Zero-Shot: O uso de pré-treinamento visão-linguagem permite que o DOME generalize para domínios não vistos sem exigir rótulos de domínio específicos durante a fase de TTA subsequente.

Os autores concluem que a representação de domínio explícita e estruturada é a chave para resolver a fragilidade dos métodos atuais de TTA, permitindo que estratégias simples alcancem o estado da arte através de diversas e contínuas mudanças de domínio.