Contrastive Residual Energy Test-time Adaptation

Resumo Técnico: Adaptação em Tempo de Teste por Energia Residual Contrastiva (CRETTA)

Declaração do Problema
Modelos de aprendizado profundo frequentemente sofrem degradação de desempenho quando as distribuições dos dados de teste divergem das distribuições de treinamento (mudança de distribuição). A adaptação em tempo de teste (TTA) visa mitigar isso adaptando os modelos a dados de destino não rotulados durante a inferência. No entanto, as abordagens existentes de TTA enfrentam um trade-off crítico entre confiabilidade e eficiência:

1. Métodos de Minimização de Entropia (EM): Abordagens como o TENT dependem da minimização da entropia das previsões do modelo. Embora computacionalmente eficientes, elas dependem fundamentalmente de previsões incertas sem rótulos verdadeiros. Isso cria um "viés de autoconfirmação", levando as probabilidades previstas a valores extremos (0 ou 1), resultando em superconfiança severa e calibração deficiente.
2. Modelos Baseados em Energia (EBMs): Estruturas como o TEA modelam diretamente a distribuição marginal dos dados de destino, evitando a dependência de previsões de rótulos. Embora mais confiáveis, as abordagens padrão de EBM exigem a estimativa de uma constante de normalização intratável (função de partição) por meio de amostragem custosa (por exemplo, cadeias de Markov). Isso introduz erros de aproximação e sobrecarga computacional proibitiva, dificultando a escalabilidade e a implantação em tempo real.

Metodologia: CRETTA
Os autores propõem a Adaptação em Tempo de Teste por Energia Residual Contrastiva (CRETTA), uma estrutura sem amostragem que otimiza a distribuição marginal enquanto elimina a necessidade de aproximação da constante de normalização.

• Formulação de Energia Residual: O método redefine a mudança de distribuição como o aprendizado de uma função de energia residual ($\tilde{E}_\theta$). A distribuição de destino $p_\theta$ é modelada como o produto de um modelo fonte pré-treinado congelado $q_\phi$ e um termo residual exponencial:
  $$p_\theta(x) = \frac{1}{Z(\theta)} q_\phi(x) \exp\left(-\frac{1}{\beta} \tilde{E}_\theta(x)\right)$$
  Aqui, $\tilde{E}_\theta$ captura apenas a discrepância entre as distribuições de origem e destino, atuando como um regularizador implícito para evitar o sobreajuste ao domínio de destino.

• Objetivo Contrastivo: Em vez da Estimativa de Máxima Verossimilhança (MLE), que requer amostragem, a CRETTA emprega um objetivo contrastivo em pares. Ela aprende a atribuir energia mais baixa a amostras de destino ($x_t$) do que a amostras de origem ($x_s$). A probabilidade de uma amostra de destino ter energia mais baixa do que uma amostra de origem é modelada usando uma função sigmoide:
  $$P(\tilde{E}_\theta(x_t) < \tilde{E}_\theta(x_s)) = \sigma(\tilde{E}_\theta(x_s) - \tilde{E}_\theta(x_t))$$
  Crucialmente, ao operar sobre a diferença nas energias entre pares, a função de partição intratável $Z$ cancela-se matematicamente. Isso torna o objetivo tratável sem qualquer etapa de amostragem.

• Reponderação Adaptativa de Gradiente: O gradiente da perda é reponderado adaptativamente pela diferença de energia relativa entre pares de origem e destino. Este mecanismo modula a força de aprendizado: as atualizações são mais fortes quando a diferença de energia contradiz a preferência desejada e mais fracas quando alinhadas. Isso impede que o modelo colapse para soluções triviais e garante uma adaptação estável.

• Buffer de Origem: O método utiliza um pequeno buffer de amostras de origem (tão pouco quanto 1% do conjunto de dados de origem) para formar pares com lotes de destino entrantes. O artigo observa que o conteúdo do buffer não precisa ser exatamente os dados de origem originais, mas deve ser distribucionalmente similar.

Principais Contribuições

1. Estrutura de EBM sem Amostragem: A CRETTA remove o gargalo de amostragem inerente aos EBMs tradicionais, oferecendo eficiência computacional e escalabilidade significativas, adequadas para aplicações em tempo real.
2. Reformulação Teórica: Ao redefinir a TTA como o aprendizado de uma função de energia residual com um objetivo contrastivo, os autores eliminam a necessidade de aproximação da função de partição.
3. Estabilidade via Regularização Implícita: A análise revela que a formulação residual e a reponderação adaptativa de gradiente atuam como regularizadores implícitos, mitigando efetivamente o sobreajuste e o viés de autoconfirmação observados na minimização de entropia.

Resultados Experimentais
Extensos experimentos foram conduzidos nos conjuntos de dados CIFAR10-C, CIFAR100-C, TinyImageNet-C, ImageNet-C e PACS sob várias severidades de corrupção e mudanças de distribuição.

• Desempenho: A CRETTA superou consistentemente as linhas de base (incluindo TENT, TEA, BN-Adapt e SAR) tanto em precisão de classificação (medida por mCE) quanto em calibração (medida por ECE). Por exemplo, no CIFAR10-C (Severidade 5), a CRETTA alcançou um mCE de 71,25% e um ECE de 4,15%, superando o TEA (mCE 73,18%, ECE 3,83%) e o TENT (mCE 73,91%, ECE 5,49%).
• Escalabilidade: Em conjuntos de dados em grande escala como o ImageNet-C, o TEA exibiu degradação de desempenho devido a erros de aproximação acumulados, enquanto a CRETTA manteve calibração e precisão estáveis.
• Eficiência: A CRETTA reduziu os custos computacionais em aproximadamente 8x em comparação com o TEA (por exemplo, ~527 GFLOPs vs. ~4335 GFLOPs no CIFAR10-C) enquanto alcançava desempenho superior ou comparável.
• Robustez: O método demonstrou robustez em configurações não-IID (simuladas via distribuição Dirichlet) e mudanças de distribuição graduais, prevenindo o "esquecimento" do conhecimento de origem observado em métodos baseados em MLE.

Significado e Alegações
O artigo alega que a CRETTA preenche a lacuna entre adaptação consciente da calibração e viabilidade prática. Ela aborda o dilema onde os métodos existentes são ou eficientes, mas não confiáveis (baseados em entropia), ou confiáveis, mas computacionalmente proibitivos (baseados em amostragem). Ao alcançar adaptação bem calibrada sem amostragem, a CRETTA oferece uma solução escalável para cenários do mundo real onde os modelos devem operar sob mudanças de distribuição com supervisão limitada e restrições estritas de latência. Os autores enfatizam que sua abordagem fornece uma estratégia de otimização estável e principiante que melhora a qualidade da representação, em vez de meramente aumentar a confiança da previsão.