Resumo Técnico: RDumb++: Adaptação Contínua em Tempo de Teste Consciente de Deriva

Declaração do Problema

A Adaptação Contínua em Tempo de Teste (CTTA) visa atualizar um modelo pré-treinado durante a implantação utilizando apenas fluxos de dados de entrada não rotulados. Embora métodos existentes como Tent e EATA ofereçam melhorias sob deslocamentos curtos e evolutivos, eles lutam significativamente quando as distribuições de teste mudam rapidamente ou ao longo de horizontes extremamente longos. Essa limitação é nitidamente evidente no benchmark CCC (Corrupções Continuamente Mutantes), onde os modelos enfrentam fluxos de até 7,5 milhões de amostras com tipos e severidades de corrupção dinamicamente mutantes.

Sob essas condições, os métodos padrão frequentemente sofrem de "colapso de entropia", onde os modelos tornam-se excessivamente confiantes e derivam em direção a previsões degeneradas. Até mesmo o método recente RDumb, que melhora a estabilidade por meio de reinicializações periódicas, depende de um intervalo de reinicialização fixo (por exemplo, a cada 1.000 passos). Essa abordagem não adaptativa leva a dois modos de falha críticos:

1. Reinicializações prematuras: Descartar adaptação útil quando nenhuma deriva de distribuição ocorreu.
2. Reinicializações atrasadas: Falhar em prevenir o colapso do modelo quando deslocamentos de distribuição chegam abruptamente.

O desafio central abordado por este trabalho é: Podemos detectar deriva de distribuição durante a inferência e reinicializar o modelo apenas quando necessário?

Metodologia: RDumb++

Os autores propõem o RDumb++, uma extensão principial do RDumb que substitui reinicializações de intervalo fixo por mecanismos de reinicialização adaptativa consciente de deriva. O framework integra dois sinais distintos de detecção de deriva com duas estratégias de reinicialização.

1. Mecanismos de Detecção de Deriva

O RDumb++ monitora a distribuição preditiva do modelo ($p_t$) para identificar desvios do comportamento esperado usando duas métricas complementares:

• Pontuação de Deriva Baseada em Entropia:

  • Calcula a entropia $H(p_t)$ da saída do modelo.
  • Mantém uma Média Móvel Exponencial (EMA) da média ($\mu_t$) e variância ($\sigma_t^2$) da entropia.
  • Calcula uma pontuação de deriva padronizada: $z^{(E)}_t = |H(p_t) - \mu_t| / \sigma_t$.
  • Função: Altamente sensível a instabilidade local rápida e mudanças abruptas na confiança do modelo (por exemplo, transições súbitas de corrupção).

• Pontuação de Deriva Baseada em Divergência KL:

  • Calcula a divergência de Kullback-Leibler (KL) entre a distribuição atual $p_t$ e uma distribuição de referência $q_t$.
  • Mantém estimativas EMA para a média e variância da KL para calcular uma pontuação padronizada: $z^{(KL)}_t = |D_{KL}(p_t \| q_t) - \mu^{KL}_t| / \sigma^{KL}_t$.
  • Função: Captura deslocamentos globais e estruturais no comportamento por classe e derivas de distribuição mais lentas que a entropia pode perder.

Um evento de deriva é declarado quando a pontuação padronizada excede um limiar de sensibilidade ajustável $k$.

2. Estratégias de Reinicialização Adaptativa

Ao detectar deriva, o modelo aplica uma de duas estratégias de reinicialização:

• Reinicialização Completa: Restaura os parâmetros do modelo ($\theta$) e o estado do otimizador para o instantâneo inicial ($\theta_0$). Isso é usado quando o modelo colapsou significativamente para apagar adaptações prejudiciais.
• Reinicialização Suave: Realiza uma restauração parcial via interpolação: $\theta \leftarrow \lambda\theta_0 + (1-\lambda)\theta$, onde $\lambda \in [0, 1]$. Isso preserva adaptações úteis enquanto corrige deriva prejudicial.

3. Variantes do Modelo

A combinação de métodos de detecção e estratégias de reinicialização produz quatro variantes:

• EntropyFull / EntropySoft: Acionadas por detecção de entropia.
• KLFull / KLSoft: Acionadas por detecção de divergência KL.

Configuração Experimental

• Benchmark: CCC-Medium, apresentando 1 milhão de imagens não rotuladas por fluxo com tipos de corrupção mudando a cada 500–1.500 passos.
• Backbone: ResNet-50 pré-treinado no ImageNet, adaptando apenas parâmetros afins de BatchNorm (consistente com Tent/EATA/RDumb).
• Protocolo: Três velocidades de corrupção ($\{1000, 2000, 5000\}$ passos) $\times$ três sementes aleatórias = 9 fluxos de avaliação independentes (totalizando 9 milhões de passos).
• Baselines: Sem adaptação (Baseline), RDumb e as quatro variantes do RDumb++.

Resultados Chave

Em todas as nove execuções, o RDumb++ superou consistentemente a linha de base RDumb de intervalo fixo:

1. Ganhos de Precisão: As variantes do RDumb++ alcançaram melhorias absolutas de precisão de 2–3% em média sobre o RDumb, com as variantes mais fortes (EntropyFull e KLFull) atingindo ganhos de 3–5% em configurações específicas.
   • Exemplo: Em média, o RDumb marcou 41,61%, enquanto o EntropyFull atingiu 44,20% e o KLFull atingiu 43,75%.
2. Eficácia da Estratégia de Reinicialização: As reinicializações completas geralmente superaram as reinicializações suaves, particularmente quando o modelo havia experimentado deriva substancial, pois permitiam que o modelo "voltasse" a um estado limpo.
3. Complementaridade na Detecção de Deriva:
   • A detecção baseada em entropia provou ser mais eficaz para transições de corrupção agudas e abruptas.
   • A detecção baseada em KL forneceu maior estabilidade em velocidades variadas, capturando deslocamentos globais mais lentos.
4. Descobertas de Ablação:
   • Limiar de Deriva ($k$): Uma configuração moderada ($k=2,5$) produziu o melhor equilíbrio, prevenindo tanto reinicializações prematuras (em $k=2,0$) quanto reinicializações atrasadas (em $k=3,0$).
   • Força da Reinicialização Suave ($\lambda$): Um peso de interpolação equilibrado ($\lambda=0,5$) foi ótimo; reinicializações mais fracas ($0,3$) sub-corrigiram a deriva, enquanto reinicializações mais fortes ($0,7$) apagaram muita adaptação útil.

Significado e Alegações

O artigo afirma que o RDumb++ fornece um framework simples e escalável para melhorar a robustez na adaptação contínua em tempo de teste, substituindo reinicializações heurísticas de intervalo fixo por intervenções orientadas por dados e conscientes de deriva.

• Estabilidade: A contribuição primária é a prevenção do "colapso de previsão" ao longo de horizontes extremamente longos (1M+ passos) onde os métodos padrão falham.
• Adaptabilidade: Ao acionar reinicializações apenas quando desvios estatisticamente significativos são detectados, o método evita os modos de falha de "reinicialização prematura" e "reinicialização atrasada" inerentes a abordagens periódicas.
• Praticidade: O framework requer apenas monitoramento estatístico leve (entropia e divergência KL) e operações padrão de reinicialização, tornando-o aplicável a cenários de implantação do mundo real, como robótica e direção autônoma, onde deslocamentos de distribuição são não estacionários e imprevisíveis.

Os autores reconhecem limitações, observando que o método ainda requer ajuste de limiares e assume que estatísticas de entropia/KL são sinais de deriva confiáveis, o que pode não se manter em casos de desequilíbrio de classe severo ou perturbações adversariais. No entanto, dentro do escopo do benchmark CCC, o RDumb++ demonstra que a detecção explícita de deriva é essencial para CTTA de longo horizonte confiável.