One Pool Is Not Enough: Multi-Cluster Memory for Practical Test-Time Adaptation

Título: Um Único Pool Não Basta: Memória Multi-Cluster para Adaptação em Tempo de Teste

1. Problema e Motivação

O artigo aborda o desafio da Adaptação em Tempo de Teste (TTA - Test-Time Adaptation), especificamente no cenário de TTA Prática (PTTA). Neste cenário, os modelos pré-treinados devem se adaptar a distribuições de dados em mudança durante a inferência, utilizando apenas dados de teste não rotulados, que são temporais, correlacionados e não i.i.d. (independentes e identicamente distribuídos).

• Limitação Atual: Métodos existentes de TTA baseados em memória utilizam um Pool de Memória de Único Cluster (SCM - Single-Cluster Memory). Eles armazenam amostras em um único pool não estruturado, assumindo implicitamente que a distribuição alvo é unimodal.
• A Descoberta Crítica: Os autores demonstram que essa suposição é fundamentalmente inadequada para PTTA. Através de uma análise de agrupabilidade (clusterability) de fluxos de dados, eles provam que os fluxos de teste são inerentemente multimodais. Mesmo dentro de um único tipo de corrupção, a distribuição ótima de componentes (determinada por Critério de Informação Bayesiano - BIC) varia entre 5,9 e 9,7 componentes, muito acima do $K=1$ assumido pelos métodos atuais.
• Consequência: O SCM falha em representar a diversidade da distribuição, levando a um desequilíbrio nas amostras armazenadas, perda de modos (modos da distribuição que deixam de ser representados) e, consequentemente, a uma adaptação instável e subótima.

2. Metodologia: Multi-Cluster Memory (MCM)

Para preencher essa lacuna estrutural, os autores propõem o MCM, um framework de memória plug-and-play que organiza as amostras armazenadas em múltiplos clusters baseados em descritores estatísticos de baixo nível. O sistema opera através de três mecanismos principais:

1. Atribuição de Cluster Baseada em Descritores:

   • Cada amostra é caracterizada por um descritor estatístico de nível de pixel (média e variância por canal da imagem bruta). Esses descritores capturam diretamente características de mudança de domínio (iluminação, ruído, desfoque) sem depender de características semânticas de alto nível que podem suprimir variações de domínio.
   • Ao chegar uma nova amostra, a distância Euclidiana entre seu descritor e os centróides dos clusters existentes é calculada. Se a distância for maior que um limiar $\tau$, um novo cluster é criado; caso contrário, a amostra é atribuída ao cluster mais próximo.

2. Consolidação de Clusters Adjacentes (ACC - Adjacent Cluster Consolidation):

   • Para limitar o uso de memória quando o número máximo de clusters ($K_{max}$) é atingido, o sistema funde pares de clusters.
   • Diferente de estratégias globais, o ACC funde apenas clusters adjacentes na sequência temporal de criação. Sob PTTA, clusters criados consecutivamente provavelmente pertencem a domínios similares ou em transição.
   • A fusão mantém as $N$ amostras com menor incerteza de predição, preservando a cobertura da distribuição enquanto economiza espaço.

3. Recuperação Uniforme de Cluster (UCR - Uniform Cluster Retrieval):

   • Durante a adaptação, o sistema recupera um número igual de amostras de todos os clusters ativos.
   • Isso garante que o sinal de gradiente não seja dominado por modos majoritários, assegurando supervisão balanceada através de todos os modos da distribuição alvo.

3. Contribuições Principais

• Evidência Empírica da Multimodalidade: Primeira prova empírica de que fluxos de dados PTTA são inerentemente multimodais, estabelecendo a motivação teórica para abandonar o design de memória de único cluster.
• Framework MCM: Proposta de uma estrutura de memória que organiza amostras via agrupamento de descritores de pixel, consolidação temporalmente adjacente e recuperação uniforme. É compatível com qualquer método de TTA baseado em memória existente.
• Framework de Diagnóstico Baseado em GMM: Introdução de uma métrica para avaliar a qualidade da memória (razão de desequilíbrio, entropia distribucional e cobertura de modos), demonstrando que os ganhos de desempenho vêm da organização estruturada e não apenas do aumento da capacidade.

4. Resultados Experimentais

Os autores avaliaram o MCM integrado a três métodos de TTA contemporâneos (RoTTA, PeTTA, ResiTTA) em quatro benchmarks sob o protocolo PTTA: CIFAR-10-C, CIFAR-100-C, ImageNet-C e DomainNet.

• Desempenho Geral: O MCM produziu melhorias consistentes em todas as 12 configurações (3 métodos $\times$ 4 datasets), com uma redução média de erro de 2,96%.
• Ganhos Máximos:
  • Até 5,00% de melhoria no ImageNet-C (com PeTTA).
  • Até 12,13% de melhoria no DomainNet (com ResiTTA).
• Escalabilidade com Complexidade: Os benefícios do MCM escalonam com a complexidade da distribuição. Datasets com espaços de rótulos maiores e maior multimodalidade (ImageNet, DomainNet) beneficiaram-se mais do que o CIFAR-10-C.
• Estabilidade em TTA Recorrente: Em testes de 20 rodadas de adaptação recorrente, o MCM manteve a estabilidade e continuou a melhorar o desempenho, evitando o colapso do modelo observado em outros métodos.
• Análise de Diagnóstico: O MCM manteve uma razão de desequilíbrio próxima de 1,8 (vs. 23,5 no SCM), entropia máxima e cobertura total de modos, enquanto o SCM mostrou desequilíbrio persistente e perda progressiva de modos.
• Eficiência: O MCM alcançou melhor precisão com menor tempo de execução comparado ao aumento simples da capacidade de memória em um único pool.

5. Significado e Conclusão

O trabalho estabelece que a organização da memória é um eixo de design fundamental para a adaptação prática em tempo de teste, superando a simples busca por maior capacidade de armazenamento.

• Mudança de Paradigma: Demonstra que armazenar mais amostras em um pool não estruturado é ineficiente e computacionalmente custoso. Organizar a mesma capacidade em clusters baseados em estatísticas de baixo nível (que capturam a essência da mudança de domínio) é mais eficaz.
• Implicações: O uso de descritores de nível de pixel, em vez de características semânticas de CNN, provou ser superior para agrupar amostras por modo de distribuição em cenários de corrupção.
• Futuro: Abre caminho para o uso de representações compactas e estruturas de gerenciamento de clusters mais ricas (baseadas em grafos) para lidar com distribuições em evolução em modelos de grande escala.

Em resumo, o MCM resolve o gargalo da representatividade da memória em TTA, garantindo que o modelo se adapte a uma visão fiel e balanceada da distribuição alvo em tempo real.