A Closer Look at In-Distribution vs. Out-of-Distribution Accuracy for Open-Set Test-time Adaptation

Resumo Técnico: Um Olhar Mais Atento sobre a Precisão de Distribuição Interna vs. Fora de Distribuição para Adaptação de Tempo de Teste de Conjunto Aberto

Definição do Problema
Redes neurais profundas frequentemente sofrem degradação de precisão quando os dados de teste passam por mudanças de distribuição. Embora os métodos de Adaptação de Tempo de Teste (TTA - Test-Time Adaptation) mitiguem isso atualizando os modelos com base nos dados de teste, as abordagens padrão assumem que todos os dados de teste pertencem a classes conhecidas (Distribuição Interna ou InD). Em cenários realistas de conjunto aberto (open-set), os dados de teste também podem conter classes desconhecidas (Fora de Distribuição ou OOD). Os métodos atuais de TTA de conjunto aberto visam se adaptar aos dados InD enquanto filtram ou rejeitam dados OOD. No entanto, a capacidade desses métodos de detectar e rejeitar com precisão entradas OOD permanece pouco explorada, apesar de terem demonstrado melhorias na precisão InD. Existe uma lacuna crítica na compreensão do compromisso (trade-off) entre manter uma alta precisão InD e garantir uma rejeição confiável de OOD, particularmente sob proporções variadas de dados OOD e diferentes arquiteturas de normalização.

Metodologia e Configuração do Benchmark
Os autores realizam um benchmark abrangente de métodos de TTA robustos e de conjunto aberto, incluindo SAR, OSTTA, UniEnt, UniEnt+ e SoTTA, juntamente com um simples baseline (Tent). A avaliação utiliza benchmarks de corrupção padrão:

• Escala Pequena: CIFAR-10-C (InD) pareado com SVHN-C ou CIFAR-100-C corrompidos (OOD).
• Escala Grande: ImageNet-C (InD) pareado com ImageNet-O-C corrompido (OOD próximo, visualmente semelhante, mas de classes diferentes) ou Textures-C (OOD distante, padrões não relacionados a objetos).

O estudo introduz várias variações experimentais para refletir condições de implantação realistas:

1. Lotes Mistos (Mixed Batches): Avaliação de desempenho onde os lotes contêm proporções variadas de dados InD e OOD (25%, 50%, 75%).
2. Intervalos de Lote (Batch Intervals): Teste de cenários onde os dados OOD aparecem em surtos consecutivos (intervalos) entre lotes InD, em vez de serem misturados uniformemente.
3. Distribuição de Saída: Os autores propõem um novo baseline que substitui a saída softmax padrão por uma saída sigmoid/multirrótulo. Isso permite que o modelo produza probabilidades baixas para todas as classes simultaneamente, permitindo a rejeição explícita de entradas desconhecidas sem forçar uma previsão de classe.
4. Camadas de Normalização: Investigação do impacto da Normalização de Lote (BN), Normalização de Grupo (GN) e Normalização de Camada (LN) na estabilidade da adaptação de conjunto aberto.

Principais Contribuições e Resultados

• Compromisso InD vs. OOD: A análise revela que os métodos atuais de TTA de conjunto aberto lutam para equilibrar o reconhecimento InD e a rejeição OOD. Otimizar para alta precisão InD frequentemente resulta em precisão OOD próxima de zero (altas taxas de falsos positivos para dados OOD) e vice-versa. Embora métodos como o UniEnt alcancem a melhor separação, eles ainda enfrentam compromissos significativos.
• Limitações da Filtragem Atual: O artigo demonstra que os mecanismos internos de filtragem dos métodos existentes (ex: limiar de confiança no SoTTA, filtragem de entropia no SAR, agrupamento de protótipos no UniEnt) são imperfeitos. Em alguns casos, sua capacidade de distinguir InD de OOD é inferior a um simples limiar baseado em escores de confiança derivados das saídas brutas do modelo.
• Baseline de Saída Sigmoid: Substituir o softmax pela saída sigmoid (Tent-Sigmoid e SAR-Sigmoid) produz um perfil de compromisso distinto. Embora possa reduzir ligeiramente a precisão InD em comparação com os equivalentes baseados em softmax, melhora significativamente as métricas de detecção OOD (AUROC, FPR@TPR95, OSCR). A distribuição de entropia sigmoid mostra uma melhor separação entre entradas InD e OOD, exibindo frequentemente uma distribuição bimodal que facilita a rejeição sem heurísticas de filtragem complexas.
• Sensibilidade às Proporções de OOD: Os métodos existentes são altamente sensíveis à proporção de dados OOD dentro de um lote. À medida que a razão OOD aumenta, o desempenho degrada consistentemente em todas as métricas. No entanto, os métodos são relativamente insensíveis ao intervalo de lotes OOD (lotes OOD consecutivos), sugerindo que o problema reside na interação de dados misturados dentro de uma única atualização de lote, e não na presença de dados OOD ao longo do tempo.
• Papel das Camadas de Normalização: A estabilidade da adaptação depende fortemente da camada de normalização. Modelos que utilizam Normalização de Lote (BN) exibem grandes flutuações na precisão e nas métricas OOD quando confrontados com variações nas proporções de OOD. Em contraste, a Normalização de Grupo (GN) e a Normalização de Camada (LN) demonstram um desempenho significativamente mais estável, com a LN apresentando os resultados mais robustos no geral.

Significância e Alegações
O artigo afirma fornecer a primeira avaliação padronizada e multimétrica de TTA de conjunto aberto que mede explicitamente o compromisso entre a precisão InD e OOD. Os autores argumentam que o campo tem negligenciado a confiabilidade da rejeição OOD em favor de melhorias na precisão InD. Ao introduzir o baseline sigmoid e testar sob proporções variáveis e realistas de OOD, o trabalho destaca que os métodos atuais não filtram efetivamente os dados OOD para atualizações de adaptação.

Os autores concluem que, embora seu baseline sigmoid ofereça um compromisso diferente e muitas vezes mais favorável para a rejeição OOD, ele não é uma panaceia; ele sacrifica parte da precisão InD. Eles sugerem que o trabalho futuro deve focar no desenvolvimento de métodos que possam equilibrar melhor esses objetivos conflitantes, potencialmente através de técnicas de filtragem aprimoradas ou distribuições de saída alternativas, para garantir uma implantação segura e confiável em ambientes de conjunto aberto. O artigo não pretende resolver o problema inteiramente, mas sim identificar as lacunas específicas nas metodologias atuais e fornecer uma compreensão empírica mais completa dos desafios envolvidos.