Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation

Título: Entropia Tsallis de Desviamento Adaptativo para Adaptação no Tempo de Teste (ADTE)

1. O Problema

Os Modelos Visão-Linguagem (VLMs), como o CLIP, possuem capacidades notáveis de generalização, mas sofrem degradação de desempenho quando confrontados com distribuições de dados diferentes das de treinamento (desvio de domínio). Para mitigar isso, utiliza-se a Adaptação no Tempo de Teste (TTA), que ajusta o modelo instantaneamente durante a inferência sem dados rotulados.

A maioria dos métodos de TTA existentes baseia-se na Entropia de Shannon (SE) para medir a incerteza das previsões e selecionar "vistas" (augmented views) de alta confiança. No entanto, o artigo identifica um problema fundamental:

• Viés Inerente: Os VLMs são pré-treinados em dados da web desbalanceados, o que cria um viés de previsão sistemático (classes "cabeça" têm alta confiança/precisão, enquanto classes "cauda" têm baixa confiança/precisão).
• Falha da Entropia de Shannon: A SE calcula a incerteza de forma uniforme para todas as classes. Como ela depende das probabilidades previstas (que já são enviesadas), a estimativa de entropia torna-se enviesada. Isso leva à seleção incorreta de vistas de alta confiança, prejudicando a adaptação, especialmente para classes minoritárias (cauda).

2. Metodologia

Os autores propõem a Entropia Tsallis de Desviamento Adaptativo (ADTE), uma generalização da Entropia de Shannon que introduz um parâmetro não extensivo ($q$) para lidar com distribuições enviesadas.

A. Entropia Tsallis (TE) como Base
A Entropia Tsallis é definida como:
$$H_{TE}(P) = \frac{1}{1-q} \left( \sum_{l=1}^{L} P(y=l|x)^q - 1 \right)$$

• Propriedade Teórica: Quando $q \to 1$, a TE converge para a Entropia de Shannon.
• Viés e o Parâmetro $q$: A análise teórica e experimental mostra que, para $0 < q < 1$, a TE é capaz de mitigar o impacto do viés inerente aos VLMs. Especificamente, para classes de cauda (probabilidades baixas), a TE com $q < 1$ corrige a subestimação da entropia causada pela SE, permitindo a seleção de vistas mais confiáveis. A SE atua como um limite inferior de desempenho para a TE.

B. Entropia Tsallis de Desviamento Adaptativo (ADTE)
O desafio de usar a TE é que o parâmetro $q$ ideal varia entre diferentes distribuições de teste e, crucialmente, entre diferentes classes (uma classe de cabeça pode precisar de um $q$ diferente de uma classe de cauda).

• Solução Adaptativa: O ADTE generaliza a TE introduzindo um parâmetro específico por classe, $q_l$, para cada categoria $l$.
• Estimativa de Viés: O método estima o viés de cada classe utilizando um banco de memória com instâncias de teste que chegam continuamente. Utiliza-se pseudo-rótulos para calcular a distribuição de probabilidade marginal e estimar o viés ($\tilde{p}_l$).
• Normalização: O parâmetro $q_l$ é derivado via normalização min-max do viés estimado. Classes com maior viés (geralmente cauda) recebem valores de $q_l$ menores (mais próximos de 0) para uma correção mais agressiva, enquanto classes com menor viés recebem valores mais próximos de 1.
• Pipeline:
  1. Aumenta-se a imagem de teste em várias vistas.
  2. Calcula-se o viés estimado para cada classe.
  3. Determina-se $q_l$ para cada classe.
  4. Calcula-se a entropia ADTE para cada vista.
  5. Selecionam-se as vistas com menor entropia ADTE (alta confiança).
  6. Agrega-se as previsões dessas vistas para a predição final.

3. Contribuições Principais

1. Identificação do Viés na Entropia: Demonstração de que a Entropia de Shannon falha em capturar a incerteza em VLMs devido ao viés de pré-treinamento, resultando em estimativas enviesadas.
2. Fundamentação Teórica da TE: Prova de que a Entropia Tsallis é uma generalização da SE e que, com $q < 1$, ela seleciona vistas com maior confiabilidade (medida por Top-K Cumulative Reliability - TcrK) do que a SE.
3. Mecanismo Adaptativo (ADTE): Proposta de um método que não requer ajuste manual de hiperparâmetros, calculando dinamicamente um parâmetro $q_l$ específico para cada classe baseado no viés observado em tempo de teste.
4. Integração Simples: O ADTE pode ser integrado diretamente a estratégias de ajuste de logits (Logit Adjustment) e substituir a SE em pipelines existentes sem alterações arquitetônicas complexas.

4. Resultados Experimentais

Os experimentos foram conduzidos em diversos benchmarks, incluindo ImageNet e suas variantes (A, V2, R, K) e 10 benchmarks de domínio cruzado (como Caltech, SUN, DTD, Pets, etc.), utilizando arquiteturas CLIP (ViT-B/16 e ViT-L/14).

• Desempenho Geral: O ADTE superou consistentemente os métodos mais avançados (SOTA) como TPT, Zero, TDA, Frolic e BCA.
  • No ImageNet-1k (ViT-B/16), alcançou 71.8% de acurácia (vs. 70.9% do Zero).
  • Na média de 10 benchmarks de domínio cruzado, obteve a melhor performance média (71.8% com ViT-B/16 e 77.7% com ViT-L/14).
• Classes de Cauda: O método demonstrou melhoria significativa em classes de cauda. Em classes onde o CLIP original tinha 0% de acurácia, o ADTE alcançou entre 32% e 56% de acurácia, além de aumentar significativamente a confiança das previsões.
• Robustez: O ADTE manteve desempenho superior mesmo em cenários de ruído de pseudo-rótulos e em distribuições de baixa viés, validando a teoria de que a TE é um limite inferior superior à SE.
• Custo Computacional: O custo adicional é negligenciável (apenas ~0.01s a mais por amostra comparado ao método Zero), tornando-o viável para aplicações em tempo real.

5. Significado e Conclusão

O trabalho estabelece que a Entropia de Shannon não é a métrica ideal para incerteza em modelos de visão-linguagem devido aos vieses estruturais de seus dados de treinamento. Ao introduzir a ADTE, os autores fornecem uma ferramenta teórica e prática robusta para corrigir esses vieses dinamicamente.

A principal implicação é que a adaptação no tempo de teste pode ser drasticamente melhorada não apenas ajustando os pesos do modelo, mas corrigindo a própria métrica de incerteza utilizada para guiar essa adaptação. O ADTE oferece um novo padrão para TTA em VLMs, sendo robusto, adaptável a diferentes domínios e eficaz tanto para classes majoritárias quanto minoritárias, sem a necessidade de retreinamento ou ajuste fino complexo de hiperparâmetros.