Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation

Titel: Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation (ADTE)

1. Het Probleem: Bias in Vision-Language Models tijdens Test-Time Adaptation

Bestaande methoden voor Test-Time Adaptation (TTA) bij Vision-Language Models (VLMs), zoals CLIP, vertrouwen doorgaans op Shannon Entropie (SE) om onzekerheid te meten en betrouwbare voorspellingen te selecteren. De auteurs identificeren echter een fundamenteel probleem:

• Inherent Bias: VLMs zijn vooraf getraind op web-gescrapte datasets die sterk onbalans zijn (veel "head" classes, weinig "tail" classes). Dit leidt tot een systematische voorspellingsbias: het model vertoont vaak hoge zekerheid (maar lage nauwkeurigheid) voor head classes en lage zekerheid (met lage nauwkeurigheid) voor tail classes.
• Gebrek aan SE: Shannon Entropie behandelt alle kansen uniform via de formule $-p \log p$. Het kan geen rekening houden met de variërende mate van bias tussen verschillende klassen. Hierdoor worden de entropiewaarden voor augmented views (versterkte beelden) zelf bevooroordeeld, wat leidt tot een suboptimale selectie van "high-confidence" views tijdens de adaptatie.

2. Methodologie

De paper introduceert een nieuwe aanpak die de beperkingen van Shannon Entropie overwint door gebruik te maken van Tsallis Entropie (TE) en deze dynamisch aan te passen.

A. Tsallis Entropie (TE) als Generalisatie
De auteurs tonen aan dat TE een generalisatie is van SE, gedefinieerd met een extra parameter $q$ (de niet-extensiviteitsparameter):
$$H_{TE} = \frac{1}{1-q} \left( \sum_{l=1}^{L} P(y=l|x)^q - 1 \right)$$

• Theoretische Eigenschappen:
  • Als $q \to 1$, convergeert TE naar SE.
  • Als $q < 1$, neigt TE ertoe views met een hogere cumulatieve betrouwbaarheid (Top-K Cumulative Reliability, $Tcr_K$) te selecteren.
  • Voor tail classes (waar de voorspelde kans $p$ laag is en de echte kans $\hat{p}$ hoger is), kan een $q < 1$ de bias in de entropieberekening corrigeren. De paper bewijst dat voor $0 < q < 1$, TE de bias van SE effectief vermindert.

B. Adaptive Debiasing Tsallis Entropy (ADTE)
Een standaard TE vereist een handmatig ingestelde $q$, wat onpraktisch is omdat de optimale $q$ verschilt per dataset en zelfs per klasse. De auteurs lossen dit op met ADTE:

• Klasse-specifieke parameter ($q_l$): In plaats van één globale $q$, berekent ADTE een unieke parameter $q_l$ voor elke klasse $l$.
• Bias Schatting: De parameter $q_l$ wordt afgeleid uit de geschatte voorspellingsbias van de klasse. Dit gebeurt door een "memory bank" van pseudo-labels van de teststroom te gebruiken om de a priori kansen van klassen te schatten (via Jacobi-iteratie).
• Normalisatie: De geschatte bias wordt genormaliseerd (min-max) naar het interval $(0, 1)$. Een grotere bias (vaak bij tail classes) resulteert in een kleinere $q_l$, wat een sterkere correctie impliceert.
• Integratie: ADTE wordt naadloos geïntegreerd met bestaande TTA-pipelines (zoals Zero of TPT). Het selecteert augmented views met de laagste ADTE-waarde, aggregeert deze voorspellingen en voert de adaptatie uit zonder extra hyperparameter-tuning per dataset.

3. Belangrijkste Bijdragen

1. Theoretisch Inzicht: Het aantonen dat Shannon Entropie een ondergrens is voor Tsallis Entropie en dat TE inherent beter geschikt is om onzekerheid in bevooroordeelde distributies te karakteriseren.
2. Nieuwe Methode (ADTE): De ontwikkeling van een adaptieve methode die klasse-specifieke parameters ($q_l$) genereert op basis van live test-data, waardoor de bias automatisch wordt gecorrigeerd zonder handmatige tuning.
3. Robuustheid: ADTE werkt effectief zonder de modelarchitectuur of tekst-prompten aan te passen en integreert naadloos met logit-aanpassing (Logit Adjustment) strategieën.

4. Resultaten

De auteurs hebben ADTE uitgebreid getest op diverse benchmarks:

• ImageNet en Varianten: ADTE presteert consequent beter dan state-of-the-art methoden (zoals TPT, Zero, TDA, BCA) op ImageNet-1k en zijn varianten (ImageNet-A, -V2, -K, -R).
  • Bijvoorbeeld: Op ImageNet-1k met ViT-B/16 en handgemaakte prompts bereikt ADTE 71.8% nauwkeurigheid, wat een verbetering is van +0.9% ten opzichte van de vorige beste methode (Zero).
• Cross-Domain Benchmarks: Op 10 verschillende domeinen (o.a. Caltech, SUN, DTD, UCF101) behaalt ADTE de hoogste gemiddelde prestatie, ongeacht of er handgemaakte prompts of door GPT gegenereerde prompts worden gebruikt.
• Verbetering Tail Classes: Specifieke analyse toont aan dat ADTE de nauwkeurigheid en het vertrouwen (confidence) voor tail classes aanzienlijk verbetert (bijvoorbeeld van 0% naar >30% op sommige klassen), terwijl het de onzekerheid (entropie) verlaagt.
• Efficiëntie: De methode voegt slechts een verwaarloosbare rekentijd toe (voornamelijk voor de bias-schatting) en vereist geen grote memory banks (stabiliteit wordt bereikt met ~10 samples per klasse).

5. Significantie

Deze paper biedt een fundamentele verbetering in het TTA-domein voor Vision-Language Models. Door de inherente bias van pre-getrainde modellen expliciet te adresseren via een wiskundig onderbouwde generalisatie van entropie (Tsallis), biedt ADTE een robuuste oplossing voor distributieveranderingen. Het bewijst dat het simpelweg minimaliseren van Shannon Entropie niet voldoende is in onbalans scenario's en dat adaptieve, klasse-specifieke correcties essentieel zijn voor betrouwbare zero-shot generalisatie in de praktijk. De code is open-source beschikbaar gesteld, wat de reproduceerbaarheid en adoptie bevordert.