One Pool Is Not Enough: Multi-Cluster Memory for Practical Test-Time Adaptation

Probleemstelling: De beperkingen van Single-Cluster Memory

Test-time adaptation (TTA) is een techniek om vooraf getrainde modellen aan te passen aan veranderingen in de data-distributie tijdens de inferentie, zonder toegang tot de oorspronkelijke trainingsdata. In de praktijk van Practical TTA (PTTA) zijn teststreams niet onafhankelijk en identiek verdeeld (non-i.i.d.), maar vertonen ze tijdsgebonden correlaties. Om stabiele aanpassing mogelijk te maken, is het gebruik van een geheugen (memory) essentieel om informatieve steekproeven over tijd te accumuleren.

Bestaande methoden gebruiken echter bijna uitsluitend een Single-Cluster Memory (SCM): een ongestructureerde pool waarin alle opgeslagen steekproeven willekeurig worden geselecteerd op basis van criteria zoals voorspelling-entropie of leeftijd.

• Het fundamentele probleem: SCM gaat er impliciet van uit dat de doel-distributie unimodaal is (één modus).
• De realiteit: De auteurs tonen aan dat PTTA-streams inherent multimodaal zijn. Zelfs binnen één type corruptie (bijv. "ruis" of "onscherpte") vertoont de datastroom meerdere distincte modi door variatie in semantische categorieën en omstandigheden.
• Gevolg: Een ongestructureerde pool faalt om deze complexe structuur af te beelden, wat leidt tot een scheefgetrokken steekproefpool, een gebrek aan dekking van de distributie en uiteindelijk suboptimale aanpassing.

Methodologie: Multi-Cluster Memory (MCM)

Om deze structurele kloof te dichten, stellen de auteurs Multi-Cluster Memory (MCM) voor. Dit is een plug-and-play framework dat opgeslagen steekproeven organiseert in meerdere clusters gebaseerd op lichtgewicht pixel-statistieken. MCM beheert de levenscyclus van het geheugen via drie complementaire mechanismen:

1. Descriptor-based Cluster Assignment (Toewijzing):

   • Elke steekproef wordt gekenmerkt door een descriptor gebaseerd op kanaal-gemiddelden en -varianties van de ruwe pixels (niet op hoge-level CNN-features).
   • Bij aankomst wordt de steekproef toegewezen aan de dichtstbijzijnde clustercentroïde. Als de afstand een drempelwaarde ($\tau$) overschrijdt, wordt een nieuwe cluster aangemaakt. Dit zorgt voor het vastleggen van distincte distributiemodi.

2. Adjacent Cluster Consolidation (ACC):

   • Wanneer het maximale aantal clusters ($K_{max}$) wordt bereikt, moet er ruimte worden vrijgemaakt.
   • In plaats van willekeurig te mergen, worden alleen tijdelijk aangrenzende clusters (die opeenvolgend zijn gecreëerd) vergeleken.
   • Het paar met de kleinste afstand in de descriptor-ruimte wordt samengevoegd. Dit benut de tijds-correlatie van PTTA: opeenvolgende clusters komen vaak uit vergelijkbare domeinen. Na het samenvoegen worden alleen de steekproeven met de laagste voorspellingsonzekerheid behouden.

3. Uniform Cluster Retrieval (UCR):

   • Tijdens de aanpassing (adaptation) worden er evenveel steekproeven uit elke actieve cluster opgehaald.
   • Dit garandeert dat geen enkele modus de gradienten domineert en zorgt voor een gebalanceerde supervisie over de volledige multimodale distributie.

Belangrijkste Bijdragen

1. Empirisch Bewijs van Multimodaliteit: De auteurs voeren een "stream clusterability analysis" uit waarbij ze Gaussian Mixture Models (GMM) fit op teststreams. Ze tonen aan dat het optimale aantal componenten ($K^*$) consistent veel groter is dan 1 (gemiddeld 5.9 tot 9.7), wat bewijst dat single-cluster memory structureel ontoereikend is voor PTTA.
2. Het MCM Framework: Een nieuw, plug-and-play geheugenontwerp dat gebruikmaakt van pixel-statistieken voor clustering, tijdsgebonden consolidatie (ACC) en gebalanceerde opvraging (UCR).
3. Diagnostisch Framework: De introductie van een GMM-gebaseerde diagnostiek om de kwaliteit van het geheugen te meten via drie metrieken: onbalansratio, distributie-entropie en modus-dekking.

Resultaten

MCM werd geëvalueerd op vier benchmarks (CIFAR-10-C, CIFAR-100-C, ImageNet-C, DomainNet) onder het PTTA-protocol, geïntegreerd met drie bestaande TTA-methoden (RoTTA, PeTTA, ResiTTA).

• Consistente Verbetering: MCM leverde verbeteringen op in alle 12 configuraties (3 methoden $\times$ 4 datasets).
  • Gemiddelde foutreductie: 2.96%.
  • Maximale verbetering: +5.00% op ImageNet-C en +12.13% op DomainNet.
• Schaling met Complexiteit: De voordelen van MCM nemen toe naarmate de distributiecomplexiteit (aantal klassen en variatie) toeneemt. Op datasets met meer klassen (zoals ImageNet en DomainNet) zijn de gains groter dan op CIFAR-10.
• Ablatie Studies:
  • Het gebruik van pixel-statistieken (kanaal-gemiddelde/variantie) bleek superieur aan CNN-features voor clustering, omdat CNN-features semantische verschillen benadrukken terwijl pixel-statistieken direct domeinverschuivingen (licht, ruis) vastleggen.
  • ACC (tijdsgebonden samenvoegen) presteerde beter dan globale samenvoeging of het samenvoegen van de kleinste clusters, omdat het de diversiteit van de distributie beter behoudt.
• Lange-termijn Stabiliteit: Bij "Recurring TTA" (20 rondes van dezelfde data) behield MCM zijn prestaties en bleef verbeteren, terwijl andere methoden stabiliseerden of degradeerden door modus-verlies.

Betekenis en Conclusie

De kernboodschap van dit paper is dat organisatie van het geheugen een fundamentele ontwerpas is die belangrijker is dan capaciteit.

• Het simpelweg vergroten van de capaciteit van een single-cluster pool leidt tot minimale prestatiewinsten en hogere rekentijd.
• Het structureren van hetzelfde aantal steekproeven in meerdere clusters (via MCM) leidt tot aanzienlijke verbeteringen in nauwkeurigheid en efficiëntie.

De studie verschuift de focus van TTA van het verzamelen van "meer data" naar het verzamelen van "representatievere data" door de inherente multimodale structuur van real-world datastromen actief te modelleren. Dit biedt een nieuwe richting voor robuuste test-time adaptatie in dynamische omgevingen.