Contrastive Residual Energy Test-time Adaptation

Technische Samenvatting: Contrastive Residual Energy Test-time Adaptation (CRETTA)

Probleemstelling
Deep learning-modellen lijden vaak aan prestatiedegradatie wanneer de verdeling van testdata afwijkt van de verdeling van trainingsdata (distributieverandering). Test-time adaptation (TTA) beoogt dit te mitigeren door modellen aan te passen aan niet-gelabelde doeldata tijdens inferentie. Echter, bestaande TTA-benaderingen staan voor een kritieke afweging tussen betrouwbaarheid en efficiëntie:

1. Entropy Minimization (EM) Methoden: Benaderingen zoals TENT vertrouwen op het minimaliseren van de entropie van modelvoorspellingen. Hoewel ze computationeel efficiënt zijn, hangen ze fundamenteel af van onzekere voorspellingen zonder ground-truth labels. Dit creëert een "zelfbevestigende bias", waarbij voorspelde kansen naar extreme waarden (0 of 1) worden gedreven, wat leidt tot ernstig oververtrouwen en slechte kalibratie.
2. Energy-Based Models (EBM's): Frameworks zoals TEA modelleren de marginale verdeling van doeldata direct, waardoor afhankelijkheid van labelvoorspellingen wordt vermeden. Hoewel betrouwbaarder, vereisen standaard EBM-benaderingen het schatten van een onberekenbare normalisatieconstante (partitiefunctie) via kostbare sampling (bijvoorbeeld Markov-ketens). Dit introduceert benaderingsfouten en verbodszware computationele overhead, wat schaalbaarheid en implementatie in real-time belemmert.

Methodologie: CRETTA
De auteurs stellen Contrastive Residual Energy Test-time Adaptation (CRETTA) voor, een sampling-vrij framework dat de marginale verdeling optimaliseert terwijl de noodzaak tot benadering van de normalisatieconstante wordt geëlimineerd.

• Residual Energy Formulering: De methode herdefinieert de distributieverandering als het leren van een residual energy function ($\tilde{E}_\theta$). De doelverdeling $p_\theta$ wordt gemodelleerd als het product van een bevroren vooraf getraind bronmodel $q_\phi$ en een exponentiële residual term:
  $$p_\theta(x) = \frac{1}{Z(\theta)} q_\phi(x) \exp\left(-\frac{1}{\beta} \tilde{E}_\theta(x)\right)$$
  Hierbij vangt $\tilde{E}_\theta$ uitsluitend de discrepantie tussen de bron- en doelverdeling, en fungeert het als een impliciete regularisator om overfitting op het doel-domein te voorkomen.

• Contrastief Doel: In plaats van Maximum Likelihood Estimation (MLE), wat sampling vereist, hanteert CRETTA een pairwise contrastief doel. Het leert om doelsamples ($x_t$) een lagere energie toe te kennen dan bronsamples ($x_s$). De kans dat een doelsample een lagere energie heeft dan een bronsample, wordt gemodelleerd met een sigmoid-functie:
  $$P(\tilde{E}_\theta(x_t) < \tilde{E}_\theta(x_s)) = \sigma(\tilde{E}_\theta(x_s) - \tilde{E}_\theta(x_t))$$
  Cruciaal is dat, door te opereren op het verschil in energieën tussen paren, de onberekenbare partitiefunctie $Z$ wiskundig wegvalt. Dit maakt het doel berekenbaar zonder enige sampling-stap.

• Adaptieve Gradient Reweighting: De gradient van de loss wordt adaptief gewogen op basis van het relatieve energieververschil tussen bron- en doelparen. Dit mechanisme moduleert de leerstijl: updates zijn sterker wanneer het energieververschil ingaat tegen de gewenste voorkeur, en zwakker wanneer het overeenkomt. Dit voorkomt dat het model instort naar triviale oplossingen en zorgt voor stabiele adaptatie.

• Bron Buffer: De methode maakt gebruik van een kleine buffer van bronsamples (zoveel als 1% van de brondataset) om paren te vormen met binnenkomende doelbatches. Het artikel merkt op dat de bufferinhoud niet exact de originele brongegevens hoeft te zijn, maar wel distributie-gelijkend moet zijn.

Belangrijkste Bijdragen

1. Sampling-vrij EBM Framework: CRETTA verwijdert de sampling-flesnek die inherent is aan traditionele EBM's, en biedt aanzienlijke computationele efficiëntie en schaalbaarheid die geschikt zijn voor real-time toepassingen.
2. Theoretische Reformulering: Door TTA te herdefiniëren als het leren van een residual energy function met een contrastief doel, elimineren de auteurs de noodzaak tot benadering van de partitiefunctie.
3. Stabiliteit via Impliciete Regularisatie: De analyse toont aan dat de residual formulering en adaptieve gradient reweighting fungeren als impliciete regularisatoren, wat overfitting en de zelfbevestigende bias die bij entropy-minimalisatie wordt gezien, effectief mitigeert.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op CIFAR10-C, CIFAR100-C, TinyImageNet-C, ImageNet-C en PACS datasets onder verschillende corruptie-ernsten en distributieveranderingen.

• Prestaties: CRETTA presteerde consequent beter dan baselines (inclusief TENT, TEA, BN-Adapt en SAR) in zowel classificatie-accuraatheid (gemeten via mCE) als kalibratie (gemeten via ECE). Bijvoorbeeld, op CIFAR10-C (Ernst 5) bereikte CRETTA een mCE van 71,25% en een ECE van 4,15%, waarmee het TEA (mCE 73,18%, ECE 3,83%) en TENT (mCE 73,91%, ECE 5,49%) overtrof.
• Schaalbaarheid: Op grootschalige datasets zoals ImageNet-C vertoonde TEA prestatiedegradatie door opgehoopte benaderingsfouten, terwijl CRETTA stabiele kalibratie en accurate prestaties behield.
• Efficiëntie: CRETTA verlaagde de computationele kosten met ongeveer 8x ten opzichte van TEA (bijvoorbeeld ~527 GFLOPs versus ~4335 GFLOPs op CIFAR10-C) terwijl het superieure of vergelijkbare prestaties behaalde.
• Robuustheid: De methode toonde robuustheid in niet-IID settings (gesimuleerd via Dirichlet-verdeling) en geleidelijke distributieveranderingen, waardoor het "vergeten" van bronkennis dat bij MLE-gebaseerde methoden wordt waargenomen, werd voorkomen.

Betekenis en Claims
Het artikel stelt dat CRETTA de kloof overbrugt tussen kalibratie-bewuste adaptatie en praktische haalbaarheid. Het adresseert het dilemma waarbij bestaande methoden óf efficiënt maar onbetrouwbaar zijn (op entropie gebaseerd) óf betrouwbaar maar computationeel verbodszwaar (op sampling gebaseerd). Door goed gekalibreerde adaptatie te bereiken zonder sampling, biedt CRETTA een schaalbare oplossing voor real-world scenario's waarin modellen moeten opereren onder distributieveranderingen met beperkte supervisie en strikte latentie-eisen. De auteurs benadrukken dat hun aanpak een stabiele, principiële optimalisatiestrategie biedt die de representatiekwaliteit verbetert in plaats van louter de voorspellingzekerheid te verhogen.