Technische Samenvatting: RDumb++: Drift-bewuste Continue Adaptatie op Testtijd

Probleemstelling

Continue Adaptatie op Testtijd (CTTA) beoogt een voorgetraind model tijdens de implementatie bij te werken met uitsluitend inkomende, niet-gelabelde datastromen. Hoewel bestaande methoden zoals Tent en EATA verbeteringen bieden onder korte, evoluerende verschuivingen, kampen ze met aanzienlijke problemen wanneer testverdelingen snel veranderen of over extreem lange tijdsperiodes. Deze beperking wordt scherp zichtbaar in de CCC (Continually Changing Corruptions)-benchmark, waarbij modellen worden geconfronteerd met stromen van tot wel 7,5 miljoen samples met dynamisch veranderende corruptietypes en -zwaarte.

Onder deze omstandigheden lijden standaardmethodes vaak aan "entropie-inzakking", waarbij modellen oververzekerd worden en afwijken naar degeneratieve voorspellingen. Zelfs de recente RDumb-methode, die stabiliteit verbetert door periodieke resets, vertrouwt op een vaste resetinterval (bijvoorbeeld elke 1.000 stappen). Deze niet-adaptieve aanpak leidt tot twee kritieke faalmodi:

1. Vroegtijdige resets: Het verwerpen van nuttige adaptatie wanneer er geen distributiedrift is opgetreden.
2. Vertraagde resets: Het niet voorkomen van modelinstorting wanneer distributieveranderingen abrupt optreden.

De centrale uitdaging die dit werk aanpakt is: Kunnen we distributiedrift tijdens inferentie detecteren en het model alleen resetten wanneer dit noodzakelijk is?

Methodologie: RDumb++

De auteurs stellen RDumb++ voor, een principiële uitbreiding van RDumb die vaste interval-resets vervangt door drift-bewuste adaptieve resetmechanismen. Het raamwerk integreert twee verschillende drift-detectiesignalen met twee resetstrategieën.

1. Drift-detectiemechanismen

RDumb++ bewaakt de voorspellende verdeling van het model ($p_t$) om afwijkingen van het verwachte gedrag te identificeren met behulp van twee complementaire metrieken:

• Entropie-gebaseerde driftscore:

  • Berekent de entropie $H(p_t)$ van de output van het model.
  • Houdt een Exponentiële Glijdende Gemiddelde (EMA) bij van het entropiegemiddelde ($\mu_t$) en de variantie ($\sigma_t^2$).
  • Berekent een gestandaardiseerde driftscore: $z^{(E)}_t = |H(p_t) - \mu_t| / \sigma_t$.
  • Functie: Zeer gevoelig voor snelle, lokale instabiliteit en abrupte veranderingen in modelvertrouwen (bijvoorbeeld plotselinge overgangen in corruptie).

• KL-divergentie driftscore:

  • Berekent de Kullback-Leibler (KL)-divergentie tussen de huidige verdeling $p_t$ en een referentieverdeling $q_t$.
  • Houdt EMA-schattingen bij voor het KL-gemiddelde en de variantie om een gestandaardiseerde score te berekenen: $z^{(KL)}_t = |D_{KL}(p_t \| q_t) - \mu^{KL}_t| / \sigma^{KL}_t$.
  • Functie: Vangt globale, structurele verschuivingen in gedragsniveau per klasse en langzamere distributiedrift op die entropie mogelijk mist.

Een driftgebeurtenis wordt aangekondigd wanneer de gestandaardiseerde score een instelbare gevoeligheidsdrempel $k$ overschrijdt.

2. Adaptieve resetstrategieën

Na detectie van drift past het model een van twee resetstrategieën toe:

• Volledige reset: Herstelt modelparameters ($\theta$) en de optimizer-status naar het initiële snapshot ($\theta_0$). Dit wordt gebruikt wanneer het model aanzienlijk is ingestort om schadelijke adaptatie te wissen.
• Zachte reset: Voert een gedeeltelijk herstel uit via interpolatie: $\theta \leftarrow \lambda\theta_0 + (1-\lambda)\theta$, waarbij $\lambda \in [0, 1]$. Dit behoudt nuttige adaptatie terwijl schadelijke drift wordt gecorrigeerd.

3. Modelvarianten

De combinatie van detectiemethoden en resetstrategieën levert vier varianten op:

• EntropyFull / EntropySoft: Gedreven door entropiedetectie.
• KLFull / KLSoft: Gedreven door KL-divergentiedetectie.

Experimentele Opzet

• Benchmark: CCC-Medium, met 1 miljoen niet-gelabelde afbeeldingen per stream, waarbij corruptietypes elke 500–1.500 stappen veranderen.
• Ruggengraat: ResNet-50 voorgetraind op ImageNet, waarbij alleen de affiene parameters van BatchNorm worden aangepast (consistent met Tent/EATA/RDumb).
• Protocol: Drie corruptiesnelheden ($\{1000, 2000, 5000\}$ stappen) $\times$ drie willekeurige zaden = 9 onafhankelijke evaluatiestromen (totaal 9 miljoen stappen).
• Basislijnen: Geen adaptatie (Basislijn), RDumb, en de vier RDumb++-varianten.

Belangrijkste Resultaten

Over alle negen runs heen presteerde RDumb++ consequent beter dan de vaste interval-RDumb-basislijn:

1. Accuraatheidswinst: RDumb++-varianten behaalden gemiddeld 2–3% absolute accuraatheidswinst ten opzichte van RDumb, waarbij de sterkste varianten (EntropyFull en KLFull) in specifieke configuraties 3–5% winst bereikten.
   • Voorbeeld: Gemiddeld scoorde RDumb 41,61%, terwijl EntropyFull 44,20% en KLFull 43,75% bereikte.
2. Effectiviteit van resetstrategie: Volledige resets presteerden over het algemeen beter dan zachte resets, vooral wanneer het model aanzienlijke drift had ondergaan, omdat ze het model toelaten om "terug te snappen" naar een schone staat.
3. Complementariteit van driftdetectie:
   • Entropie-gebaseerde detectie bleek effectiever voor scherpe, abrupte corruptieovergangen.
   • KL-gebaseerde detectie bood grotere stabiliteit over variërende snelheden, en vangt langzamere, globale verschuivingen op.
4. Ablatiestudies:
   • Driftdrempel ($k$): Een gematigde instelling ($k=2,5$) leverde de beste balans op, en voorkwam zowel vroegtijdige resets (bij $k=2,0$) als vertraagde resets (bij $k=3,0$).
   • Sterkte van zachte reset ($\lambda$): Een gebalanceerd interpolatiegewicht ($\lambda=0,5$) was optimaal; zwakkere resets ($0,3$) corrigeerden drift onvoldoende, terwijl sterkere resets ($0,7$) te veel nuttige adaptatie uitwisten.

Betekenis en Claims

Het artikel beweert dat RDumb++ een eenvoudig en schaalbaar raamwerk biedt voor het verbeteren van robuustheid in continue adaptatie op testtijd door heuristische, vaste interval-resets te vervangen door datagedreven, drift-bewuste interventies.

• Stabiliteit: De primaire bijdrage is het voorkomen van "voorspellinginstorting" over extreem lange periodes (1M+ stappen) waar standaardmethodes falen.
• Aanpasbaarheid: Door resets alleen te activeren wanneer statistisch significante afwijkingen worden gedetecteerd, vermijdt de methode de "vroegtijdige reset"- en "vertraagde reset"-faalmodi die inherent zijn aan periodieke benaderingen.
• Praktijktoepasbaarheid: Het raamwerk vereist slechts lichtgewicht statistische monitoring (entropie en KL-divergentie) en standaard resetoperaties, waardoor het toepasbaar is op real-world implementatiescenario's zoals robotica en autonoom rijden, waar distributieveranderingen niet-stationair en onvoorspelbaar zijn.

De auteurs erkennen beperkingen, en merken op dat de methode nog steeds aanpassing van drempels vereist en ervan uitgaat dat entropie/KL-statistieken betrouwbare driftsignalen zijn, wat niet hoeft op te gaan in gevallen van ernstige klasse-ongelijkheid of adversariële perturbaties. Binnen het bestek van de CCC-benchmark toont RDumb++ echter aan dat expliciete driftdetectie essentieel is voor betrouwbare lange-termijn CTTA.