Technisch overzicht: Tempora – Karakterisering van de tijd-contingente bruikbaarheid van online Test-Time Adaptation

1. Probleemstelling

Machine learning-modellen die worden ingezet in niet-stationaire real-world systemen lijden vaak aan prestatiedegradatie wanneer de testdistributie afwijkt van de trainingsdistributie (covariabele verschuiving). Test-Time Adaptation (TTA) pakt dit aan door modellen de mogelijkheid te bieden te adapteren met behulp van enkel binnenkomende, ongelabelde data en vooraf getrainde parameters, zonder dat daarvoor brondata of labels nodig zijn.

Echter, conventionele evaluaties van TTA-methoden lijden aan een kritieke tekortkoming: ze gaan uit van onbeperkte verwerkingstijd. Standaard benchmarks rapporteren geaggregeerde nauwkeurigheidsverbeteringen terwijl ze de computationele overhead negeren die wordt geïntroduceerd door adaptatiemechanismen (bijv. gradiëntupdates, iteratieve optimalisatie). In latency-gevoelige implementaties (bijv. autonoom rijden, on-device fotografie, klinische besluitvorming) is een correcte voorspelling die arriveert nadat een gebruiker een app heeft gesloten of een robot een actie heeft ondernomen, futiel. Het huidige evaluatieparadigma houdt geen rekening met de accuracy-latency trade-off, wat leidt tot de selectie van methoden die computationeel "insolvent" kunnen zijn onder real-world temporele restricties.

2. Methodologie: Het Tempora-framework

De auteurs introduceren Tempora, een framework ontworpen om TTA te evalueren onder tijdsdruk. Het operationaliseert de accuracy-latency trade-off via drie onderscheidende temporele scenario's, elk met een specifiek evaluatieprotocol en een bijbehorende tijd-contingente bruikbaarheidsmetriek.

2.1 Temporele scenario's en metrieken

Het framework definieert bruikbaarheid $U$ als een functionele mapping die de gezamenlijke trajectorie van voorspellingen en latency naar een scalaire waarde mapt, geconditioneerd op de deployment-context:

1. Discrete Bruikbaarheid (Omgevingsgestuurd):

   • Scenario: Asynchrone stromen met harde deadlines (bijv. sensornetwerken). Batches arriveren op vaste intervallen $\gamma$. Als de pipeline bezet is, worden batches overgeslagen.
   • Metriek: $U_{discrete} = \alpha \cdot \bar{a}_{served}$, waarbij $\alpha$ de beschikbaarheid is (fractie van de batches die geserveerd worden) en $\bar{a}_{served}$ de nauwkeurigheid op de geserveerde batches is.
   • Protocol: Gebruikt een single-model pipeline met een buffer ter grootte van één batch. In tegenstelling tot eerder werk dat fallback-modellen gebruikt om beschikbaarheid te garanderen, legt dit protocol de kosten van gemiste batches bloot.

2. Continue Bruikbaarheid (Gebruikersgestuurd):

   • Scenario: Interactieve settings waar de waarde afneemt met latency (bijv. on-device fototagging). De stroom synchroniseert met de emissie van voorspellingen; er worden geen batches overgeslagen, maar vertragingen verslechteren de gebruikerservaring.
   • Metriek: $U_{continuous} = \bar{a} \cdot \bar{\kappa} + \text{Cov}(a, \kappa)$, waarbij $\bar{\kappa}$ een responsiviteitsfactor is afgeleid van hyperbolische decay. Latency $d_i$ brengt een straf met zich mee $\kappa_i = (1 + d_i/(T-\lambda))^{-1}$, waarbij $T$ een mens-computer interactie (HCI) drempelwaarde is.
   • Protocol: Bestraft late voorspellingen niet-lineair, wat reflecteert dat een vertraging van 100ms perceptueel zwaarder is dan een vertraging van 1s ten opzichte van een baseline.

3. Geamortiseerde Bruikbaarheid (Resource-gestuurd):

   • Scenario: Budgetbeperkte implementaties (bijv. batterij-gestuurde drones). De totale adaptatie-overhead is begrensd, maar de latency per voorspelling is agnostisch.
   • Metriek: $U_{amortised} = \beta \cdot \bar{a}_{adapt} + (1-\beta) \cdot \bar{a}_{frozen}$, waarbij $\beta$ de fractie van de stroom is die met adaptatie wordt verwerkt voordat het budget $B$ is uitgeput.
   • Protocol: Het model adapteert totdat het cumulatieve overheadbudget is verbruikt, waarna het bevriest voor de rest van de stroom. Dit onthult of adaptatie duurzame verbeteringen oplevert of dat het drift veroorzaakt die de prestaties na het bevriezen schaadt.

2.2 Experimentele opzet

• Methoden: Zeven Fully TTA-methoden werden geëvalueerd: AdaBN, LAME, NEO (gradiëntvrij) en Tent, ETA, SHOT-IM, SAR (gradiëntgebaseerd).
• Dataset: ImageNet-C (15 corruptietypes, severity level 5) met een ResNet-50 backbone.
• Baseline: Standaard inferentie (niet-adaptief).
• Evaluatie: 240 temporele evaluaties per methode over 16 scenario's (5 discrete utilizaties, 5 continue thresholds, 6 geamortiseerde budgetten) en 15 corruptietypes.

3. Belangrijkste bevindingen

3.1 Rangorde-instabiliteit

De meest significante bevinding is rangorde-instabiliteit: de methode die optimaal wordt geacht onder offline (niet-beperkte) evaluatie, presteert onder temporele druk vaak minder goed.

• ETA, de state-of-the-art methode in conventionele settings (rang 1 offline), verliest in 41,2% van de temporele evaluaties.
• Onder strikte druk (bijv. $\rho=100\%$, $T=50$ms), daalt de winrate van ETA naar 0–7%.
• De "beste" methode varieert aanzienlijk op basis van het type corruptie en de specifieke temporele restrictie. Geen enkele methode domineert over alle scenario's heen.

3.2 Corruptie-specifieke trade-offs

Rangorde-instabiliteit wordt gemoduleerd door het type corruptie. Bijvoorbeeld, onder continue evaluatie met een venster van 50ms, varieert de Spearman-correlatie tussen offline rangordes en temporele rangordes van $r_s = -0,74$ (helderheid) tot $r_s = 0,21$ (Gaussische ruis).

• Mechanisme: Verschillende corrupties verstoren features op verschillende manieren (bijv. helderheid verschuift pixels uniform versus Gaussische ruis die pixels onafhankelijk verstoort), terwijl huidige methoden de rekenkracht uniform toewijzen. Offline rangordes leiden tot foutieve methode-selectie wanneer het type corruptie niet overeenkomt met het overheadprofiel van de methode.

3.3 Druk-specifieke trade-offs

Rangorde-instabiliteit neemt toe met de temporele druk.

• Geamortiseerde Evaluatie: Bij krappe budgetten ($B=1$s) domineert SHOT-IM vanwege de robuustheid na het bevriezen. Bij ruimere budgetten ($B=32$s) domineert ETA.
• Decompositie van Falen: Het paper identificeert drie faalmodi voortvloeiend uit onrechtvaardige overhead:
  1. Beschikbaarheidsinstorting: In discrete settings missen methoden met hoge overhead (bijv. Tent, SAR) te veel batches, waardoor de bruikbaarheid beperkt blijft, ongeacht de hoge geserveerde nauwkeurigheid.
  2. Nauwkeurigheidserosie: In continue settings zorgt hoge latency ervoor dat de nauwkeurigheid zo sterk wordt gedisconteerd dat zelfs hoogpresterende methoden een lage bruikbaarheid opleveren.
  3. Onproductieve Overhead: In geamortiseerde settings verbruiken methoden zoals Tent, ETA en SAR hun budget snel maar falen ze in het produceren van stabiele representaties, wat resulteert in een bevroren nauwkeurigheid van bijna 0,1% (slechter dan standaard inferentie).

4. Betekenis en Bijdragen

Het paper stelt dat Tempora het eerste systematische perspectief biedt voor het evalueren van TTA over diverse temporele restricties, waarbij het volgende wordt aangetoond:

1. Offline rangordes zijn onvoldoende: Praktijkbeoefenaars kunnen TTA-methoden niet selecteren op basis van enkel offline nauwkeurigheid; de "beste" methode is afhankelijk van het tijdbudget van de deployment en het type corruptie.
2. Ontwerptargets voor inzetbare adaptatie: Om levensvatbaar te zijn, moeten toekomstige methoden beschikken over:
   • Corruptie-geconditioneerde allocatie: Het aanpassen van de rekenkrachtallocatie op basis van de moeilijkheidsgraad van de specifieke verschuiving.
   • Tijd-bewuste schaling: Het begrenzen van respons-vertragingen om deadlines te halen.
   • Anytime performance: Het waarborgen dat de verstreken overhead winst oplevert ten opzichte van standaard inferentie, ongeacht wanneer de adaptatie stopt.

Het framework stelt geen nieuwe adaptieve algoritmen voor, maar eerder een realistischer evaluatieprotocol dat de "computationele insolventie" van huidige state-of-the-art methoden in real-world scenario's blootlegt. Door de focus te verschuiven van "welke methode is het meest accuraat?" naar "welke methode levert acceptabele nauwkeurigheid tegen een levensvatbare kost?", beoogt Tempora de ontwikkeling van werkelijk inzetbare, tijd-contingente adaptatiesystemen te sturen.