Adapting in the Dark: Efficient and Stable Test-Time Adaptation for Black-Box Models

1. Het Probleem: Test-Time Adaptation (TTA) in een Strikte Black-Box Setting

Moderne diepe leermodellen lijden vaak onder prestatieverlies wanneer ze worden ingezet in de echte wereld vanwege verdelingsverschuivingen (distribution shifts) tussen trainings- en testdata. Test-Time Adaptation (TTA) lost dit op door een vooraf getraind model aan te passen aan ongelabelde testdata.

Echter, de meeste bestaande TTA-methoden vereisen white-box toegang (toegang tot parameters en gradiënten) of gray-box toegang (toegang tot interne features). In de praktijk worden state-of-the-art modellen (zoals CLIP of grote Vision Transformers) vaak als opaquere API's aangeboden. In deze strikte black-box setting:

• Kan de gebruiker alleen ruwe invoer (afbeeldingen) sturen en kansverdelingen (softmax-probabiliteiten) ontvangen.
• Zijn architectuur, parameters, gradiënten en trainingsdata volledig onbekend.
• Is elke API-call kostbaar (geld en latentie), waardoor query-efficiëntie cruciaal is.

Bestaande black-box benaderingen hebben grote tekortkomingen:

• Output-refinement (bijv. LAME): Werkt alleen op de uitkomst, wat beperkte aanpassingscapaciteit biedt.
• Input-modificatie via Augmentatie: Vereist meerdere API-calls per afbeelding, wat de kosten lineair doet stijgen.
• Zeroth-Order Optimization (ZOO): Kan input-perturbaties leren zonder gradiënten, maar is extreem duur qua API-calls (vaak tientallen per sample) en onstabiel in onbewaakte settings (leidt vaak tot "catastrophic collapse" waar de semantiek van de afbeelding verloren gaat).

2. Methodologie: BETA (Black-box Efficient Test-time Adaptation)

BETA introduceert een raamwerk dat de aanpassingskracht van input-prompting combineert met de query-efficiëntie van output-methoden, zonder de interne werking van het doelmodel te kennen.

Kerncomponenten:

1. Lokale "Steering" Model:

   • BETA gebruikt een lokaal, lichtgewicht witte-doos model (bijv. een klein ViT-Small) dat volledig toegankelijk is. Dit model fungeert als een "stuurman" maar wordt niet gebruikt voor de uiteindelijke voorspelling.
   • Het doelmodel blijft een zwarte doos API.

2. Prediction Harmonization (Voorspelling Harmonisatie):

   • In plaats van te proberen de gradiënt van het zwarte doos-model direct te schatten (wat onmogelijk is), creëert BETA een gedeeld doel.
   • De voorspellingen van het lokale stuurmodel ($p_S$) en het zwarte doos-doelmodel ($p_B$) worden gemixt tot een geharmoniseerde voorspelling $p_H = \alpha \cdot p_S + (1-\alpha) \cdot p_B$.
   • Analytische grondslag: De entropie van deze mix kan worden ontbonden in de entropie van het lokale model plus een Jensen-Shannon-divergentie (JS) term tussen de twee modellen.
   • Door de entropie van $p_H$ te minimaliseren via het lokale model, wordt de prompt geoptimaliseerd om beide modellen tevredener te stellen. De JS-term fungeert als een "anker" dat de lokale aanpassing richt op de overtuigingen van het zwarte doos-model, zelfs zonder dat er gradiënten door het zwarte doos-model lopen.

3. Stabilisatie Mechanismen:
   Omdat het leren van een visuele prompt (input-perturbatie) vanuit willekeurige initialisatie in een onbewaakte setting instabiel is, introduceert BETA twee stabilisatiestrategieën:

   • Consistency Regularization: Een KL-divergentie-verlies dat de voorspellingen van het lokale model op de originele schone afbeelding ($x$) en de gepromptte afbeelding ($x'$) dicht bij elkaar houdt. Dit voorkomt dat de prompt de semantische inhoud van de afbeelding vernietigt om een hoge zekerheid te bereiken.
   • Data Filtering: Alleen samples met een lage voorspellingsentropie (hoge zekerheid) worden gebruikt voor het updaten van de prompt. Dit filtert ruis uit het trainingsignaal.

4. Efficiëntie:

   • BETA vereist slechts één API-call per testsample.
   • Alle berekeningen (gradiënten, prompt-updates) gebeuren lokaal op de client-kant.
   • De latentie is verwaarloosbaar bovenop de standaard inferentie.

3. Belangrijkste Bijdragen

1. Systematische Studie: Het paper biedt de eerste systematische analyse van TTA in de strikte black-box setting, waarbij de beperkingen van bestaande methoden (ZOO, augmentatie, purification) worden blootgelegd.
2. Het BETA Framework: Een nieuw raamwerk dat gebruikmaakt van een lokaal stuurmodel met "prediction harmonization". Dit creëert een hanteerbare gradiëntpad zonder interne toegang tot het doelmodel.
3. Analytische Onderbouwing: Een wiskundige afleiding die laat zien hoe de harmonisatie-entropie een JS-divergentie-term bevat die de aanpassing richt op het doelmodel, wat de effectiviteit verklaart ondanks het gebrek aan gradiënten.
4. State-of-the-Art Resultaten: BETA overtreft zowel sterke white-box als gray-box methoden in de black-box setting, met name op uitdagende datasets zoals ImageNet-C en CLIP.

4. Resultaten

De resultaten tonen aan dat BETA niet alleen effectief, maar ook extreem kostenefficiënt is:

• ImageNet-C (ViT-B/16 als black-box):

  • BETA behaalt een nauwkeurigheid van 62.6%, wat een verbetering is van +7.1% ten opzichte van de bronmodel.
  • Dit overtreft sterke white-box methoden zoals TENT en CoTTA, en gray-box methoden zoals FOA.
  • ZOO-methoden presteren slecht of instabiel (bijv. op de "Contrast" corruptie daalt de nauwkeurigheid van ZOO naar 4.1%, terwijl BETA 53.4% haalt).

• Vision-Language Models (CLIP):

  • Op CLIP (ViT-B/16) bereikt BETA 63.4% nauwkeurigheid, wat beter is dan gespecialiseerde VLM-methoden zoals TPT en DynaPrompt.

• Real-world API (Clarifai):

  • Op een commerciële API bereikt BETA een verbetering van +5.2% voor slechts $0.40 (ongeveer 120 samples).
  • Om vergelijkbare prestaties te bereiken met een ZOO-methode, zijn meer dan $100 nodig. Dit vertegenwoordigt een 250x kostenvoordeel.
  • BETA behoudt real-time inferentiesnelheid, terwijl ZOO-methoden door hun hoge query-aantal te traag zijn voor streaming.

• Generalisatie:

  • BETA werkt ook op datasets buiten ImageNet (EuroSAT, Derm7pt) en met verschillende architecturen (CNN's als stuurmodel voor Transformer-doelmodellen), zelfs zonder specifiek getrainde stuurmodellen (zero-shot).

5. Betekenis en Impact

Dit werk is significant omdat het een praktisch haalbare oplossing biedt voor het aanpassen van krachtige, gesloten AI-modellen in real-time scenario's.

• Kostenefficiëntie: Het lost het grootste praktische obstakel voor black-box TTA op: de hoge kosten van API-calls.
• Stabiliteit: Het lost het stabiliteitsprobleem van onbewaakte prompt-learning op, wat eerder leidde tot catastrofale fouten.
• Toekomstperspectief: De auteurs suggereren dat deze "stuurman-architectuur" (een klein, lokaal model dat een groot, extern model beïnvloedt zonder de gewichten aan te passen) een fundamenteel patroon kan worden voor het aanpassen van complexe AI-systemen, inclusief LLM-agenten en tool-use systemen, waar directe toegang tot de kernmodellen vaak ontbreekt.

Kortom, BETA maakt robuuste test-tijd aanpassing mogelijk "in het donker", waarbij een klein lokaal model een groot, onbereikbaar model succesvol stuurt met minimale kosten en maximale stabiliteit.