Flatness Guided Test-Time Adaptation for Vision-Language Models

Dit artikel introduceert FGA, een nieuw raamwerk voor testtijd-adaptatie van visueel-taalmodellen dat training en testfases verenigt door gebruik te maken van vlakheidsgeleide prompts en selectie van testvoorbeelden, waardoor de prestaties aanzienlijk worden verbeterd zonder dure parameterupdates tijdens de testtijd.

De kern

De Slimme Reisgids voor AI: Hoe je een model helpt op nieuwe plekken zonder het opnieuw te leren

Stel je voor dat je een slimme reisgids hebt (een Vision-Language Model, zoals CLIP) die perfect is getraind om foto's van katten en honden te herkennen in een groot, georganiseerd museum (de trainingsdata). Maar nu moet deze gids plotseling een toerist begeleiden in een wild, onbekend bos (de testdata), waar de dieren er anders uitzien, het licht anders valt en de omgeving chaotisch is.

De meeste bestaande methoden proberen de gids ter plekke te dwingen om snel nieuwe regels te leren. Ze zeggen: "Kijk naar deze rare foto, pas je hersenen direct aan en probeer het goed te raden!" Dit werkt vaak, maar het is vermoeiend, traag en de gids raakt in de war omdat hij zijn oorspronkelijke kennis vergeet.

De auteurs van dit paper (uit ICLR 2026) hebben een slimme nieuwe aanpak bedacht, genaamd FGA (Flatness-Guided Adaptation). In plaats van de gids te dwingen om te veranderen, passen ze de omgeving aan zodat de gids zijn oorspronkelijke kennis beter kan gebruiken.

Hier is hoe het werkt, stap voor stap:

1. Het Idee: Vlakke valleien vs. Scherpe pieken

Stel je het "leren" van een AI voor als het zoeken naar de laagste punt in een berglandschap (een loss landscape).

• Scherpe pieken: Als je in een smalle, scherpe piek staat, is het heel makkelijk om eruit te vallen als je ook maar een klein beetje op de grond stapt (een kleine verandering in de data). Dit is onstabiel.
• Vlakke valleien: Als je in een brede, vlakke vallei staat, kun je een paar stappen zetten in elke richting en blijf je toch op de bodem. Dit is stabiel en betrouwbaar.

De onderzoekers zeggen: "Waarom zoeken we niet naar die brede, vlakke valleien tijdens het trainen? Als we daar zitten, is het model veel beter bestand tegen veranderingen."

2. Stap 1: De Training (Het vinden van de veilige vallei)

Tijdens het trainen gebruiken ze een speciale techniek (Sharpness-Aware Prompt Tuning).

• De analogie: Stel je voor dat je een bal rolt over een landschap. Normaal gesproken stopt de bal in de eerste de beste kuil. Deze nieuwe methode zorgt ervoor dat de bal alleen stopt als de kuil breed en vlak genoeg is. Als de kuil te smal is (te scherp), duwt de methode de bal eruit tot hij een veilige, brede plek vindt.
• Het resultaat: Het model leert niet alleen de juiste antwoorden, maar leert ook waar het die antwoorden het veiligst kan geven, zelfs als de wereld een beetje verandert.

3. Stap 2: De Test (De slimme selectie)

Nu komt de testfase. De AI krijgt een nieuwe foto te zien. In plaats van de hersenen van de AI aan te passen (wat duur en traag is), kijken ze naar de foto zelf.

• De analogie: De AI heeft 64 verschillende versies van die ene foto gemaakt (zoals een foto met een andere filter, iets gedraaid, of met een andere helderheid).
• De truc: De methode kijkt naar al deze versies en vraagt: "Welke versie van deze foto voelt het meest als de veilige, brede vallei waar we tijdens de training zaten?"
• Ze kiezen alleen de versies die "vlak" zijn (stabiel) en negeren de versies die "scherp" zijn (onstabiel).
• Het voordeel: Ze hoeven het model niet opnieuw te trainen. Ze kiezen gewoon de beste versie van de input. Het is alsof je niet je bril aanpast, maar gewoon de foto zo draait dat je hem scherp ziet met je bestaande bril.

Waarom is dit zo geweldig?

1. Snelheid: Omdat ze de AI niet hoeven aan te passen tijdens de test, gaat het 8 tot 23 keer sneller dan andere methoden. Het is alsof je een auto niet hoeft te repareren onderweg, maar gewoon de route kiest die het beste past bij je huidige auto.
2. Betrouwbaarheid: Het model maakt minder fouten op vreemde, onbekende data (zoals foto's van honden die eruitzien als wolven, of slechte foto's).
3. Geen extra geheugen: Het kost veel minder computerkracht en geheugen.

Conclusie in één zin

In plaats van een AI te dwingen om zich elke keer opnieuw aan te passen aan nieuwe situaties (wat vaak mislukt), zorgt deze methode ervoor dat de AI tijdens het trainen al leert in een "veilige zone" te zitten, en tijdens het testen gewoon de beste versie van de nieuwe situatie kiest om die zone te bereiken.

Het is de slimme manier van reizen: Bereid je goed voor op de reis, en kies de beste route, in plaats van onderweg je auto te herbouwen.

Technische samenvatting

Titel: Flatness-Guided Test-Time Adaptation for Vision-Language Models (FGA)

Conferentie: ICLR 2026
Auteurs: Aodi Li, Liansheng Zhuang, Xiao Long, Houqiang Li & Shafei Wang

---

1. Het Probleem

Vision-Language Models (VLMs), zoals CLIP, hebben indrukwekkende prestaties geleverd in zero-shot taken. Echter, deze modellen kampen vaak met distributieverplaatsingen (distribution shifts) tijdens de inferentie (testtijd), wat leidt tot een daling in prestaties.

• Bestaande aanpak: Test-time Adaptation (TTA) methoden, zoals Test-Time Prompt Tuning (TPT), proberen de modelparameters (prompts) aan te passen tijdens de inferentie door entropy-minimalisatie op versterkte testbeelden.
• De beperking: Bestaande TTA-methoden behandelen de testfase vaak als een geïsoleerd optimalisatieprobleem, losgekoppeld van de trainingsgeschiedenis van het model. Ze negeren de geometrische eigenschappen van het verlieslandschap (loss landscape) die tijdens het trainen zijn opgebouwd.
• Het gevolg: Dit leidt tot dure berekeningen (backpropagation tijdens testtijd) en suboptimale generalisatie, omdat de adaptatie niet rekening houdt met de "vlakke minima" (flat minima) die tijdens het trainen zijn bereikt.

2. Methodologie: Flatness-Guided Adaptation (FGA)

Het paper introduceert FGA, een raamwerk dat trainings- en testtijdprocedures verenigt door gebruik te maken van de vlakheid (flatness) van het verlieslandschap als leidraad. De kernidee is dat parameters in vlakke minima beter generaliseren naar out-of-distribution data.

FGA bestaat uit twee synergetische fasen:

A. Sharpness-Aware Prompt Tuning (SAPT) - Trainingsfase

In plaats van standaard Cross-Entropy loss te gebruiken, past FGA een Sharpness-Aware Prompt Tuning toe tijdens het trainen op de downstream dataset.

• Doel: Het vinden van een vlak minimum in het trainingsverlieslandschap.
• Methode: Het minimaliseert zowel de verlieswaarde als de "scherpte" (sharpness). Scherpte wordt gedefinieerd als de gevoeligheid van het verlies voor kleine perturbaties in de prompts.
• Formule: De loss functie combineert de standaard cross-entropy loss met een term die de maximale stijging van het verlies binnen een straal $\rho$ maximaliseert (gebaseerd op Sharpness-Aware Minimization, SAM).
• Resultaat: De prompts worden getraind om in een stabiel, vlak gebied te zitten, wat een geometrische "hint" biedt voor de testfase.

B. Sharpness-based Test Sample Selection (STSS) - Testfase

Tijdens de inferentie worden geen modelparameters bijgewerkt (geen backpropagation), wat de rekentijd drastisch verlaagt. In plaats daarvan wordt het testlandschap aangepast via data-augmentatie.

• Methode: Voor een testbeeld worden meerdere versterkte weergaven (augmentations) gegenereerd.
• Selectie: Een Sharpness-based Score wordt berekend voor elke versterkte weergave. Deze score meet hoe "scherp" het verlieslandschap is rondom het reeds getrainde vlakke minimum.
• Logica: Augmentaties die een lage scherpte-score hebben (d.w.z. het verlieslandschap blijft vlak rond het trainingsminimum), worden geselecteerd. Dit garandeert dat de testdistributie dicht bij de trainingsdistributie ligt.
• Voorspelling: De uiteindelijke voorspelling is een aggregatie van de meest betrouwbare augmentaties (die de laagste scherpte-scores hebben).

3. Belangrijkste Bijdragen

1. Nieuw Raamwerk (FGA): Een unificatie van training en testtijd adaptatie voor VLMs, gebaseerd op de uitlijning van vlakke minima in het verlieslandschap.
2. Theoretische Analyse: Het paper levert een theoretische onderbouwing die aantoont dat het selecteren van teststalen op basis van scherpte de generalisatiefout verkleint. Het bewijst dat stalen met een lagere scherpte-score dichter bij de trainingsdistributie liggen en dus betrouwbaardere voorspellingen opleveren.
3. Efficiëntie: FGA elimineert de noodzaak voor dure prompt-parameter updates tijdens de testtijd, wat leidt tot aanzienlijke besparingen in rekentijd en geheugengebruik.

4. Resultaten

De methode is uitgebreid getest op domein-generalisatie (ImageNet-varianten) en cross-dataset generalisatie.

• Domein-generalisatie (ImageNet OOD):

  • FGA presteert superieur op alle vier ImageNet-varianten (A, V2, R, Sketch).
  • Met een ViT-B/16 encoder overtreft FGA de bestaande state-of-the-art methode TPT+CoOp met een gemiddelde verbetering van 4,88%.
  • FGA bereikt een OOD-gemiddelde van 66,55% (tegenover 61,67% voor TPT+CoOp).

• Cross-dataset Generalisatie:

  • Getest op 10 fine-grained datasets (bijv. Caltech101, Cars, Aircraft).
  • FGA behaalt het hoogste gemiddelde (67,60%) en presteert het best op 6 van de 10 datasets.

• Efficiëntie:

  • Snelheid: FGA is 23,86x sneller dan DiffTPT en 8,86x sneller dan TPT (0,07s per afbeelding vs. 1,67s/0,62s).
  • Geheugen: FGA verbruikt slechts 4,14 GB GPU-geheugen, wat 4,67x minder is dan TPT (19,33 GB).

5. Betekenis en Impact

Dit paper is significant omdat het de focus verschuift van het continu bijwerken van parameters tijdens de inferentie (wat duur en instabiel kan zijn) naar het intelligente selecteren van data op basis van geometrische eigenschappen die al tijdens het trainen zijn vastgelegd.

• Paradigmaverschuiving: Het toont aan dat "vlakheid" niet alleen een wenselijke eigenschap is voor training, maar ook een krachtige leidraad voor testtijd-adaptatie.
• Praktische toepasbaarheid: Door het verwijderen van backpropagation tijdens de testtijd maakt FMA VLMs veel praktischer voor real-time toepassingen en systemen met beperkte rekenkracht.
• Robuustheid: De methode biedt een robuuste oplossing voor distributieverplaatsingen zonder de noodzaak van extra trainingsdata of complexe online leerprocessen.

Kortom, FGA biedt een efficiëntere en theoretisch onderbouwde manier om Vision-Language Models aan te passen aan nieuwe, onbekende data, met aanzienlijk betere prestaties en lagere kosten dan huidige technieken.