Layer by layer, module by module: Choose both for optimal OOD probing of ViT

Deze studie toont aan dat voor de optimale out-of-distribution-probing van Vision Transformers de beste prestaties worden behaald door zowel de juiste modellaag als het specifieke moduletype (feedforward-netwerk bij sterke distributieveranderingen versus genormaliseerde self-attention bij zwakke veranderingen) te selecteren.

De kern

Titel: Waarom de "laatste stap" niet altijd de beste is: Een gids voor het begrijpen van AI-oog

Stel je voor dat een Vision Transformer (ViT) een enorme, slimme kunstenaar is die miljoenen foto's heeft bekeken om te leren wat een hond, een bloem of een auto is. Deze kunstenaar werkt in lagen, alsof hij door een reeks kamers loopt. In elke kamer (of "laag") wordt de foto steeds verder verwerkt en geanalyseerd.

Traditioneel dachten onderzoekers: "De beste analyse vind je in de allerlaatste kamer, vlak voordat de kunstenaar zijn oordeel velt." Maar dit nieuwe onderzoek, geschreven door Ambroise Odonnat en zijn team, zegt: "Nee, dat klopt niet altijd!"

Hier is wat ze hebben ontdekt, vertaald naar begrijpelijke taal:

1. Het probleem: De "Verkeerde Kaart" (Verdelingsschift)

Stel je voor dat deze kunstenaar is opgeleid met foto's van strakke, professionele studio-opnames van honden. Maar nu moet hij plotseling foto's analyseren van honden in de sneeuw, met wazige beweging of met een tekenstijl (zoals een schets).

• In de ideale wereld (ID): Als de nieuwe foto's lijken op de oude, werkt de kunstenaar perfect. De laatste kamer (de "finale") geeft het beste antwoord.
• In de echte wereld (OOD - Out-of-Distribution): Als de foto's er heel anders uitzien dan waar hij voor is opgeleid, raakt de kunstelaar in de laatste kamer in paniek. Hij probeert te hard om zijn oude kennis toe te passen en maakt fouten. De "laatste stap" is dan juist het zwakste punt.

De les: Hoe groter het verschil tussen de training en de echte situatie, hoe slechter de laatste kamer presteert.

2. De oplossing: Kijk naar de tussenkamers

Het onderzoek toont aan dat de tussenliggende kamers (de "intermediate layers") veel robuuster zijn. Ze zijn flexibeler en minder vastgepind op de specifieke details van de training.

• Analogie: Stel je voor dat je een boek leest. De laatste zin vat het verhaal samen, maar als je het boek in een andere taal moet uitleggen, helpt die samenvatting misschien niet. De zinnen halverwege het verhaal bevatten vaak de kern van de actie en de emotie, die makkelijker te vertalen zijn naar een nieuwe context.

3. De fijne draad: Welke kamer precies?

Dit is het meest interessante deel. De auteurs keken niet alleen naar de kamers, maar naar de specifieke onderdelen binnen die kamers. Een transformer-kamer bestaat uit twee hoofdonderdelen:

1. De Opmerker (Self-Attention): Kijkt naar de relaties tussen verschillende delen van de afbeelding.
2. De Denker (Feedforward Network): Verwerkt de informatie die de Opmerker heeft gevonden.

Het team ontdekte dat je niet zomaar naar het einde van de kamer moet kijken, maar naar waar in het proces je kijkt:

• Scenario A: Grote Veranderingen (Sneeuw, Ruis, Schetsen)

  • Wat werkt het beste? Kijk naar de activering binnen de "Denker" (Feedforward Network).
  • Analogie: Dit is als kijken naar de ruwe notities van de kunstenaar terwijl hij nog aan het denken is. In deze fase zit de zuivere, robuuste betekenis van de afbeelding, voordat de kunstenaar probeert het in een strakke, maar kwetsbare, conclusie te gieten.
  • Waarom? De "Denker" heeft een grotere ruimte om te denken (hij vergroot de data tijdelijk), waardoor hij beter kan onderscheiden wat belangrijk is, zelfs als de afbeelding vies of wazig is.

• Scenario B: Kleine Veranderingen (Normale foto's)

  • Wat werkt het beste? Kijk naar de uitslag van de "Opmerker" (Self-Attention) of de genormaliseerde output.
  • Analogie: Als de foto's gewoon zijn, is de samenvatting van de "Opmerker" al perfect genoeg. Je hoeft niet diep in de gedachten van de kunstenaar te duiken.

Samenvatting in één zin

Als je een AI-model wilt gebruiken op foto's die er heel anders uitzien dan waarvoor het is getraind (zoals in de sneeuw of als schets), stop dan niet met kijken bij de laatste kamer. Kijk in plaats daarvan naar de tussenliggende "denkprocessen" binnen de kamer; daar zit de echte, betrouwbare intelligentie verstopt.

De boodschap voor de praktijk:
Gebruik de "laatste stap" alleen als je zeker weet dat de situatie precies hetzelfde is als de training. Anders, zoek naar de "tussenstap" in het denkproces van de AI. Dat is waar de echte magie gebeurt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Layer by Layer, Module by Module: Choose Both for Optimal OOD Probing of ViT", geschreven in het Nederlands.

Probleemstelling

Foundation-modellen, en specifiek Vision Transformers (ViT), presteren vaak uitstekend op in-distribution (ID) data, maar hun prestaties kunnen aanzienlijk verslechteren bij uitdagingen met verdelingsverschuivingen (distribution shifts) naar out-of-distribution (OOD) data.

• De uitdaging: Traditioneel wordt aangenomen dat de representaties van de laatste laag van een transformer het meest informatief zijn voor downstream-taken. Echter, recente studies (zoals Skean et al., 2025) suggereren dat tussenliggende lagen (intermediate layers) soms beter presteren, vooral bij autoregressieve modellen.
• De onduidelijkheid: Er is geen consensus over waarom dit gebeurt bij ViT-modellen en of dit geldt voor alle soorten verdelingsverschuivingen. Bovendien is het onduidelijk welke specifieke componenten binnen een transformer-blok (zoals attention of feedforward netwerken) de beste representaties bieden onder OOD-omstandigheden.

Methodologie

De auteurs voeren een uitgebreide empirische studie uit om het gedrag van tussenliggende lagen en specifieke modules in een vooraf getraind ViT-model te analyseren.

1. Model en Data:

   • Model: Een ViT met 86M parameters, vooraf getraind op ImageNet-21k.
   • Benchmarks: 11 diverse classificatie-datasets, waaronder standaard datasets (CIFAR-10/100, Flowers102, Pets), ruis-varianten van CIFAR-10 (Contrast, Gaussian Noise, Motion Blur, Snow, Speckle Noise) en domein-varianten van DomainNet (Clipart, Sketch).
   • Experimenteel Setup:
     • Linear Probing: De auteurs gebruiken lineaire probing op de CLS-token embeddings om de kwaliteit van de representaties te evalueren zonder het model te finetunen.
     • Vergelijking: Ze vergelijken de prestaties van het bevroren (pretrained) model versus een gefinetuned model om de impact van verdelingsverschuiving te isoleren.
     • Granulariteit: In plaats van alleen de output van een transformer-blok te testen, analyseren ze 8 specifieke operationele punten binnen elke laag:
       • Normalisatielagen (LN1, LN2)
       • Multi-Head Attention (MHA)
       • Residuele connecties (RC1, RC2)
       • Feedforward Network (FFN) componenten: FC1, Act (GeLU-activatie), FC2.

2. Analyse:

   • Ze rangschikken de datasets op basis van de mate van verdelingsverschuiving (van ID naar zware OOD) en observeren hoe de prestaties per laag en per module veranderen.

Kernbevindingen en Resultaten

1. Verdelingsverschuiving als oorzaak van degradatie

• In-Distribution (ID): Bij data die lijkt op de trainingsdata (ImageNet), presteren de laatste lagen het beste.
• Out-of-Distribution (OOD): Naarmate de verschuiving tussen pretraining en downstream-data toeneemt, nemen de prestaties van de diepere (laatste) lagen sterk af.
• Conclusie: Tussenliggende lagen zijn robuuster tegen verdelingsverschuivingen. De degradatie in de laatste lagen is dus geen bijproduct van de pretraining-methode (zoals autoregressie), maar een direct gevolg van de mismatch in data-distributie.

2. Module-specifieke prestaties (Module by Module)
De studie onthult dat niet alle componenten binnen een transformer-blok even goed zijn voor probing:

• Standaardkeuze (RC2): Het standaardproberen van de output van het transformer-blok (RC2) is suboptimaal voor bijna alle OOD-datasets.
• FC2 (De tweede FC-laag): Deze module presteert consequent het slechtst, vooral bij sterke verschuivingen. De compressie van de dimensie in FC2 lijkt de lineariteit van de data te schaden.
• Act (Activatie in FFN): De activatie binnen het Feedforward Network (tussen FC1 en FC2) levert de beste prestaties op bij sterke verdelingsverschuivingen.
  • Redenering: FC1 vergroot de dimensie (naar 4d), wat helpt bij het ontrafelen van features. De activatie (Act) filtert ruis en behoudt semantische informatie, terwijl FC2 de informatie weer comprimeert.
• LN2 (LayerNorm voor FFN): Bij zwakke of geen verschuiving (ID-scenario's) presteert LN2 (de normalisatie voor de feedforward) het beste, vaak net iets beter dan RC2.

3. Gedrag over de diepte (Layer Depth)

• Bij sterke OOD-verschuivingen piekt de prestatie van de 'Act'-module in de tussenliggende lagen en daalt deze drastisch in de laatste lagen.
• Bij ID-data is de prestatie van de laatste lagen over het algemeen het hoogst.

Belangrijkste Bijdragen

1. Identificatie van de oorzaak: Het paper bevestigt dat verdelingsverschuiving de primaire oorzaak is van de degradatie van de laatste lagen in ViT-modellen, en niet het type pretraining.
2. Granulaire analyse: Het introduceert een fijnmazige analyse op module-niveau, wat aantoont dat het standaardproberen van blok-outputs (RC2) suboptimaal is.
3. Praktische richtlijnen: Het biedt een actieplan voor practitioners afhankelijk van de situatie:
   • Bij ID-data: Gebruik de laatste lagen (RC2 of LN2).
   • Bij sterke OOD-data: Probeer de activatie (Act) van de Feedforward Network in de tussenliggende lagen.
   • Bij onzekere verschuiving: Probeer de LN2-module, aangezien deze robuuster is dan de standaard RC2.

Significantie

Dit werk is significant omdat het de "black box" van transformer-representaties opent en aantoont dat de keuze van de laag en de specifieke module cruciaal is voor de betrouwbaarheid van foundation-modellen in real-world scenario's.

• Het biedt een methode om de robuustheid van modellen te verbeteren zonder het model te finetunen (door simpelweg de juiste feature-extractor te kiezen).
• Het helpt bij het detecteren van verdelingsverschuivingen: als de laatste lagen slecht presteren maar tussenliggende lagen goed, is er waarschijnlijk sprake van een OOD-situatie.
• Het suggereert dat de Feedforward Network-activaties semantisch rijker zijn voor lineaire classificatie onder drift dan de attention-outputs of de gecomprimeerde blok-outputs.

Kortom, de paper concludeert: "Kies beide" (laag én module) voor optimale OOD-probing, waarbij de specifieke keuze afhangt van de mate van verdelingsverschuiving.