Technische Samenvatting: Sparse Autoencoders maken Robuuste en Interpreteerbare Fine-tuning van CLIP-modellen mogelijk

Probleemstelling

Grootschalige voorgeprogrammeerde visueel-taalkundige modellen, zoals CLIP, vertonen opmerkelijke zero-shot prestaties en robuustheid tegenover distributieveranderingen. Het fine-tunen van deze modellen om de prestaties binnen de distributie (ID) te verbeteren op downstream-taken leidt echter vaak tot een verslechtering van de robuustheid buiten de distributie (OOD). Dit fenomeen, bekend als "representational drift" of "feature suppression", treedt op omdat standaard fine-tuning de voorgeprogrammeerde representatieruimte vervormt, waarbij semantisch betekenisvolle kenmerken worden overschreven met taakspecifieke ruis of willekeurige richtingen.

Bestaande robuuste fine-tuning-methoden proberen deze afweging te mitigeren, maar lopen tegen aanzienlijke beperkingen aan:

• WiSE-FT: Gemiddelde gewichten tussen het zero-shot en het gefine-tunde model. Hoewel effectief, negeert dit vaak de tekstencoder en vertrouwt het op eenvoudige interpolatie, wat beperkte controle biedt over welke kenmerken behouden blijven.
• Tekstgeleide benaderingen (bijv. FLYP, StarFT): Deze methoden fine-tunen zowel visuele als tekstencoders of injecteren synthetische kenmerken en externe priors in tekstprompts. Deze benaderingen introduceren rekenkundige complexiteit en vertrouwen op externe data-engineering, wat de fine-tuning-pijplijn ingewikkeld maakt.

De kernuitdaging is het bereiken van robuuste fine-tuning die de ID-prestaties verbetert zonder OOD-generalisatie op te offeren, en dit op een rekenkundig efficiënte manier doet die uitsluitend werkt op de visuele modus en inzicht biedt in hoe het model zich aanpast.

Methodologie: SAE-FT

De auteurs stellen SAE-FT (Sparse Autoencoder Fine-tuning) voor, een regularisatiekader dat het fine-tuning-proces beperkt tot het interpreteerbare kenmerkbereik van het voorgeprogrammeerde model. De methode steunt op de Linear Representation Hypothesis, die stelt dat hoogwaardige concepten worden gecodeerd als lineaire richtingen in de activatieruimte.

Kerncomponenten

1. Training van de Sparse Autoencoder (SAE):

   • Een Top-k SAE wordt onbewaakt getraind op de bevroren visuele representaties ($r_0$) van het voorgeprogrammeerde zero-shot CLIP-model.
   • De SAE decomposeert dichte, polysemantische representaties in een schaarse, overcomplexe basis van semantisch betekenisvolle kenmerken ($s$).
   • De SAE-gewichten worden na training bevroren en dienen als een vaste woordenlijst van interpreteerbare kenmerken.

2. Regularisatiestrategie:
   Tijdens het fine-tunen van de visuele encoder ($f_{ft}$) wordt het model beperkt om ervoor te zorgen dat updates aan de representaties ($r_{ft}$) binnen het semantische bereik van de voorgeprogrammeerde SAE blijven. De totale verliesfunctie combineert de standaard cross-entropy-verlies ($L_{CE}$) met twee specifieke regularisatietermen:

   • Residual Alignment Penalty ($L_{resid}$): Zorgt ervoor dat de verandering in representatie ($\Delta r = r_{ft} - r_0$) kan worden gereconstrueerd door de SAE-decoder. Dit dwingt updates om uit te drukken als een lineaire combinatie van de geleerde semantische kenmerken, waardoor wordt voorkomen dat het model afwijkt naar willekeurige geometrische richtingen die orthogonaal zijn aan het woordenlijst.
     $$L_{resid} := \|\Delta r - W_d(\Delta s)\|_2^2$$
   • Feature Preservation Penalty ($L_{add}$): Straft expliciet de activatie van kenmerken die inactief waren in het zero-shot model. Dit voorkomt het "toevoegen" van nieuwe, potentieel spurious semantische concepten.
     $$L_{add} := \lambda_{add} \sum_{k=1}^{p} (1 - m_k)|s_{ft}^k|$$
     waarbij $m_k$ een indicator is voor kenmerken die actief waren in het zero-shot model.

3. Training en Inferentie:

   • De SAE wordt niet bijgewerkt tijdens het fine-tunen en wordt niet gebruikt tijdens de inferentie. Het dient uitsluitend als een geometrische beperking tijdens de trainingslus.
   • De methode werkt uitsluitend op de visuele encoder met een lineaire-head cross-entropy-opstelling, waardoor de complexiteit van tekstzijde data-engineering wordt vermeden.

Belangrijkste Bijdragen

1. SAE-FT Kader: Een nieuwe fine-tuning-strategie die representatie-updates beperkt tot het interpreteerbare kenmerkbereik van een voorgeprogrammeerde backbone. Het zorgt ervoor dat adaptatie plaatsvindt door herwaardering van bestaande semantische concepten in plaats van ze te overschrijven, waardoor catastrofaal vergeten van algemene kennis wordt voorkomen.
2. Prestaties en Efficiëntie: Uitgebreide experimenten tonen aan dat SAE-FT de state-of-the-art (SOTA) robuustheid op ImageNet en distributieveranderingsbenchmarks evenaart of overtreft. Cruciaal bereikt dit zonder tekstzijde augmentaties of inge injecteerde priors, waardoor het rekenkundig efficiënter is en makkelijker te implementeren dan tekstgeleide methoden.
3. Mechanistisch Inzicht: Het kader biedt een gedetailleerde analyse van kenmerkbehoud. Het toont expliciet aan dat robuuste fine-tuning het herwaarderen van bestaande kenmerken omvat (bijv. het versterken van "ladder" en "rode verf" voor een brandweerwagen) in plaats van het leren van volledig nieuwe representaties, wat een transparant beeld biedt van het aanpassingsproces.

Experimentele Resultaten

De auteurs hebben SAE-FT geëvalueerd op het OpenAI ViT-B/16-model over meerdere benchmarks:

• ImageNet en Distributieveranderingen: SAE-FT behaalde een ImageNet-accuraatheid van 82,9% (wat overeenkomt met SOTA) en de hoogste gemiddelde nauwkeurigheid (64,6%) over distributieveranderingsbenchmarks (ImageNet-R, A, S, V2). Het presteerde beter dan andere methoden die alleen de visuele encoder gebruiken, zoals CAR-FT en WiSE-FT.
• Downstream Transfer: Bij evaluatie op CIFAR-10, CIFAR-100, Caltech-101 en STL-10 zonder verdere fine-tuning behaalde SAE-FT de hoogste gemiddelde transfer-accuraatheid (87,8%), wat aangeeft dat zijn representaties effectief generaliseren naar diverse taken.
• iWilds Benchmarks: Op real-world OOD-datasets (iWildCam en FMoW) behaalde SAE-FT de beste of bijna beste prestaties, met name in de nauwkeurigheid van de slechtste groep en OOD macro F1-scores, en presteerde het beter dan L2-regularisatie en andere robuuste fine-tuning-methoden.
• Vergelijking met Baselines: Hoewel generieke regularisatiemethoden (L1, L2, PCA) ook de robuustheid verbeterden door geometrische drift te beperken, bood SAE-FT superieure controle over specifieke kenmerkveranderingen. Het behaalde een iets hogere gemiddelde nauwkeurigheid dan deze baselines, maar bood het duidelijke voordeel van werken in een geleerde, semantisch betekenisvolle kenmerkbasis.

Betekenis en Claims

Het artikel stelt dat SAE-FT een belangrijke stap voorwaarts is in het maken van fine-tuning zowel robuust als interpreteerbaar.

• Interpreteerbaarheid: In tegenstelling tot standaard norm-regularisatie, die alle richtingen gelijk behandelt, stelt SAE-FT onderzoekers in staat om direct te analyseren welke semantische kenmerken behouden, hergewaardeerd of onderdrukt worden. De auteurs tonen aan dat het model misclassificaties corrigeert (bijv. het onderscheiden van een piratenschip van een schoener) door taakrelevante kenmerken te versterken terwijl het oorspronkelijke kenmerkvocabulaire behouden blijft.
• Efficiëntie: Door uitsluitend te werken op de visuele modus en complexe tekstzijde manipulaties of externe LLM-gegevens te vermijden, biedt SAE-FT een gestroomlijnde pijplijn voor robuuste fine-tuning.
• Mechanisme van Succes: De auteurs betogen dat het succes van SAE-FT voortkomt uit het vermogen om het model te dwingen zich te concentreren op een schaarsere, relevanter subset van bestaande kenmerken. Dit voorkomt de "verlamming" van fundamentele modelkenmerken die typisch optreedt tijdens standaard fine-tuning, waardoor de algemene kennis van het model behouden blijft terwijl taakspecifieke onderscheidingen worden verscherpt.

Het werk concludeert dat interpreteerbare regularisatie efficiënte fine-tuning mogelijk maakt zonder de geleerde concepten van voorgeprogrammeerde modellen te wissen, en biedt een levensvatbaar alternatief voor complexe, tekstafhankelijke robuuste fine-tuning-strategieën.