Technische Samenvatting: FINO – Het aanpassen van Vision Foundation Models met metadata

Probleemstelling

Visuele foundation models zijn weliswaar krachtig op natuurlijke afbeeldingen, maar presteren vaak minder goed wanneer ze worden toegepast op gespecialiseerde wetenschappelijke domeinen zoals biomedische microscopie, aardobservatie, monitoring van wilde dieren en medische beeldvorming. Deze domeinen vertonen substantiële distributieverschuivingen die worden gedreven door zowel betekenisvolle variaties (bijv. geografie, kleuringsprotocollen) als door schijnfactoren (bijv. sensorkarakteristieken, batch-effecten).

Standaard adaptatiestrategieën kampen in deze omgevingen met aanzienlijke beperkingen:

• Supervised Fine-Tuning: Vereist schaarse of dure taakspecifieke labels. Het is vaak overgevoelig voor taaksignalen (overfitting), wat de generalisatiecapaciteiten van het model ondermijnt en leidt tot slechte prestaties bij out-of-distribution (OOD) data.
• Unsupervised Domain Adaptation (UDA): Maakt gebruik van ongelabelde doelwitdata, maar blijft taakgestuurd, wat het risico op taakspecifieke instorting (collapse) met zich meebrengt en faalt in het generaliseren over diverse wetenschappelijke verschuivingen.
• Pure Self-Supervised Learning (SSL): Hoewel labelvrij, kan standaard SSL-adaptatie gevoelig blijven voor laag-niveau cues of contextspecifieke artefacten, waardoor het niet in staat is om onderscheid te maken tussen informatieve semantische factoren en schijnvormige acquisitieruis.

Wetenschappelijke datasets worden echter meestal vergezeld door rijke metadata (bijv. antilichaamtypen, land, tijdstip, kijkhoek) die correleren met deze variaties. De uitdaging is om deze metadata te gebruiken om representaties aan te passen zonder taaklabels, waarbij informatieve structuren behouden blijven terwijl schijnfactoren worden onderdrukt.

Methodologie: FINO (FIne tuning met NO labels)

De auteurs stellen FINO voor, een verenigd framework voor metadata-gestuurde representatie-adaptatie. De methode past een vooraf getraind foundation model aan naar een nieuw domein met behulp van enkel brongegevens en de bijbehorende metadata, zonder dat er taaklabels, doelwitdistributiegegevens of metadata tijdens de inferentie nodig zijn.

Kernarchitectuur

FINO is gebaseerd op de standaard DINO zelfgesuperviseerde setup (student-teacher architectuur met exponential moving average updates) en breidt deze uit met metadata-sturing.

1. Metadata Partitionering: Metadatatypen ($t$) worden gecategoriseerd in:
   • Informatieve Factoren ($M^+$): Variabelen die het model moet behouden (bijv. antilichaamidentiteit in microscopie, geografie in aardobservatie).
   • Schijnfactoren ($M^-$): Variabelen die het model moet onderdrukken (bijv. plaat-ID's, sensorresolutie, batch-effecten).
2. Metadata Guidance Losses:
   • Discrete Metadata: Voor categorische metadata (bijv. land, antilichaam) gebruikt FINO een prototype-gebaseerde contrastieve objectief. Het onderhoudt een bank van prototypes $\{p_m\}$ voor elke metadatawaarde. De student-embedding wordt gecontrasteerd met het prototype dat overeenkomt met de metadatawaarde. Prototypes worden bijgewerkt via een EMA van teacher-embeddings. Deze aanpak schaalt naar metadata met een hoge cardinaliteit zonder positieve/negatieve paren binnen een batch nodig te hebben.
   • Continue Metadata: Voor continue waarden (bijv. tijdstip, kijkhoek) wordt een leerbaar voorspeller (MLP) getraind om de metadatawaarde te regresseren vanuit de embedding, waarbij een regressieverlies wordt geminimaliseerd.
3. Gradient Reversal voor Schijnfactoren: Om schijnfactoren te onderdrukken, past FINO gradient reversal toe op de metadata loss voordat deze de encoder bereikt. Dit moedigt de encoder aan om deze factoren te negeren, terwijl de predictor head nog steeds deze factoren probeert te voorspellen (adversariële formulering).
4. Algemeen Objectief: De totale loss combineert standaard zelfgesuperviseerde losses (DINO op CLS tokens, iBOT op patch tokens), een regularisatieterm (SIGReg), en de gewogen som van metadata guidance losses:
   $$L(x) = L_{DINO}(x) + L_{iBOT}(x) + \lambda_{SIGReg}L_{SIGReg}(x) + \sum_{t \in M^+ \cup M^-} \lambda^{(t)}_{meta} L^{(t)}_{meta}(x)$$
   Opvallend genoeg gebruikt de methode een enkele, vaste hyperparameter ($\lambda_{meta} = 0.03$) over alle domeinen, wat uitgebreide afstemming overbodig maakt.

Trainingsprotocol

• Fase 1: De vooraf getrainde backbone is bevroren. Metadata heads en loss heads worden willekeurig geïnitialiseerd en getraind om uit te lijnen met de vooraf getrainde representatieruimte. De patch embedding layer wordt ook bijgewerkt om zich aan te passen aan de pixelstatistieken van het doelwitdomein.
• Fase-2: De backbone wordt progressief ontdooid en end-to-end getraind met een lineaire learning rate warmup om destabilisatie te voorkomen.

Belangrijkste Bijdragen

1. Verenigd Framework: FINO integreert heterogene metadata (discreet en continu) in zelfgesuperviseerd leren zonder de backbone-architectuur te wijzigen of metadata tijdens de inferentie nodig te hebben.
2. Label-Vrije Adaptatie: Het demonstreert dat een generiek visueel foundation model kan worden gespecialiseerd voor wetenschappelijke domeinen met alleen metadata, waarbij het volledig gesuperviseerde fine-tuning (dat afhankelijk is van taaklabels) overtreft.
3. Robuustheid en Transfer: De methode produceert representaties die robuust zijn tegen distributieverschuivingen en taak-agnostisch zijn, wat effectieve transfer mogelijk maakt naar datasets binnen hetzelfde domein (bijv. van HPA naar OpenCell), zelfs wanneer de klasse-definities verschillen.
4. State-of-the-Art Prestaties: FINO evenaart of overtreft hooggespecialiseerde, domeinspecifieke state-of-the-art methoden (inclusclusief top Kaggle-oplossingen) over vier verschillende wetenschappelijke domeinen met behulp van één gedeeld recept.

Experimentele Resultaten

De auteurs evalueerden FINO op vier datasets: Human Protein Atlas (HPA), iWildCam, Functional Map of the World (FMoW) en MIMIC-CXR.

• Prestaties vs. Supervised Fine-Tuning: FINO presteerde consequent beter dan volledig gesuperviseerde fine-tuning (die de backbone en een probe traint) op OOD-metrieken. Bijvoorbeeld, op HPA behaalde FINO een F1 van 61.2, waarmee het gesuperviseerde fine-tuning (52.6) en gespecialiseerde SOTA (59.4) versloeg, ondanks het feit dat er geen taaklabels werden gebruikt voor de backbone-adaptatie.
• Prestaties vs. SSL en UDA: FINO overtrof standaard zelfgesuperviseerde adaptatie (DINO) en unsupervised domain adaptation methoden (CORAL, DANN), die vaak faalden in het generaliseren of instortten op specifieke datasets zoals iWildCam.
• Low-Data Regime: In scenario's met slechts 1–10% van de beschikbare labels voor de downstream probe, behield FINO een hoge prestatie (50.9–57.0%), terwijl supervised fine-tuning scherp degradeerde.
• Representatie Analyse: UMAP-visualisaties op HPA lieten zien dat FINO kenmerken organiseert volgens de doelvariabele (eiwitlokalisatie) in plaats van schijnvormige acquisitiefactoren (cellijn), waarbij een k-NN nauwkeurigheid van 83% werd bereikt voor lokalisatie versus 75% voor cellijn (vergeleken met 87% voor cellijn bij standaard SSL).
• Transfer Learning: FINO-modellen slaagden er succesvol in om naar ongeziene datasets binnen hetzelfde domein te transfereren (bijv. HPA $\to$ OpenCell), waarbij ze zowel frozen baselines als gesuperviseerde adaptatie overtroffen.

Betekenis en Claims

Het artikel stelt dat wetenschappelijke toepassingsdomeinen een kritieke en vruchtbare setting zijn voor het evalueren van computer vision foundation models. De auteurs claimen dat:

• Metadata een krachtige, onderbenutte bron is: Het dient als effectieve zwakke supervisie om zelfgesuperviseerd leren te sturen naar robuuste, domein-geadapteerde representaties.
• Taak-agnostische adaptatie superieur is: Door representatieleer los te koppelen van specifieke taaklabels, vermijdt FINO de "instorting" van algemeenheid die vaak bij supervised fine-tuning wordt gezien, wat resulteert in kenmerken die zowel robuuster zijn tegen distributieverschuivingen als beter afgestemd zijn op downstream taken.
• Schaalbaarheid: De methode handelt complexe, fijnmazige metadata af (duizenden discrete categorieën of continue waarden) zonder de noodzaak voor complexe domeinspecifieke engineering of uitgebreide hyperparameter-afstemming.

Het werk concludeert dat FINO een nieuw paradigma vestigt waarbij foundation models kunnen worden gespecialiseerd voor de wetenschap met behulp van "de metadata die je al hebt", waarbij prestaties worden geleverd die die van gespecialiseerde oplossingen evenaren of overtreffen zonder de last van taakspecifieke labeling.