Sintesi Tecnica: FINO – Adattamento di Modelli di Fondazione Visiva con Metadati

Definizione del Problema

I modelli di fondazione visiva, pur essendo potenti sulle immagini naturali, spesso subiscono un degrado quando applicati a domini scientifici specializzati come la microscopia biomedica, l'osservazione della Terra, il monitoraggio della fauna selvatica e l'imaging medico. Questi domini presentano sostanziali spostamenti di distribuzione (distribution shifts) guidati sia da variazioni significative (es. geografia, protocolli di colorazione) che da fattori spuri (es. caratteristiche del sensore, effetti batch).

Le strategie di adattamento standard affrontano limitazioni significative in questi contesti:

• Fine-Tuning Supervisionato: Richiede etichette specifiche per il task, scarse o costose. Spesso porta all'overfitting sui segnali del task, erodendo le capacità di generalizzazione del modello e portando a scarse prestazioni out-of-distribution (OOD).
• Adattamento di Dominio Non Supervisionato (UDA): Sfrutta dati target non etichettati ma rimane guidato dal task, rischiando un collasso specifico del task e fallendo nel generalizzare attraverso diversi shift scientifici.
• Apprendimento Auto-Supervisionato (SSL) Puro: Sebbene privo di etichette, l'adattamento SSL standard può rimanere sensibile a indizi a basso livello o artefatti contestuali, fallendo nel distinguere tra fattori semantici informativi e rumore di acquisizione spuria.

I dataset scientifici, tuttavia, sono tipicamente accompagnati da ricchi metadati (es. tipi di anticorpi, paese, timestamp, angolo di visualizzazione) che correlano con queste variazioni. La sfida è sfruttare questi metadati per adattare le rappresentazioni senza etichette di task, preservando la struttura informativa mentre si sopprimono i fattori spuri.

Metodologia: FINO (FIne tuning with NO labels)

Gli autori propongono FINO, un framework unificato per l'adattamento della rappresentazione guidato dai metadati. Il metodo adatta un modello di fondazione pre-addestrato a un nuovo dominio utilizzando solo i dati sorgente e i relativi metadati, senza richiedere etichette di task, dati di distribuzione target o metadati al momento dell'inferenza.

Architettura Core

FINO si basa sulla standard configurazione auto-supervisionata DINO (architettura studente-insegnante con aggiornamenti della media mobile esponenziale) ed estende essa con la guida dei metadati.

1. Partizionamento dei Metadati: I tipi di metadati ($t$) sono categorizzati in:
   • Fattori Informativi ($M^+$): Variabili che il modello deve preservare (es. identità dell'anticorpo nella microscopia, geografia nell'osservazione della Terra).
   • Fattori Spuri ($M^-$): Variabili che il modello deve sopprimere (es. ID delle piastre, risoluzione del sensore, effetti batch).
2. Loss di Guida dei Metadati:
   • Metadati Discreti: Per i metadati categorici (es. paese, anticorpo), FINO impiega un obiettivo contrastivo basato su prototipi. Mantiene un banco di prototipi $\{p_m\}$ per ogni valore di metadato. L'embedding dello studente è contrastato contro il prototipo corrispondente al suo valore di metadato. I prototipi sono aggiornati tramite una EMA degli embedding dell'insegnante. Questo approccio scala verso metadati ad alta cardinalità senza richiedere coppie positive/negative all'interno di un batch.
   • Metadati Continui: Per i valori continui (es. timestamp, angolo di visualizzazione), viene addestrato un predittore apprendibile (MLP) per regredire il valore del metadato dall'embedding, minimizzando una loss di regressione.
3. Inversione del Gradiente per i Fattori Spuri: Per sopprimere i fattori spuri, FINO applica l'inversione del gradiente alla loss dei metadati prima che raggiunga l'encoder. Ciò incoraggia l'encoder a ignorare tali fattori, mentre la testa del predittore impara comunque a predirli (formulazione avversaria).
4. Obiettivo Complessivo: La loss totale combina le loss auto-supervisionate standard (DINO sui token CLS, iBOT sui token patch), un termine di regolarizzazione (SIGReg) e la somma pesata delle loss di guida dei metadati:
   $$L(x) = L_{DINO}(x) + L_{iBOT}(x) + \lambda_{SIGReg}L_{SIGReg}(x) + \sum_{t \in M^+ \cup M^-} \lambda^{(t)}_{meta} L^{(t)}_{meta}(x)$$
   Notevolmente, il metodo utilizza un singolo iperparametro fisso ($\lambda_{meta} = 0.03$) attraverso tutti i domini, non richiedendo un esteso tuning.

Protocollo di Addestramento

• Fase 1: Il backbone pre-addestrato è congelato. Le teste dei metadati e le teste delle loss vengono inizializzate casualmente e addestrate per allinearsi allo spazio della rappresentazione pre-addestrata. Anche lo strato di embedding dei patch viene aggiornato per adattarsi alle statistiche dei pixel del dominio target.
• Famente 2: Il backbone viene progressivamente sbloccato e addestrato end-to-end con un warmup del tasso di apprendimento lineare per prevenire la destabilizzazione.

Contributi Chiave

1. Framework Unificato: FINO integra metadati eterogenei (discreti e continui) nell'apprendimento auto-supervisionato senza modificare l'architettura del backbone o richiedere metadati al momento dell'inferenza.
2. Adattamento Senza Etichette: Dimostra che un modello di fondazione visiva generico può essere specializzato in domini scientifici usando solo i metadati, superando il fine-tuning completamente supervisionato che si basa su etichette di task.
3. Robustezza e Trasferimento: Il metodo produce rappresentazioni che sono robuste agli spostamenti di distribuzione e agnostiche rispetto al task, consentendo un trasferimento efficace tra dataset all'interno dello stesso dominio (es. da HPA a OpenCell) anche quando le definizioni di classe differiscono.
4. Prestazioni allo Stato dell'Arte: FINO eguaglia o supera i metodi altamente specializzati e specifici del dominio (inclusi i migliori risultati Kaggle) in quattro distinti domini scientifici utilizzando una singola ricetta condivisa.

Risultati Sperimentali

Gli autori hanno valutato FINO su quattro dataset: Human Protein Atlas (HPA), iWildCam, Functional Map of the World (FMoW) e MIMIC-CXR.

• Prestazioni vs. Fine-Tuning Supervisionato: FINO ha costantemente superato il fine-tuning completamente supervisionato (che addestra il backbone e un probe) sulle metriche OOD. Ad esempio, su HPA, FINO ha raggiunto un F1 di 61.2, superando il fine-tuning supervisionato (52.6) e lo SOTA specializzato (59.4), nonostante l'uso di nessuna etichetta di task per l'adattamento del backbone.
• Prestazioni vs. SSL e UDA: FINO ha superato l'adattamento auto-supervisionato standard (DINO) e i metodi di adattamento di dominio non supervisionato (CORAL, DANN), che spesso fallivano nel generalizzare o collassavano su dataset specifici come iWildCam.
• Regime a Bassa Quantità di Dati: In scenari con solo l'1–10% di etichette disponibili per il probe a valle, FINO ha mantenuto alte prestazioni (50.9–57.0%), mentre il fine-tuning supervisionato degradava drasticamente.
• Analisi delle Rappresentazioni: Le visualizzazioni UMAP su HPA hanno mostrato che FINO organizza le feature secondo la variabile target (localizzazione proteica) piuttosto che secondo i fattori di acquisizione spuri (linea cellulare), ottenendo un'accuratezza k-NN dell'83% sulla localizzazione rispetto al 75% sulla linea cellulare (rispetto all'87% sulla linea cellulare per lo standard SSL).
• Apprendimento per Trasferimento: I modelli adattati con FINO hanno trasferito con successo a dataset non visti all'interno dello stesso dominio (es. HPA $\to$ OpenCell), superando sia i baseline congelati che l'adattamento supervisionato.

Significato e Rivendicazioni

Il paper sostiene che i domini di applicazione scientifica siano un contesto critico e fertile per valutare i modelli di fondazione della computer vision. Gli autori affermano che:

• I metadati sono una risorsa potente e sottoutilizzata: Fungono da supervisione debole efficace per guidare l'apprendimento auto-supervisionato verso rappresentazioni adattate al dominio e robuste.
• L'adattamento task-agnostic è superiore: Decoupling (scollegando) l'apprendimento della rappresentazione dalle specifiche etichette del task, FINO evita il "collasso" della generalità spesso visto nel fine-tuning supervisionato, producendo feature che sono sia più robuste agli spostamenti di distribuzione sia più allineate ai task a valle.
• Scalabilità: Il metodo gestisce metadati altamente granulari (migliaia di categorie discrete o valori continui) senza la necessità di complessa ingegneria specifica del dominio o di un esteso tuning degli iperparametri.

Il lavoro conclude che FINO stabilisce un nuovo paradigma in cui i modelli di fondazione possono essere specializzati per la scienza utilizzando "i metadati che già possiedi", raggiungendo prestazioni che rivaleggiano o superano le soluzioni specializzate senza l'onere della etichettatura specifica del task.