Semi-Supervised Few-Shot Adaptation of Vision-Language Models

Questo articolo propone un metodo semi-supervisionato che utilizza dati non etichettati per migliorare l'adattamento few-shot dei modelli visione-linguaggio in ambito medico, riducendo la necessità di annotazioni esperte del 50% in scenari con pochi esempi.

L'essenziale

Immagina di voler insegnare a un super-intelligente assistente digitale (chiamato "Modello Vision-Language" o VLM) a riconoscere malattie in immagini mediche, come radiografie o campioni di tessuto.

Il Problema: Il Genio che ha bisogno di un pizzico di aiuto

Questo assistente è già molto bravo perché ha studiato milioni di libri e immagini su internet. Sa cos'è un "cuore" o un "polmone". Tuttavia, quando deve imparare a distinguere malattie specifiche (es. "questo polmone ha un tumore raro"), ha bisogno di esempi.

Il problema è che trovare esperti medici che etichettino queste immagini costa una fortuna e richiede molto tempo.

• Zero-shot: L'assistente prova a indovinare senza esempi. A volte ci va vicino, ma spesso sbaglia.
• Few-shot (Pochi esempi): Gli dai 5 o 10 immagini etichettate da un medico. L'assistente impara meglio, ma se le malattie sono rare (sbilanciate), l'assistente si confonde e ignora quelle rare. È come se avessi 10 foto di gatti e 1 di un cane: imparerà benissimo i gatti, ma non capirà mai il cane.

La Soluzione: Il "Detective" che usa i suggerimenti

Gli autori (Julio ed Ender) hanno pensato: "E se usassimo le immagini che abbiamo già, anche se non hanno l'etichetta del medico?".

Nella vita reale, abbiamo migliaia di immagini mediche (dati non etichettati), ma solo poche sono state annotate da un esperto. L'idea è usare queste immagini "vuote" per aiutare l'assistente a imparare meglio.

Ecco come funziona il loro metodo, SS-Text-U, con un'analogia:

1. L'Assistente ha una "Bussola Testuale"

Immagina che l'assistente abbia un manuale di istruzioni (il testo) che descrive ogni malattia. Anche senza vedere le immagini, sa che un "tumore" ha certe caratteristiche descritte nel manuale. Questo è il suo punto di partenza.

2. Il Gioco delle "Etichette Finte" (Pseudo-labels)

Quando l'assistente guarda le immagini senza etichetta, prova a indovinare cosa sono basandosi sul suo manuale.

• Esempio: Guarda un'immagine e pensa: "Sembra molto simile alla descrizione di 'Polmonite' nel mio manuale".
• Invece di scartare l'immagine, le attacca un'etichetta provvisoria: "Probabilmente Polmonite".

3. Il Bilanciere Magico (Ottimizzazione)

Qui arriva la parte geniale. Se l'assistente mettesse tutte le immagini "probabili" nella stessa categoria, creerebbe un caos.
Il loro metodo usa una bilancia matematica (chiamata Trasporto Ottimale) che fa due cose:

1. Ascolta l'esperto: Se il medico ha detto "Questa è Polmonite", l'assistente ascolta.
2. Mantiene l'equilibrio: Se il medico ha dato solo 2 esempi di "Polmonite" e 20 di "Gatto", ma l'assistente vede 100 immagini che sembrano "Polmonite", la bilancia dice: "Aspetta, non possiamo avere 100 polmoni e 2 gatti se la realtà è diversa. Ricalcoliamo le probabilità per non esagerare con la Polmonite".

In pratica, il sistema propaga le informazioni dal testo alle immagini non etichettate, ma le corregge per assomigliare alla distribuzione reale dei dati, evitando che l'assistente si "fissi" su una sola malattia.

I Risultati: Risparmiare tempo e soldi

Grazie a questo trucco, il loro sistema:

• Impara con la metà degli esempi: Se prima servivano 8 immagini etichettate da un medico per ottenere un buon risultato, ora ne bastano 4 (o anche meno).
• È velocissimo: Non serve un supercomputer. Funziona su un normale laptop in pochi millisecondi.
• Funziona ovunque: L'hanno testato su occhi, pelle e polmoni, e funziona meglio dei metodi attuali.

In sintesi

Immagina di dover insegnare a un bambino a riconoscere gli animali in un parco zoologico.

• Metodo vecchio: Gli dai 5 foto di leoni e 5 di tigri (costose da stampare). Se il parco ha 100 leoni e solo 2 tigri, il bambino imparerà male le tigri.
• Metodo SS-Text-U: Gli dai le 5 foto di leoni e 5 di tigri, ma gli dici anche: "Ehi, guarda tutti gli altri animali nel parco (dati non etichettati). Se sembrano leoni, scrivici 'Leone' sopra, ma assicurati che il numero totale di leoni e tigri sia bilanciato come nel libro delle regole".

Il risultato? Il bambino impara molto più velocemente, usa meno foto costose e non sbaglia più le categorie rare. È un modo intelligente per fare di più con meno, sfruttando tutto ciò che abbiamo già a disposizione.

Sommario tecnico

1. Il Problema

I modelli visione-linguaggio (VLM) pre-addestrati su grandi dataset eterogenei stanno diventando fondamentali per l'adattamento a nuovi compiti con pochi dati annotati (few-shot learning). Nel dominio medico, dove l'annotazione da parte di esperti è costosa e scarsa, l'adattamento "few-shot" è cruciale. Tuttavia, l'adattamento standard soffre di due limitazioni principali:

• Squilibrio delle classi: I dataset medici presentano spesso distribuzioni di classi altamente sbilanciate. In regime "few-shot" (es. 1 o 2 esempi per classe), alcune categorie possono essere sottorappresentate o assenti nel set di supporto, penalizzando le prestazioni complessive del modello.
• Limiti dei metodi attuali: I metodi esistenti si basano quasi esclusivamente sugli esempi etichettati disponibili o su dati non etichettati solo in fase di test (adattamento al test-time), senza sfruttare efficacemente un pool di dati non etichettati disponibile durante la fase di adattamento per correggere lo sbilanciamento.

2. Metodologia: SS-Text-U

Gli autori propongono SS-Text-U, un solver semi-supervisionato efficiente che sfrutta dati non etichettati per migliorare l'adattamento dei VLM in regime few-shot. Il metodo si basa su un approccio di "sonda lineare" (linear probe) informata dal testo.

Componenti Chiave:

1. Obiettivo di Apprendimento:
   Il metodo combina due termini in una funzione di perdita congiunta:

   • Termine Supervisionato (Few-Shot): Minimizza la perdita di entropia incrociata (CE) sugli esempi etichettati, mantenendo i prototipi delle classi vicini ai prior testuali (embedding del testo).
   • Termine Semi-Supervisionato (Unlabeled): Utilizza i dati non etichettati ($U$) assegnando loro "pseudo-label" ($z$). Questi pseudo-label non sono fissi, ma vengono ottimizzati per minimizzare la perdita di "tightness" (aderenza) rispetto ai prototipi, vincolati a rispettare una distribuzione di etichette coerente con quella stimata dal set di supporto.

2. Ottimizzazione a Blocchi (Block-wise Optimization):
   Il problema di ottimizzazione coinvolge due variabili: i prototipi delle classi ($W$) e le assegnazioni dei pseudo-label ($z$). Viene utilizzato un algoritmo di minimizzazione a coordinate alternate (BCM):

   • Aggiornamento di $z$ (Pseudo-label): Fissati i prototipi $W$, l'assegnazione dei dati non etichettati è formulata come un problema di Trasporto Ottimale (Optimal Transport). Viene utilizzato l'algoritmo Sinkhorn-Knopp per trovare la distribuzione di probabilità che massimizza la similarità tra immagini e prototipi, rispettando il vincolo sulla distribuzione marginale delle etichette. Questo permette di propagare informazioni testuali ai dati non etichettati in modo strutturato.
   • Aggiornamento di $W$ (Prototipi): Fissati i pseudo-label $z$, l'aggiornamento dei prototipi ha una soluzione in forma chiusa (closed-form). I nuovi prototipi sono una combinazione ponderata dei prototipi testuali originali, degli esempi etichettati e dei dati non etichettati (pesati dai loro pseudo-label).

3. Gestione dello Squilibrio:
   Per evitare che le classi assenti nel set di supporto (dove $K=1$ o $2$) abbiano probabilità zero, il metodo introduce un meccanismo di post-processing che assegna una baseline minima a tutte le classi, garantendo che il solver possa apprendere anche per categorie rare.

3. Contributi Principali

1. Nuovo Setting Semi-Supervisionato: Introdurre un framework per l'adattamento few-shot che sfrutta dati non etichettati disponibili prima della fase di test, colmando un vuoto nella letteratura medica.
2. Solver SS-Text-U: Sviluppo di un metodo principiato che integra segnali testuali, dati etichettati e non etichettati tramite un ottimizzatore efficiente basato su Trasporto Ottimale e soluzioni in forma chiusa.
3. Efficienza Computazionale: Il metodo non richiede gradienti complessi o addestramento iterativo pesante, rendendolo molto più veloce (ordini di grandezza) rispetto ai metodi basati su gradienti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 12 dataset medici (istologia, oftalmologia, radiologia) e 3 VLM specializzati (CONCH, FLAIR, CONVIRT).

• Prestazioni: SS-Text-U supera costantemente i metodi "state-of-the-art" (come SS-Text+, CLAP, LP++) in termini di accuratezza bilanciata per classe (ACA).
• Riduzione dell'Etichettatura: Il metodo permette di ridurre lo sforzo di annotazione del 50-75%. Ad esempio, un modello addestrato con SS-Text-U su 1 esempio per classe (1-shot) raggiunge prestazioni simili a un modello standard addestrato su 4 esempi (4-shot).
• Efficienza: L'adattamento richiede circa 25 ms su un laptop commerciale per dataset di grandi dimensioni, rendendolo pratico per flussi di lavoro reali.
• Ablation Study:
  • L'uso del vincolo di distribuzione delle etichette (Trasporto Ottimale) è cruciale: senza di esso (0 iterazioni di Sinkhorn), le prestazioni crollano.
  • La scelta adattiva dei pesi $\lambda$ (basata sul numero di esempi per classe) è superiore all'uso di valori fissi.

5. Significato e Impatto

Questo lavoro dimostra che l'integrazione di dati non etichettati tramite segnali testuali e vincoli di distribuzione può mitigare efficacemente il problema dello sbilanciamento delle classi nei compiti medici few-shot.

• Impatto Pratico: Offre una soluzione per ridurre drasticamente i costi di annotazione medica, rendendo l'adattamento dei modelli AI più accessibile e scalabile.
• Robustezza: Il metodo è particolarmente efficace in scenari estremi (1-shot o 2-shot) dove i metodi tradizionali falliscono a causa della mancanza di esempi rappresentativi.
• Futuro: Sebbene il metodo si basi solo su embedding di feature, apre la strada a futuri lavori che potrebbero integrare aumentazioni multi-vista o filtraggio della confidenza per migliorare ulteriormente le prestazioni in compiti complessi.

In sintesi, SS-Text-U rappresenta un avanzamento significativo verso l'adattamento efficiente e a basso costo dei modelli visione-linguaggio nel settore sanitario.