PromptGate Client Adaptive Vision Language Gating for Open Set Federated Active Learning

Il paper propone PromptGate, un framework federato adattivo che utilizza prompt VLM dinamici per filtrare efficacemente i dati fuori distribuzione e ottimizzare l'apprendimento attivo in contesti medici aperti, preservando la privacy dei pazienti e massimizzando l'efficienza delle risorse di annotazione.

L'essenziale

Immagina di dover organizzare una grande festa di beneficenza (l'Intelligenza Artificiale medica) per aiutare i pazienti, ma hai un problema enorme: non puoi portare tutti gli inviti a casa tua per motivi di privacy. Ogni ospedale ha i suoi pazienti e i suoi dati, e non può condividerli direttamente. Inoltre, la lista degli inviti è piena di "rumore": ci sono foto di pazienti veri, ma anche foto sgranate, sbagliate o di cose che non c'entrano nulla con la malattia che stiamo studiando.

Se provi a chiedere ai medici di etichettare a caso queste foto per addestrare l'AI, sprecherai tempo prezioso su foto inutili. È come cercare di trovare un ago in un pagliaio, ma il pagliaio è pieno anche di paglia bagnata e sassi.

Ecco a cosa serve PromptGate, la soluzione proposta dagli scienziati di Bonn.

1. Il Problema: Il "Pagliaio" Disordinato

In medicina, gli ospedali sono come case diverse con arredi diversi (scanner diversi, macchie diverse). L'AI deve imparare a riconoscere una malattia specifica (ad esempio, un tumore alla pelle), ma tra le foto arriva anche:

• Foto di pelle sana.
• Foto con artefatti (macchie, riflessi).
• Foto di altre malattie.

Se l'AI chiede al medico: "Questa foto è importante?", spesso sbaglia e chiede di etichettare cose inutili. Questo spreca il budget (il tempo dei medici).

2. La Soluzione: Il "Portiere Intelligente" (PromptGate)

Immagina che ogni ospedale abbia un portiere (un sistema di Intelligenza Artificiale basato sul linguaggio, chiamato VLM) che sta all'ingresso della sala dei dati.

• Il vecchio metodo (Statico): Il portiere aveva un cartello fisso: "Entra solo se sei un tumore". Ma poiché ogni ospedale è diverso, il cartello era troppo rigido. Spesso lasciava entrare spazzatura o bloccava pazienti importanti.
• Il nuovo metodo (PromptGate): Il portiere ha un quaderno magico (chiamato "Prompt"). Questo quaderno non è fisso; si aggiorna ogni giorno.
  • All'inizio, il portiere è un po' confuso.
  • Ogni volta che un medico etichetta una foto (diciamo: "Sì, questo è un tumore" o "No, è solo un riflesso"), il portiere scrive una nota nel suo quaderno per adattarsi meglio a quello specifico ospedale.
  • Poi, tutti i portieri degli ospedali si incontrano (in modo segreto, senza scambiarsi i dati dei pazienti) per aggiornare la "parte generale" del quaderno, condividendo ciò che hanno imparato.

3. Come Funziona la Magia (L'Analogia del Filtro)

Immagina che il sistema lavori così:

1. Il Filtro Dinamico: Prima che il medico veda una foto, il portiere la guarda. Se la foto sembra "rumore" (un artefatto, una cosa sbagliata), il portiere la butta via immediatamente. Se sembra un candidato valido, la passa al medico.
2. L'Adattamento: Se l'ospedale A ha molti artefatti rotondi e l'ospedale B ha molti artefatti quadrati, il portiere dell'ospedale A impara a riconoscere i cerchi, mentre quello dell'ospedale B impara i quadrati. Non usano lo stesso filtro rigido per tutti, ma si adattano alla loro "casa".
3. Il Risultato: Il medico riceve solo le foto "pulite" e importanti. Non perde tempo a dire "no, questa è spazzatura".

4. Perché è Geniale?

• Risparmio di Tempo: Invece di guardare 100 foto per trovarne 5 utili, il medico ne guarda solo 5, perché il portiere ha già filtrato le altre 95.
• Privacy: Gli ospedali non si scambiano le foto dei pazienti, ma solo le "istruzioni" per il portiere (i promemoria nel quaderno).
• Flessibilità: Funziona con qualsiasi strategia di selezione. È come un adattatore universale che si inserisce in qualsiasi sistema esistente.

In Sintesi

PromptGate è come un sistema di sicurezza intelligente e adattivo per gli ospedali. Invece di avere un guardiano rigido che dice "entra solo chi ha la divisa blu", ha un guardiano che impara ogni giorno a riconoscere chi è davvero importante per quella specifica squadra, scartando tutto il resto.

Il risultato? L'AI medica impara più velocemente, con meno errori e rispettando la privacy dei pazienti, perché i medici passano il loro tempo a curare i casi giusti, non a pulire il pagliaio.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "PromptGate: Client-Adaptive Vision–Language Gating for Open-Set Federated Active Learning", redatta in italiano.

1. Il Problema: Apprendimento Attivo Federato in Scenari Open-Set

L'implementazione dell'Intelligenza Artificiale medica in istituzioni con risorse limitate richiede pipeline di apprendimento efficienti che rispettino la privacy dei pazienti. Il Federated Learning (FL) permette la collaborazione senza centralizzare i dati, ma le banche dati cliniche reali sono intrinsecamente open-set: contengono non solo le classi target (in-distribution, ID), ma anche rumore fuori distribuzione (out-of-distribution, OOD) come artefatti di imaging, modalità errate o patologie non correlate.

I metodi di Active Learning (AL) standard assumono spesso uno scenario "closed-set". Quando applicati a pool di dati eterogenei, le strategie di query tradizionali tendono a scambiare il rumore OOD per campioni informativi, sprecando budget di annotazione prezioso. Le soluzioni esistenti per l'AL open-set (OAL) o federato (FAL) spesso si basano su rappresentazioni specifiche del task o su filtri geometrici nello spazio delle feature, senza sfruttare le conoscenze semantiche pre-addestrate dei modelli Vision-Language (VLM). Inoltre, le approcci centralizzati non riflettono la frammentazione dei dati tra diversi siti ospedalieri con scanner e protocolli di colorazione differenti.

2. Metodologia: PromptGate

Gli autori propongono PromptGate, un framework dinamico e adattivo che utilizza un VLM come "cancello" (gatekeeper) per purificare i pool di dati non etichettati prima di applicare qualsiasi strategia di acquisizione (AL) a valle.

Architettura e Funzionamento

Il sistema opera in un ambiente federato con un server centrale e $K$ client (ospedali).

1. Backbone VLM Congelato: Viene utilizzato un modello VLM pre-addestrato (es. BiomedCLIP) con encoder di immagini e testo congelati.
2. Ottimizzazione del Contesto Specifico per Classe (CSC): Invece di ri-addestrare il modello, PromptGate ottimizza dei vettori di prompt continui (learnable tokens) nello spazio di embedding del testo. Questi prompt sono suddivisi in due componenti:
   • Token Globali ($p^g_c$): Condivisi tra tutti i client tramite FedAvg. Catturano un prior semantico condiviso per distinguere le classi target dal "non-target" (OOD).
   • Token Locali ($p^k_c$): Personalizzati per ogni client $k$. Permettono al modello di adattarsi alle specificità locali (es. artefatti specifici di uno scanner o protocolli di colorazione diversi) senza condividere dati grezzi.
3. Pseudo-Labeling e Filtro Dinamico:
   • Per ogni immagine non etichettata, il client calcola la similarità coseno tra l'immagine e i prompt testuali (combinazione di token globali e locali).
   • Viene generata una distribuzione di probabilità pseudo-etichettata.
   • Il sistema filtra il pool, mantenendo solo i campioni con alta probabilità di appartenere a una classe ID (ID-candidate pool) e scartando quelli OOD.
4. Aggiornamento Iterativo: Dopo che un clinico (Oracle) etichetta i campioni selezionati, i prompt (sia globali che locali) vengono aggiornati tramite discesa del gradiente (stile CoOp) per affinare progressivamente il confine tra ID e OOD.

3. Contributi Chiave

1. Primo Modulo VLM per OS-FAL: PromptGate è il primo approccio che utilizza prompt apprendibili per l'Open-Set Federated Active Learning, decomponendo i prompt in componenti globali e locali per gestire l'eterogeneità dei dati.
2. Meccanismo di Filtro "Plug-and-Play": Agisce come un modulo pre-selezione indipendente dalla strategia di acquisizione sottostante. Può essere integrato con qualsiasi strategia AL (Random, Entropy, FEAL, ecc.) per migliorare la purezza del pool di query.
3. Adattabilità ai Client: La separazione tra token globali e locali permette di bilanciare la conoscenza federata con l'adattamento alle specificità locali, superando i limiti dei prompt statici.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due benchmark medici federati: FedISIC (lesioni cutanee) e FedEMBED (densità mammaria), simulando scenari con alte percentuali di dati OOD.

• Purezza delle Query (Query Purity):
  • I metodi baseline (senza filtro o con prompt statici) mostrano una purezza delle query che degrada fino al ~50-60% a causa dell'inclusione di campioni OOD.
  • PromptGate mantiene una purezza superiore al 95% (fino al 98.9% con la strategia Entropy su FedISIC) e un recall OOD del 98%, significativamente superiore ai metodi statici.
• Efficienza dell'Apprendimento (BMA - Balanced Multiclass Accuracy):
  • PromptGate migliora costantemente l'accuratezza finale (BMA) rispetto alle baseline, con guadagni del +1-3% su FedEMBED e fino al +3% su FedISIC.
  • Le strategie di acquisizione "closed-set" (come Random o Entropy), quando applicate al pool filtrato da PromptGate, riescono a competere o superare le strategie OAL complesse, dimostrando che un filtro ad alta purezza trasforma efficacemente il problema open-set in closed-set.
• Confronto delle Strategie di Adattamento:
  • L'adattamento Locale (solo token locali) si è rivelato spesso superiore o pari all'approccio misto, confermando che l'adattamento alle specificità degli artefatti locali è cruciale per un filtraggio efficace.
• Robustezza: Anche con budget di annotazione limitati per l'adattamento dei prompt (few-shot), il sistema migliora il recall delle query anomale di quasi il 20% mantenendo stabile l'accuratezza a valle.

5. Significato e Implicazioni

PromptGate risolve il paradosso dell'uso di prompt statici in ambienti clinici eterogenei: espandere manualmente i prompt OOD non è scalabile né efficace quanto l'adattamento dinamico.

• Privacy: Non richiede la condivisione di dati pazienti, solo l'aggiornamento di vettori di prompt leggeri (circa 12K parametri per client).
• Efficienza: Riduce drasticamente lo spreco di budget di annotazione su dati non rilevanti (artefatti, rumori), rendendo l'AL praticabile in contesti reali.
• Generalizzabilità: Essendo "strategy-agnostic", può essere integrato in qualsiasi pipeline FL esistente per migliorare la qualità dei dati di training senza richiedere ingegneria specifica per ogni sito.

In sintesi, PromptGate rappresenta un avanzamento significativo verso l'implementazione pratica e robusta dell'AI medica federata in ambienti clinici reali, dove la variabilità dei dati e la privacy sono vincoli primari.