Cross-modal linkage risk in clinical vision-language models

Sintesi Tecnica: Rischio di Collegamento Cross-Modale nei Modelli Clinici Vision-Language

Definizione del Problema
I modelli Vision-Language (VLM) clinici, addestrati su coppie di immagini mediche e referti radiologici, apprendono uno spazio di embedding condiviso per facilitare compiti come il recupero (retrieval), la generazione di referti e il trasferimento zero-shot. Sebbene questo allineamento sia un punto di forza funzionale, gli autori identificano una specifica vulnerabilità della privacy: il rischio di collegamento cross-modale (cross-modal linkage risk). Negli scenari di implementazione in cui radiografie e referti vengono mantenuti deliberatamente separati dopo l'acquisizione (ad esempio, condivisione di dati solo immagine, accesso controllato ai referti o enclave di dati istituzionali), lo spazio di embedding condiviso può involontariamente preservare la corrispondenza a livello di istanza. Ciò consente che un'immagine de-identificata venga ricollegata al suo originale rapporto ricco di informazioni esclusivamente attraverso una ricerca per similarità del coseno, eludendo le normali misure di de-identificazione che tipicamente rimuovono i metadati espliciti ma non cancellano i legami semantici appresi.

Metodologia
Lo studio formalizza questo rischio come un probleamo di recupero immagine-referto. Gli autori valutano se una radiografia del torace tenuta in riserva possa recuperare il proprio referto accoppiato da un pool di candidati distrattori utilizzando solo lo spazio di embedding condiviso.

• Dataset: La valutazione utilizza due ampi coorti pubblici come benchmark di verità fondamentale (dove gli accoppiamenti reali sono noti per progettazione): MIMIC-CXR (43.793 coppie tenute in riserva) e CheXpert Plus (29.296 coppie). Questi servono ad auditare la struttura interna del modello piuttosto che come scenario di attacco alla privacy in sé.
• Modelli: Sono stati testati quattro VLM pubblicamente disponibili con livelli crescenti di specializzazione di dominio:
  1. CLIP: Dominio generale.
  2. PubMedCLIP: Dominio biomedico.
  3. BiomedCLIP: Dominio biomedico.
  4. BioViL-T: Specifico per la radiologia (radiografia del torace).
• Protocolli di Valutazione:
  • Random-Candidate (Setting A): Le prestazioni di recupero sono misurate attraverso dimensioni del pool di candidati ($N = 100, 1.000, 10.000$ e l'intero set di test) per valutare la scalabilità.
  • Pathology-Matched Hard Negatives (Setting B): I referti distrattori sono selezionati per corrispondere al vettore di patologia a 14 etichette del query (ad esempio, atelettasia, edema, pneumotorace) per determinare se il recupero dipenda dalla somiglianza patologica ampia o da un legame più fine a livello di istanza.
• Strategia di Mitigazione: Gli autori propongono un intervento mirato in cui gli encoder immagine e testo sono congelati (frozen) e solo lo strato di allineamento condiviso (testine di proiezione) viene sottoposto a fine-tuning.
  • Ottimizzazione Differenzialmente Privata (DP): Applicata alle testine di proiezione con $\epsilon = 0.34$ e $\delta = 6 \times 10^{-6}$.
  • Comparatore: È stata utilizzata una testina con fine-tuning regolarizzato dall'entropia (non privata) per garantire che qualsiasi riduzione del collegamento fosse dovuta al meccanismo di privacy e non a una semplice perturbazione architettonica.
• Valutazione dell'Utilità: Per garantire che la mitigazione non degradi l'utilità clinica, le prestazioni diagnostiche lato immagine sono state valutate tramite linear probing su 14 compiti di anomalie della radiografia del torace utilizzando gli embedding modificati.

Risultati Chiave

1. Esistenza e Entità del Rischio: I VLM pronti all'uso collegano con successo immagini de-identificate ai loro referti a tassi significativamente superiori al caso. Il rischio scala con la specializzazione del dominio:

   • Su MIMIC-CXR con $N=100$, BioViL-T ha raggiunto un Recall@1 del 15,44% (rispetto all'1% del caso), mentre il CLIP generale era vicino al caso (1,20%).
   • Alla scala del database ($N=10.000$), BioViL-T ha comunque recuperato il corretto referto 50 volte sopra il caso (0,496% vs 0,010%).
   • Il segnale persiste nel trasferimento esterno (CheXpert Plus) e sotto condizioni di hard-negative, indicando che i modelli apprendono legami a livello di istanza che vanno oltre le etichette patologiche grossolane.

2. Efficacia della Mitigazione: Il congelamento dei backbone e l'applicazione dell'ottimizzazione DP solo alle testine di proiezione ha ridotto significativamente il rischio di collegamento:

   • Su MIMIC-CXR ($N=10.000$), il fine-tuning della testina DP ha ridotto il Recall@1 del 61,8% (da 0,496% a 0,190%).
   • La mitigazione si è trasferita al dataset esterno CheXpert Plus senza ri-addestramento, riducendo il Recall@1 dallo 0,153% allo 0,091%.
   • Al contrario, il comparatore non privato regolarizzato dall'entropia ha aumentato il collegamento, confermando che il beneficio di privacy deriva dall'iniezione specifica di rumore DP che indebolisce l'accoppiamento, e non dal semplice cambiamento dello spazio di proiezione.

3. Tradeoff Privacy-Utilità: L'intervento ha dimostrato un tradeoff altamente asimmetrico a favore della preservazione della privacy:

   • Privacy: Il Recall@1 è stato ridotto di circa il 62%.
   • Utilità: Il macro AUROC per la classificazione basata solo sull'immagine su 14 etichette è passato minimamente dal 79,63% al 79,43% (una diminuzione di 0,20 punti percentuali).
   • L'analisi per etichetta ha mostrato cambiamenti minimi e misti nell'AUROC, suggerendo che le rappresentazioni dell'immagine sottostanti siano rimaste clinicamente utili nonostante l'indebolimento del legame cross-modale.

Significatività e Rivendicazioni
Il documento sostiene che l'allineamento multimodale è sia una capacità che una responsabilità. Gli autori affermano che:

• Le attuali pratiche di de-identificazione sono insufficienti per i VLM perché lo spazio di embedding condiviso stesso agisce come un canale di fuga, preservando una struttura recuperabile a livello di istanza anche quando gli identificatori espliciti vengono rimossi.
• Questo rischio non è un artefatto di piccoli pool di candidati o di una somiglianza patologica ampia; persiste alla scala del database e sotto hard-negatives clinicamente vincolati.
• La mitigazione mirata è fattibile: Non è necessario ri-addestrare grandi backbone multimodali (il che è computazionalmente costoso e instabile sotto DP) per mitigare questo rischio. Invece, applicare l'ottimizzazione differenzialmente privata esclusivamente all'ultimo strato di allineamento può ridurre sostanzialmente il ricollegamento cross-modale senza degradare materialmente le rappresentazioni dell'immagine necessarie per l'utilità clinica.
• Lo studio invita a un cambiamento nella valutazione dei modelli clinici multimodali, esortando a considerare che il deployment responsabile deve tenere conto non solo di ciò che gli embedding condivisi abilitano (ad esempio, recupero, generazione), ma anche di ciò che possono involontariamente riconnettere.

Gli autori mantengono un ambito modesto, notando limitazioni quali l'attenzione alla radiografia del torace, l'uso di dataset pubblici come proxy per scenari di deployment privati e la valutazione dell'utilità tramite linear probing piuttosto che una suite completa di compiti clinici a valle. Concludono che, sebbene la mitigazione proposta sia una riduzione mirata di un meccanismo di collegamento specifico piuttosto che una soluzione completa a tutti i problemi di privacy multimodale, essa offre una via pratica per un deployment più sicuro dei checkpoint esistenti dei VLM clinici.