REMEDI: A Benchmark for Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference

Sintesi Tecnica: REMEDI – Un Benchmark per la Valutazione della Ritenzione e dell'Unlearning nella Inferenza Clinica Multi-label

Problematica
Il documento affronta la sfida del "machine unlearning" (MU) nel dominio clinico, specificamente per quanto riguarda la rimozione di dati sensibili dei pazienti da modelli linguistici addestrati. Sebbene regolamenti come il GDPR stabiliscano il "diritto all'oblio", riaddestrare i modelli da zero dopo la rimozione dei dati è computazionalmente proibitivo. I metodi di MU esistenti e i relativi benchmark sono ampiamente limitati a domini non medici o si affidano a dataset curati sinteticamente che non riescono a rappresentare le complessità dei sistemi clinici reali. Gli autori sostengono che gli attuali benchmark non catturino adeguatamente i vincoli unici dei dati medici, come le correlazioni tra le etichette, le strutture longitudinali e i rigorosi requisiti di sicurezza, lasciando incerta l'efficacia dei metodi di unlearning in ambito sanitario.

Metodologia e Costruzione del Benchmark
Per colmare queste lacune, gli autori introducono REMEDI (Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference), un benchmark progettato su misura per l'inferenza di malattie cliniche multi-label e multiclasse.

• Fonte dei Dati: Il benchmark utilizza il database clinico MIMIC-III, concentrandosi sui riassunti di dimissioni e i relativi esiti diagnostici. Il compito consiste nel mappare le cartelle cliniche elettroniche (EHR) su codici ICD-9-CM. Per bilanciare la complessità del compito con la rilevanza clinica, gli autori hanno selezionato le dieci categorie di malattie più frequenti (ad es., Ipertensione, Insufficienza cardiaca, Diabete mellito), inquadrando il compito come un problema di classificazione multi-label in cui i pazienti possono presentare più diagnosi concomitanti.
• Impostazione del Compito: Il compito di unlearning è definito come rimozione a livello di istanza. Dato un modello addestrato $f_\theta$, un set di dimenticato (forget set) $D_f$ (record sensibili da rimuovere) e un set di ritenzione (retain set) $D_r$ (record da preservare), l'obiettivo è produrre un modello "unlearned" $f_{\theta'}$ che si comporti come se fosse stato addestrato esclusivamente su $D_r$, soddisfacendo al contempo i vincoli di privacy.
• Livelli di Severità dell'Unlearning: REMEDI definisce tre scenari distinti per testare la robustezza:
  1. Istanze Distinte (Bassa Severità): Simula le richieste di cancellazione di singoli pazienti senza sovrapposizione tra i set di dimenticato e di ritenzione. Le dimensioni del forget set variano da 64 a 512 istanze.
  2. Istanze Concomitanti (Media Severità): Simula scenari realistici in cui i set di dimenticato e di ritenzione contengono caratteristiche cliniche sovrapponibili (ad es., demografia o pattern di ammissione simili). Metà delle istanze del forget set si sovrappongono al retain set.
  3. Istanze su Larga Scala (Alta Severità): Simula richieste di rimozione massiva dei dati (ad es, conformità normativa), con forget set composti dal 3%, 4% e 5% dei dati di addestramento.
• Metriche di Valutazione: Il benchmark valuta due dimensioni critiche:
  1. Utilità: Misurata tramite punteggi Macro-F1 su set di test, di ritenzione e di dimenticato. Il modello ideale dovrebbe eguagliare le prestazioni di un modello completamente riaddestrato sui set di ritenzione e di test, mostrando al contempo una degradazione delle prestazioni sul forget set.
  2. Privacy: Valutata tramite Membership Inference Attacks (MIA). Un classificatore binario viene addestrato per distinguere tra campioni del forget set e campioni del set di holdout basandosi sulla perdita del modello. Un punteggio MIA più basso (vicino a 0) indica garanzie di privacy più forti, dove 0,5 rappresenta il caso del puro azzardo (unlearning perfetto).

Configurazione Sperimentale
Gli autori valutano quattro metodi di unlearning rappresentativi su due modelli linguistici biomedici: BioLinkBERT e BioBERT. I baseline includono:

1. Gradient Ascent (GA): Massimizza la perdita sui dati da dimenticare (con una variante GA+R che incorpora la consapevolezza del set di ritenzione).
2. Adversarial Unlearning (AU): Utilizza perturbazioni avversarie per diminuire l'influenza dei campioni da dimenticare (con una variante AU+WR con regolarizzazione del peso).
3. Bad Teacher (BT): Utilizza la distillazione della conoscenza con un "insegnante debole" per i dati da dimenticare e un "insegnante forte" per i dati di ritenzione.
4. SCRUB: Affina il modello per massimizzare il disaccordo tra le rappresentazioni dei campioni di dimenticato e di ritenzione.

Risultati Chiave

• Compromesso Utilità-Privacy: Gli esperimenti rivelano un significativo trade-off tra la preservazione dell'utilità e l'efficacia dell'unlearning.
• Prestazioni dei Metodi:
  • Gradient Ascent (GA): Ha causato un grave degrado delle prestazioni, annullando efficacemente le capacità predittive del modello. La variante "retain-aware" (GA+R) ha mitigato il problema, ma ha mostrato comunque dei limiti.
  • Adversarial Unlearning (AU): Ha dimostrato un'efficacia moderata ma ha avuto problemi di stabilità, specialmente negli scenari su larga scala.
  • Bad Teacher (BT): Ha ottenuto una moderata preservazione dell'utilità ma ha subito cali significativi di prestazioni negli scenari di unlearning su larga scala a causa dell'influenza residua dell'insegnante.
  • SCRUB: Ha raggiunto il miglior equilibrio tra utilità e privacy. Ha mantenuto le prestazioni vicine al modello riaddestrato in vari scenari di dimensione del forget set e ha mantenuto metriche di privacy solide.
• Sensibilità del Modello: BioLinkBERT ha superato costantemente BioBERT sia nella preservazione dell'utilità che nella manutenzione della privacy, grazie al suo pre-addestramento basato su entità collegate che cattura una semantica clinica più ricca. BioBERT ha mostrato una maggiore sensibilità agli interventi di unlearning.
• Scalabilità: La maggior parte dei metodi di unlearning ottimizzati per la rimozione di dati su piccola scala ha faticato a mantenere l'utilità di fronte a richieste di unlearning su larga scala. SCRUB è stato l'unico metodo a mantenere costantemente le prestazioni vicine al modello riaddestrato in tutti i livelli di dimensione del forget set per BioBERT.

Significatività e Contributi
Il documento rivendica tre contributi primari:

1. Testbed Medico Realistico: REMEDI consente la valutazione dei metodi di unlearning su dati reali dei pazienti (MIMIC-III), fornendo una valutazione più realistica rispetto ai benchmark sintetici.
2. Diversi Scenari di Rimozione: Introduce tre livelli di severità dell'unlearning (distinti, concomitanti e su larga scala) che catturano diverse necessità reali di rimozione dei dati, inclusi gli sfidanti scenari di sovrapposizione tra forget e retain.
3. Compito Multi-label Complesso: Concentrandosi sulla classificazione multi-label con etichette di malattie correlate, REMEDI presenta un banco di prova più impegnativo rispetto agli esistenti benchmark a etichetta singola. Questa complessità evidenzia la difficoltà di disincagliare le rappresentazioni apprese senza interrompere le valide correlazioni tra le etichette nel set di ritenzione.

Gli autori concludono che REMEDI rivela i fallimenti dei metodi di unlearning che invece funzionano bene nei benchmark non medici, sottolineando la necessità di metodi capaci di gestire le uniche complessità dei dati clinici, come le correlazioni tra etichette e le richieste di cancellazione su larga scala.