AMNESIA: A Large Scale Medical Unlearning Benchmark Suite with Disease-Informed Analysis

Sintesi Tecnica: AMNESIA

Definizione del Problema
La conoscenza medica è dinamica, il che rende necessaria la capacità di aggiornare o rimuovere selettivamente le informazioni dai Large Language Models (LLM) addestrati senza un intero riaddestramento. Questa capacità, nota come machine unlearning (oblio delle macchine), è fondamentale per la conformità alle normative sulla privacy (ad esempio, il "diritto all'oblio" del GDPR) e per correggere record medici errati. Tuttavia, gli attuali benchmark di unlearning si affidano a dati sintetici o a compiti su piccola scala in domini generali, lasciando l'unlearning clinico scarsamente studiato. I metodi attuali mancano di una valutazione standardizzata per il question answering (QA) medico, dove la distinzione tra l'oblio dei dati di un paziente specifico e la preservazione della conoscenza clinica condivisa è complessa.

Metodologia
Gli autori introducono AMNESIA, il primo benchmark open-source su larga scala per l'unlearning medico. La metodologia comprende la costruzione del dataset, la progettazione del benchmark e le metriche di valutazione:

• Costruzione del Dataset: Il dataset comprende 70.560 coppie domanda-risposta (QA) derivate da 8.820 note di pazienti de-identificate provenienti da PMC-Patients-v2. Queste note spaziano su 11 categorie di malattie (es. Cancro, Cardiovascolare, Infettivologia/Immunologia).
  • Generazione QA: Per ogni paziente, vengono generate 8 coppie QA: 4 domande fattuali (per testare il richiamo diretto) e 4 domande di ragionamento (per testare l'inferenza clinica attraverso molteplici riscontri).
  • Validazione: Una valutazione human-in-the-loop utilizzando un panel di tre LLM (MedGemma, Qwen, GPT-5-Mini) e un annotatore studente di biologia ha convalidato le etichette delle malattie e la qualità delle QA, raggiungendo elevati tassi di concordanza.
• Partizionamento dei Dati: Il benchmark supporta due scenari di oblio:
  1. Livello Paziente Casuale (Random Patient-Level): Sottoset casuali di pazienti (dal 5% al 25%) vengono selezionati per l'oblio.
  2. Livello Malattia (Disease-Level): Pazienti che condividono specifiche categorie di malattie vengono selezionati per l'oblio, testando la capacità del modello di dimenticare una specifica condizione preservando altre.
  • Viene creato un Holdout Set con QA non viste per paziente per valutare la generalizzazione.
• Modello Base e Metodi di Unlearning: Il benchmark utilizza LLaMA 3-8B come modello base, pre-addestrato sulle note dei pazienti e perfezionato (fine-tuned) sulle coppie QA. Vengono valutati quattro metodi rappresentativi di unlearning dal framework OpenUnlearning:
  • RMU: Dirige le rappresentazioni interne degli input del set da dimenticare verso target casuali.
  • GradDiff: Massimizza la perdita sul set da dimenticare massimizzando al contempo la perdita sul set da mantenere tramite gradiente ascendente.
  • KL-Min: Utilizza il gradiente ascendente sul set da dimenticare con regolarizzazione della divergenza KL per preservare gli output del set da mantenere.
  • SimNPO: Tratta i campioni dimenticati come preferenze negative senza un modello di riferimento.
  • Nota: Per efficienza e coerenza con il lavoro precedente, l'unlearning è applicato selettivamente al layer 7 del modello.
• Metriche di Valutazione:
  • Metriche Standard: Utilità del Modello (MU) sui set da mantenere e Efficacia dell'Oblio della Risposta (AFE) sui set da dimenticare, calcolate tramite la media armonica di ROUGE, Exact Match (EM), Similarità del Coseno (CS) ed Entailment Score (ES). L'Entropia dei Token (TE) e il Punteggio di Degradazione (DS) misurano il collasso dell'output.
  • Metrica Innovativa: Leakage di Parole Chiave della Malattia (LS). Questa metrica quantifica la ricomparsa di terminologia medica specifica della malattia (estratta tramite scispaCy e confrontata con liste di semi) negli output del modello, affrontando le violazioni della privacy in cui termini specifici persistono nonostante un'alta AFE.

Contributi Chiave

1. Primo Benchmark Clinico su Larga Scala: AMNESIA fornisce 70.560 QA da 8.820 pazienti attraverso 11 categorie di malattie, distinguendo tra richiamo fattuale e ragionamento clinico.
2. Valutazione Multi-livello: Introduce scenari di oblio a livello di malattia, andando oltre la semplice divisione casuale dei pazienti per analizzare come l'unlearning influenzi la conoscenza medica condivisa.
3. Analisi Esaustiva: Il documento valuta quattro diversi metodi di unlearning, rivelandone i limiti nei contesti clinici.
4. Metrica di Leakage Specifico del Dominio: L'introduzione di una valutazione delle parole chiave focalizzata sulla malattia per rilevare il leakage della terminologia medica, una critica preoccupazione per la privacy in ambito sanitario.
5. Rilascio Aperto: Il dataset, il codice e i modelli addestrati sono rilasciati pubblicamente senza restrizioni.

Risultati e Analisi

• Unlearning a Livello Paziente Casuale: Gli esistenti metodi faticano significativamente.
  • RMU e SimNPO mantengono un'alta Utilità del Modello (MU) ma falliscono nell'effettuare l'oblio efficacemente (bassa AFE), suggerendo che non cancellano le informazioni del paziente.
  • KL-Min e GradDiff ottengono un'alta AFE ma a scapito dell'Utilità del Modello, risultando spesso in un collasso del modello (output ripetitivi e incoerenti) piuttosto che in una cancellazione selettiva.
  • Valutazione Holdout: I modelli tendono a dimenticare le specifiche QA di addestramento piuttosto che le note sottostanti del paziente, poiché non riescono a rispondere a domande non viste riguardanti lo stesso paziente.
• Unlearning a Livello di Malattia:
  • L'unlearning di pazienti con la stessa malattia rivela un compromesso: all'aumentare della dimensione del set da dimenticare, l'AFE migliora, ma la MU per i pazienti mantenuti con la stessa malattia degrada sostanzialmente. Ciò indica che la rimozione di una massa critica di pazienti con una specifica condizione erode la conoscenza clinica condivisa per tale condizione.
  • KL-Min e GradDiff mostrano un unlearning mirato alla malattia (preservando l'utilità per i pazienti fuori dalla categoria), ma soffrono comunque di perdita di utilità per i pazienti mantenuti con la stessa malattia.
• Leakage di Parole Chiave:
  • Metodi come RMU e SimNPO mostrano un significativo leakage di termini specifici della malattia (tassi di leakage del 10–25%), anche quando l'AFE appare moderata.
  • KL-Min e GradDiff ottengono un leakage quasi nullo, ma ciò è attribuito alla generazione di output incoerenti (alti punteggi di degradazione) piuttosto che a un unlearning riuscito e sicuro.
  • Nei partizionamenti a livello di malattia, il leakage diminuisce all'aumentare del set da dimenticare, correlandosi con l'erosione della conoscenza medica condivisa.

Significatività e Rivendicazioni
Il documento sostiene che AMNESIA espone i limiti critici degli attuali metodi di unlearning quando applicati ai dati medici. Gli autori affermano che:

1. Gli attuali metodi sono insufficienti: O falliscono nell'effettuare l'oblio in modo efficace, o ottengono l'oblio attraverso il collasso del modello, nessuno dei quali è accettabile per le applicazioni cliniche.
2. Separazione tra Paziente e Conoscenza: L'unlearning di singoli pazienti spesso erode la conoscenza di altri con la stessa condizione, evidenziando la difficoltà di separare i dati specifici del paziente dalla conoscenza clinica condivisa.
3. Rischi per la Privacy: Un'alta AFE non garantisce la privacy; i modelli possono ancora rilasciare terminologia medica specifica o permettere il recupero delle informazioni tramite query parafrasate.
4. Necessità di Tecniche Specializzate: I risultati sottolineano la necessità di tecniche di unlearning specifiche per il settore medico che possano cancellare le informazioni del paziente senza compromettere l'utilità della conoscenza medica condivisa.

Gli autori concludono che AMNESIA serve come benchmark essenziale per far progredire il campo, riconoscendo con modestia limitazioni quali la dipendenza da metriche basate sulle risposte, l'uso di un singolo modello base e la semplificazione delle comorbidità in singole categorie di malattie. Dichiarano esplicitamente che nessuno dei modelli valutati è validato per l'uso clinico.