REMEDI: A Benchmark for Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference

Résumé technique : REMEDI – Un benchmark pour l'évaluation de la rétention et de l'oubli dans l'inférence de maladies cliniques multi-labels

Énoncé du problème
L'article traite du défi de « l'oubli machine » (Machine Unlearning - MU) dans le domaine clinique, plus précisément concernant la suppression de données de patients sensibles à partir de modèles de langage entraînés. Bien que les réglementations comme le RGPD établissent un « droit à l'oubli », réentraîner des modèles à partir de zéro après la suppression des données est trop coûteux en termes de calcul. Les méthodes de MU et les benchmarks existants sont largement restreints aux domaines non médicaux ou reposent sur des jeux de données synthétiques curatés qui ne parviennent pas à représenter les complexités des systèmes cliniques réels. Les auteurs soutiennent que les benchmarks actuels ne capturent pas de manière adéquate les contraintes uniques des données médicales, telles que les corrélations entre étiquettes, les structures longitudinales et les exigences strictes de sécurité, laissant l'efficacité des méthodes d'oubli dans le secteur de la santé largement incertaine.

Méthodologie et construction du benchmark
Pour combler ces lacunes, les auteurs introduisent REMEDI (Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference), un benchmark adapté pour l'inférence de maladies cliniques multi-labels et multi-classes.

• Source de données : Le benchmark utilise la base de données clinique MIMIC-III, en se concentrant sur les résumés de sortie et les résultats diagnostiques associés. La tâche consiste à mapper les dossiers de santé électroniques (EHR) vers des codes ICD-9-CM. Pour équilibrer la complexité de la tâche avec la pertinence clinique, les auteurs ont sélectionné les dix catégories de maladies les plus fréquentes (ex. : hypertension, insuffisance cardiaque, diabète mellitus), formulant la tâche comme un problème de classification multi-labels où les patients peuvent présenter plusieurs diagnostics concomitants.
• Configuration de la tâche : La tâche d'oubli est définie comme une suppression au niveau de l'instance. Étant donné un modèle entraîné $f_\theta$, un ensemble à oublier $D_f$ (enregistrements sensibles à supprimer) et un ensemble à conserver $D_r$ (enregistments à préserver), l'objectif est de produire un modèle ayant oublié $f_{\theta'}$ qui se comporte comme s'il avait été entraîné exclusivement sur $D_r$, tout en respectant les contraintes de confidentialité.
• Niveaux de sévérité de l'oubli : REMEDI définit trois scénarios distincts pour tester la robustesse :
  1. Instances distinctes (Sévérité faible) : Simule des demandes de suppression de patients individuels sans chevauchement entre les ensembles à oublier et à conserver. La taille de l'ensemble à oublier varie de 64 à 512 instances.
  2. Instances concomitantes (Sévérité moyenne) : Simule des scénarios réalistes où les ensembles à oublier et à conserver contiennent des caractéristiques cliniques qui se chevauchent (ex. : démographie ou schémas d'admission similaires). La moitié des instances à oublier chevauche l'ensemble à conserver.
  3. Instances à grande échelle (Sévérité élevée) : Simule des demandes de suppression massive de données (ex. : conformité réglementaire), avec des ensembles à oublier comprenant 3 %, 4 % et 5 % des données d'entraînement.
• Métriques d'évaluation : Le benchmark évalue deux dimensions critiques :
  1. Utilité : Mesurée via les scores Macro-F1 sur les ensembles de test, de conservation et d'oubli. Le modèle ayant oublié idéal devrait correspondre aux performances d'un modèle entièrement réentraîné sur les ensembles de conservation et de test, tout en montrant une dégradation des performances sur l'ensemble à oublier.
  2. Confidentialité : Évaluée via des attaques par inférence d'appartenance (Membership Inference Attacks - MIA). Un classificateur binaire est entraîné pour distinguer les échantillons de l'ensemble à oublier des échantillons de l'ensemble de test (holdout) en se basant sur la perte du modèle. Un score MIA plus faible (proche de 0) indique des garanties de confidentialité plus fortes, 0,5 représentant un choix aléatoire (oubli parfait).

Configuration expérimentale
Les auteurs évaluent quatre méthodes d'oubli représentatives à travers deux modèles de langage biomédicaux : BioLinkBERT et BioBERT. Les bases comparatives incluent :

1. Ascension de gradient (Gradient Ascent - GA) : Maximise la perte sur les données à oublier (avec une variante GA+R qui intègre la conscience de l'ensemble à conserver).
2. Oubli Adversaire (Adversarial Unlearning - AU) : Utilise des perturbations adverses pour diminuer l'influence des échantillons à oublier (avec une variante AU+WR qui utilise une régularisation de poids).
3. Mauvais Enseignant (Bad Teacher - BT) : Utilise la distillation de connaissances avec un enseignant faible pour les données à oublier et un enseignant fort pour les données à conserver.
4. SCRUB : Affine le modèle pour maximiser le désaccord entre les représentations des échantillons à oublier et des échantillons à conserver.

Résultats clés

• Compromis Utilité-Confidentialité : Les expériences révèlent un compromis significatif entre la préservation de l'utilité et l'efficacité de l'oubli.
• Performance des méthodes :
  • Ascension de gradient (GA) : A provoqué une dégradation sévère des performances, annulant efficacement les capacités de prédiction du modèle. La variante sensible à la conservation (GA+R) a atténué cela, mais présentait toujours des limites.
  • Oubli Adversaire (AU) : A démontré une efficacité modérée mais a lutté avec la stabilité, particulièrement dans les scénarios à grande échelle.
  • Mauvais Enseignant (BT) : A atteint une préservation de l'utilité modérée mais a souffert de chutes de performance significatives dans les scénarios d'oubli à grande échelle en raison de l'influence résiduelle de l'enseignant.
  • SCRUB : A obtenu le meilleur équilibre entre utilité et confidentialité. Il a maintenu des performances proches du modèle réentraîné sur divers ensembles à oublier et a maintenu des métriques de confidentialité solides.
• Sensibilité du modèle : BioLinkBERT a systématiquement surpassé BioBERT tant dans la préservation de l'utilité que dans le maintien de la confidentialité, grâce à son pré-entraînement lié aux entités qui capture des sémantiques cliniques plus riches. BioBERT a présenté une plus grande sensibilité aux interventions d'oubli.
• Scalabilité : La plupart des méthodes d'oubli optimisées pour la suppression de données à petite échelle ont eu du mal à maintenir l'utilité face à des demandes d'oubli à grande échelle. SCRUB était la seule méthode capable de maintenir systématiquement des performances proches du modèle réentraîné à travers toutes les tailles d'ensembles à oublier pour BioBERT.

Signification et contributions
L'article revendique trois contributions principales :

1. Banc d'essai médical réaliste : REMEDI permet d'évaluer les méthodes d'oubli sur des données de patients réelles (MIMIC-III), offrant une évaluation plus réaliste que les benchmarks synthétiques.
2. Scénarios de suppression diversifiés : Il introduit trois niveaux de sévérité de l'oubli (distinct, concomitant et grande échelle) qui capturent divers besoins réels de suppression de données, y compris les scénarios complexes de chevauchement entre l'oubli et la conservation.
3. Tâche multi-labels complexe : En se concentrant sur la classification multi-labels avec des étiquettes de maladies corrélées, REMEDI présente un banc d'essai plus exigeant que les benchmarks existants à label unique. Cette complexité souligne la difficulté de démêler les représentations apprises sans perturber les corrélations de labels valides dans l'ensemble à conserver.

Les auteurs concluent que REMEDI révèle les modes de défaillance de méthodes qui performent bien sur des benchmarks non médicaux, soulignant la nécessité de méthodes capables de gérer les complexités uniques des données cliniques, telles que les corrélations de labels et les demandes de suppression à grande échelle.