💻 computer science

A Calibrated Memorization Index (MI) for Detecting Training Data Leakage in Generative MRI Models

Les auteurs proposent un indice de mémorisation calibré (MI) basé sur des fondations d'IRM et des similarités de voisins les plus proches pour détecter avec une grande précision la duplication et la fuite de données d'entraînement dans les modèles génératifs d'images médicales.

Auteurs originaux : Yash Deo, Yan Jia, Toni Lassila, Victoria J Hodge, Alejandro F Frang, Chenghao Qian, Siyuan Kang, Ibrahim Habli

Publié 2026-02-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yash Deo, Yan Jia, Toni Lassila, Victoria J Hodge, Alejandro F Frang, Chenghao Qian, Siyuan Kang, Ibrahim Habli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🍳 Le Problème : Le Chef qui vole les plats de ses concurrents

Imaginez que vous créez un chef robot très intelligent (c'est le modèle génératif). On lui donne des milliers de photos de genoux, de cerveaux ou de colonnes vertébrales pour qu'il apprenne à dessiner de nouvelles images médicales.

Le but est de créer de nouvelles images pour aider les médecins. Mais il y a un risque : au lieu d'apprendre à dessiner, le robot pourrait simplement recopier exactement les photos qu'on lui a montrées. C'est ce qu'on appelle la "fuite de données" ou la "mémoire" du modèle.

Pourquoi est-ce grave ?
Si le robot recopie une photo de votre genou, il révèle des informations privées sur votre santé. C'est comme si un chef, au lieu de créer un nouveau plat, vous servait exactement le même plat que son voisin, en disant "C'est ma création !".

🕵️‍♂️ Le Défi : Comment savoir si c'est une copie ?

Jusqu'à présent, les outils pour vérifier cela étaient comme des thermomètres défectueux :

Ils se trompaient souvent sur les images médicales (qui sont très différentes des photos de chats ou de paysages).
Ils changeaient d'avis selon la cuisine où on les utilisait (un score de "copie" qui vaut 50 dans un hôpital valait 10 dans un autre).
Ils étaient facilement trompés si on tournait légèrement l'image ou si on changeait un peu la luminosité.

💡 La Solution : Le "Détecteur de Copie" Calibré (MI)

Les chercheurs ont créé un nouvel outil, appelé l'Indice de Mémoire (MI). Voici comment il fonctionne avec une analogie simple :

1. L'œil expert (Le Modèle Fondation)

Au lieu de regarder l'image comme un humain (qui voit juste des formes), l'outil utilise un "œil expert" entraîné spécifiquement sur des images médicales. Il regarde l'image à plusieurs niveaux de détail, comme une loupe :

Niveau 1 : Il regarde les petits détails (la texture de la peau).
Niveau 2 : Il regarde les formes moyennes (les muscles).
Niveau 3 : Il regarde la structure globale (la forme de l'os).

2. La comparaison "Blanchie" (Le Nettoyage)

Avant de comparer, l'outil "nettoie" les images pour enlever le bruit de fond (comme si on enlevait la poussière d'une vitre). Cela permet de comparer ce qui est vraiment important, sans se laisser tromper par des défauts de prise de vue.

3. Le verdict final (L'Indice ONI)

L'outil compare l'image générée avec toutes les images qu'il a vues pendant l'entraînement.

Si l'image est totalement nouvelle, l'indice dit : "C'est une création originale !" (Score proche de +1).
Si l'image est une copie exacte, l'indice crie : "C'est un vol !" (Score proche de -1).
Si c'est juste une image normale du même type, l'indice dit : "C'est dans la moyenne" (Score proche de 0).

🌟 Pourquoi cet outil est spécial ?

Imaginez que vous avez un détecteur de mensonge pour les images.

Il est stable : Peu importe si vous changez de cuisine (de jeu de données : cerveau, genou, colonne), le détecteur donne toujours le même type de réponse. Vous n'avez pas besoin de recalibrer votre thermomètre à chaque fois.
Il résiste aux trucs : Si le robot essaie de cacher sa copie en tournant l'image de 5 degrés ou en ajoutant un peu de bruit, le détecteur ne se fait pas avoir. Il voit toujours que c'est la même image.
Il pointe du doigt : Contrairement aux anciens outils qui disaient juste "Le groupe d'images est suspect", celui-ci peut dire : "C'est cette image précise qui est une copie !". C'est comme si le détecteur pouvait dire : "Ce plat-ci vient du voisin, mais les autres sont vos créations".

🎯 En résumé

Cette recherche propose un nouveau radar pour les images médicales générées par l'IA.

Avant : On ne savait pas vraiment si l'IA volait des données privées ou non, car les outils de contrôle étaient imprécis.
Maintenant : Avec cet Indice de Mémoire (MI), on peut vérifier avec certitude si l'IA a "oublié" d'inventer et s'est contentée de copier-coller. Cela permet de nettoyer les bases de données, de protéger la vie privée des patients et de s'assurer que l'IA est vraiment créative et sûre.

C'est un outil essentiel pour faire confiance à l'IA dans le domaine de la santé, en s'assurant qu'elle ne répète pas les secrets qu'on lui a confiés, mais qu'elle les utilise pour créer du nouveau.

1. Problématique

Les modèles génératifs d'images (Deep Learning) sont de plus en plus utilisés en imagerie médicale pour pallier la pénurie de données, déséquilibrer les classes et protéger la vie privée. Cependant, ces modèles présentent un risque majeur de fuite de données (data leakage) : ils peuvent mémoriser et recréer des images exactes ou quasi-exactes de leur ensemble d'entraînement, compromettant ainsi la confidentialité des patients.

Le défi principal réside dans l'évaluation de cette sécurité :

Les métriques de qualité d'image sans référence (NRIQMs) classiques comme le FID ou le MMD sont souvent contre-diagnostiques : lorsque des données dupliquées contaminent l'ensemble de test, la distribution empirique se rapproche de celle de l'entraînement, faisant baisser le score d'erreur (suggérant une meilleure qualité) alors que la mémorisation augmente.
Les métriques existantes de détection de duplication (CT-score, Vendi score, etc.) sont souvent entraînées sur des images naturelles (ex: InceptionV3) et transfèrent mal aux images médicales, qui possèdent une régularité anatomique élevée et une diversité d'apparence limitée. Elles sont également sensibles aux augmentations de données (bruit, rotations).
Il n'existe pas de métrique normalisée et calibrée permettant des comparaisons fiables entre différents ensembles de données médicales.

2. Méthodologie

Les auteurs proposent une nouvelle métrique calibrée, le Memorization Index (MI), et un Overfit/Novelty Index (ONI) pour détecter la mémorisation au niveau des échantillons dans les ensembles de données IRM. Le pipeline se déroule en quatre étapes :

Extraction de caractéristiques multi-échelles :
- Utilisation d'un modèle fondamental spécifique au domaine IRM (MRI-CORE, basé sur un encodeur ViT-B SAM).
- Extraction des caractéristiques de trois blocs de transformateurs différents ( $k \in \{3, 7, 11\}$ ) pour capturer à la fois les textures fines (couches précoces) et les structures anatomiques globales (couches profondes).
- Pooling spatial moyen adaptatif pour obtenir des vecteurs de caractéristiques par échantillon.
Blanchiment (Whitening) et similarité par couche :
- Application d'un blanchiment ZCA (Zero-Phase Component Analysis) sur les caractéristiques d'entraînement pour chaque couche. Cela décorrèle les caractéristiques tout en préservant l'espace d'origine (contrairement à la PCA).
- Calcul de la similarité cosinus maximale entre chaque échantillon de test et les échantillons d'entraînement pour chaque couche.
Agrégation multi-échelle :
- Les similarités par couche sont agrégées en une seule note par échantillon via une moyenne géométrique (équivalente à une moyenne logarithmique).
- Cette approche agit comme un « produit d'experts » : un échantillon est considéré comme similaire uniquement s'il est proche dans toutes les échelles (textures et anatomie). Cela pénalise les cas où une seule échelle trouve un voisin proche, réduisant ainsi les faux positifs.
Calibration et Indices (MI et ONI) :
- Construction d'une distribution nulle empirique par bootstrap (échantillonnage aléatoire de sous-ensembles d'entraînement indépendants) pour établir des seuils de signification.
- Les similarités sont standardisées pour obtenir le Memorization Index (MI).
- Le MI est ensuite mappé via une fonction tangente hyperbolique négative ( $-\tanh$ $- tanh$ ) pour obtenir l'Overfit/Novelty Index (ONI), borné entre -1 et 1 :
  - ONI $\approx -1$ : Haute similarité (mémorisation potentielle / copie exacte).
  - ONI $\approx 0$ : Similarité cohérente avec la distribution nulle (échantillons non liés).
  - ONI $\approx +1$ : Nouveauté (échantillon inédit).

3. Résultats Expérimentaux

L'évaluation a été menée sur trois jeux de données IRM publics (Tumeurs cérébrales BRATS, Genou/Cuisse, Colonne vertébrale) avec des niveaux de duplication contrôlés (5 % à 45 %) et perturbés par 8 types d'augmentations (bruit gaussien, rotations, flips, scaling d'intensité).

Robustesse aux augmentations : La métrique MI est 6 à 20 fois plus stable (écart-type plus faible) que le CT-score face aux augmentations. Contrairement au CT-score qui montre une forte dispersion, le MI reste cohérent.
Cohérence inter-jeux de données : Le coefficient de variation (CV) du MI entre les différents jeux de données est 5,5 fois plus faible que celui du CT-score. Cela permet de définir des seuils universels (ex: ONI < 0,68 pour détecter une fuite), ce qui n'est pas possible avec les métriques existantes dont les échelles varient selon le dataset.
Détection au niveau de l'échantillon :
- Pour les échantillons propres, bruités ou avec changement d'intensité, la détection est parfaite (AUC $\approx$ 1,0).
- Pour les transformations géométriques (rotations $\pm 5^\circ$ , flips), la détection reste bonne (AUC > 0,72).
- Contrairement aux métriques globales, le MI permet d'identifier et de flaguer spécifiquement les échantillons dupliqués pour les retirer de l'ensemble de données.
Comportement des métriques de fidélité : Le FID et le MMD diminuent (suggérant une amélioration) lorsque la duplication augmente, confirmant leur inutilité pour détecter la fuite de données.

4. Contributions Clés

Métrique Calibrée et Bornée : Introduction du MI et de l'ONI, offrant une interprétation directe (de -1 à 1) et indépendante du jeu de données.
Utilisation d'un Modèle Fondamental Médical : Adaptation des caractéristiques via MRI-CORE, évitant le biais des modèles entraînés sur des images naturelles.
Robustesse Supérieure : Démonstration que l'agrégation multi-échelle et le blanchiment ZCA rendent la métrique résistante aux augmentations courantes.
Outil de Curation Actif : Capacité à passer d'une simple observation diagnostique à une action concrète (identification et suppression des échantillons mémorisés).

5. Signification et Impact

Ce travail transforme l'évaluation de la mémorisation d'un problème passif en un outil pratique de curation de données. En fournissant une métrique stable, interprétable et universelle pour les données IRM, les auteurs permettent aux chercheurs et cliniciens de :

Valider la sécurité des modèles génératifs avant leur déploiement.
Détecter et éliminer les fuites de données sensibles (PII) qui pourraient compromettre la vie privée des patients.
Établir des protocoles de confiance standardisés pour l'IA médicale générative.

Les auteurs notent que la sensibilité diminue légèrement pour les rotations importantes, suggérant des améliorations futures par pooling de rotation ou jitter géométrique dans la calibration. Le code est disponible publiquement.