🤖 AI

I-CARE: Analysis of interference-related phenomena in a controllable, diverse and representative unlearning setting for text-to-image models

Cet article introduit I-CARE, une méthodologie complète qui formalise et fournit des outils standardisés pour analyser les phénomènes liés à l'interférence dans l'oubli de modèles de texte-vers-image, permettant une évaluation systématique et reproductible de la dégradation involontaire des connaissances à travers divers contextes.

Auteurs originaux : Leonardo Santiago Benitez Pereira, Marcos Escudero Viñolo, Luis Herranz Arribas

Publié 2026-09-02

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leonardo Santiago Benitez Pereira, Marcos Escudero Viñolo, Luis Herranz Arribas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Au cours des dernières années, l'intelligence artificielle a appris à peindre des images à partir de mots. Vous pouvez taper une phrase comme « un chat portant un chapeau », et un programme informatique générera une image unique qui correspond à cette description. Ces systèmes, connus sous le nom de modèles génératifs, sont entraînés sur de vastes collections d'images et de textes, apprenant à associer les mots à des motifs visuels. Mais à mesure que ces outils deviennent plus puissants, un nouveau problème est apparu : que se passe-t-il lorsque vous voulez qu'ils oublient ?

Imaginez un modèle qui a appris à dessiner une célébrité spécifique, mais que cette personne demande plus tard que son image soit supprimée du système, peut-être pour des raisons de confidentialité ou par désir de contrôler son empreinte numérique. Ce processus, appelé désapprentissage machine (machine unlearning), est la tentative de faire en sorte qu'un système d'IA « désapprenne » un concept spécifique sans compromettre sa capacité à dessiner tout le reste. C'est une opération délicate. Si vous essayez d'effacer une chose de manière trop agressive, le modèle pourrait accidentellement endommager ses connaissances sur d'autres choses sans rapport. Un modèle essayant d'oublier une race de chien spécifique pourrait commencer à mal dessiner tous les chiens, ou un modèle essayant de supprimer un politicien pourrait commencer à générer des images déformées d'autres personnalités publiques. Ce dommage involontaire aux concepts connexes est appelé interférence, et jusqu'à présent, les scientifiques n'avaient aucun moyen fiable de mesurer l'ampleur du problème ou pourquoi il se produit.

Une équipe de chercheurs a introduit un nouveau cadre appelé I-CARE pour étudier ce problème. Plutôt que d'inventer une nouvelle façon d'effacer des données ou un nouveau modèle d'IA, ils ont construit une méthode standardisée pour tester comment différentes techniques d'effacement affectent le reste du système. Considérez cela comme une nouvelle règle pour mesurer les dégâts. Avant ce travail, les études sur le désapprentissage étaient souvent incohérentes ; une équipe pouvait tester l'oubli d'une personne tandis qu'une autre testait l'oubli d'un paysage, ce qui rendait toute comparaison équitable impossible. Le cadre I-CARE fournit un langage commun et un ensemble de règles strictes pour la mise en place de ces expériences. Il définit précisément ce que signifie « oublier » quelque chose, comment mesurer la qualité des images restantes et comment suivre quels concepts non liés ont été affectés dans le processus. Les chercheurs ont également construit un outil logiciel gratuit et open-source appelé Forgety, qui permet à n'importe qui d'explorer ces résultats sans avoir besoin d'écrire du code ou de comprendre des mathématiques complexes.

Pour prouver l'efficacité de leur méthode, les chercheurs ont mené une expérience massive. Ils ont choisi trois catégories distinctes pour tester : des personnes célèbres, des races de chiens spécifiques et divers décors comme des forêts ou des stades. Pour chaque catégorie, ils ont sélectionné cent entités spécifiques, telles qu'un acteur particulier, un type particulier de terrier ou un type de pont spécifique. Ils ont ensuite pris un générateur d'images de pointe et ont appliqué trois techniques de désapprentissage différentes pour supprimer une entité à la fois. Au total, ils ont dû effacer 900 concepts différents et générer 360 000 nouvelles images pour voir ce qui se passait. Ils ne l'ont pas fait seulement pour voir si la cible avait disparu, mais pour voir si la capacité du modèle à dessiner les 99 autres entités de cette catégorie avait changé.

Les résultats ont révélé que l'interférence est bien plus complexe que ce que les scientifiques pensaient auparavant. Une hypothèse courante était que le modèle ne nuirait qu'aux concepts très similaires à celui qui est effacé. Par exemple, si vous effaciez un Golden Retriever, vous pourriez vous attendre à ce qu'un Labrador souffre, mais qu'un Poodle reste intact. L'étude a montré que ce n'est pas toujours le cas. Parfois, l'effacement d'une entité causait des dommages importants à des entités qui semblaient complètement sans rapport, tout en laissant intactes des entités très similaires. Dans certains cas, les dommages étaient si imprévisibles que les chercheurs n'ont pas pu trouver de règle simple pour l'expliquer. Ils ont découvert que l'ampleur du préjudice dépendait fortement de la méthode spécifique utilisée pour effacer les données. Une méthode, qui reposait sur une approche de la théorie des jeux, causait nettement plus de dommages collatéraux que les deux autres méthodes testées. Une autre méthode, qui ne nécessitait pas de données supplémentaires pour fonctionner, causait moins de dommages au total, mais était plus difficile à prédire.

Les chercheurs ont également examiné comment les données utilisées pour protéger les concepts restants affectaient le résultat. Ils ont constaté que si le modèle se voyait montrer des exemples de choses similaires pendant qu'il oubliait la cible, il était bien plus apte à protéger ces choses similaires. Par exemple, lors de l'effacement d'un terrain de football, le modèle préservait les autres lieux de sport uniquement s'il recevait activement des images d'autres sports pendant le processus d'effacement. Si ces exemples manquaient, le modèle dégradait accidentellement les images de tous les lieux de sport. Cela suggère que la façon dont un modèle est entraîné à « se souvenir » tout en « oubliant » est tout aussi importante que la technique d'effacement elle-même.

La découverte la plus surprenante fut peut-être que l'interférence n'est pas toujours destructrice. Dans environ 2,7 % des cas, les chercheurs ont observé que l'effacement d'un concept améliorait légèrement les images d'un concept similaire. Par exemple, lorsqu'ils ont effacé l'image d'un célèbre pilote de course automobile, la capacité du modèle à dessiner un célèbre nageur s'est légèrement améliorée. Les chercheurs appellent cela une « interférence constructive ». Bien que cela soit arrivé rarement, cela prouve que la relation entre les concepts dans un modèle d'IA n'est pas une rue à sens unique où l'effacement d'une chose nuit toujours à une autre. Parfois, la suppression d'un motif spécifique permet au modèle d'affiner sa compréhension d'un motif apparenté.

L'étude a également souligné la difficulté de prédire ces résultats. Les chercheurs ont tenté de construire un système capable de deviner quels concepts interféreraient entre eux en fonction de leur similitude perçue par un humain. Ils ont constaté que ces prédictions étaient souvent erronées. Deux entités qui paraissaient très similaires à un humain pouvaient ne pas interférer entre elles dans le modèle, tandis que deux autres, qui semblaient différentes, pouvaient causer des dommages massifs. Cela suggère que la logique interne de ces modèles d'IA est encore largement un mystère pour nous. Nous pouvons voir les dommages, mais nous ne pouvons pas encore prédire de manière fiable où ils se produiront avant de procéder à l'effacement.

Pour rendre ces découvertes accessibles, l'équipe a créé une interface web appelée Forgety. Cet outil permet aux utilisateurs de parcourir les résultats de leurs expériences, de visualiser quels concepts interfèrent les uns avec les autres et d'explorer les données sans être programmeur. Il transforme des milliers de points de données complexes en graphiques et listes simples que n'importe qui peut comprendre. Cette transparence est un élément clé de leur travail, car elle permet aux décideurs politiques, aux éthiciens et au public de voir les conséquences réelles de la tentative de faire oublier des choses aux systèmes d'IA.

L'article conclut que, bien que nous ayons progressé dans la compréhension du désapprentissage machine, il n'existe pas encore de méthode unique « idéale » pour le faire. L'efficacité d'une méthode d'effacement dépend entièrement de la tâche spécifique et des données utilisées. Les chercheurs soulignent que leur cadre est conçu pour évoluer. À mesure que de nouveaux modèles d'IA sont créés et de nouvelles façons d'effacer des données sont inventées, la méthode I-CARE peut être appliquée pour les tester, garantissant ainsi que le domaine progresse avec des résultats clairs, comparables et reproductibles. L'objectif ultime n'est pas seulement de faire oublier à l'IA, mais de le faire sans briser le reste de son esprit, garantissant que ces outils puissants restent sûrs et fiables pour tous.

Résumé Technique : I-CARE – Analyse des phénomènes d'interférence dans le désapprentissage de texte-vers-image

Énoncé du Problème

Le désapprentissage machine (Machine Unlearning - MU) vise à supprimer des connaissances spécifiques (concepts ou points de données) des modèles d'IA, souvent pour se conformer à des réglementations comme le RGPD ou pour atténuer les biais. Cependant, un défi critique demeure : la dégradation involontaire de concepts sémantiquement liés qui devraient être conservés, un phénomène qualifié dans cet article d'interférence (également connu sous le nom de l'oubli collatéral ou de l'adjacence de concepts).

Alors que la littérature existante reconnaît que le MU peut nuire à des capacités non liées, l'article soutient que l'interférence n'a jamais été étudiée systématiquement ni quantifiée avec précision. Les benchmarks actuels manquent souvent de la granularité nécessaire pour distinguer le bruit aléatoire des motifs d'interférence structurés, et reposent fréquemment sur des configurations d'évaluation ad hoc qui entravent la reproductibilité et la comparaison entre les études. De plus, le domaine souffre d'une crise de la reproductibilité où les résultats rapportés ne peuvent être récupérés en raison de l'absence de code, de données ou de détails de configuration.

Méthodologie : I-CARE

L'article introduit I-CARE (Interference in Concept Adaptation and geneRative Erasure), une méthodologie formelle conçue pour traiter l'interférence comme un objet d'étude de premier rang. Plut-delà de proposer un nouvel algorithme de désapprentissage ou un benchmark statique unique, I-CARE fournit un schéma conceptuel, des définitions formelles et des modèles de rapport standardisés.

Définitions Formelles Centrales

I-CARE établit une ontologie rigoureuse pour les études d'interférence :

Entité ( $e$ ) : Un concept sémantique distinct (ex. : « George W. Bush »).
Attribut ( $a$ ) : Propriétés annotées d'une entité (ex. : profession, popularité).
Tâche ( $t$ ) : Un ensemble d'entités liées annotées avec les mêmes attributs.
MetricInterferencePerEntityPair ( $m_p$ ) : Une fonction mesurant comment la qualité de génération d'une entité $e_2$ se dégrade lorsque $e_1$ est désapprise.
MetricInterferencePerEntity ( $m_e$ ) : Métriques d'interférence agrégées pour une seule entité (ex. : interférence moyenne reçue ou émise).
SimilarityBetweenEntities ( $s$ ) : Fonctions mesurant la proximité entre les entités (ex. : similitude cosinus CLIP, plongements DINO).

Contraintes de Conception Expérimentale

Pour garantir des résultats significatifs, I-CARE impose des contraintes spécifiques à la sélection des tâches :

Entités fines : Les concepts doivent être suffisamment similaires pour maximiser l'observation de l'interférence.
Nominalité : Les entités doivent être reconnaissables par les modèles de fondation via le langage naturel.
Équilibre des données : Les jeux de données doivent être équilibrés selon les attributs d'intérêt (ex. : genre, profession) pour éviter que des biais externes ne faussent les résultats.
Stratégie All-vs-All : Chaque entité d'une tâche est désapprise, et l'impact est mesuré par rapport à toutes les autres entités de la tâche. Cette approche exhaustive est jugée nécessaire en l'absence d'une théorie prédictive pour les paires d'interférence.

Modèles de Résultats (RTs)

I-CARE définit des Modèles de Résultats standardisés pour agréger et rapporter les données. Ceux-ci incluent :

MetricSimilarityAlignment : Corrèle les mesures de similitude avec les métriques d'interférence pour tester si la similitude prédit l'interférence.
SignificantRelationship : Teste les corrélations statistiques entre les attributs et les motifs d'interférence.
MinimumCutInterference : Modélise la tâche comme un graphe dirigé pour identifier les « chemins de transmission » de l'interférence entre les entités.
ImplicitAssociationTest : Mesure les changements dans les associations automatiques entre les paires d'attributs après le désapprentissage.

Démonstration de Faisabilité

Pour valider la méthodologie, les auteurs ont mené une démonstration de faisabilité à grande échelle utilisant :

Modèle de base : Stable Diffusion v1.4.
Méthodes de désapprentissage : Trois algorithmes de pointe représentant différentes familles :
- UCE : Unified Concept Editing (Sans données/Data-free).
- SPARE : Self-distillation for Parameter-Efficient Removal (Basé sur la distillation).
- MUNBa : Machine Unlearning via Nash Bargaining (Théorie des jeux).
Tâches : Trois tâches diverses, chacune comprenant 100 entités :
- Personnes : Labeled Faces in the Wild (LFW).
- Races de chiens : Jeu de données AtharvaTaras Dog Breeds.
- Scènes : Jeu de données SUN Attributes.
Métriques : 4 des 49 métriques d'interférence dérivées de 5 mesures de qualité d'image (ex. : $\Delta$ Clip, $\Delta$ Brisque, $\Delta$ Dino, RMSE, SSIM) et 4 mesures de similitude.

L'étude a impliqué le désapprentissage de 900 modèles et la génération de 360 000 images. L'ensemble du pipeline, y compris les résultats pré-calculés, est disponible via un logiciel open-source et une interface graphique Web appelée Forgety.

Résultats Clés

La démonstration de faisabilité a révélé plusieurs motifs d'interférence non aléatoires, tout en soulignant la complexité du phénomène :

Interférence pilotée par les attributs : L'interférence n'est pas uniquement déterminée par la similitude par paire. Des attributs spécifiques agissent comme des « fils de transmission ». Par exemple, dans la tâche des races de chiens, certains groupes (chiens de berger, chiens de type cattle) ont causé nettement plus d'interférence que d'autres. Dans la tâche des personnes, les entités plus célèbres (indice de popularité historique plus élevé) avaient tendance à recevoir plus d'interférence.
Comparaison des méthodes :
- MUNBa a systématiquement causé le niveau le plus élevé de dommages collatéraux (interférence) à travers toutes les tâches.
- UCE et SPARE ont mieux performé, UCE causant généralement moins d'interférence que SPARE.
- SPARE présentait des motifs d'interférence plus prévisibles par les métriques de similitude par rapport à UCE et MUNBa.
Limites de prédictibilité : Aucune métrique de similitude unique ne pouvait prédire de manière fiable l'interférence à travers toutes les tâches et méthodes. Bien que certaines corrélations existaient (ex. : entre $\Delta$ Dino et la similitude CLIP pour SPARE dans la tâche des scènes), le pouvoir prédictif global était faible, suggérant que l'interférence n'est pas une simple fonction de la similitude sémantique.
Interférence constructive : Dans 2,7 % des cas, le désapprentissage d'un concept a conduit à une amélioration statistiquement significative de la qualité de génération d'entités similaires, remettant en question l'hypothèse selon laquelle l'interférence est toujours destructrice.
Interprétation par graphe : L'analyse du « minimum cut » a révélé que l'interférence se propage souvent via des chemins indirects de « 2 sauts » impliquant des entités intermédiaires qui partagent des propriétés avec à la fois la source et la cible, plutôt que par similitude directe.
Sensibilité des données de rétention : Les expériences ont montré que la composition de l'ensemble de rétention est cruciale ; retirer des entités pertinentes de l'ensemble de rétention augmentait considérablement l'interférence sur les concepts liés.

Signification et Revendications

L'article positionne I-CARE comme une étape fondamentale vers la standardisation de l'étude de l'interférence dans le désapprentissage génératif. Ses principales contributions sont :

Formalisation : Il fournit les premières définitions formelles et une ontologie structurée de l'interférence, dépassant les évaluations ad hoc pour un cadre systématique.
Reproductibilité : En découplant la méthodologie des modèles et algorithmes spécifiques, et en fournissant des outils open-source (bibliothèque Vision-Unlearning et l'interface Forgety), il vise à abaisser la barrière à la recherche future et à garantir que les résultats soient comparables.
Aperçu empirique : La démonstration de faisabilité prouve que l'interférence suit des motifs non aléatoires influencés par les attributs et les méthodes de désapprentissage, mais démontre également que prédire ces motifs reste un défi ouvert.
Cadre éthique : La méthodologie permet aux chercheurs d'identifier les « fils de transmission » (attributs qui propagent l'interférence), facilitant les jugements éthiques sur la question de savoir si certains types d'interférence sont acceptables ou nécessitent une atténuation.

Les auteurs font preuve de modestie concernant leurs conclusions : ils ne prétendent pas avoir résolu le problème de la prédiction de l'interférence ou avoir trouvé des règles universelles. Au contraire, ils affirment qu'I-CARE fournit la « grammaire » et les outils nécessaires pour permettre à la communauté d'étudier systématiquement ces phénomènes, de mapper les benchmarks existants dans un cadre commun et, à terme, de dériver des règles pour l'atténuation de l'interférence. L'article conclut que bien que les résultats spécifiques puissent devenir obsolètes à mesure que les modèles évoluent, la méthodologie I-CARE est conçue pour rester valide et applicable aux futurs algorithmes de désapprentissage et modèles de base.