🤖 machine learning

GUDA: Counterfactual Group-wise Training Data Attribution for Diffusion Models via Unlearning

Le papier propose GUDA, une méthode qui exploite l'oubli machine pour approximer efficacement l'attribution de données de groupe contrefactuelles pour les modèles de diffusion, atteignant une identification fiable des groupes de données influents avec une accélération significative par rapport aux approches traditionnelles de réentraînement.

Auteurs originaux : Naoki Murata, Yuhta Takida, Chieh-Hsin Lai, Toshimitsu Uesaka, Bac Nguyen, Stefano Ermon, Yuki Mitsufuji

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Naoki Murata, Yuhta Takida, Chieh-Hsin Lai, Toshimitsu Uesaka, Bac Nguyen, Stefano Ermon, Yuki Mitsufuji

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardiez une peinture magnifique et complexe créée par une IA. Vous pourriez vous demander : « Quel groupe spécifique d'images d'entraînement a appris à cette IA à peindre dans ce style particulier ? » Était-ce le groupe des photos « Impressionnistes » ? Les photos de « Croquis » ? Ou peut-être les photos d'« Aquarelle » ?

Ce document, intitulé GUDA, présente une nouvelle façon de répondre à cette question pour les générateurs d'images par IA (appelés modèles de diffusion). Voici la décomposition en utilisant des analogies simples.

Le Problème : Le dilemme des « Trop nombreux chefs »

Les modèles d'IA sont entraînés sur des ensembles de données massifs contenant des millions d'images, souvent regroupées par style ou par catégorie (comme « chiens », « voitures » ou « style Van Gogh »).

Pour découvrir quel groupe a influencé une image spécifique générée par l'IA, la méthode de référence est appelée LOGO (Leave-One-Group-Out - Laisser un groupe de côté).

L'analogie : Imaginez une chorale chantant une chanson. Pour découvrir quelle section (sopranos, altos, ténors, basses) a le plus contribué à une note spécifique, vous devriez enregistrer la chorale, puis l'enregistrer à nouveau sans les sopranos, puis à nouveau sans les altos, et ainsi de suite.
Le problème : Si vous avez 100 groupes, vous devez enregistrer la chanson 100 fois. Pour une IA, cela signifie réentraîner le modèle de zéro 100 fois. Cela prend des années de temps de calcul et est pratiquement impossible.

La Solution : L'effaceur de mémoire (Oubli)

Les auteurs proposent GUDA (Group Unlearning-based Data Attribution - Attribution de données basée sur l'oubli de groupe). Au lieu de réentraîner l'IA de zéro à chaque fois, ils utilisent une technique appelée Apprentissage machine inversé (Machine Unlearning).

L'analogie : Au lieu de licencier toute la chorale et d'en embaucher une nouvelle sans les sopranos, vous prenez la chorale originale et vous leur apprenez doucement à « oublier » la partie des sopranos. Vous gardez le reste de la chorale exactement identique, mais vous ajustez leur mémoire pour qu'ils ne sachent plus comment chanter les notes de soprano.
Comment ça marche :
1. Commencez avec l'IA entièrement entraînée (le « Modèle Complet »).
2. Appliquez un processus spécial d'« oubli » pour supprimer l'influence d'un groupe spécifique (par exemple, « l'Impressionnisme »).
3. Cela crée un « Modèle Contrefactuel » — une version de l'IA qui agit comme si elle n'avait jamais vu de photos impressionnistes.
4. Comparez la production de l'IA originale avec celle de l'IA « ayant oublié ». Si l'IA « ayant oublié » ne peut plus produire l'image, vous savez que l'Impressionnisme était l'ingrédient clé.

La Recette Secrète : Comment « Oublier » correctement

Supprimer simplement des données ne suffit pas ; l'IA doit être guidée sur ce qu'elle doit remplacer par les données oubliées pour ne pas être confuse. Le document décrit deux façons de le faire :

Pour les images générales (Inconditionnel) : Ils utilisent une méthode appelée ReTrack.
- L'analogie : Si vous dites à l'IA d'« oublier » une photo d'une voiture rouge, ReTrack ne laisse pas simplement un espace vide. Il regarde toutes les autres voitures de la base de données et dit : « D'accord, puisque tu ne te souviens plus de la voiture rouge, imagine une voiture bleue ou un camion à la place, en fonction de leur similitude. » Il redirige l'attention de l'IA vers les données restantes.
Pour le Texte-vers-Image (Conditionnel) : C'est plus délicat car l'IA écoute aussi des instructions textuelles (ex : « Un chien dans le style de Van Gogh »). Si vous supprimez « Van Gogh », l'instruction textuelle elle-même devient étrange.
- L'analogie : Les auteurs utilisent des Ancres. Si l'instruction dit « Chien, style Van Gogh », et que vous voulez oublier Van Gogh, ils remplacent « Van Gogh » par un autre style (comme « Croquis ») dans l'instruction tout en gardant la partie « Chien » identique. Cela apprend à l'IA à gérer le concept de « Chien » sans l'influence de « Van Gogh », sans briser les instructions textuelles.

Les Résultats : Rapides et Précis

Le document a testé cela sur deux éléments :

CIFAR-10 : Un ensemble de données simple de 10 classes d'objets (comme des chats, des avions, des camions).
Styles Artistiques : Utilisation de Stable Diffusion pour générer des images dans différents styles artistiques.

Les conclusions :

Vitesse : GUDA est environ 100 fois plus rapide que la méthode de référence consistant à réentraîner à partir de zéro. C'est comme finir un marathon en 2 heures au lieu de 200 heures.
Précision : Il est bien meilleur pour identifier les groupes les plus importants que d'autres méthodes qui cherchent simplement une « similitude visuelle » (comme demander : « Est-ce que cette image ressemble à un tableau de Van Gogh ? »). GUDA demande : « Si nous retirions Van Gogh de le cerveau de l'IA, est-ce que cette image existerait encore ? »
Comparaison : Il a battu d'autres méthodes populaires qui tentent de deviner l'influence en regardant les gradients (pentes mathématiques) ou en oubliant les images une par une.

Résumé

GUDA est un raccourci. Il permet aux chercheurs de demander : « Quelle partie des données d'entraînement a fabriqué cette image d'IA ? » en « effaçant » doucement des groupes de données de la mémoire de l'IA et en observant ce qui change, plutôt qu'en reconstruisant péniblement le cerveau de l'IA de zéro à chaque fois. Cela rend la compréhension de la génération par IA plus rapide et plus pratique.

Résumé Technique : GUDA – Attribution de Données par Groupes Contrefactuels pour les Modèles de Diffusion via l'Oubli (Unlearning)

1. Définition du Problème

L'attribution de données d'entraînement pour les modèles génératifs de vision vise à identifier quelles données d'entraînement ont influencé une sortie spécifique. Alors que les méthodes existantes se concentrent sur l'attribution au niveau de l'instance (identifier des échantillons d'entraînement spécifiques), les praticiens nécessitent souvent une attribution au niveau du groupe (par exemple, identifier quels styles artistiques ou classes d'objets ont le plus contribué à une génération).

Le défi central est que l'influence d'un groupe est non additive et non linéaire ; la simple somme des scores au niveau de l'instance ne parvient pas à capturer les interactions au sein des représentations partagées. Le « standard d'or » théorique pour l'attribution de groupe est le contrefactuel Leave-One-Group-Out (LOGO) : mesurer comment le comportement d'un modèle sur un échantillon généré change si un groupe $k$ spécifique était entièrement absent des données d'entraînement. Cependant, réaliser ce contrefactuel nécessite de réentraîner $N+1$ modèles (un modèle complet plus $N$ modèles avec chaque groupe supprimé), ce qui est prohibitivement coûteux en termes de calcul pour les modèles de diffusion à grande échelle.

2. Méthodologie : Cadre GUDA

Les auteurs proposent GUDA (Group Unlearning-based Data Attribution), un cadre qui approxime le coûteux contrefactuel LOGO en utilisant l'oubli de machine (machine unlearning) plutôt qu'un réentraînement complet.

Concept Central :
Au lieu d'entraîner $\theta_{logo}^{-k}$ (le modèle entraîné sans le groupe $k$ ) à partir de zéro, GUDA part du modèle complet $\theta_{full}$ et applique un opérateur d'oubli de machine pour supprimer sélectivement l'influence du groupe $k$ , produisant ainsi un modèle contrefactuel approximatif $\theta_{ul}^{-k}$ .

Score d'Attribution (LOGOA) :
Le score d'attribution est défini comme la différence dans une règle de score basée sur la vraisemblance (spécifiquement l'Evidence Lower Bound, ELBO) entre le modèle complet et le modèle contrefactuel après oubli :
$\text{GUDA}_k(x_0, c) = \text{ELBO}(x_0|c; \theta_{full}) - \text{ELBO}(x_0|c; \theta_{ul}^{-k})$
Un score positif indique que le groupe $k$ a contribué de manière significative à la génération de l'échantillon $(x_0, c)$ .

Implémentation de l'Oubli (Unlearning) :
L'objectif d'oubli se compose de deux termes :

Terme de Préservation ( $L_{preserve}$ ) : Une perte de score-matching qui garantit que le modèle après oubli maintient ses performances sur l'ensemble de rétention ( $D_{-k}$ ), évitant ainsi l'oubli catastrophique.
Terme d'Oubli ( $L_{forget}$ ) : Varie selon le contexte de génération :
- GUDA-U (Génération Inconditionnelle) : Utilise une redirection basée sur ReTrack. Il entraîne le modèle à débruiter des échantillons provenant de l'ensemble à oublier ( $D_k$ ) vers des cibles pondérées par l'importance dérivées de l'ensemble de rétention ( $D_{-k}$ ), approximant ainsi la moyenne postérieure de la distribution de rétention uniquement.
- GUDA-C (Text-to-Image Conditionnel) : Aborde le défi où la suppression d'un groupe de style déplace à la fois les distributions d'images et de prompts. Il emploie des Ancres de Sélection de Style Pondérées. Pour une paire (image, prompt) à oublier, la méthode construit un prompt « ancre » en conservant la description du contenu mais en remplaçant le descripteur de style par un autre provenant de l'ensemble de rétention (échantillonné via la similitude pondérée par CLIP). Le modèle est ensuite entraîné à correspondre à la prédiction du modèle complet sous cette condition d'ancre, résolvant ainsi le décalage de distribution de la condition.

3. Principales Contributions

Formalisation de l'Attribution de Groupe : L'article formalise l'attribution de groupe comme un estimand contrefactuel (LOGOA) basé sur la différence d'ELBO entre un modèle complet et un modèle dont un groupe a été retiré, établissant le réentraînement LOGO comme l'oracle.
Approximation par l'Oubli de Machine : Il introduit un cadre pratique qui approxime ces contrefactuels via l'oubli de machine, atteignant une accélération d'environ $\sim 100\times$ par rapport au réentraînement LOGO sur CIFAR-10.
Deux Instanciations Spécifiques :
- GUDA-U : Pour la diffusion inconditionnelle, utilisant une redirection pondérée par l'importance basée sur ReTrack.
- GUDA-C : Pour le text-to-image conditionnel, utilisant des ancres de sélection de style pondérées par CLIP pour gérer les décalages de distribution de prompts.
Validation Empirique : Démontre que l'approche directe du contrefactuel de retrait de groupe via l'oubli surpasse les bases de similitude sémantique (CLIPA) et les méthodes d'agrégation au niveau de l'instance (DAS, TRAK, D-TRAK) pour identifier les groupes contributeurs primaires.

4. Résultats Expérimentaux

Les auteurs ont évalué GUDA sur deux benchmarks :

CIFAR-10 (Inconditionnel) : Avec 10 classes et 2 048 requêtes, GUDA a atteint un accord Top-1 de 72,7 % avec l'oracle LOGO, surpassant CLIPA (66,2 %) et les méthodes basées sur le gradient (DAS : 71,6 %, mais nettement plus lentes). GUDA a réalisé une accélération temporelle de $\sim 100\times$ par rapport au réentraînement LOGO (2 heures contre 207 heures).
UnlearnCanvas (Text-to-Image Conditionnel) : Utilisant Stable Diffusion 1.5 et 16 styles artistiques, GUDA a atteint un accord Top-1 de 45,6 %, surpassant nettement CLIPA (33,8 %) et une méthode d'attribution par oubli antérieure (Wang et al., 2024) qui n'a obtenu que 4,7 %. GUDA a également montré des performances supérieures dans les métriques NDCG@3 et RBO, indiquant un meilleur alignement avec les styles les plus influents.

Observations Clés :

La Qualité de l'Oubli est Cruciale : GUDA utilisant l'oubli basé sur ReTrack a nettement mieux performé que GUDA utilisant l'oubli ESD (Erasing Stable Diffusion), validant la connexion théorique entre ReTrack et le réentraînement LOGO.
Limites des Alternatives : La similitude sémantique (CLIPA) n'a pas réussi à capturer les effets de groupe contrefactuels, et les méthodes au niveau de l'instance ont eu du mal à passer à l'échelle pour l'attribution de groupe, performant souvent près du hasard sur les métriques d'identification de tête.

5. Signification et Revendications

L'article affirme que GUDA fournit une solution évolutive et pratique pour comprendre la provenance des sorties des modèles génératifs au niveau d'un groupe. En comblant le fossé entre l'idéal théorique du réentraînement contrefactuel et la réalité computationnelle des modèles à grande échelle, GUDA permet :

Une Compensation Équitable : Une identification plus précise de quels groupes de données (ex: artistes) ont contribué aux sorties.
Le Débogage : Identifier les sources de données ou les styles problématiques qui impactent négativement la génération.
La Transparence : Offrir une méthode pour auditer les modèles génératifs sans le coût prohibitif d'un réentraînement complet.

Les auteurs soulignent que GUDA n'est pas un mécanisme de suppression certifiée, mais une approximation computationnelle pour l'attribution. Ils notent qu'à mesure que de nouvelles méthodes d'oubli alignées sur LOGO émergeront, elles pourront être intégrées au cadre GUDA pour améliorer davantage la qualité de l'attribution. Le travail est positionné comme une étape vers une compréhension à l'échelle du groupe des modèles génératifs, allant au-delà des approximations au niveau de l'instance qui échouent à capturer les interactions non linéaires des groupes.