🤖 machine learning

Diffusion Models Preferentially Memorize Prototypical Examples or: Why Does My Diffusion Model Love Slop?

Cet article démontre que les modèles de diffusion mémorisent et surproduisent préférentiellement des exemples prototypiques composés de sous-chaînes communes plutôt que des échantillons rares ou atypiques, ce qui implique que la diversité des données à des niveaux d'abstraction plus élevés est cruciale pour prévenir la mémorisation et le « slop » qui en résulte dans les sorties générées.

Auteurs originaux : Marta Aparicio Rodriguez, Anastasia Borovykh, Grigorios A. Pavliotis, Daniel J. Korchinski

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Marta Aparicio Rodriguez, Anastasia Borovykh, Grigorios A. Pavliotis, Daniel J. Korchinski

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot chef comment cuisiner un nouveau plat. Vous lui donnez un livre de cuisine massif (les données d'entraînement) rempli de recettes uniques. Votre objectif est que le robot apprenne les principes de la cuisine afin qu'il puisse inventer ses propres repas délicieux, et non pas qu'il se contente de copier le livre page par page.

Cependant, cet article de recherche découvre que le robot a une drôle d'habitude : il ne mémorise pas les recettes étranges et uniques en premier. Au lieu de cela, il mémorise d'abord les ingrédients « standards » et les étapes communes.

Voici la décomposition de ce que les chercheurs ont découvert, en utilisant des analogies simples :

1. La grande méprise : « Le contenu étrange reste bloqué en dernier »

On pourrait penser que si un robot doit mémoriser votre livre, il s'arrêterait d'abord sur les recettes les plus inhabituelles, rares ou difficiles parce qu'elles sortent du lot.

La réalité : Le robot se bloque en fait sur les choses communes en premier.
L'analogie : Imaginez un étudiant passant un examen. Vous pourriez penser qu'il bloquerait d'abord sur les questions les plus difficiles et les plus rares. Mais cette étude montre que l'étudiant mémorise en fait les questions les plus courantes et les plus standards en premier. Si le robot voit une recette avec du « sel et du poivre » (commun), il apprend ce schéma rapidement. S'il voit une recette avec du « fruit du dragon et de l'huile de truffe » (rare), il lui faudra beaucoup plus de temps pour mémoriser cette combinaison spécifique.

2. La phase de « Slop » (le rebut) : Quand le robot devient fade

La partie la plus intéressante de l'article est une étape spécifique de l'apprentissage du robot appelée la phase de « Slop ».

Ce qui se passe : Avant que le robot ne commence à copier des recettes entières parfaitement, il entre dans une étape intermédiaire. À ce stade, il arrête d'essayer d'être créatif et commence à abuser des ingrédients les plus courants qu'il a appris au début.
L'analogie : Imaginez un musicien qui apprend le jazz. Au début, il joue des solos originaux et complexes. Puis, il traverse une phase de « slop » où il arrête d'improviser et se contente de jouer les trois mêmes notes simples et populaires encore et encore. Ce n'est pas la copie d'une chanson spécifique, mais c'est ennuyeux et répétitif parce qu'il ne fait que régurgiter les parties « communes » qu'il a mémorisées en premier.
Le résultat : Si vous arrêtez l'entraînement du robot pendant cette phase de « slop », il produit un résultat qui semble sûr, générique et fade — ce que les gens sur Internet appellent souvent le « AI slop » (le rebut de l'IA).

3. La leçon des Lego : Mémoriser les briques avant les châteaux

Les chercheurs ont utilisé un type spécial de données synthétiques qui fonctionnent comme des blocs Lego.

Comment ça marche : Une « image » est construite à partir de gros blocs (comme un chat), qui sont eux-mêmes faits de blocs plus petits (oreilles, yeux), qui sont faits de minuscules blocs (couleurs, formes).
La découverte : Le robot mémorise les petits blocs communs (comme la couleur « orange » ou la forme « cercle ») avant de mémoriser l'image entière.
Le danger : Même si vous supprimez les images en double de l'ensemble de données (pour que chaque image soit unique), le robot mémorise quand même les parties communes de ces images en premier. Cela signifie que simplement supprimer les doublons ne suffit pas à empêcher le robot de « tricher » en mémorisant les blocs de construction.

4. Pourquoi les « Fat Tails » (queues épaisses) aident (La longue traîne de la rareté)

L'article a examiné des ensembles de données où certaines choses sont très communes et d'autres très rares (une distribution à « queue épaisse »).

La découverte : Si votre ensemble de données possède une immense variété de choses rares et bizarres (une longue traîne), le robot mettra plus de temps à commencer à mémoriser quoi que ce soit.
L'analogie : Si vous donnez à un robot une bibliothèque où 99 % des livres parlent de « chats » et 1 % de « chats de l'espace extraterrestres », il mémorisera les livres sur les « chats » instantanément. Mais si vous lui donnez une bibliothèque où chaque livre est une histoire unique et bizarre sur un extraterrestre différent, il lui faudra beaucoup plus de temps pour commencer à les copier car il n'y a pas de motif « commun » sur lequel s'accrocher.
La leçon : La diversité est un bouclier. Plus vos données sont variées et « bizarres », plus il est difficile pour le modèle de tomber dans le piège de mémoriser et de produire un contenu « slop » ennuyeux.

5. La conclusion pour les créateurs

L'article conclut que si vous voulez éviter que l'IA produise un contenu ennuyeux et répétitif (« slop »), vous devez faire attention au moment où vous arrêtez l'entraînement du modèle.

Si vous arrêtez trop tôt, le modèle peut être en phase de « slop », abusant des caractéristiques communes.
Si vous le laissez s'entraîner trop longtemps, il commence à mémoriser l'ensemble des données.
Le point d'équilibre : C'est une fenêtre étroite où le modèle comprend les règles mais n'a pas encore commencé à trop compter sur les motifs les plus courants.

En résumé : Les modèles de diffusion (l'IA derrière de nombreux générateurs d'images) préfèrent mémoriser les choses « moyennes » et « communes » en premier. Cela conduit à une phase où ils produisent un contenu fade et répétitif avant de commencer, finalement, à copier des exemples spécifiques. Pour éviter cela, vous avez besoin de données diverses et d'un timing précis sur le moment où vous arrêtez l'entraînement.

Résumé technique : Les modèles de diffusion mémorisent préférentiellement les exemples prototypiques

Énoncé du problème

Les modèles génératifs, en particulier les modèles de diffusion, font face à une limitation persistante : la tendance à mémoriser les données d'entraînement plutôt qu'à apprendre à généraliser et à composer de nouveaux échantillons. Ce phénomène soulève des responsabilités juridiques importantes concernant le droit d'auteur et la confidentialité, tout en érodant simultanément la diversité créative. Un problème critique demeure : comprendre quels échantillons sont mémorisés, quand ils sont mémorisés, et sous quelles conditions.

La littérature existante propose des hypothèses concurrentes concernant l'ordre de mémorisation :

Hypothèse 1 (Le rare en premier) : Les valeurs aberrantes ou les échantillons rares sont mémorisés en premier car ils dominent les signaux de perte et de gradient une fois la généralisation atteinte.
Hypothèse 2 (Le commun en premier) : Les échantillons possédant des caractéristiques communes ou une fréquence élevée sont mémorisés en premier grâce à un renforcement constant des gradients.
Hypothèse 3 (Synchronisation) : La mémorisation est un phénomène global au niveau du jeu de données où les échantillons sont mémorisés de manière approximativement simultanée une fois qu'un seuil d'étapes d'entraînement est franchi.

De plus, la frontière entre généralisation et mémorisation est souvent floue, et les métriques existantes échouent fréquemment à distinguer la reproduction de séquences complètes de la « mémorisation partielle » de sous-composants (par exemple, des textures spécifiques ou des structures syntaxiques). Ce manque de granularité rend difficile l'identification de l'émergence du « slop » (résidu) — des sorties qui surutilisent des motifs communs et des clichés observés dans les données d'entraînement.

Méthodologie

Pour démêler ces hypothèses et analyser la dynamique de mémorisation à un niveau fin, les auteurs utilisent un cadre synthétique contrôlé combiné à des expériences sur des données réelles.

Cadre synthétique : Modèle de Hiérarchie Aléatoire (RHM)

Les auteurs utilisent le Modèle de Hiérarchie Aléatoire (RHM), un générateur de données synthétiques qui imite la compositionnalité hiérarchique des données naturelles (par exemple, des scènes composées d'objets, eux-mêmes composés de parties).

Structure : Les données sont générées via une grammaire contextuelle non-déterministe où les symboles à la profondeur $\ell$ sont décomposés en tuples de sous-symboles à la profondeur $\ell+1$ .
Contrôle de la rareté : Pour introduire la rareté des échantillons, les auteurs étendent le RHM (suivant Cagnetta et al., 2025) en appliant des fréquences d'échantillonnage de type Zipf aux règles de production à un niveau hiérarchique spécifique $\ell_z$ . Cela crée une distribution en loi de puissance où certaines règles (et donc les échantillons les contenant) sont nettement plus probables que d'autres.
Entraînement : Des modèles de diffusion (diffusion discrète multinomiale avec architecture U-Net) sont entraînés sur ces chaînes de caractères synthétiques. La taille du jeu de données est soigneusement choisie pour être assez grande pour atteindre la généralisation, mais assez petite par rapport à l'espace légal total pour permettre la détection de la mémorisation.

Métriques et définitions

Le papier introduit des définitions rigoureuses pour distinguer les différents modes d'apprentissage :

Mémorisation complète : La fraction d'échantillons générés qui sont des copies exactes des données d'entraînement.
Mémorisation partielle : Un régime où le modèle reproduit des composants (sous-chaînes ou sous-tuples) des données d'entraînement sans générer de copies exactes. Les auteurs définissent un estimateur $\lambda$ pour quantifier la mesure dans laquelle le comportement d'un modèle dévie d'un échantillonnage équitable vers la mémorisation de règles spécifiques.
Temps de mémorisation ( $t_{mem}$ ) : La première étape d'entraînement à laquelle un échantillon spécifique (ou un sous-composant) apparaît dans la sortie générée.

Validation sur le monde réel

Pour vérifier les résultats sur des données naturelles, les auteurs entraînent des modèles de diffusion sur des sous-ensembles du jeu de données CelebA. Ils utilisent un classificateur multi-étiquettes et un modèle d'Ising pour estimer la log-vraisemblance (rareté) des images basées sur 40 attributs faciaux, ce qui leur permet de corréler le timing de mémorisation avec la rareté des échantillons dans un cadre non synthétique.

Contributions clés et résultats

1. Les échantillons communs sont mémorisés en premier

L'étude rejette définitivement l'Hypothèse 1. À travers diverses tailles de modèles et niveaux hiérarchiques, les échantillons composés de sous-chaînes communes (haute log-vraisemblance) sont préférentiellement mémorisés plus tôt que les échantillons rares.

Même dans des jeux de données entièrement constitués d'échantillons uniques (sans doublons exacts), le modèle apprend et reproduit d'abord des combinaisons de caractéristiques communes.
Cela implique que la déduplication au niveau du point de donnée ne fournit pas de garantie de confidentialité significative contre la mémorisation de combinaisons de caractéristiques communes.

2. Les distributions à queue épaisse retardent la mémorisation

Les auteurs démontrent que l'« épaisseur » de la queue de la distribution des données impacte directement la vitesse de mémorisation.

Les jeux de données avec des distributions à queue épaisse (plus de l'atypique/rare) présentent une mémorisation retardée.
Cet effet est amplifié lorsque la queue épaisse est introduite à des niveaux d'abstraction plus élevés (par exemple, la variation au niveau de la classe). Inversement, la variabilité à des niveaux d'abstraction plus bas et plus fins (par exemple, les caractéristiques de niveau feuille) a un impact plus fort sur l'accélération de la mémorisation.

3. Le régime du « Slop » : Mémorisation partielle

Le papier identifie un régime intermédiaire distinct de mémorisation partielle qui survient avant la mémorisation de la séquence complète.

Mécanisme : Durant cette phase, le modèle apprend d'abord les caractéristiques de bas niveau communes. À mesure que l'entraînement progresse, le modèle commence à surproduire ces caractéristiques communes tout en sous-produisant les plus rares.
Conséquence : Cela entraîne un décalage de distribution où les sorties générées consistent en des combinaisons « fades » ou clichées de motifs communs. Les auteurs nomment ce phénomène le « slop ».
Dynamique : Cette surproduction coïncide avec une dégradation temporaire de la capacité du modèle à générer des échantillons valides (une chute du FID pour les images ou de la génération de chaînes valides pour le RHM) à mesure que la capacité du modèle est réaffectée pour encoder les exemples d'entraînement.

4. Limites de l'arrêt précoce (Early Stopping)

L'étude souligne un risque critique dans les stratégies d'entraînement. Bien que l'arrêt précoce soit souvent utilisé pour prévenir la mémorisation complète (lorsque la perte de validation diverge), la phase de « slop » peut survenir avant ou simultanément à la divergence des pertes d'entraînement et de test.

Arrêter l'entraînement trop tard (même avant la mémorisation complète) peut produire des modèles biaisés vers la génération de caractéristiques communes.
Les modèles plus petits présentent une phase de « slop » plus longue et sont plus susceptibles de ce biais, suggérant que la réduction de la capacité du modèle seule ne suffit pas à atténuer la production de sorties à faible diversité.

Signification

Le papier affirme que ses conclusions résolvent l'ambiguïté concernant la question de savoir si les points de données communs ou aberrants sont mémorisés en premier, soutenant la vue selon laquelle les exemples prototypiques sont appris et reproduits en premier.

La portée de ce travail réside dans :

Affinement de la compréhension de la confidentialité et du droit d'auteur : Il démontre que la mémorisation n'est pas simplement une fonction de la duplication des données, mais qu'elle est pilotée par la structure compositionnelle et la fréquence des sous-caractéristiques. Cela suggère que les risques de confidentialité persistent même dans les jeux de données dédupliqués si des combinaisons de caractéristiques communes existent.
Explication du « Slop » : Il fournit une explication mécaniste au phénomène du « slop » souvent décrié dans l'IA générative, en le liant à une phase spécifique de mémorisation partielle où les caractéristiques communes sont surreprésentées.
Curation de jeux de données : Il suggère que la diversité des jeux de données, particulièrement à des niveaux d'abstraction plus élevés, joue un rôle crucial pour retarder la mémorisation.
Métriques d'évaluation : Il plaide pour la nécessité de métriques d'évaluation plus fines capables de détecter la mémorisation partielle et les biais au niveau des caractéristiques, plutôt que de se fier uniquement aux métriques de reproduction de l'échantillon complet.

Les auteurs concluent que bien que les modèles de diffusion soient sensibles à la mémorisation, le processus est étagé et hiérarchique, commençant par la surproduction de sous-caractéristiques communes avant de progresser vers la reproduction complète des échantillons.