Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences

Résumé technique : Les données synthétiques curatées ne doivent pas nécessairement s'effondrer

Énoncé du problème
L'article aborde le défi critique de l'effondrement de mode dans le réentraînement récursif des modèles génératifs. À mesure que la dépendance aux données synthétiques augmente pour surmonter les goulots d'étranglement des données générées par l'humain, les modèles sont souvent réentraînés sur des sous-ensembles curatés de leurs propres sorties. Des travaux antérieurs (par exemple, Ferbach et al., 2024) ont démontré que lorsque la curation est pilotée par une fonction de récompense fixe unique, la distribution du modèle s'effondre inévitablement sur un ensemble restreint de sorties qui sur-optimisent cet objectif spécifique. Ce phénomène se produit parce que le processus de sélection (modélisé comme un choix de Bradley-Terry) répondit exponentiellement la distribution vers le maximiseur global de la récompense unique, éliminant éventuellement le support pour d'autres régions. L'article s'interroge sur le caractère inévitable de cet effondrement lorsque la curation repose sur des préférences pluralistes (multiples, potentiellement conflictuelles), un scénario courant dans les applications réelles où les parties prenantes valorisent différents traits (par exemple, la précision factuelle contre la créativité).

Méthodologie
Les auteurs formalisent le réentraînement récursif sous préférences hétérogènes en utilisant un cadre théorique qui combine :

1. Sélection multi-préférences : À chaque étape de réentraînement, une fonction de récompense est choisie de manière probabiliste à partir d'un mélange fixe (par exemple, $r_1$ avec une probabilité $q$, $r_2$ avec une probabilité $1-q$).
2. Curation Bradley-Terry (BT) : Étant donné un ensemble de $K$ candidats échantillonnés à partir de la distribution actuelle du modèle $p_t$, un seul échantillon est sélectionné sur la base de la récompense choisie $r$ en utilisant le modèle BT, qui attribue des probabilités de sélection proportionnelles à $e^{r(x)}$.
3. Mise à jour MLE idéalisée : Le modèle est réentraîné par estimation du maximum de vraisemblance (MLE) exacte sur l'échantillon sélectionné, définissant efficacement la prochaine distribution $p_{t+1}$ comme la distribution de l'échantillon sélectionné.
4. Analyse de la limite des grands pools : Les auteurs analysent la dynamique dans la limite des grands pools de candidats ($K \to \infty$), où le poids de sélection converge vers une inclinaison exponentielle du modèle actuel. Ils introduisent des bassins $\epsilon$-optimaux ($S_{i,\epsilon}$) représentant des régions où les récompenses sont proches de leur maximum et définissent des facteurs de fuite ($\kappa$) pour quantifier le renforcement inter-récompense (dans quelle mesure une récompense favorise le bassin de l'autre).

Contributions clés
L'article apporte trois contributions théoriques principales :

1. Dynamiques de réentraînement pluraliste : Les auteurs formalisent que, sous des préférences hétérogènes, la règle de mise à jour agit comme une combinaison convexe d'inclinaisons exponentielles. Ils prouvent que si un « écart hors-bassin » existe (les régions en dehors des bassins optimaux sont uniformément pires), la masse de probabilité se contracte dans l'union des bassins quasi-optimaux ($S_\epsilon$), empêchant un effondrement total vers un point unique.
2. Structure limite contrôlée par la fuite : L'étude caractérise la distribution limite comme un mélange soutenu sur l'union des bassins concurrents. Le poids de ce mélange est contraint par les facteurs de fuite. Dans le régime de séparation stricte (où les bassins sont disjoints et la fuite inter-récompense s'annule), le poids du mélange limite converge exactement vers la probabilité d'échantillonnage de la récompense $q$.
3. Non-effondrement et agrégation de valeurs : L'article prouve que la distribution limite préserve la diversité, comme en témoigne une variance de récompense strictement positive. De plus, il établit que le mélange limite satisfait une solution de négociation de Nash pondérée, fournissant une interprétation formelle de la manière dont les objectifs conflictuels sont agrégés dans les boucles de réentraînement synthétique.

Résultats
Les résultats théoriques et empiriques confirment ce qui suit :

• Préservation de la diversité : Contrairement au réentraînement à récompense unique, la curation pluraliste empêche la distribution de s'effondrer vers un seul mode. La distribution limite maintient une masse non triviale sur plusieurs régions à haute récompense.
• Transitions de phase : Les expériences empiriques sur des mélanges gaussiens synthétiques montrent une transition de phase basée sur la distance entre les optimums de récompense. Lorsque les optimums sont bien séparés, le modèle se stabilise en un mélange à deux modes avec une variance positive. À mesure que la distance diminue, la variance chute et le modèle s'effondre vers une région de compromis.
• Expériences CIFAR-10 et Textes :
  • Sur CIFAR-10, l'augmentation du nombre de préférences équilibrées (de 2 à 5) améliore la qualité des échantillons (FID plus faible) et la diversité (entropie plus élevée, divergence KL plus faible). À l'inverse, des préférences déséquilibrées (forte polarisation) entraînent une dégradation et un effondrement partiel.
  • Dans la génération de texte (GPT-2) avec des préférences de longueur conflictuelles, l'augmentation de la distance entre les longueurs cibles conduit à une entropie soutenue plus élevée dans la distribution de sortie, indiquant que le modèle maintient une politique de couverture entre les objectifs plutôt que de s'effondrer vers une longueur de compromis unique.

Signification et affirmations
L'article prétend renverser la conclusion prévalente selon laquelle le réentraînement synthétique conduit inévitablement à un effondrement. Il soutient que l'effondrement n'est pas inhérent à l'utilisation de données synthétiques, mais plutôt une conséquence de la manière dont ces données sont curatées. En employant des préférences pluralistes, la boucle de réentraînement agit comme un régularisateur qui résiste au surajustement à des signaux d'alignement étroits.

Les auteurs positionnent leur travail comme une fondation théorique pour comprendre l'alignement multi-objectif dans des pratiques telles que l'apprentissage par renforcement à partir de retours humains (RLHF). Ils suggèrent que la curation pluraliste offre un mécanisme théoriquement solide pour aligner les modèles génératifs sur des valeurs humaines multifacettes sans sacrifier la diversité ni la qualité, en particulier dans des scénarios où les données de surveillance humaine sont rares. Le travail fournit une justification formelle pour l'utilisation de stratégies à récompense mixte afin de maintenir la robustesse et la largeur représentationnelle dans les modèles génératifs.