Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences

Technische Samenvatting: Gecurateerde Synthetische Data Hoeft Niet Te Collapse

Probleemstelling
Het artikel adresseert de kritieke uitdaging van mode collapse bij recursieve hertraining van generatieve modellen. Naarmate de afhankelijkheid van synthetische data toeneemt om knelpunten in menselijk gegenereerde data te overwinnen, worden modellen vaak hergetraind op gecurateerde subsets van hun eigen output. Eerdere studies (bijv. Ferbach et al., 2024) hebben aangetoond dat wanneer curatie wordt gedreven door een enkele vaste beloningsfunctie, de modelverdeling onvermijdelijk instort tot een smalle set outputs die dat specifieke doelwit over-optimaliseren. Dit fenomeen treedt op omdat het selectieproces (gemodelleerd als een Bradley-Terry-keuze) de verdeling exponentieel herschikt naar de globale maximalisator van de enkele beloning, waardoor uiteindelijk de steun voor andere gebieden verdwijnt. Het artikel onderzoekt of deze instorting onvermijdelijk is wanneer curatie gebaseerd is op pluralistische (meerdere, potentieel conflicterende) voorkeuren, een scenario dat veel voorkomt in real-world toepassingen waar belanghebbenden verschillende eigenschappen waarderen (bijv. feitelijke nauwkeurigheid versus creativiteit).

Methodologie
De auteurs formaliseren recursieve hertraining onder heterogene voorkeuren met behulp van een theoretisch kader dat combineert:

1. Multi-Preference Selectie: Bij elke hertrainingsstap wordt een beloningsfunctie probabilistisch gekozen uit een vaste mix (bijv. $r_1$ met waarschijnlijkheid $q$, $r_2$ met waarschijnlijkheid $1-q$).
2. Bradley-Terry (BT) Curatie: Gegeven een set van $K$ kandidaten die zijn bemonsterd uit de huidige modelverdeling $p_t$, wordt een enkele steekproef geselecteerd op basis van de gekozen beloning $r$ met behulp van het BT-model, dat selectiewaarschijnlijkheden toekent evenredig aan $e^{r(x)}$.
3. Idealized MLE Update: Het model wordt hergetraind via exacte Maximum Likelihood Estimation (MLE) op de geselecteerde steekproef, wat effectief de volgende verdeling $p_{t+1}$ gelijkstelt aan de verdeling van de geselecteerde steekproef.
4. Grote-Pool Limietanalyse: De auteurs analyseren de dynamiek in de limiet van grote kandidaat-pools ($K \to \infty$), waarbij het selectiegewicht convergeert naar een exponentiële kanteling van het huidige model. Zij introduceren $\epsilon$-optimale bassins ($S_{i,\epsilon}$) die gebieden vertegenwoordigen waar beloningen dicht bij hun maximum liggen, en definiëren lekfactoren ($\kappa$) om cross-reward versterking te kwantificeren (hoezeer één beloning het bassin van de ander bevoordeelt).

Belangrijkste Bijdragen
Het artikel levert drie primaire theoretische bijdragen:

1. Pluralistische Hertrainingsdynamiek: De auteurs formaliseren dat onder heterogene voorkeuren de update-regel werkt als een convexe combinatie van exponentiële kantelingen. Zij bewijzen dat als er een "buiten-bassin-gap" bestaat (gebieden buiten de optimale bassins zijn uniform slechter), de waarschijnlijkheidsmassa contracteert naar de unie van de bijna-optimale bassins ($S_\epsilon$), waardoor totale instorting tot een enkel punt wordt voorkomen.
2. Leakage-Gecontroleerde Limietstructuur: De studie karakteriseert de limietverdeling als een mix die wordt ondersteund op de unie van de concurrerende bassins. Het gewicht van deze mix wordt beperkt door lekfactoren. In het hard-separation regime (waar bassins disjunct zijn en cross-reward lekken verdwijnt), convergeert het limietmixgewicht exact naar de beloning-bemonsteringswaarschijnlijkheid $q$.
3. Non-Collapse en Waarde-aggregatie: Het artikel bewijst dat de limietverdeling diversiteit behoudt, wat blijkt uit een strikt positieve beloningsvariantie. Bovendien stelt het vast dat de limietmix voldoet aan een gewogen Nash-bargainingoplossing, wat een formele interpretatie biedt van hoe conflicterende doelstellingen worden geaggregeerd in synthetische hertrainingslussen.

Resultaten
Theoretische en empirische resultaten bevestigen het volgende:

• Behoud van Diversiteit: In tegenstelling tot hertraining met een enkele beloning, voorkomt pluralistische curatie dat de verdeling instort tot een enkele mode. De limietverdeling behoudt niet-triviale massa op meerdere hoog-belonende gebieden.
• Fase-overgangen: Empirische experimenten met synthetische Gaussische mixtures tonen een fase-overgang aan op basis van de afstand tussen beloningsoptima. Wanneer optima goed gescheiden zijn, stabiliseert het model als een twee-mode-mix met positieve variantie. Naarmate de afstand afneemt, daalt de variantie en stort het model in richting een compromisgebied.
• CIFAR-10 en Tekstexperimenten:
  • Op CIFAR-10 verbetert het verhogen van het aantal gebalanceerde voorkeuren (van 2 naar 5) de steekproefkwaliteit (lagere FID) en diversiteit (hogere entropie, lagere KL-divergentie). Omgekeerd leiden onbalans voorkeuren (hoge polarisatie) tot degradatie en gedeeltelijke instorting.
  • Bij tekstgeneratie (GPT-2) met conflicterende lengtevoorkeuren leidt het vergroten van de afstand tussen doel-lengtes tot een hogere gehandhaafde entropie in de outputverdeling, wat aangeeft dat het model een beleid handhaaft dat hedges tussen doelstellingen, in plaats van in te storten tot een enkele compromis-lengte.

Betekenis en Claims
Het artikel claimt de heersende conclusie omver te werpen dat synthetische hertraining onvermijdelijk leidt tot instorting. Het betoogt dat instorting niet inherent is aan het gebruik van synthetische data, maar eerder een gevolg is van hoe die data wordt gecurateerd. Door pluralistische voorkeuren toe te passen, fungeert de hertrainingslus als een regularisator die overfitting op smalle aligneringsignalen weerstaat.

De auteurs positioneren hun werk als een theoretische fundering voor het begrijpen van multi-objective alignment in praktijken zoals Reinforcement Learning from Human Feedback (RLHF). Zij suggereren dat pluralistische curatie een theoretisch onderbouwde mechanisme biedt voor het aligneren van generatieve modellen met veelzijdige menselijke waarden zonder diversiteit of kwaliteit op te offeren, met name in scenario's waar menselijk toezichtdata schaars is. Het werk biedt een formele rechtvaardiging voor het gebruik van mixed-reward strategieën om robuustheid en representatieve breedte in generatieve modellen te behouden.