Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences

Riepilogo Tecnico: I Dati Sintetici Curati Non Devono Necessariamente Collassare

Enunciato del Problema
Il documento affronta la sfida critica del collasso delle modalità nel retraining ricorsivo dei modelli generativi. Man mano che la dipendenza dai dati sintetici aumenta per superare i colli di bottiglia nei dati generati dall'uomo, i modelli vengono spesso ritrained su sottoinsiemi curati delle loro stesse uscite. Lavori precedenti (ad esempio, Ferbach et al., 2024) hanno dimostrato che quando la curatela è guidata da una singola funzione di ricompensa fissa, la distribuzione del modello collassa inevitabilmente su un insieme ristretto di uscite che sovr-ottimizzano quel specifico obiettivo. Questo fenomeno si verifica perché il processo di selezione (modellato come una scelta di Bradley-Terry) ripesa esponenzialmente la distribuzione verso il massimizzatore globale della singola ricompensa, eliminando infine il supporto per altre regioni. Il documento si chiede se questo collasso sia inevitabile quando la curatela si basa su preferenze pluralistiche (multiple, potenzialmente conflittuali), uno scenario comune nelle applicazioni reali in cui gli stakeholder valorizzano tratti diversi (ad esempio, accuratezza fattuale vs. creatività).

Metodologia
Gli autori formalizzano il retraining ricorsivo sotto preferenze eterogenee utilizzando un quadro teorico che combina:

1. Selezione Multi-Preferenza: Ad ogni passo di retraining, una funzione di ricompensa è scelta probabilisticamente da una miscela fissa (ad esempio, $r_1$ con probabilità $q$, $r_2$ con probabilità $1-q$).
2. Curatela Bradley-Terry (BT): Dato un insieme di $K$ candidati campionati dalla distribuzione corrente del modello $p_t$, un singolo campione è selezionato sulla base della ricompensa scelta $r$ utilizzando il modello BT, che assegna probabilità di selezione proporzionali a $e^{r(x)}$.
3. Aggiornamento MLE Idealizzato: Il modello è ritrained tramite Massima Verosimiglianza (MLE) esatta sul campione selezionato, impostando efficacemente la distribuzione successiva $p_{t+1}$ sulla distribuzione del campione selezionato.
4. Analisi del Limite di Grande Pool: Gli autori analizzano le dinamiche nel limite di grandi pool di candidati ($K \to \infty$), dove il peso di selezione converge a un'inclinazione esponenziale del modello corrente. Introducono bacini $\epsilon$-ottimali ($S_{i,\epsilon}$) che rappresentano regioni in cui le ricompense sono vicine al loro massimo e definiscono fattori di perdita ($\kappa$) per quantificare il rinforzo incrociato tra ricompense (quanto una ricompensa favorisce il bacino dell'altra).

Contributi Chiave
Il documento apporta tre principali contributi teorici:

1. Dinamiche di Retrain Pluralistico: Gli autori formalizzano che, sotto preferenze eterogenee, la regola di aggiornamento agisce come una combinazione convessa di inclinazioni esponenziali. Dimostrano che se esiste un "vuoto fuori dal bacino" (le regioni al di fuori dei bacini ottimali sono uniformemente peggiori), la massa di probabilità si contrae nell'unione dei bacini quasi-ottimali ($S_\epsilon$), prevenendo il collasso totale in un singolo punto.
2. Struttura del Limite Controllata dalla Perdita: Lo studio caratterizza la distribuzione limite come una miscela supportata sull'unione dei bacini in competizione. Il peso di questa miscela è vincolato dai fattori di perdita. Nel regime di separazione rigida (dove i bacini sono disgiunti e la perdita incrociata tra ricompense svanisce), il peso misto limite converge esattamente alla probabilità di campionamento della ricompensa $q$.
3. Non-Collasso e Aggregazione del Valore: Il documento dimostra che la distribuzione limite preserva la diversità, come evidenziato da una varianza della ricompensa strettamente positiva. Inoltre, stabilisce che la miscela limite soddisfa una soluzione di contrattazione di Nash ponderata, fornendo un'interpretazione formale di come gli obiettivi conflittuali vengono aggregati nei cicli di retraining sintetico.

Risultati
I risultati teorici ed empirici confermano quanto segue:

• Preservazione della Diversità: A differenza del retraining con singola ricompensa, la curatela pluralistica previene il collasso della distribuzione su una singola modalità. La distribuzione limite mantiene una massa non banale su più regioni ad alta ricompensa.
• Transizioni di Fase: Gli esperimenti empirici su miscele gaussiane sintetiche mostrano una transizione di fase basata sulla distanza tra gli ottimi delle ricompense. Quando gli ottimi sono ben separati, il modello si stabilizza come una miscela a due modalità con varianza positiva. Man mano che la distanza diminuisce, la varianza scende e il modello collassa verso una regione di compromesso.
• Esperimenti su CIFAR-10 e Testo:
  • Su CIFAR-10, aumentare il numero di preferenze bilanciate (da 2 a 5) migliora la qualità del campione (FID più basso) e la diversità (entropia più alta, divergenza KL più bassa). Al contrario, preferenze sbilanciate (alta polarizzazione) portano a degradazione e collasso parziale.
  • Nella generazione di testo (GPT-2) con preferenze di lunghezza conflittuali, aumentare la distanza tra le lunghezze target porta a un'entropia sostenuta più alta nella distribuzione di output, indicando che il modello mantiene una politica di copertura tra gli obiettivi invece di collassare su una singola lunghezza di compromesso.

Significato e Affermazioni
Il documento afferma di sovvertire la conclusione prevalente secondo cui il retraining sintetico porta inevitabilmente al collasso. Sostiene che il collasso non è intrinseco all'uso di dati sintetici, ma è piuttosto una conseguenza di come tali dati vengono curati. Utilizzando preferenze pluralistiche, il ciclo di retraining agisce come un regolarizzatore che resiste all'overfitting su segnali di allineamento ristretti.

Gli autori posizionano il loro lavoro come fondamento teorico per comprendere l'allineamento multi-obiettivo in pratiche come l'Apprendimento per Rinforzo dal Feedback Umano (RLHF). Suggeriscono che la curatela pluralistica offre un meccanismo teoricamente solido per allineare i modelli generativi a valori umani multifaccettati senza sacrificare diversità o qualità, in particolare in scenari in cui i dati di supervisione umana sono scarsi. Il lavoro fornisce una giustificazione formale per l'uso di strategie a ricompensa mista per mantenere robustezza e ampiezza rappresentativa nei modelli generativi.