Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences

Resumen Técnico: Los Datos Sintéticos Curados No Tienen Por Qué Colapsar

Enunciado del Problema
El artículo aborda el desafío crítico del colapso de modos en el reentrenamiento recursivo de modelos generativos. A medida que aumenta la dependencia de datos sintéticos para superar los cuellos de botella en los datos generados por humanos, los modelos a menudo se reentrenan sobre subconjuntos curados de sus propias salidas. Trabajos anteriores (p. ej., Ferbach et al., 2024) demostraron que cuando la curación está impulsada por una función de recompensa única y fija, la distribución del modelo colapsa inevitablemente sobre un conjunto estrecho de salidas que sobre-optimizan ese objetivo específico. Este fenómeno ocurre porque el proceso de selección (modelado como una elección de Bradley-Terry) repondera exponencialmente la distribución hacia el maximizador global de la única recompensa, eliminando eventualmente el soporte para otras regiones. El artículo cuestiona si este colapso es inevitable cuando la curación se basa en preferencias pluralistas (múltiples, potencialmente conflictivas), un escenario común en aplicaciones del mundo real donde las partes interesadas valoran diferentes características (p. ej., precisión factual vs. creatividad).

Metodología
Los autores formalizan el reentrenamiento recursivo bajo preferencias heterogéneas utilizando un marco teórico que combina:

1. Selección de Múltiples Preferencias: En cada paso de reentrenamiento, una función de recompensa se elige probabilísticamente de una mezcla fija (p. ej., $r_1$ con probabilidad $q$, $r_2$ con probabilidad $1-q$).
2. Curación de Bradley-Terry (BT): Dado un conjunto de $K$ candidatos muestreados de la distribución actual del modelo $p_t$, se selecciona una sola muestra basada en la recompensa elegida $r$ utilizando el modelo BT, que asigna probabilidades de selección proporcionales a $e^{r(x)}$.
3. Actualización MLE Idealizada: El modelo se reentrena mediante Estimación de Máxima Verosimilitud (MLE) exacta en la muestra seleccionada, estableciendo efectivamente la siguiente distribución $p_{t+1}$ como la distribución de la muestra seleccionada.
4. Análisis de Límite de Gran Pool: Los autores analizan la dinámica en el límite de grandes pools de candidatos ($K \to \infty$), donde el peso de selección converge a una inclinación exponencial del modelo actual. Introducen cuencas $\epsilon$-óptimas ($S_{i,\epsilon}$) que representan regiones donde las recompensas están cerca de su máximo y definen factores de fuga ($\kappa$) para cuantificar el refuerzo cruzado de recompensas (cuánto favorece una recompensa la cuenca de la otra).

Contribuciones Clave
El artículo hace tres contribuciones teóricas principales:

1. Dinámicas de Reentrenamiento Pluralista: Los autores formalizan que, bajo preferencias heterogéneas, la regla de actualización actúa como una combinación convexa de inclinaciones exponenciales. Demuestran que si existe una "brecha fuera de la cuenca" (las regiones fuera de las cuencas óptimas son uniformemente peores), la masa de probabilidad se contrae en la unión de las cuencas casi óptimas ($S_\epsilon$), evitando un colapso total a un solo punto.
2. Estructura de Límite Controlada por Fuga: El estudio caracteriza la distribución límite como una mezcla soportada en la unión de las cuencas competidoras. El peso de esta mezcla está restringido por los factores de fuga. En el régimen de separación dura (donde las cuencas son disjuntas y la fuga cruzada de recompensas desaparece), el peso de la mezcla límite converge exactamente a la probabilidad de muestreo de recompensa $q$.
3. No Colapso y Agregación de Valores: El artículo demuestra que la distribución límite preserva la diversidad, evidenciado por una varianza de recompensa estrictamente positiva. Además, establece que la mezcla límite satisface una solución de negociación de Nash ponderada, proporcionando una interpretación formal de cómo se agregan los objetivos conflictivos en los bucles de reentrenamiento sintético.

Resultados
Los resultados teóricos y empíricos confirman lo siguiente:

• Preservación de la Diversidad: A diferencia del reentrenamiento con una sola recompensa, la curación pluralista evita que la distribución colapse a un solo modo. La distribución límite mantiene una masa no trivial en múltiples regiones de alta recompensa.
• Transiciones de Fase: Los experimentos empíricos en mezclas gaussianas sintéticas muestran una transición de fase basada en la distancia entre los óptimos de recompensa. Cuando los óptimos están bien separados, el modelo se estabiliza como una mezcla de dos modos con varianza positiva. A medida que la distancia disminuye, la varianza cae y el modelo colapsa hacia una región de compromiso.
• Experimentos en CIFAR-10 y Texto:
  • En CIFAR-10, aumentar el número de preferencias equilibradas (de 2 a 5) mejora la calidad de las muestras (FID más bajo) y la diversidad (entropía más alta, divergencia KL más baja). Por el contrario, las preferencias desequilibradas (alta polarización) conducen a la degradación y al colapso parcial.
  • En la generación de texto (GPT-2) con preferencias de longitud conflictivas, aumentar la distancia entre las longitudes objetivo conduce a una entropía sostenida más alta en la distribución de salida, lo que indica que el modelo mantiene una política de cobertura entre objetivos en lugar de colapsar a una única longitud de compromiso.

Significado y Afirmaciones
El artículo afirma que refuta la conclusión predominante de que el reentrenamiento sintético conduce inevitablemente al colapso. Argumenta que el colapso no es inherente al uso de datos sintéticos, sino más bien una consecuencia de cómo se curan esos datos. Al emplear preferencias pluralistas, el bucle de reentrenamiento actúa como un regularizador que resiste el sobreajuste a señales de alineación estrechas.

Los autores posicionan su trabajo como una base teórica para comprender la alineación multiobjetivo en prácticas como el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF). Sugieren que la curación pluralista ofrece un mecanismo teóricamente sólido para alinear modelos generativos con valores humanos multifacéticos sin sacrificar la diversidad ni la calidad, particularmente en escenarios donde los datos de supervisión humana son escasos. El trabajo proporciona una justificación formal para el uso de estrategias de recompensa mixta para mantener la robustez y la amplitud representacional en los modelos generativos.