Resumen Técnico: Optimización de Preferencias por Desplazamiento (Drifting Preference Optimization) para Modelos Generativos de un Solo Paso

Planteamiento del Problema

Los generadores de texto a imagen de un solo paso (por ejemplo, SD-Turbo, SDXL-Turbo) son altamente atractivos para su despliegue debido a su capacidad para generar imágenes en una sola pasada hacia adelante (forward pass), lo que permite aplicaciones de baja latencia y con recursos limitados. Sin embargo, alinear estos modelos con las preferencias humanas mediante el post-entrenamiento sigue siendo un desafío.

Los métodos de alineación estándar, como el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) y la Optimización de Preferencia Directa (DPO), dependen típicamente de probabilidades de políticas estocásticas, razones de densidad o trayectorias de eliminación de ruido (denoising)—estructuras que no están disponibles o están mal definidas en generadores deterministas de un solo paso. Si bien la retropropagación directa de una recompensa diferenciable a través de la imagen generada es una alternativa, requiere que el modelo de recompensa sea diferenciable. Este enfoque puede volverse computacionalmente prohibitivo para recompensas basadas en Modelos de Lenguaje-Visión (VLM) de gran tamaño, y es imposible para evaluadores de caja negra o discretos (por ejemplo, comprobaciones de corrección basadas en reglas). En consecuencia, existe la necesidad de un método de ajuste fino de preferencias que:

1. Funcione con generadores deterministas de un solo paso.
2. Evite la retropropagación a través del modelo de recompensa.
3. Soporte recompensas grandes, de caja negra o no diferenciables.
4. Preserve la capacidad de inferencia de una sola pasada hacia adelante.

Metodología: Optimización de Preferencias por Desplazamiento (DrPO)

Los autores proponen DrPO, un método de ajuste fino de preferencias en línea que convierte las muestras clasificadas por recompensa en una dirección de actualización en el espacio de características sin requerir gradientes de recompensa. El método se inspira en los "Modelos de Desplazamiento" (Drifting Models), que reemplazan la estimación explícita de la densidad por campos de desplazamiento en el espacio de características.

Mecanismo Central

DrPO opera construyendo un campo de preferencia dipolo no paramétrico y un campo de desplazamiento de referencia en el espacio de características latentes.

1. Muestreo de Candidatos y Clasificación:
   Para un prompt dado, el generador actual $g_\theta$ muestrea un lote de candidatos. Un modelo de recompensa objetivo $R$ (que puede ser no diferenciable) clasifica estos candidatos. Basándose en esta clasificación, el método forma pares de muestras positivas (puntuación alta) y negativas (puntuación baja).

2. Campo de Preferencia Dipolo ($V_{pref}$):
   En lugar de utilizar el gradiente de la función de recompensa, DrPO sintetiza una dirección de actualización utilizando un mecanismo de atracción-repulsión ponderado por kernel.

• Atracción: Las muestras positivas atraen la representación de características actual hacia ellas.
• Repulsión: Las muestras negativas alejan la representación de ellas.
  Esto se formaliza como un campo dipolo donde la velocidad de actualización es la diferencia entre el desplazamiento medio (mean-shift) de las muestras positivas y el desplazamiento medio de las muestras negativas en el espacio de características. Este campo es local; los puntos alejados de las muestras observadas reciben actualizaciones insignificantes, lo que reduce los errores de extrapolación.

3. Desplazamiento de Referencia ($V_{ref}$):
   Para evitar que el generador se desvíe demasiado de su distribución original (colapso de modo o pérdida de fidelidad), se estima un desplazamiento de referencia a partir de un generador base congelado ($g_{ref}$). Esto actúa como una fuerza estabilizadora, similar a la regularización KL en el RLHF estándar, pero estimado mediante desplazamiento basado en muestras en lugar de razones de verosimilitud.

4. Objetivo de Optimización:
   El campo de actualización total es la suma del campo de preferencia y el campo de referencia ponderado: $V_{DrPO} = V_{pref} + \lambda V_{ref}$. El generador es entrenado para minimizar la distancia entre su salida de características actual y un objetivo desprendido (detached target):
   $$z^* = \text{sg}(z + \eta V_{DrPO}(z))$$
   donde $z$ es la representación de características de la imagen generada, $\text{sg}$ denota el operador de parada de gradiente (stop-gradient) y $\eta$ es una escala de velocidad. La pérdida es un simple error cuadrático medio entre las características actuales y el objetivo desprendido.

Propiedades Clave

• Agnosticismo de Recompensa: Dado que el modelo de recompensa solo se utiliza para clasificar muestras y formar los conjuntos positivo/negativo ($A^+$ y $A^-$), la función de recompensa en sí misma nunca necesita ser diferenciada. Esto permite el uso de recompensas basadas en VLM (como HPSv3) y evaluadores de tareas discretas (como GenEval).
• Inferencia de un Solo Paso: El entrenamiento modifica los pesos del generador, pero la inferencia sigue siendo una sola pasada hacia adelante del generador actualizado. No se requiere optimización o búsqueda en el tiempo de prueba.
• Extensión Offline: Los autores proponen una variante offline ingenua donde los pares de preferencia se extraen de un conjunto de datos fijo en lugar de un muestreo en línea, aunque señalan que esto requiere un manejo cuidadoso de la escasez fuera de la política (off-policy sparsity).

Contribuciones Clave

1. Algoritmo DrPO: Un nuevo método de ajuste fino de preferencias en línea para generadores deterministas de un solo paso que convierte las muestras clasificadas por recompensa en un desplazamiento de actualización desprendido, eliminando la necesidad de la retropropagación de la recompensa.
2. Campo de Preferencia Dipolo: Un mecanismo no paramétrico que construye direcciones de actualización en el espacio latente a partir de muestras positivas y negativas, reemplazando los gradientes de recompensa tradicionales con actualizaciones de desplazamiento basadas en muestras.
3. Validación Empírica: Evaluación exhaustiva en SD-Turbo y SDXL-Turbo a través de múltiples modelos de recompensa (PickScore, HPSv3, ImageReward, GenEval). DrPO demuestra un rendimiento superior entre las líneas base libres de gradiente de recompensa.
4. Ganancias de Eficiencia: Demostración de que DrPO reduce significativamente la computación de entrenamiento al eliminar la necesidad de la retropropagación a través del modelo de recompensa.

Resultados Experimentales

Los autores evaluaron DrPO en SD-Turbo y SDXL-Turbo utilizando benchmarks que incluyen Pick-a-Pic v2, Parti-Prompts y GenEval.

• Rendimiento: En SDXL-Turbo, DrPO logró las mayores ganancias entre las líneas base de un solo paso libres de gradiente de recompensa (DPO1-step, PSO, GRPO1-step) en términos de PickScore, Puntuación Estética (AES) e ImageReward. Se acercó o igualó el rendimiento de los métodos basados en gradientes de recompensa (como DRaFT) evitando el costo computacional de la retropropagación a través de la recompensa.
• Preferencia Humana/VLM: Las evaluaciones de pares utilizando Qwen3-VL mostraron que las imágenes generadas por DrPO fueron consistentemente preferidas sobre los métodos de un solo paso de la línea base y el modelo base, indicando una mejor fidelidad de prompt y coherencia visual.
• Recompensas No Diferenciables: DrPO utilizó con éxito las puntuaciones de GenEval (una métrica discreta y no diferenciable para restricciones composicionales) para mejorar el rendimiento en tareas como el conteo, la colocación de colores y la vinculación de objetos, donde los métodos basados en gradientes fallan.
• Eficiencia: Al entrenar con el gran modelo de recompensa HPSv3, DrPO redujo el tiempo de actualización en 3.51× en comparación con una línea base que realiza la retropropagación a través de la recompensa, bajo configuraciones de lote efectivo equivalentes.
• Ablaciones: Los experimentos confirmaron que aumentar el tamaño del grupo de candidatos mejora la estabilidad, y que las características de latent-MAE superan a las características latentes puras para el cálculo del desplazamiento. El método resultó robusto a las elecciones de kernel y escalas de velocidad.

Significado y Reivindicaciones

El artículo afirma que DrPO proporciona una solución práctica para alinear modelos generativos de un solo paso con señales de recompensa complejas, costosas o no diferenciables. Al desacoplar la evaluación de la recompensa del gradiente de optimización, DrPO permite el uso de modelos de recompensa de vanguardia basados en VLM (como HPSv3) para el ajuste fino de generadores rápidos sin incurrir en el costo computacional prohibitivo de diferenciar a través de ellos.

Los autores posicionan a DrPO como un paso significativo hacia la democratización de la generación de imágenes de alta calidad y baja latencia para aplicaciones interactivas donde tanto la velocidad como la alineación con las preferencias humanas son críticas. También señalan que, si bien sus experimentos offline son preliminares, el enfoque de síntesis de gradiente basado en muestras ofrece una dirección prometedora para extender la optimización de preferencias a entornos offline donde el muestreo en línea no es factible.

El trabajo no pretende resolver todos los desafíos de alineación; reconoce que la calidad del campo de preferencia depende de la capacidad del extractor de características para codificar los atributos específicos que se están optimizando y que el método hereda las limitaciones del modelo de recompensa subyacente utilizado para la clasificación.