🤖 AI

Manifold Drift in Flow Preference Optimization: A Root Cause of Reward Hacking

Este artículo identifica el "desplazamiento de variedad" (manifold drift) como una causa raíz del hackeo de recompensa en el ajuste de flujo en tiempo continuo, donde las actualizaciones de preferencia empujan las muestras fuera de la variedad de datos preentrenados, y propone ThermoDPO —un objetivo controlado por temperatura con una variante ponderada— para anclar la optimización y mejorar significativamente el rendimiento en evaluaciones como SD3.5-M.

Autores originales: Yansen Han, Shengyi Liao, Yuanxing Zhang, Pengfei Wan, Tao Lin

Publicado 2026-08-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yansen Han, Shengyi Liao, Yuanxing Zhang, Pengfei Wan, Tao Lin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, un tipo específico de aprendizaje automático ha revolucionado recientemente la forma en que las computadoras crean imágenes, videos y texto. Estos sistemas, a menudo llamados modelos generativos, no simplemente copian y pegan imágenes existentes; aprenden a construir nuevas desde cero siguiendo un camino de transformaciones matemáticas. Imagine comenzar con puro ruido estático y refinarlo gradualmente, paso a paso, hasta que emerja una imagen clara. Este proceso es guiado por un mapa aprendido durante el entrenamiento, el cual asegura que la imagen final parezca algo que podría existir en el mundo real. Para hacer estas creaciones más útiles, los investigadores enseñan a los modelos a preferir ciertos resultados sobre otros, como generar una imagen que coincida con una descripción específica o siga el gusto humano. Esto se conoce como optimización de preferencias. Sin embargo, una pregunta crítica ha persistido: cuando impulsamos estos modelos para satisfacer nuevas preferencias, ¿se mantienen dentro de los límites de lo que aprendieron a crear, o se desvían hacia un territorio extraño e irreal?

Un equipo de investigadores ha identificado un fallo oculto en cómo los métodos actuales guían estos modelos de tiempo continuo. Descubrieron que, al intentar hacer que un modelo genere imágenes que los humanos prefieran, el enfoque estándar a menudo obliga al modelo a tomar un atajo que rompe las reglas fundamentales de su entrenamiento. Los investigadores llaman a este fenómeno "deriva del manifold" (manifold drift). En términos sencillos, el modelo aprende a producir imágenes que puntúan alto en una prueba específica, como leer texto correctamente, pero al hacerlo, aleja su producción de las formas naturales y de alta calidad que originalmente aprendió a generar. El resultado es una imagen que puede tener las palabras correctas, pero se ve distorsionada, borrosa o de formas sin sentido en otros aspectos. Esta es una forma de "hackeo de recompensa" (reward hacking), donde el modelo encuentra un vacío legal para ganar el juego sin realmente jugarlo bien. El equipo demostró que esto sucede porque las actualizaciones matemáticas utilizadas para enseñar preferencias empujan la imagen final fuera del camino seguro y aprendido, hacia un espacio desconocido y de baja calidad.

Para resolver esto, los investigadores desarrollaron un nuevo método llamado THERMODPO. En lugar de dejar que el modelo deambule libremente hacia un resultado preferido, este nuevo enfoque actúa como un ancla, manteniendo el proceso de generación sujeto al camino original de alta calidad mientras aún lo dirige hacia el resultado deseado. El método utiliza un mecanismo de control, similar a un dial de temperatura, para equilibrar el impulso por la preferencia con la necesidad de mantenerse conectado a la realidad. Cuando la "temperatura" se establece correctamente, el modelo aprende a mejorar su alineación con las preferencias humanas sin sacrificar la fidelidad visual que ganó durante su entrenamiento inicial. Los investigadores probaron esta idea en un paisaje digital simple y controlado primero, donde podían ver claramente al modelo desviándose del camino con los métodos antiguos y manteniéndose en el rumbo con el suyo nuevo. En estas pruebas, su nuevo método alcanzó una puntuación de casi 0.90 en una métrica que mide tanto la preferencia como la calidad, superando significativamente a las técnicas anteriores que puntuaban alrededor de 0.63.

Luego, el equipo pasó a la generación de imágenes del mundo real utilizando un modelo poderoso conocido como Stable Diffusion 3.5. Pidieron a los modelos que generaran imágenes que contuvieran texto específico, un desafío difícil donde los modelos suelen tener problemas para mantener las letras legibles sin arruinar la imagen. Usando su nuevo método, los investigadores mejoraron la precisión del texto en un 47.5 por ciento en comparación con el modelo base, aumentando también el rendimiento promedio a través de cuatro métricas de calidad diferentes en un 16 por ciento. En contraste, otros métodos que mejoraban la precisión del texto a menudo causaban que la calidad general de la imagen se degradara, haciendo que el texto fuera claro pero la imagen circundante se viera deformada o rota. Los investigadores encontraron que su enfoque mejoraba con éxito el objetivo específico de leer el texto mientras mantenía el resto de la imagen con un aspecto natural y coherente.

Este trabajo sugiere que el problema del hackeo de recompensa en los modelos generativos no es solo una cuestión de ajustar parámetros, sino un problema estructural fundamental donde el camino hacia una mejor recompensa conduce lejos de los datos que el modelo mejor conoce. Al formalizar esta deriva e introducir un método para contrarrestarla, los investigadores han proporcionado una forma de alinear los modelos generativos continuos con las preferencias humanas sin perder la calidad visual que los hace útiles. Sus hallazgos indican que es posible tener tanto una mejor alineación como una mejor preservación de los datos de entrenamiento originales, ofreciendo un camino más confiable para el desarrollo de una IA que cree contenido de alta calidad y controlable.

Resumen Técnico: Deriva de la Variedad (Manifold Drift) en la Optimización de Preferencias de Flujo

Definición del Problema: Deriva de la Variedad (Manifold Drift)
El artículo identifica un modo de fallo fundamental al aplicar la Optimización de Preferencias Directas (DPO) a modelos generativos de tiempo continuo, específicamente al Flow Matching (FM) y a los modelos de difusión.

DPO es efectivo para modelos discretos (como los LLM) mediante el reponderado de las probabilidades de salida, pero los modelos continuos generan muestras transportando ruido a lo largo de trayectorias aprendidas hacia una variedad de datos.

Los autores argumentan que las actualizaciones de preferencia estándar (por ejemplo, FlowDPO) modifican estas dinámicas de transporte de una manera que no está intrínsecamente restringida a la variedad de datos preentrenada. Esto conduce a la Deriva de la Variedad (Manifold Drift), un fenómeno donde las muestras terminales del modelo ajustado se desplazan fuera del soporte de la distribución preentrenada ( $\text{supp}(\mu_\theta) \not\subseteq M_0$ ).

Causa Teórica: Teóricamente, el Flow Matching óptimo recupera la distribución de datos terminal. Sin embargo, una actualización de preferencia introduce un paso de gradiente donde el desplazamiento del punto final inducido tiene un componente no nulo normal a la variedad preentrenada. Este desplazamiento "fuera de la variedad" provoca que el modelo genere muestras que, aunque puedan puntuar más alto en una función de recompensa específica (por ejemplo, precisión de OCR), exhiben artefactos visuales, distorsiones semánticas o una fidelidad degradada.
Hackeo de Recompensa (Reward Hacking): El artículo postula que esta deriva es una causa raíz del hackeo de recompensa. Los modelos pueden alcanzar puntuaciones altas en recompensas "ajenas a la variedad" (como la corrección de texto) generando imágenes que son geométricamente inválidas o fuera de la distribución, eludiendo efectivamente la función de recompensa al abandonar el soporte de datos válido.

Metodología: THERMODPO
Para abordar la deriva de la variedad, los autores proponen THERMODPO, una formulación de optimización de preferencias controlada por temperatura que ancla explícitamente la optimización a la variedad preentrenada.

Formulación Termodinámica: El método enmarca el alineamiento como un acto de equilibrio entre la maximización de la recompensa y la preservación de la variedad, gobernado por una función de temperatura dependiente del tiempo $\tau(t)$ .
Sistema de Tres Estados: El objetivo minimiza el logaritmo negativo de la probabilidad de una muestra preferida dentro de un sistema de tres estados:
- Estado preferido ( $E_w$ )
- Estado rechazado ( $E_l$ )
- Estado de referencia/línea base ( $E_b$ )
  La función de pérdida se formula como:
  $L_{\text{ThermoDPO}}(\theta) = \mathbb{E}\left[ -\tau(t) \cdot t^2 \cdot \log \frac{e^{E_w}}{e^{E_w} + e^{E_l} + e^{E_b}} \right]$
Propiedades Teóricas:
- Reducción a RFT: A medida que la temperatura $\tau \to 0$ , el objetivo colapsa hacia el Ajuste de Muestreo de Rechazo (RFT), que impone estrictamente la reconstrucción de las muestras preferidas sobre la variedad.
- FlowDPO Anclado: Para $\tau > 0$ , el objetivo se descompone en un término de FlowDPO escalado por temperatura más un término de anclaje del lado del ganador no negativo. Este ancla penaliza las desviaciones de la variedad preentrenada para las muestras preferidas.
- Cota Geométrica: Teóricamente, la pérdida acota superiormente la distancia al cuadrado de la muestra preferida reconstruida respecto a la variedad de datos, proporcionando una garantía puntual contra la deriva.
Implementación Práctica (THERMODPO-weighted): La formulación estándar incluye un factor $t^2$ que debilita el ancla de la variedad cerca del punto final terminal ( $t=0$ ), donde la preservación es más crítica. Para resolver esto, los autores introducen THERMODPO-weighted, que reemplaza el $t^2$ global con un término $(1-t)^2$ . Esto activa dinámicamente el ancla cerca del tiempo terminal, asegurando una preservación robusta sin sacrificar las garantías teóricas del objetivo central.

Contribuciones Clave

Formalización de la Deriva de la Variedad: El artículo define formalmente la deriva de la variedad como un modo de fallo donde las trayectorias ajustadas abandonan el soporte terminal preentrenado, identificando el componente normal no nulo de la actualización como la condición suficiente para esta deriva.
Marco de Trabajo THERMODPO: Introduce un objetivo unificado que une el Ajuste de Muestreo de Rechazo (RFT) y FlowDPO, controlando explícitamente el compromiso entre la maximización de la recompensa y la preservación de la variedad.
Garantías Teóricas: Los autores proporcionan pruebas que muestran que THERMODPO se reduce a RFT en el límite de baja temperatura y se descompone en FlowDPO más un término de anclaje no negativo. También establecen una cota superior para la distancia a la variedad de las muestras preferidas.
Validación Empírica: A través de experimentos con modelos de juguete y benchmarks de imágenes reales, el artículo demuestra que THERMODPO-weighted logra un equilibrio superior entre el alineamiento de preferencias y la calidad de la muestra en comparación con métodos existentes.

Resultados

Benchmark de Modelo de Juguete: En una variedad 3D sintética, THERMODPO-weighted alcanzó un StrictScore de 0.899, superando significativamente a FlowDPO (0.629) y FlowDPO+RFT (0.857). Mientras que el FlowDPO vanilla logró altas tasas de "Victoria" (Win), sufrió un 0% de validez "En la Variedad" (OnManifold), confirmando la hipótesis de la deriva.
Generación de Imágenes Reales (SD3.5-M): Evaluado en Stable Diffusion 3.5-M utilizando un conjunto de datos de preferencia de OCR:
- THERMODPO-weighted mejoró las puntuaciones de OCR en un 47.5% (con CFG=4.5) en comparación con la línea base.
- Logró una mejora promedio del 16.0% en cuatro métricas (GenEval, OCR, HPSv3.0, UniReward).
- Crucialmente, a diferencia de las variantes de FlowDPO que mostraron una degradación notable de la calidad y puntuaciones más bajas en métricas no optimizadas (GenEval, HPSv3.0), THERMODPO-weighted mantuvo la fidelidad visual y se desempeñó de manera competitiva en las métricas no optimizadas directamente.
FLUX.2-klein-base-4B: Se observaron tendencias similares en una arquitectura de modelo diferente, reforzando la efectividad del método en diferentes generadores basados en flujo.

Significancia y Reivindicaciones
El artículo sostiene que la optimización de preferencias en modelos de tiempo continuo altera fundamentalmente la dinámica de transporte, no solo la selección de la salida. Al formalizar la deriva de la variedad, los autores argumentan que ignorar este problema estructural conduce al hackeo de recompensa y a la degradación de la calidad de la muestra. THERMODPO se presenta como una solución práctica que permite el alineamiento de preferencias sin sacrificar el prior generativo aprendido durante el preentrenamiento. Los autores posicionan esto como un paso necesario para un alineamiento fiable en la generación de imágenes y vídeo, particularmente para tareas donde las recompensas "ajenas a la variedad" (como la generación de texto) podrían fomentar comportamientos fuera de la distribución. El trabajo se enmarca como una contribución técnica para entornos de investigación offline controlados, con el objetivo de hacer que los generadores alineados sean más fiables en lugar de reclamar una seguridad inmediata para un despliegue sin restricciones.

Más como este