Resumen Técnico: ConsistentRFT

1. Planteamiento del Problema

El Ajuste Fino por Refuerzo (RFT, por sus siglas en inglés) en modelos generativos basados en flujo es esencial para alinear la generación de imágenes con las preferencias humanas. Sin embargo, los métodos actuales de RFT basados en flujo (por ejemplo, DDPO, DPO, variantes de GRPO) introducen frecuentemente alucinaciones visuales. Estas se manifiestan de tres formas principales:

1. Sobreoptimización de Detalles: La generación de detalles irrelevantes, sobreaguzamiento (over-sharpening) y artefactos de rejilla.
2. Desalineación Semántica: Una desconexión entre la imagen generada y el texto de la instrucción (prompt).
3. Inconsistencia entre Pasos: Degradación semántica y divergencia al utilizar muestreo de pocos pasos.

Los autores identifican que los métodos actuales fallan porque operan bajo una perspectiva unificada de Exploración (rollouts de SDE) y Explotación (actualizaciones de gradiente de política) que es fundamentalmente defectuosa para los modelos de flujo:

• Exploración Limitada: Los rollouts de Ecuaciones Diferenciales Estocásticas (SDE) suelen producir un dominio de exploración estrecho. Cuando se utiliza el mismo ruido inicial con variaciones en el ruido del proceso, los modelos generan imágenes altamente similares que difieren solo en detalles locales. Esto conduce a una optimización de grano fino que enfatiza excesivamente las texturas locales mientras descuida la semántica global.
• Distorsión de Imitación de Trayectorias: Los métodos de gradiente de política (como GRPO) se reinterpretan como imitación de trayectorias ponderadas por recompensa. Estos obligan al modelo a imitar trayectorias estocásticas y no lineales de SDE para maximizar las recompensas. Esto entra en conflicto con el objetivo de pre-entrenamiento de aprender un campo de velocidad determinista y consistente, lo que distorsiona el campo vectorial fundacional del modelo y causa inestabilidad.

2. Metodología: ConsistentRFT

Para mitigar estas alucinaciones, los autores proponen ConsistentRFT, un marco general compatible con métodos de RFT en línea (DDPO, DPO, GRPO). Consta de dos componentes principales:

A. Despliegue de Granularidad Dinámica (DGR)

Este mecanismo aborda la limitación de Exploración equilibrando la semántica global y los detalles locales mediante un cronograma de ruido dinámico.

• Cronograma Inter-Grupo: El proceso de entrenamiento se divide en periodos que contienen despliegues de grano fino y de grano grueso.
  • Grano Fino: Utiliza la inyección de ruido progresiva (variación del ruido del proceso) para refinar los detalles locales.
  • Grano Grueso: Utiliza diferentes fuentes de ruido inicial para explorar variaciones semánticas globales.
  • Esto evita que el modelo se quede atrapado en óptimos locales centrados únicamente en los detalles.
• Cronograma Intra-Grupo: Para mejorar la diversidad dentro de los grupos de grano fino sin un exceso de computación, el método emplea un despliegue consciente del progreso con agrupamiento (clustering).
  • Realiza una predicción intermedia de un solo paso para evaluar el estado.
  • Las muestras se agrupan en el espacio latente para seleccionar grupos representativos (uno para el refinamiento de detalles, otro para la percepción de grano grueso), asegurando la diversidad mientras se reduce la carga computacional.

B. Optimización de Gradiente de Política Consistente (CPGO)

Este mecanismo aborda la distorsión de la Explotación preservando la consistencia intrínseca del modelo.

• Perspectiva Central: En lugar de imitar puramente trayectorias estocásticas de SDE, CPGO impone la fidelidad de predicción de un solo paso mediante restricciones de Ecuaciones Diferenciales Ordinarias (ODE).
• Implementación: Alinea la predicción actual del modelo en el paso $t$ con la predicción del modelo anterior en el paso $t-1$ utilizando un resolvedor basado en ODE.
  • La función de objetivo añade un término de consistencia: $J_{CPGO} = -\mathbb{E}[\|\pi^{ODE}_{\theta}(x_t, t) - \pi^{ODE}_{\theta_{old}}(x_{t-1}, t-1)\|^2]$.
• Efecto: Esto restringe la optimización para que siga trayectorias más suaves y consistentes, evitando que el modelo imite muestras alucinadas interpoladas de la distribución pre-entrenada.

C. Evaluador de Alucinaciones Visuales (VH-Evaluator)

Los autores introducen una nueva métrica de evaluación que combina métricas objetivas de bajo nivel (por ejemplo, varianza de Laplacian, detección de patrones de rejilla) y evaluaciones de alto nivel mediante Modelos de Lenguaje Multimodales Grandes (MLLM) para cuantificar específicamente la sobreoptimización de detalles y las alucinaciones perceptuales.

3. Contribuciones Clave

1. Análisis de las Causas de la Alucinación: El artículo proporciona un análisis preliminar que atribuye las alucinaciones visuales en el RFT basado en flujo a dos elecciones de diseño específicas: el dominio de exploración limitado en los rollouts de SDE (que conduce a la sobreoptimización de detalles) y la distorsión del campo vectorial causada por la imitación de trayectorias en los gradientes de política.
2. Despliegue de Granularidad Dinámica (DGR): Un novedoso mecanismo de programación que equilibra dinámicamente la exploración semántica global y el refinamiento de detalles locales, evitando que el modelo se enfoque exclusivamente en artefactos de grano fino.
3. Optimización de Gradiente de Política Consistente (CPGO): Una formulación de gradiente de política que impone consistencia temporal y alineación con un prior estable, mitigando las inconsistencias introducidas por la imitación de trayectorias estocásticas.
4. Evaluación Exhaustiva: La introducción del VH-Evaluator y experimentos extensos que demuestran reducciones significativas en las alucinaciones a través de múltiples métricas.

4. Resultados Experimentales

Se realizaron experimentos extensos en el modelo FLUX.1-dev utilizando el conjunto de datos HPDv2 y el benchmark HPS-v2.

• Reducción de Alucinaciones: ConsistentRFT logró una reducción promedio del 49% en las alucinaciones perceptuales de bajo nivel (por ejemplo, patrones de rejilla, ruido) y del 38% en las alucinaciones perceptuales de alto nivel en comparación con los métodos de referencia.
• Generalización Fuera del Dominio: A diferencia de los métodos de referencia que a menudo sacrifican el rendimiento fuera del dominio por ganancias dentro del dominio (por ejemplo, MixGRPO mejoró HPS pero redujo los puntajes CLIP en 10.8%), ConsistentRFT mejoró las métricas fuera del dominio. Específicamente, mostró una mejora del 5.1% en las puntuaciones integrales en FLUX1.dev, mientras que el método de referencia disminuyó un 0.4%.
• Rendimiento vs. SOTA: El método superó a los métodos de referencia de RFT de última generación (variantes de DDPO, DPO, GRPO) en puntuaciones de preferencia humana (ImageReward, PickScore) y calidad estética, manteniendo la alineación semántica.
• Eficiencia: El método es compatible con los gradientes de política estándar y ofrece aceleraciones. Por ejemplo, el Intra-Group DGS redujo el tiempo de entrenamiento en aproximadamente un 18.6% en comparación con el DanceGRPO estándar, manteniendo o mejorando el rendimiento.
• Muestreo de Pocos Pasos: El método demostró una estabilidad superior en los escenarios de muestreo de pocos pasos, donde otros métodos suelen degradarse.

5. Significado y Reivindicaciones

El artículo afirma que ConsistentRFT ofrece una solución general al problema persistente de las alucinaciones visuales en el ajuste fino por refuerzo basado en flujo. Al desacoplar la optimización de la semántica global y los detalles locales (mediante DGR) y forzar la consistencia del campo vectorial (mediante CPGO), el marco permite que los modelos se alineen con las preferencias humanas sin sacrificar la integridad estructural y el realismo de las imágenes generadas.

Los autores posicionan este trabajo como una investigación preliminar sobre las causas específicas de las alucinaciones en la fase de post-entrenamiento de los modelos de flujo. Enfatizan que, si bien su método proporciona una estrategia de mitigación robusta, el desafío de las alucinaciones visuales también requiere modelos de recompensa más potentes y escalables, que anticipan que la comunidad desarrollará en el futuro. El trabajo no pretende resolver todos los problemas de alucinación, sino que demuestra un paso significativo hacia el equilibrio entre la alineación de preferencias y la fidelidad visual.