Principled RL for Flow Matching Emerges from the Chunk-level Policy Optimization

Resumen Técnico: RL Principiado para Ajuste de Flujo mediante Optimización de Políticas a Nivel de Bloques

Enunciado del Problema
Los avances recientes en modelos de ajuste de flujo texto-a-imagen (T2I) posteriores al entrenamiento han aprovechado la Optimización de Políticas Relativa por Grupos (GRPO) para alinear las imágenes generadas con las preferencias humanas. Sin embargo, GRPO adolece de una limitación crítica: atribución de ventaja inexacta. En GRPO estándar, la recompensa final obtenida de una imagen generada se atribuye uniformemente a cada paso de la trayectoria de generación. Esto se basa en la suposición de que un resultado final superior implica una política superior en cada paso intermedio. Los autores demuestran que esta suposición se viola con frecuencia; una trayectoria que produce una recompensa final mejor puede contener pasos intermedios con políticas inferiores en comparación con una trayectoria con una recompensa final peor. Esta mala atribución introduce señales de optimización ruidosas, lo que conduce a inestabilidad en el entrenamiento. Aunque los modelos de recompensa conscientes del proceso podrían teóricamente resolver esto, requieren grandes cantidades de datos de preferencia para imágenes intermedias ruidosas, los cuales actualmente no están disponibles.

Metodología: Optimización de Políticas por Agrupación de Bloques (GCPO)
Para abordar la atribución de ventaja inexacta sin introducir recompensas de proceso, los autores proponen la Optimización de Políticas por Agrupación de Bloques (GCPO). Este enfoque desplaza el paradigma de optimización de políticas desde el nivel de paso al nivel de bloque.

1. Agregación a Nivel de Bloque: En lugar de tratar cada paso de generación como una acción independiente, GCPO agrupa pasos consecutivos en un "bloque de acción" coherente. La política se optimiza sobre estos bloques, tratando cada bloque como una acción atómica única. Esta agregación suaviza las fluctuaciones del gradiente causadas por la atribución incorrecta de ventajas en pasos individuales.
2. Agrupación Guiada por Dinámica Temporal: Los autores observan que el ajuste de flujo exhibe dinámicas temporales distintas, donde diferentes pasos contribuyen de manera desigual a la imagen final. Utilizan la distancia relativa $L_1$ en el espacio latente ($L1_{rel}(x, t)$) para cuantificar la tasa de cambio. Los pasos con dinámicas temporales similares (por ejemplo, tasas similares de cambio latente) se agrupan en el mismo bloque, mientras que los pasos con dinámicas distintas se separan. Se emplea una estrategia adaptativa que analiza recursivamente las derivadas de la distancia relativa para particionar las trayectorias en bloques significativos.
3. Ratio de Importancia Principiado: El objetivo de optimización se reformula para utilizar un ratio de importancia a nivel de bloque. Este ratio se calcula basándose en la probabilidad de todo el bloque, normalizado por el tamaño del bloque, garantizando estabilidad.
4. Muestreo Ponderado (Opcional): Para mejorar aún más el rendimiento, se introduce una estrategia opcional de muestreo ponderado. Basándose en estudios de ablación que muestran que las regiones de alto ruido (pasos tempranos) contribuyen más a la alineación de preferencias pero sufren inestabilidad, esta estrategia asigna pesos de muestreo más altos a los bloques con valores promedio más altos de $L1_{rel}$.

Contribuciones Clave

• Pionero en RL a Nivel de Bloque: El artículo introduce el primer enfoque de aprendizaje por refuerzo a nivel de bloque para el ajuste posterior en la generación T2I mediante ajuste de flujo.
• Mitigación de Problemas de Atribución de Ventaja: Al tratar pasos consecutivos como una única acción, GCPO mitiga eficazmente los efectos adversos de la atribución de ventaja inexacta inherente a GRPO a nivel de paso, lo que conduce a un entrenamiento más estable.
• Integración de Dinámicas Temporales: El método integra la agrupación guiada por dinámica temporal con un ratio de importancia a nivel de bloque principiado, alineando el proceso de optimización con la estructura intrínseca del ajuste de flujo.
• Mejoras de Rendimiento: Experimentos extensivos demuestran que GCPO logra un rendimiento superior tanto en la alineación de preferencias como en las pruebas estándar de T2I, con ganancias relativas de hasta un 43% sobre las líneas base de GRPO.

Resultados Experimentales
Los autores evaluaron GCPO utilizando el modelo FLUX.1 Dev en el conjunto de datos HPDv2.1, comparándolo con líneas base como Dance-GRPO y Flow-GRPO.

• Alineación de Preferencias: GCPO logró mejoras significativas en las métricas dentro del dominio (HPSv3) y fuera del dominio (ImageReward), superando a las líneas base en hasta un 43%.
• Pruebas Estándar: En las pruebas GenEval y DPG, GCPO demostró el rendimiento más fuerte, con ganancias relativas hasta tres veces mayores que las líneas base.
• Estudio con Usuarios: En un estudio de preferencia humana a través de 40 prompts, las variantes de GCPO fueron preferidas sobre Dance-GRPO en el 72.5% de los casos.
• Estudios de Ablación:
  • Estrategia de Agrupación: La agrupación guiada por dinámica temporal superó a la agrupación de tamaño fijo, confirmando la importancia de alinear la optimización con las estructuras temporales intrínsecas.
  • Muestreo Ponderado: Si bien esta estrategia mejoró la alineación de preferencias, mostró efectos mixtos en las pruebas estándar de T2I, desestabilizando ocasionalmente las estructuras de las imágenes en regiones de alto ruido.

Significado y Afirmaciones
El artículo afirma que GCPO representa un avance principiado en RL para el ajuste de flujo al abordar el problema fundamental de la atribución de ventaja inexacta mediante un cambio en la granularidad de la optimización. Los autores argumentan que el desplazamiento desde la optimización a nivel de paso hacia la optimización a nivel de bloque, guiada por las dinámicas temporales inherentes del proceso de generación, proporciona una solución robusta que no requiere los datos no disponibles para los modelos de recompensa de proceso. El trabajo destaca que la optimización de políticas a nivel de bloque es una dirección prometedora para estabilizar y mejorar el ajuste posterior de los modelos de flujo generativos. Los autores notan modestamente limitaciones, como la posibilidad de mejoras adicionales mediante la combinación de recompensas heterogéneas en diferentes bloques, y reconocen los riesgos generales asociados con la IA generativa avanzada, incluido el potencial de mal uso en la creación de deepfakes.