h-Flow: Flexible Flow-based Image Editing via Doob's h-Transform

Resumen Técnico de h-Flow: Edición de Imágenes Flexible Basada en Flujos mediante la Transformada h de Doob

Declaración del Problema
La edición de imágenes basada en texto utilizando modelos de Flujo Rectificado (RF) de texto-a-imagen preentrenados enfrenta un compromiso fundamental entre la alineación con el objetivo (adherirse fielmente al prompt objetivo) y la consistencia de la fuente (preservar la estructura y las regiones no editadas de la imagen original). Los enfoques existentes generalmente se dividen en dos categorías con distintas limitaciones:

1. Métodos basados en inversión: Estos invierten la imagen de origen en una distribución de ruido latente antes de regenerarla. Aunque buscan una alta fidelidad, a menudo dependen de diseños heurísticos específicos de la arquitectura y sufren de acumulación de errores durante el proceso de inversión.
2. Métodos sin inversión: Estos construyen trayectorias de transformación directas de la fuente al objetivo. Si bien imponen consistencia estructural, a menudo carecen de un fundamento teórico unificado, dependiendo de heurísticas empíricas que los hacen sensibles a los hiperparámetros (por ejemplo, semillas aleatorias, pasos de flujo) y propensos a la inestabilidad.

El desafío central es lograr un equilibrio controlable y robusto entre estos dos objetivos sin requerir entrenamiento adicional ni depender de construcciones heurísticas frágiles.

Metodología
Los autores proponen h-Flow, un marco de trabajo libre de entrenamiento que reformula la edición de imágenes como un problema de generación condicional bajo múltiples eventos terminales, fundamentado en la Transformada h de Doob.

1. Extensión Teórica a RF Determinista:
   La Transformada h de Doob clásica se define para ecuaciones diferenciales estocásticas (SDE) con coeficientes de difusión no nulos. Sin embargo, los modelos RF operan mediante Ecuaciones Diferenciales Ordinarias (ODE) deterministas donde el coeficiente de difusión $g(t) \equiv 0$, lo que hace que la Transformada h estándar no esté definida. Para resolver esto, los autores construyen una SDE equivalente que comparte exactamente las mismas distribuciones marginales que la dinámica de RF pero posee un coeficiente de difusión no nulo ($g_{eq}(t) = \sqrt{2t/(1-t)}$). Esto permite la aplicación riguro la Transformada h al marco de RF determinista.

2. Guía Dual mediante Funciones h:
   El proceso de edición es guiado por dos funciones armónicas (funciones $h$) correspondientes a las dos restricciones terminales:

   • Consistencia de la Fuente ($h_{rec}$): Codifica la restricción de que la imagen final debe coincidir con la imagen de origen $x_0^{src}$. Esto produce un término de guía de reconstrucción en forma cerrada, $v_{rec} = (x_t - x_0^{src})/t$, que dirige la trayectoria exactamente hacia la fuente.
   • Alineación del Objetivo ($h_{edit}$): Codifica la transición semántica al prompt objetivo $c^{edit}$. La señal de guía se deriva de la diferencia entre los campos de velocidad de los prompts de objetivo y de origen ($\Delta_{edit} = v_\theta^{edit} - v_\theta^{src}$), aislando el cambio semántico mientras se descarta el contenido compartido.

3. Descomposición Ortogonal de la Velocidad:
   Una innovación clave es la proyección ortogonal de la señal de edición. Dado que la dirección de edición $\Delta_{edit}$ puede contener componentes paralelos a la velocidad de reconstrucción $\tilde{v}_{rec}$, simplemente sumarlos puede causar interferencia. Los autores proyectan $\Delta_{edit}$ sobre el complemento ortogonal de $\tilde{v}_{rec}$:
   $$\Delta_{edit}^\perp = \Delta_{edit} - \frac{\langle \Delta_{edit}, \tilde{v}_{rec} \rangle}{\|\tilde{v}_{rec}\|^2} \tilde{v}_{rec}$$
   Esto desacopla los dos objetivos: la velocidad de reconstrucción preserva la estructura de la fuente, mientras que el componente de edición ortogonal modifica solo el contenido semántico. Esto permite un control independiente mediante los hiperparámetros $\lambda_{rec}$ y $\lambda_{edit}$ sin degradación mutua.

4. Compatibilidad Plug-and-Play:
   La ODE de edición hacia atrás es agnóstica a la inicialización hacia adelante. h-Flow puede combinarse de manera fluida con diversos procesos hacia adelante (por ejemplo, RF-Inversion, SDEdit, ODE-Inv) de forma plug-and-play.

Contribuciones Clave

• Fundamentación Teórica: El artículo introduce la primera aplicación de la Transformada h de Doob a los modelos de Flujo Rectificado deterministas mediante la construcción de una SDE equivalente, proporcionando un puente teórico riguroso para la generación guiada en marcos de trabajo basados en ODE.
• Control Desacoplado: Al diseñar funciones $h$ dedicadas y emplear la descomposición ortogonal de la velocidad, el método separa explícitamente las direcciones de reconstrucción y edición, permitiendo un intercambio controlable entre la fidelidad de la fuente y la alineación con el objetivo.
• Flexibilidad Libre de Entrenamiento: El enfoque no requiere entrenamiento adicional ni actualizaciones de gradiente para el modelo preentrenado, dependiendo únicamente de las pasadas hacia adelante de la red de velocidad.

Resultados Experimentales
Los autores evaluaron h-Flow en los conjuntos de datos PIE-Bench y PIE-Bench++, comparándolo con siete líneas base (incluyendo RF-Inversion, FlowEdit, SDEdit y UniEdit).

• Desempeño Cuantitativo: h-Flow alcanzó el mejor rango promedio en 9 métricas (incluyendo PSNR, LPIPS, SSIM, similitud CLIP y puntuaciones estéticas) en ambos benchmarks. Superó significativamente a las líneas base en el equilibrio entre la consistencia de la fuente y la alineación con el objetivo. Por ejemplo, mientras que UniEdit logró una alta consistencia de la fuente, sufrió en la alineación con el objetivo; inversamente, ODEInv logró una alta alineación pero degradó la calidad de la imagen. h-Flow mantuvo una consistencia de la fuente competitiva mientras entregaba una alineación de primer nivel.
• Desempeño Cualitativo: Las comparaciones visuales demostraron la capacidad de h-Flow para ejecutar ediciones complejas (por ejemplo, traslación de sujetos, adiciones localizadas) mientras preserva estrictamente las estructuras del fondo y las regiones no editadas, evitando los artefactos comunes en otros métodos.
• Estudios de Ablación:
  • Compatibilidad: Integrar h-Flow con diversos procesos hacia adelante (RF-Inversion, SDEdit, ODE-Inv) mejoró consistentemente el equilibrio entre la editabilidad y la fidelidad, actuando como un estabilizador estructural para métodos hacia adelante inestables.
  • Proyección Ortogonal: Eliminar el paso de proyección resultó en puntuaciones de alineación de texto más bajas sin mejorar la fidelidad estructural, confirmando que la proyección elimina efectivamente la interferencia entre la edición y la reconstrucción.
  • Hiperparámetros: El estudio mostró que $\lambda_{rec}$ y $\lambda_{edit}$ controlan sus respectivos objetivos de forma independiente, validando la estrategia de desacoplamiento.

Significancia y Reivindicaciones
El artículo afirma que h-Flow proporciona un marco de trabajo unificado y teóricamente fundamentado para la edición de imágenes basada en flujos que supera la naturaleza heurística y la sensibilidad de los métodos anteriores. Al extender rigurosamente la Transformada h de Doob a los flujos deterministas y desacoplar los objetivos de edición y reconstrucción mediante la descomposición ortogonal, el método logra una edición robusta, flexible y fiel en diversos escenarios. Los autores enfatizan que su enfoque es libre de entrenamiento y plug-and-play, lo que lo hace inmediatamente aplicable a los modelos RF existentes sin modificaciones arquitectónicas. El trabajo sugiere que futuras extensiones podrían aplicar este marco a otras modalidades como la generación de video o 3D.