SteerFlow: Steering Rectified Flows for Faithful Inversion-Based Image Editing

Resumen Técnico: SteerFlow

1. El Problema

Los modelos generativos basados en flujos rectificados (Rectified Flows - RF) han permitido la edición de imágenes guiada por texto sin necesidad de entrenamiento (training-free). Sin embargo, los métodos existentes basados en inversión (inversion-based) sufren de dos limitaciones críticas que degradan la fidelidad de la fuente (la capacidad de preservar la estructura y el contenido original de la imagen):

1. Error de Inversión: La discretización del proceso de inversión (mapear la imagen de vuelta al ruido latente) introduce errores de truncamiento. Esto crea una discrepancia de velocidad entre la trayectoria hacia adelante (inversión) y la hacia atrás (generación), acumulando errores que distorsionan la imagen reconstruida.
2. Divergencia de Trayectoria: Incluso con un latente invertido perfecto, la diferencia inherente entre los campos de velocidad del prompt de origen y el de destino, sumado al uso de Classifier-Free Guidance (CFG), hace que la trayectoria de edición se desvíe significativamente de la estructura original, causando "over-editing" (pérdida de estructura) o "under-editing" (cambios insuficientes).

Los métodos actuales intentan solucionar esto mediante solvers de alto orden (que aumentan el costo computacional), inversión truncada (que limita la editabilidad) o inyección de características heurísticas (que carecen de transferibilidad entre arquitecturas).

2. Metodología: SteerFlow

SteerFlow es un marco de edición agnóstico al modelo que ofrece garantías teóricas sobre la fidelidad de la fuente. Se compone de tres componentes principales:

A. Proceso Forward: Solucionador de Punto Fijo Amortizado (Amortized Fixed-Point Solver - AFP)

• Objetivo: Minimizar el error de inversión al "enderezar" implícitamente la trayectoria hacia adelante.
• Mecanismo: En lugar de usar el método de Euler estándar, SteerFlow impone una consistencia de velocidad entre pasos de tiempo consecutivos. Utiliza una iteración de punto fijo implícito para encontrar una velocidad $v^*$ que satisfaga la condición de consistencia.
• Innovación: Para evitar el problema de "objetivo móvil" (donde refinar todos los pasos causa inestabilidad), el método es amortizado: realiza múltiples iteraciones ($K$) solo en el primer paso de tiempo para minimizar el error inicial, y luego utiliza una sola iteración en los pasos subsiguientes, reutilizando la velocidad del paso anterior como "inicio en caliente" (warm-start). Esto reduce drásticamente el costo computacional en comparación con los solvers de segundo orden.

B. Proceso Backward: Interpolación de Trayectoria (Trajectory Interpolation)

• Objetivo: Anclar la trayectoria de edición a la reconstrucción de la fuente para evitar la divergencia.
• Mecanismo: En lugar de una inversión truncada rígida, SteerFlow interpola adaptativamente entre la velocidad de edición (condicionada al prompt de destino) y la velocidad de reconstrucción de la fuente (cached del proceso forward).
• Fórmula: La velocidad de edición $V^{edit}_t$ se calcula como:
  $$V^{edit}_t = V^{src}_t + \alpha_t \cdot (V^{tar}_t - V^{src}_t)$$
  Donde $\alpha_t$ es un coeficiente que decae con el tiempo y depende de la similitud coseno entre las velocidades de origen y destino. Esto permite cambios estructurales fuertes cuando son seguros (alta similitud) y mantiene la estructura original cuando las trayectorias divergen.

C. Enmascaramiento Adaptativo (Adaptive Masking)

• Objetivo: Prevenir la "fuga" de edición a regiones no deseadas (fondo).
• Mecanismo: Combina una máscara base generada por SAM3 (Segment Anything Model 3) guiada por tokens de concepto, con una refinación dinámica basada en la diferencia de velocidad ($\Delta V = V^{tar} - V^{src}$).
• Funcionamiento: La diferencia de velocidad indica dónde el modelo generativo espera cambios estructurales. Esta señal expande la máscara base de SAM3 de manera morfológica, creando límites precisos y conscientes del contenido que protegen el fondo mientras permiten cambios estructurales necesarios dentro de la región editada.

3. Contribuciones Clave

1. Análisis Teórico Riguroso: Proporcionan límites de error formales para el error de inversión y la divergencia de trayectoria, demostrando matemáticamente cómo SteerFlow reduce estos errores en comparación con los métodos estándar.
2. Marco Agnóstico al Modelo: A diferencia de métodos anteriores que dependen de inyecciones de características específicas de la arquitectura (como capas de atención específicas), SteerFlow funciona en el espacio latente y es compatible con diferentes modelos de flujo rectificado.
3. Eficiencia y Estabilidad: El solucionador AFP logra una alta fidelidad de inversión con un costo computacional mínimo (solo $K-1$ evaluaciones adicionales de función en el primer paso), superando a los solvers de segundo orden que requieren el doble de evaluaciones.
4. Edición Multi-turno: El marco se extiende naturalmente a la edición iterativa (múltiples turnos) sin acumular deriva (drift) significativa, actualizando la trayectoria de anclaje en cada paso.

4. Resultados Experimentales

Los autores evaluaron SteerFlow en dos modelos de última generación: FLUX.1-dev y Stable Diffusion 3.5 Medium, utilizando el benchmark PIE-Bench.

• Calidad de Edición: SteerFlow superó consistentemente a los métodos basados en inversión (como UniEdit, FireFlow, RF-Solver) y sin inversión (FlowEdit, FlowAlign).
• Preservación de la Fuente: Logró los mejores resultados en métricas de preservación estructural (DinoDist, LPIPS, SSIM) sin sacrificar significativamente la alineación con el prompt objetivo (CLIP Score, ImageReward).
• Reconstrucción: En tareas de reconstrucción de imágenes, SteerFlow demostró una transferibilidad robusta entre arquitecturas, obteniendo el segundo lugar en ambos modelos y el primer lugar en calidad perceptual (LPIPS/SSIM) en FLUX.
• Análisis de Componentes: La ablación confirmó que el solucionador AFP mejora la reconstrucción y que el enmascaramiento adaptativo es crucial para preservar el fondo sin limitar la editabilidad.

5. Significado e Impacto

SteerFlow representa un avance significativo en la edición de imágenes generativa al resolver el compromiso fundamental entre fidelidad de la fuente y alineación con el objetivo.

• Teóricamente: Establece un nuevo estándar al proporcionar garantías teóricas sobre la estabilidad de la edición, en lugar de depender de heurísticas empíricas.
• Prácticamente: Permite ediciones complejas y de múltiples pasos que mantienen la coherencia estructural, lo cual es vital para aplicaciones profesionales donde la integridad de la imagen original es tan importante como el cambio semántico deseado.
• Eficiencia: Al evitar la necesidad de solvers de alto orden costosos o inyecciones de características manuales, hace que la edición de alta fidelidad sea más accesible y escalable.

En resumen, SteerFlow transforma la edición basada en inversión de un proceso propenso a errores y heurístico en un marco controlado, eficiente y teóricamente fundamentado.