Score-Guided Proximal Projection: A Unified Geometric Framework for Rectified Flow Editing

Este trabajo presenta Score-Guided Proximal Projection (SGPP), un marco geométrico unificado que reformula la edición de flujos rectificados como un problema de optimización proximal para equilibrar la fidelidad y el realismo, superando las limitaciones de los métodos actuales al garantizar la convergencia al modo posterior y ofrecer un control flexible entre la preservación de la identidad y la libertad generativa.

Lo esencial

¡Hola! Imagina que tienes una máquina mágica capaz de crear imágenes increíbles desde la nada (como si fuera un pintor que nunca ha visto el mundo, pero tiene un genio creativo). A esta máquina la llamamos Rectified Flow (Flujo Rectificado). Es muy buena pintando, pero tiene un problema: si le pides que cambie algo específico (por ejemplo, "cambia este gato por un león" o "repara esta foto borrosa"), a veces se niega a hacerlo o, peor aún, arruina la foto original.

Los investigadores de este paper (Vansh Bansal y James Scott) han creado una nueva herramienta llamada SGPP (Proyección Proximal Guiada por Puntuación) para solucionar esto.

Aquí te explico cómo funciona usando analogías sencillas:

1. El Problema: Dos extremos que no funcionan bien

Imagina que quieres guiar a un turista (la máquina de IA) para que visite un lugar específico (la imagen final deseada) sin perderse.

• El método antiguo 1 (Inversión Rígida): Es como ponerle al turista unas botas de plomo. Le obligas a caminar exactamente por el mismo camino que hizo para llegar hasta ahí, pero en reversa.
  • Resultado: No se pierde, pero si quieres que cambie de dirección (haga un giro de 90 grados para ver una montaña), no puede. Se queda "atascado" en el camino original. En el paper lo llaman "Bloqueo Geométrico".
• El método antiguo 2 (Muestreo Posterior): Es como darle al turista un mapa muy complejo y decirle: "Calcula todas las probabilidades de dónde podrías estar y elige el mejor camino".
  • Resultado: Funciona teóricamente, pero es tan lento y complicado que el turista se vuelve loco, se equivoca y la foto sale borrosa o extraña.

2. La Solución: SGPP (El "Imán Flexible")

Los autores proponen SGPP, que es como darle al turista un imán flexible en lugar de botas de plomo o un mapa complejo.

Imagina que la "realidad" (las fotos bonitas y coherentes) es una cinta transportadora invisible que flota en el aire.

• Si la foto que quieres editar se sale de esa cinta (porque está borrosa o es un gato que quieres convertir en león), la máquina se asusta.
• SGPP actúa como un resorte o un imán suave que siempre empuja la foto de vuelta hacia esa cinta transportadora (la "variedad de datos"), pero sin obligarla a seguir el camino exacto del pasado.

3. ¿Cómo funciona la magia? (La analogía del Resorte)

El paper introduce un concepto llamado "Varianza Proximal". Imagina que este es el tamaño del resorte:

• Resorte muy duro (Varianza casi cero): El imán es muy fuerte. La foto se pega a la original como si fuera pegamento. Si le pides que sea un león, se queda siendo un gato con bigotes de león. Es muy fiel, pero no creativo.
• Resorte blando (Varianza alta): El imán es suave. La foto puede alejarse un poco de la original para "inventar" cosas nuevas (como la melena del león), pero el resorte siempre la empuja suavemente de vuelta para que no se convierta en una mancha de colores sin sentido.

La gran ventaja de SGPP:
Puedes ajustar la "dureza" del resorte a tu gusto.

• ¿Quieres reparar una foto vieja? Pon el resorte duro (casi cero).
• ¿Quieres cambiar el estilo de una foto? Pon el resorte blando.
• Lo mejor: No necesitas entrenar a la máquina de nuevo. Ya tiene el "instinto" (el campo de puntuación) para saber qué es una foto real y qué no.

4. ¿Por qué es seguro? (La "Cinta de Seguridad")

El paper demuestra matemáticamente que este método tiene una propiedad llamada "Contracción Normal".

Imagina que la cinta transportadora (la realidad) está rodeada de un tubo de seguridad.

• Si la foto se sale del tubo (porque es una imagen extraña o corrupta), la fuerza del imán de SGPP la empuja directamente hacia el centro del tubo de forma exponencial.
• Esto garantiza que, sin importar cuán extraña sea la imagen de entrada, la máquina nunca se perderá en un "mundo de fantasía" donde todo sale mal. Siempre la devolverá a un lugar donde las fotos se ven reales y coherentes.

En resumen

SGPP es como un director de orquesta inteligente que sabe exactamente cómo guiar a la máquina de IA:

1. No la obliga a caminar por el camino viejo (evita el bloqueo).
2. No la deja calcular todo desde cero (evita el caos).
3. Usa un resorte mágico que mantiene la imagen en el terreno de lo "real", pero le da libertad suficiente para cambiar lo que tú quieras (como convertir un gato en un león) sin romper la estructura básica de la foto.

Es una forma de decirle a la IA: "Sé creativo, pero mantente en el camino seguro". Y lo hacen sin necesidad de enseñarle nada nuevo, solo usando la geometría de las matemáticas.

Resumen técnico

Resumen Técnico: Marco Geométrico Unificado para la Edición de Rectified Flow

1. El Problema: El Compromiso entre Fidelidad y Realismo

Los modelos de Rectified Flow (RF) han demostrado un estado del arte en la generación de imágenes de alta fidelidad, ofreciendo trayectorias de transporte más rectas y eficientes que los modelos de difusión estándar. Sin embargo, su aplicación a problemas inversos controlados (como la edición semántica o la recuperación de imágenes ciegas) presenta desafíos significativos:

• La Compensación Percepción-Distorsión: Existe una dificultad fundamental para equilibrar la fidelidad (preservar la identidad o estructura de la imagen de referencia) con el realismo (asegurar que la salida pertenezca a la variedad de datos aprendida).
• Limitaciones de los Enfoques Actuales:
  • Edición basada en Inversión (ej. RF-Inversion): Utilizan una "guía dura" (hard guidance) que obliga a la trayectoria a retraer rigidamente el camino de inversión del ruido. Esto provoca un "bloqueo geométrico" (geometric locking), donde el modelo no puede desviarse lo suficiente del camino original para acomodar cambios semánticos significativos o corregir corrupciones fuera de distribución (OOD).
  • Muestreo Posterior y DPS (Diffusion Posterior Sampling): Intentan optimizar una función de verosimilitud, pero requieren retropropagación a través de la Jacobiana de la red de eliminación de ruido. Esto es computacionalmente costoso, inestable en niveles altos de ruido y propenso a gradientes explosivos.

2. Metodología: Proyección Proximal Guiada por Puntuación (SGPP)

Los autores proponen SGPP (Score-Guided Proximal Projection), un marco unificado que cierra la brecha entre la optimización determinista y el muestreo estocástico, sin necesidad de redes auxiliares ni funciones de distancia complejas.

Formulación del Problema:
El problema de recuperación se reformula como un problema de optimización proximal en una variedad dependiente del tiempo. Se define un potencial de energía dinámico $J_t(x_t)$ que equilibra dos componentes:

1. Potencial de Fidelidad: Ancla la trayectoria a la imagen de referencia ($x_{ref}$).
2. Potencial Generativo: Derivado del campo de puntuación (score field) pre-entrenado del modelo RF.

La función objetivo es:
$$J_t(x_t) = \underbrace{\frac{1}{2\sigma_p^2(t)}\|x_t - (1-t)x_{ref}\|^2}_{\text{Fidelidad}} - \underbrace{\log p_t(x_t)}_{\text{Generativo}}$$
Donde $\sigma_p(t)$ es una varianza proximal que actúa como un hiperparámetro de control.

Mecanismo de Actualización:
En lugar de calcular gradientes inestables o proyecciones explícitas, SGPP utiliza la geometría intrínseca del campo de puntuación de Rectified Flow. La regla de actualización es:
$$x_{k+1} = x_k + \eta_k \left( s_\psi(x_k, t_k) - \frac{x_k - (1-t_k)x_{ref}}{(1-t_k)^2\sigma_p^2 + t_k^2} \right)$$
Donde $s_\psi$ es la función de puntuación pre-entrenada.

3. Contribuciones Clave y Fundamentos Teóricos

• Estabilidad Geométrica (Contracción Normal):
  Los autores demuestran teóricamente que el flujo de gradiente de su objetivo posee una propiedad de contracción normal. El campo de puntuación se descompone naturalmente en una fuerza restauradora que contrae exponencialmente la distancia a la variedad de datos. Esto garantiza que las entradas fuera de distribución (OOD) se "enganche" (snap) de forma segura a la variedad de datos, evitando la inestabilidad de DPS.

  • Teorema 3.3: Demuestra que el desplazamiento normal se contrae estrictamente bajo condiciones de paso de tiempo estables.

• Equivalencia con MAP en la Variedad:
  Se prueba que el punto fijo del sistema dinámico corresponde exactamente al estimador MAP (Maximum A Posteriori) restringido a la variedad de datos. A diferencia de métodos anteriores como MCG, SGPP implementa esta restricción de forma implícita a través del campo de puntuación, eliminando la necesidad de operadores de proyección explícitos y costosos.

• Guía "Suave" (Soft Guidance) y Generalización:
  SGPP unifica los métodos existentes.

  • Cuando la varianza proximal $\sigma_p \to 0$, SGPP se convierte en la Inversión de RF (guía dura).
  • Al relajar $\sigma_p > 0$, se habilita la "guía suave". Esto permite que la trayectoria generativa se desvíe flexiblemente del camino de inversión rígido para satisfacer restricciones semánticas, manteniendo la seguridad geométrica. Esto ofrece un espectro continuo y controlable entre la preservación estricta de la identidad y la libertad generativa.

• Muestreo Estocástico para Diversidad:
  Para evitar resultados sobre-suavizados (comunes en la optimización hacia el modo posterior), SGPP incorpora un muestreador estocástico (SDE) que recupera la textura de alta frecuencia y la diversidad, muestreando la distribución posterior completa en lugar de solo su pico.

4. Resultados y Validación

Los autores validan SGPP en dos regímenes:

1. Validación Geométrica (2D "Two-Moons"):

   • DPS: Muestra inestabilidad y gradientes explosivos a altos niveles de ruido, fallando en converger a la variedad.
   • RF-Inversión: Sufre de "bloqueo geométrico"; las trayectorias colapsan a la imagen de referencia sin permitir cambios semánticos significativos.
   • SGPP: Exhibe convergencia robusta. La actualización determinista "engancha" los puntos OOD a la variedad, mientras que la variante estocástica (SGPP-SDE) cubre correctamente la densidad de la variedad sin colapsar a un solo modo.

2. Edición Semántica Zero-Shot (Modelo FLUX):

   • Escenario: Transformar una imagen de "gato" en un "león" manteniendo la pose y el fondo.
   • RF-Inversión: Falla en generar cambios semánticos reales; el resultado es un híbrido de textura que mantiene la forma exacta del gato (bloqueo).
   • SGPP: Al usar una guía suave ($\sigma_p = 0.2, \eta = 0.8$), permite que la trayectoria se desvíe tangencialmente para generar la melena y el hocico del león, mientras el término proximal mantiene la consistencia estructural. Logra esto sin pasos de inversión ni redes de control auxiliares.

3. Compromiso Fidelidad-Realismo:
   Se demuestra que $\sigma_p$ actúa como un control directo:

   • $\sigma_p \to 0$: Recuperación casi exacta (alta fidelidad).
   • $\sigma_p > 0$: Libertad para alucinar detalles de alta frecuencia probables bajo el prior (alto realismo).

5. Significado e Impacto

Este trabajo es significativo porque:

1. Unificación Teórica: Proporciona un marco matemático riguroso que conecta la optimización determinista y el muestreo estocástico en el contexto de Rectified Flow, demostrando que métodos previos son casos límite de su enfoque.
2. Estabilidad sin Jacobianas: Elimina la necesidad de calcular Jacobianas inestables (como en DPS), ofreciendo una guía libre de inversión (inversion-free) y libre de entrenamiento (training-free) que es computacionalmente eficiente y geométricamente estable.
3. Flexibilidad Controlada: Introduce el concepto de "guía suave" mediante la varianza proximal, resolviendo el dilema tradicional entre preservar la identidad de la imagen de entrada y permitir cambios semánticos drásticos.
4. Aplicabilidad General: Ofrece una solución robusta tanto para la recuperación de imágenes ciegas como para la edición semántica flexible, utilizando únicamente el campo de puntuación pre-entrenado como un oráculo geométrico.

En resumen, SGPP representa un avance fundamental en el control de modelos generativos modernos, transformando la edición de imágenes de un proceso rígido y propenso a errores a uno geométricamente seguro, flexible y teóricamente fundamentado.