Wavelet-Guided Semantic Signal Compensation for Inversion-Free Image Editing

Resumen Técnico: Compensación de Señal Semántica Guiada por Wavelets para la Edición de Imágenes Sin Inversión

Planteamiento del Problema
Los marcos de edición de imágenes sin inversión recientes, como FlowEdit, han demostrado la capacidad de modificar imágenes estimando dinámicamente las diferencias de velocidad entre las trayectorias de origen y destino sin requerir una inversión semántica explícita. Aunque son efectivos para ediciones locales, estos métodos exhiben una limitación crítica cuando se aplican a modificaciones semánticas globales (por ejemplo, cambiar los atributos de color generales o cambiar el tema completo de la escena).

Los autores identifican que en el régimen de alto ruido (etapas tempranas de la generación), la trayectoria de edición está dominada por un "flujo de búsqueda de variedad" (manifold-seeking flow) que transporta el ruido hacia la variedad de la imagen natural. Este flujo dominante eclipsa las sutiles señales semánticas condicionadas por el texto. En consecuencia, la trayectoria de edición permanece fuertemente alineada con los principios estructurales de la imagen de origen, fallando al intentar desviarse lo suficiente hacia los nuevos atributos globales. Para cuando el nivel de ruido disminuye y el condicionamiento por texto se vuelve más influyente, la composición de color y el diseño global ya están fijados, lo que hace que los cambios semánticos a gran escala sean ineficaces. Este fenómeno se denomina indistinguibilidad semántica.

Metodología
El método propuesto, Compensación de Señal Semántica Guiada por Wavelets, es un aumento sin entrenamiento diseñado para fortalecer la señal efectiva durante las etapas tempranas de la generación mientras se preserva la consistencia estructural. El enfoque consta de tres componentes principales:

1. Sondeo Semántico en el Mismo Punto (Same-Point Semantic Probing):
   Para desentrelazar la señal semántica del confuso geométrico causado por la separación espacial entre los latentes de origen y destino, el método evalúa tanto el prompt de origen ($e_{src}$) como el de destino ($e_{tar}$) en el mismo estado latente exacto ($x^{src}_{t_i}$). Esto produce una dirección inducida por el prompt co-localizada ($v_{sem}$) que aísla la diferencia semántica sin el ruido del desplazamiento espacial.

2. Extracción de Baja Frecuencia Basada en Wavelets:
   La inyección directa de la señal $v_{sem}$ bruta puede introducir perturbaciones de alta frecuencia que degradan la integridad estructural de la imagen de origen. Para resolver esto, el método emplea una Transformada de Wavelet Discreta (DWT) 2D de Haar. La señal semántica se descompone en múltiples niveles, y los coeficientes de detalle de alta frecuencia se eliminan. Solo se retienen los coeficientes de aproximación de baja frecuencia ($cA$). Esto aísla los componentes espacialmente coherentes y globales de la señal de edición (por ejemplo, la distribución general del color, la organización espacial gruesa) mientras filtra el ruido de grano fino.

3. Inyección Modulada en el Tiempo:
   La señal de baja frecuencia extraída se inyecta en el flujo de edición mediante una regla de actualización modificada. La fuerza de la inyección está gobernada por un peso dependiente del tiempo cuadrático $w(t_i) = \lambda t_i^2$.

   • Etapas Tempranas ($t_i \approx 1$): El peso es máximo, proporcionando una fuerte compensación global cuando la señal geométrica estándar es débil y la trayectoria es más susceptible a la variedad de origen.
   • Etapas Tardías ($t_i \approx 0$): El peso desaparece, permitiendo que la actualización estándar de FlowEdit domine, preservando así los detalles finos y la fidelidad de la textura.
   • La actualización final combina la señal geométrica original ($\Delta v_t$) con la señal compensada de baja frecuencia.

Contribuciones Clave

• Análisis de Limitaciones: Los autores identifican y analizan la "indistinguibilidad semántica" en los modelos de flujo rectificado, demostrando que el dominio del flujo de búsqueda de variedad en regímenes de alto ruido limita la acumulación de la desviación direccional necesaria para cambios de atributos globales.
• Nuevo Mecanismo de Compensación: Proponen un marco de compensación de señal semántica basado en wavelets que extrae direcciones de baja frecuencia a partir de estados latentes idénticos. Este diseño fortalece la modificación semántica global sin sacrificar la fidelidad del fondo.
• Evaluación Exhaustiva: El artículo proporciona experimentos extensos, incluyendo métricas cuantitativas, estudios de usuarios y análisis en el dominio de la frecuencia, para validar la efectividad del método en diversas tareas de edición.

Resultados Experimentales
Evaluado en el conjunto de datos PIE-Bench utilizando el modelo FLUX (con resultados adicionales en SD3 y SD3.5), el método propuesto demuestra un rendimiento superior en comparación tanto con los métodos basados en inversión (por ejemplo, RF-Inv, DNA-Edit) como con las líneas base sin inversión (por ejemplo, FlowEdit, FlowAlign).

• Métricas Cuantitativas: El método logra los puntajes de similitud CLIP más altos (indicando un mejor alineamiento texto-imagen) al tiempo que lidera en métricas de preservación de fondo (PSNR, SSIM, LPIPS). Logra equilibrar una fuerte edición semántica con la consistencia estructural.
• Resultos Cualitativos: Las comparaciones visuales muestran que el método logra cambios consistentes en los atributos globales (por ejemplo, cambios de color, reemplazo de objetos) sin introducir distorsiones estructurales o deriva semántica, que son modos de fallo comunes en los métodos existentes sin inversión.
• Estudio de Usuario: En una comparación por pares que involucró 100 pares de imágenes editadas, los participantes humanos prefirieron el método propuesto sobre todas las líneas base por preservar mejor las regiones no editadas mientras reflejan la edición objetivo.
• Análisis de Frecuencia: El análisis de densidad espectral de potencia confirma que el método aumenta la energía espectral en el rango de baja frecuencia (cambios globales) mientras mantiene los niveles de la línea base en el rango de alta frecuencia (detalles estructurales).

Significancia y Reivindicaciones
El artículo afirma que su contribución principal es abordar el cuello de botella específico de la modificación semántica global en la edición sin inversión. Al introducir una estrategia de compensación consciente de la frecuencia, el método permite que los modelos de flujo rectificado desplacen eficazmente los atributos globales (como el color y la composición) temprano en el proceso de generación, una capacidad previamente obstaculizada por el dominio de los principios estructurales en regímenes de alto ruido. Los autores enfatizan que su enfoque mejora la capacidad de edición sin requerir el reentrenamiento del modelo, modificaciones de atención o inversión explícita, lo que lo convierte en una mejora práctica y eficiente para los flujos de trabajo de edición basados en flujo existentes.