Why Do DiT Editors Drift? Plug-and-Play Low Frequency Alignment in VAE Latent Space

Resumen Técnico: VAE-LFA para Edición de Imágenes Multi-Vuelta

Enunciado del Problema
Los recientes modelos de edición de imágenes basados en instrucciones, construidos sobre Transformadores de Difusión (DiT) y ajuste de flujo, han logrado alta fidelidad en la edición de una sola vuelta. Sin embargo, su rendimiento se degrada significativamente en escenarios de edición multi-vuelta (iterativa). La edición repetida a menudo conduce a una deriva semántica progresiva, cambios de color, acumulación de artefactos y deterioro de la calidad. Los remedios existentes para esta degradación generalmente requieren reentrenamiento completo del modelo, acceso a parámetros internos del modelo (como trayectorias de eliminación de ruido o campos de velocidad) o arquitecturas especializadas. Estos requisitos hacen que las soluciones actuales sean inaplicables al creciente ecosistema de editores de caja negra basados en API (por ejemplo, GPT Image, Qwen Image 2.0, Seedream 4.0), los cuales carecen de acceso interno. Además, la causa fundamental de esta deriva, específicamente qué componente del pipeline de edición (el DiT o el VAE) es principalmente responsable, sigue siendo una pregunta abierta.

Metodología: VAE-LFA (Alineación de Baja Frecuencia)
Los autores proponen VAE-LFA, un método libre de entrenamiento y plug-and-play que opera directamente en el espacio latente del VAE para mitigar la deriva multi-vuelta. La metodología se basa en un análisis sistemático del pipeline de edición descompuesto en dos componentes: el Autoencoder Variacional (VAE) para codificación/decodificación y el DiT para refinamiento iterativo.

1. Análisis Basado en Frecuencia: Los autores analizan el espacio latente utilizando transformadas de Fourier 2D para descomponer las representaciones latentes en componentes de baja frecuencia (apariencia global, tono, estructura) y alta frecuencia (detalles locales, textura).
2. Identificación de la Causa Raíz: A través de experimentos controlados que aíslan los componentes DiT y VAE, el estudio revela una asimetría crítica:
   • Deriva inducida por DiT: El DiT es la fuente principal de degradación semántica, introduciendo desviaciones de baja frecuencia dominantes que se acumulan a lo largo de las rondas.
   • Sesgo inducido por VAE: El VAE contribuye con un sesgo de reconstrucción comparativamente estable y espectralmente uniforme. Contrario a la hipótesis de que los ciclos del VAE son la principal fuente de error, el VAE en realidad actúa como un regularizador parcial para la deriva de baja frecuencia.
3. El Mecanismo de Alineación: VAE-LFA aborda la deriva de baja frecuencia inducida por el DiT alineando las estadísticas de baja frecuencia del espacio latente a través de las rondas de edición.
   • Descomposición: Después de una transición del DiT, el latente $z$ se descompone en un componente de baja frecuencia $\ell$ (mediante agrupación promedio por canal) y un residuo de alta frecuencia $h$.
   • Anclaje por Momento: El método mantiene un Promedio Móvil Exponencial (EMA) de la media y la desviación estándar logarítmica de los componentes de baja frecuencia de rondas anteriores.
   • Alineación: El componente de baja frecuencia actual se normaliza y desplaza para coincidir con las estadísticas del anclaje de momento (media y varianza), mientras que el residuo de alta frecuencia se deja sin restricciones para preservar los detalles finos y la flexibilidad de edición.
   • Recombinación: El componente de baja frecuencia alineado se suma al residuo de alta frecuencia original para formar el latente corregido.

Modos de Implementación

• Caja Blanca: Para modelos de código abierto con acceso completo, VAE-LFA se inserta entre pasadas forward consecutivas del DiT, eliminando viajes de ida y vuelta redundantes del VAE entre vueltas. El decodificador VAE se utiliza solo para visualizar la salida, mientras que el codificador se elude.
• Caja Negra: Para modelos solo de API, VAE-LFA intercala un VAE externo listo para usar entre las llamadas a la API. A pesar de posibles desajustes de dominio entre el VAE externo y el espacio latente nativo del editor, el método sigue siendo efectivo porque las estadísticas de baja frecuencia son robustas a las variaciones arquitectónicas.

Contribuciones Clave

1. Análisis Interpretable: El artículo proporciona un análisis principiado de la degradación multi-vuelta desde una perspectiva de frecuencia latente del VAE, identificando que la deriva semántica es impulsada predominantemente por desviaciones de baja frecuencia introducidas por el DiT, no por el VAE.
2. Descomposición de Componentes: Ofrece una descomposición controlada del pipeline de edición, revelando que el DiT domina la deriva semántica mientras que el VAE introduce un sesgo de reconstrucción estable con efectos de regularización parcial.
3. Marco VAE-LFA: Los autores proponen una solución libre de entrenamiento y plug-and-play que no requiere priores de verdad fundamental, ni reentrenamiento, ni acceso interno al modelo. Soporta tanto editores basados en DiT de caja blanca como de caja negra con mejoras consistentes en el rendimiento.

Resultados
Se realizaron experimentos extensos en cuatro editores basados en DiT (FLUX.2, SD3-UE, Qwen Image 2.0, Seedream 4.0) a través de tres protocolos: No-Op (preservación de identidad), Ciclo (ediciones reversibles) y Cadena Larga (ediciones acumulativas).

• Mejoras Cuantitativas: VAE-LFA mejora significativamente la consistencia semántica y la fidelidad visual. En FLUX.2, por ejemplo, la edición No-Op en la Vuelta 10 vio mejorar el LPIPS de 0.36 a 0.17 y el SSIM de 0.72 a 0.93. Se observaron ganancias similares en modelos de caja negra, donde el LPIPS disminuyó y el SSIM aumentó tanto para las tareas No-Op como de Ciclo.
• Observaciones Cualitativas: Las visualizaciones demuestran que VAE-LFA suprime efectivamente los cambios de color, los artefactos y la fuga semántica que típicamente se acumulan en editores de referencia a lo largo de múltiples vueltas, al tiempo que preserva las capacidades de seguimiento de instrucciones y los detalles de alta frecuencia.
• Estudios de Ablación: Los experimentos confirman que alinear solo los componentes de baja frecuencia es suficiente y óptimo; alinear las altas frecuencias ofrece poco beneficio y puede sobre-restringir ediciones válidas. Se encontró que la estrategia de anclaje EMA equilibra mejor la estabilidad y la flexibilidad de edición que los anclajes fijos o de una sola ronda.

Significado y Afirmaciones
El artículo afirma que VAE-LFA ofrece un remedio simple y efectivo para el desafío crítico de la degradación en la edición multi-vuelta sin requerir acceso a parámetros internos del modelo. Al dirigirse a la banda de frecuencia específica responsable de la deriva (baja frecuencia) y aprovechar la estabilidad del VAE, el método permite una integración fluida en pipelines existentes. Los autores enfatizan que este enfoque hace accesible la edición iterativa de alta calidad para modelos comerciales de caja negra, que de otro modo son difíciles de modificar. El trabajo sugiere que la investigación futura sobre edición iterativa debe centrarse en la alineación de frecuencias en el espacio latente y que los prompts de preservación de identidad multi-vuelta podrían ser valiosos para futuros currículos de post-entrenamiento. Los autores notan modestamente que, aunque efectivo, el método puede suprimir ligeramente los cambios globales grandes intencionados bajo prompts fuertes, sugiriendo una posible dirección futura para la fuerza de alineación adaptativa.