🤖 AI

InverFill: One-Step Inversion for Enhanced Few-Step Diffusion Inpainting

InverFill es un método de inversión en un solo paso que mejora la inpainting con pocos pasos en modelos de difusión al inyectar información semántica de la imagen de entrada en el ruido inicial, logrando alta fidelidad y armonización sin necesidad de reentrenamiento.

Autores originales: Duc Vu, Kien Nguyen, Trong-Tung Nguyen, Ngan Nguyen, Phong Nguyen, Khoi Nguyen, Cuong Pham, Anh Tran

Publicado 2026-03-25

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Duc Vu, Kien Nguyen, Trong-Tung Nguyen, Ngan Nguyen, Phong Nguyen, Khoi Nguyen, Cuong Pham, Anh Tran

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que la Inpainting (relleno de imágenes) es como un artista que tiene que pintar un cuadro donde falta un trozo. El artista debe pintar ese hueco para que coincida perfectamente con el resto del paisaje, los colores y la historia que cuenta la imagen.

Hasta ahora, los "artistas" de Inteligencia Artificial (los modelos de difusión) eran muy buenos pintando, pero muy lentos. Necesitaban dar cientos de "pinceladas" (pasos de cálculo) para que el resultado se viera realista. Si intentaban hacerlo rápido (con pocas pinceladas), el resultado salía borroso, con colores extraños o el objeto nuevo no encajaba con el fondo.

Aquí es donde entra InverFill, la nueva solución de los autores. Vamos a explicarlo con una analogía sencilla:

1. El Problema: Empezar desde la nada (El ruido aleatorio)

Imagina que el modelo de IA es un chef que quiere cocinar un pastel.

El método antiguo: El chef cierra los ojos, toma un puñado de harina, azúcar y huevos al azar (ruido aleatorio) y empieza a mezclar. Si tiene mucho tiempo (muchos pasos), puede ir corrigiendo los ingredientes poco a poco hasta que el pastel quede perfecto.
El problema de la velocidad: Si el chef tiene que cocinar el pastel en 5 segundos (pocos pasos), empezar con ingredientes al azar es un desastre. El pastel saldrá horrible porque no tuvo tiempo de corregir el error inicial.

2. La Solución de InverFill: El "Mapa del Tesoro"

InverFill cambia la estrategia. En lugar de empezar con ingredientes al azar, el chef primero mira la foto del pastel que ya existe (la imagen original) y crea un "mapa" exacto de cómo deberían estar los ingredientes antes de empezar a cocinar.

Inversión de un paso: InverFill es como una máquina mágica que toma la imagen con el hueco y, en un solo segundo, calcula exactamente qué "ruido" (ingredientes iniciales) necesita el chef para que, al empezar a cocinar rápido, el resultado sea perfecto.
Sin entrenamiento costoso: Lo genial es que no necesitan entrenar a un nuevo chef desde cero. Usan al chef que ya existe (el modelo de IA rápido) y le dan este "mapa" especial.

3. Los Dos Trucos Secretos (Re-Blending y Regularización)

El papel explica dos problemas que tenían otros métodos similares y cómo InverFill los arregla:

El Truco del "Re-Blending" (Mezcla de nuevo):
- El problema: Cuando la máquina intenta crear el "mapa" a partir de una imagen con un hueco, a veces se confunde y deja "fugas" de información. Es como si el chef, al mirar el pastel, se llevara un poco de la salsa del plato vecino y la pusiera en su mezcla, arruinando el sabor.
- La solución: InverFill tiene una regla estricta: "En la zona del hueco, ¡pon solo ingredientes puros y aleatorios!". Esto evita que la información se filtre y mantiene el sabor original del fondo intacto.
La "Regularización Gaussiana" (El orden en la despensa):
- El problema: A veces, el "mapa" que crea la máquina es un poco caótico y no sigue las reglas de la cocina (la distribución matemática que la IA necesita). Es como si el chef usara ingredientes que no existen en la realidad.
- La solución: InverFill añade un "inspector de cocina" que verifica que los ingredientes iniciales sigan las reglas matemáticas perfectas. Esto asegura que el pastel (la imagen final) salga nítido y sin artefactos raros.

4. ¿Por qué es tan impresionante?

Velocidad: InverFill añade apenas 0.06 segundos de tiempo extra. Es como si el chef tardara 5 segundos en cocinar, y con el mapa, tardara 5.06 segundos. ¡Casi instantáneo!
Calidad: Con solo 2 o 4 pasos (pinceladas), InverFill logra resultados que antes requerían 30 o 50 pasos.
Versatilidad: Funciona con cualquier modelo de IA rápido que ya exista, sin necesidad de reentrenarlo con miles de fotos costosas.

En resumen

InverFill es como darle a un pintor rápido una guía de inicio perfecta. En lugar de empezar a pintar un hueco desde cero con la esperanza de que salga bien, le dice al pintor: "Empieza con esta mezcla exacta". Gracias a esto, el pintor puede terminar el trabajo en segundos, con una calidad que antes solo se conseguía en minutos, y todo sin que el cuadro se vea borroso o fuera de lugar.

Es una herramienta que hace que la IA sea rápida, inteligente y lista para usar en el mundo real, como restaurar fotos antiguas o eliminar objetos de una imagen al instante.

1. El Problema

Los modelos de difusión basados en texto a imagen han logrado un realismo fotográfico impresionante en la tarea de inpainting (relleno de imágenes), pero suelen requerir un gran número de pasos de muestreo (evaluaciones de funciones neuronales o NFEs), lo que genera una alta latencia y limita su uso en tiempo real.

Aunque existen modelos de difusión de pocos pasos (few-step) que aceleran la generación, su aplicación directa al inpainting mediante estrategias de muestreo mezclado (blended sampling) tradicionales falla. El problema principal es la inicialización con ruido gaussiano aleatorio:

En modelos de muchos pasos, el proceso de eliminación de ruido gradual permite corregir la desalineación semántica entre el ruido inicial y el contenido de la imagen.
En modelos de pocos pasos, los saltos grandes en la integración de ecuaciones diferenciales (ODE) impiden esta corrección. Esto provoca que el contenido generado no se armonice con el fondo, resultando en artefactos visibles, falta de coherencia semántica y baja fidelidad.

2. Metodología: InverFill

Los autores proponen InverFill, un método eficiente que utiliza una red de inversión de un solo paso para generar un latente de ruido inicial semánticamente alineado, eliminando la necesidad de inicialización aleatoria.

Componentes Clave del Método:

Red de Inversión para Imágenes Enmascaradas:
- A diferencia de métodos anteriores de inversión (como SwiftEdit) diseñados para imágenes completas, InverFill entrena una red ( $F_\theta$ ) que toma una imagen enmascarada y un prompt de texto para predecir un latente de ruido invertido ( $\hat{z}_T$ ).
- El objetivo es que, al pasar este latente por el generador de pocos pasos, se reconstruya la imagen original con alta fidelidad.
Operación Re-Blending (Mezcla Reconstituida):
- Problema: Entrenar directamente con imágenes enmascaradas causa "fuga de información" (information leakage), donde los patrones de las regiones visibles se filtran al latente de ruido de las regiones ocultas, y las regiones enmascaradas tienen baja varianza.
- Solución: Durante el entrenamiento y la inferencia, las regiones enmascaradas del latente de ruido predicho ( $\hat{z}_T$ ) se reemplazan con ruido gaussiano aleatorio ( $\epsilon'$ ). Esto restaura parcialmente la estructura estadística del latente y evita la fuga de información.
Pérdida de Regularización Gaussiana ( $L_{reg}$ ):
- Problema: La operación Re-Blending por sí sola no garantiza que el latente mezclado ( $\hat{z}^{blend}_T$ ) siga la distribución gaussiana estándar requerida por el modelo de difusión, lo que lleva a reconstrucciones borrosas o con artefactos.
- Solución: Se introduce una pérdida que iguala los momentos estadísticos (media y varianza) del latente mezclado con los de una distribución gaussiana estándar. Esto asegura que el latente invertido sea compatible con el prior del modelo generador.
Pérdida Adversarial (LADD):
- Se utiliza un modelo docente congelado (multi-paso) y discriminadores en capas intermedias para refinar la calidad visual y la coherencia estructural, siguiendo el enfoque de distilación adversarial.
Pipeline de Entrenamiento "Image-Free":
- El método no requiere triplets curados de (imagen-máscara-texto) reales. En su lugar, sintetiza estos datos en tiempo real utilizando el propio generador de pocos pasos, lo que simplifica enormemente el pipeline de entrenamiento.

3. Contribuciones Principales

InverFill: Una red de inversión de un solo paso diseñada específicamente para inpainting, que genera ruido inicial semánticamente informado.
Re-Blending: Una operación novedosa para prevenir la fuga de información durante el entrenamiento en imágenes enmascaradas.
Regularización Gaussiana: Una pérdida que alinea el latente invertido con la distribución prior esperada, mejorando la estabilidad y la calidad.
Eficiencia y Generalización: El método no requiere fine-tuning de los modelos de inpainting existentes ni supervisión con imágenes reales, y añade una sobrecarga de inferencia mínima (aprox. 0.06 segundos).

4. Resultados Experimentales

Los experimentos se realizaron en modelos de pocos pasos como SANA-Sprint y SDXL-Turbo, utilizando benchmarks como BrushBench y MagicBrush.

Rendimiento Cuantitativo: InverFill mejora consistentemente todas las métricas (ImageReward, HPS, Aesthetic Score, CLIP) sobre los modelos base de pocos pasos.
- En SANA-Sprint (2 NFEs), la puntuación IR (ImageReward) aumentó de 11.02 a 11.65.
- En SDXL-Turbo (4 NFEs), superó a modelos especializados de muchos pasos (como HD-Painter con 30 pasos) en métricas clave de calidad y coherencia.
Comparación con el Estado del Arte: InverFill logra resultados de calidad comparable o superior a modelos especializados de inpainting (como BrushNet o SDXL-Inpainting) que requieren 30 pasos, pero utilizando solo 2-4 pasos.
Eficiencia: La adición de InverFill incrementa el tiempo de inferencia en apenas 0.04 a 0.06 segundos en una GPU NVIDIA A100, manteniendo la velocidad de generación de pocos pasos.
Análisis de Fallos: Se demostró que los métodos de inversión tradicionales (como DDIM de 50 pasos) fallan al codificar regiones enmascaradas, produciendo estructuras nulas, mientras que InverFill preserva la coherencia de la escena.

5. Significado e Impacto

InverFill representa un avance significativo en la democratización de la edición de imágenes en tiempo real. Al resolver el problema de la desalineación semántica en modelos de difusión de pocos pasos mediante una inversión inteligente del ruido inicial, permite:

Velocidad: Hacer viable el inpainting de alta calidad en aplicaciones que requieren baja latencia (edición en tiempo real, realidad aumentada).
Flexibilidad: Funciona con arquitecturas de modelos de texto-a-imagen genéricas (DiT, UNet) sin necesidad de reentrenar modelos específicos de inpainting.
Calidad: Cierra la brecha de rendimiento entre los modelos rápidos de pocos pasos y los modelos lentos pero de alta fidelidad, ofreciendo una solución práctica para profesionales creativos y aplicaciones industriales.

En resumen, InverFill demuestra que la clave para un inpainting rápido no es solo acelerar el proceso de denoising, sino inteligentemente inicializar el ruido para que sea semánticamente coherente con el contexto de la imagen.