AdaEraser: Training-Free Object Removal via Adaptive Attention Suppression

Resumen Técnico: AdaEraser

Enunciado del Problema
La eliminación de objetos en imágenes requiere no solo la eliminación precisa de un objetivo especificado por el usuario, sino también la reconstrucción plausible del fondo en las regiones vaciadas. Aunque los métodos recientes sin entrenamiento que utilizan modelos de difusión preentrenados han mostrado promesa, a menudo enfrentan un conflicto fundamental: la eliminación efectiva de un objeto frente a la generación de contenido de fondo de alta calidad. Los enfoques existentes, como AttentiveEraser, suelen emplear una supresión indiscriminada de la autoatención dentro de las regiones enmascaradas del objeto. Aunque esto elimina con éxito el objetivo, interrumpe inadvertidamente el proceso de generación del fondo. Dado que la reconstrucción del fondo depende de las capacidades generativas del modelo preentrenado —que asume una autoatención sin modular—, bloquear la atención por completo en estas regiones conduce a artefactos estructurales, distorsiones visuales y una síntesis de fondo de baja calidad.

Metodología: AdaEraser
Para resolver este conflicto, los autores proponen AdaEraser, un marco sin entrenamiento que modula dinámicamente la supresión de atención basándose en la presencia estimada del concepto del objeto objetivo durante el proceso de eliminación de ruido. La idea central es que la eliminación de objetos y la generación de fondo son objetivos competitivos que requieren un enfoque equilibrado y adaptativo en lugar de una supresión estática y binaria.

El método opera a través de tres pasos principales:

1. Extracción de Atención de Referencia y Objetivo:

   • Referencia: Para una imagen fuente $I_{src}$, el modelo genera mapas de autoatención de referencia ($SAsrc$) aplicando un esquema de "t pasos de difusión + 1 paso de eliminación de ruido". Esto preserva la información de características de la imagen original en condiciones ruidosas sin requerir un proceso de inversión completo.
   • Objetivo: Simultáneamente, el modelo realiza el proceso estándar de eliminación de ruido para objetos en un latente objetivo inicializado desde la imagen fuente, generando mapas de autoatención objetivo ($SAtgt$).

2. Estimación de Puntuación de Presencia por Token:

   • Los autores observan que los mapas de autoatención codifican relaciones contextuales y características semánticas. Hipotetizan que la similitud entre el mapa de referencia (que contiene el objeto) y el mapa objetivo (donde el objeto se está eliminando) se correlaciona con la presencia residual del objeto.
   • Se calcula una puntuación de presencia por token $p(i)$ para cada token $i$ dentro de la máscara del objeto utilizando la similitud coseno entre $SAtgt(i)$y$SAsrc(i)$.
   • A medida que avanza el proceso de eliminación de ruido y se elimina el objeto, el contenido semántico de la región objetivo se desvía de la referencia, lo que provoca que la puntuación de similitud disminuya. Esta puntuación sirve como un proxy heurístico para el nivel de presencia del objeto.

3. Supresión Adaptativa de Atención:

   • En lugar de una supresión fija, AdaEraser calcula un coeficiente de supresión $\eta(i)$ para cada token basado en su puntuación de presencia: $\eta(i) = 1 - p(i)$ para los tokens en la máscara, y $1$ en caso contrario.
   • Este coeficiente modula las puntuaciones de autoatención en el UNet de eliminación de ruido. Cuando el objeto está claramente presente (alta similitud), la supresión es fuerte. A medida que se elimina el objeto y comienza a formarse el fondo (baja similitud), la supresión se relaja, permitiendo que el modelo utilice su capacidad generativa completa para reconstruir el fondo de manera natural.
   • Finalmente, el primer plano (objetivo eliminado de ruido) y el fondo (fuente original) se mezclan utilizando la máscara en cada paso de tiempo para garantizar la consistencia en las regiones no eliminadas.

Contribuciones Clave

• Estrategia de Regulación Adaptativa: El artículo identifica que la eliminación de objetos de alta calidad requiere una regulación adaptativa de la supresión de atención basada en la presencia residual del objeto, en lugar de una supresión estática.
• Heurística por Token: Propone utilizar la similitud de mapas de autoatención por token como un proxy efectivo y sin entrenamiento para estimar la presencia del objeto en el espacio latente, superando la dificultad de la detección directa de objetos en latentes ruidosos.
• Marco AdaEraser: Los autores introducen un marco completo sin entrenamiento que integra esta estrategia adaptativa, logrando un equilibrio entre la eliminación de objetos y la restauración del fondo.

Resultados Experimentales
Se realizaron experimentos extensos en los conjuntos de datos Mulan y OABench utilizando Stable Diffusion XL (SDXL) como columna vertebral, con validación adicional en SD1.5, SD2.1 y FLUX.

• Rendimiento Cuantitativo: AdaEraser superó tanto a los métodos basados en entrenamiento (por ejemplo, PowerPaint, RORem, SmartEraser) como a los métodos sin entrenamiento más avanzados (por ejemplo, AttentiveEraser, OmniPaint) en todas las métricas, incluidas FID, LPIPS, PSNR, ReMOVE y CFD. Cabe destacar que logró la Clasificación Humana Promedio (AHR) más alta en estudios de usuarios.
• Rendimiento Cualitativo: Las comparaciones visuales demostraron que AdaEraser elimina objetos de manera efectiva mientras preserva el contexto de la escena y evita las distorsiones estructurales y los artefactos comunes en los métodos que utilizan supresión completa de atención.
• Estudios de Ablación: Los autores validaron que la supresión adaptativa por token supera significativamente a las estrategias de supresión basadas en pasos de tiempo o regiones. También confirmaron que el uso de una referencia dinámica ($x_{src}^t$) alineada con el nivel de ruido actual produce resultados superiores en comparación con referencias de ruido fijo.

Significado y Afirmaciones
El artículo afirma que AdaEraser ofrece una nueva perspectiva sobre la eliminación de objetos al demostrar que los métodos sin entrenamiento pueden superar a los enfoques basados en entrenamiento cuando se aprovecha el prior generativo de manera más inteligente. Al ajustar dinámicamente la fuerza de supresión, AdaEraser evita los inconvenientes de la supresión indiscriminada de atención, preservando así la capacidad generativa del modelo preentrenado para la reconstrucción del fondo. Los autores sitúan este trabajo como un paso significativo hacia la edición de imágenes de alta calidad y eficiente en datos que no requiere la costosa adquisición de conjuntos de datos especializados o el ajuste fino de modelos.

Limitaciones y Direcciones Futuras
El artículo reconoce que el rendimiento depende de la calidad de la máscara; aunque es robusto ante máscaras ligeramente sueltas, tiene dificultades con máscaras incompletas que no cubren los efectos secundarios inducidos por el objeto (por ejemplo, sombras). Además, el método puede enfrentar desafíos en escenas con texturas altamente similares o contenido semánticamente ambiguo donde el prior generativo por sí solo es insuficiente para una reconstrucción compleja. Los autores sugieren que el trabajo futuro podría implicar la incorporación de una guía estructural más fuerte o la identificación automática de efectos secundarios para mejorar la robustez. También señalan que el método es menos compatible con modelos destilados altamente acelerados (por ejemplo, SDXL-Lightning) debido a la menor informatividad de las dinámicas de atención en menos pasos de eliminación de ruido.