Resumen Técnico: OSOR – Inpainting de un solo paso con difusión para la eliminación de objetos consciente de los efectos

Declaración del Problema

La eliminación de objetos en el mundo real es una tarea de edición de imágenes fundamental que enfrenta tres desafíos principales:

1. Conciencia de los Efectos (Effect-Awareness): Simplemente borrar los píxeles dentro de una máscara es insuficiente. Los objetos suelen dejar efectos visuales persistentes (por ejemplo, sombras proyectadas, reflejos, interacciones ambientales) que requieren una fuerte comprensión semántica de la geometría y la iluminación de la escena para eliminarlos correctamente.
2. Robustez de la Máscara (Mask-Robustness): En escenarios prácticos, las máscaras proporcionadas por el usuario son frecuentemente imperfectas: o son demasiado grandes (cubriendo contenido no relacionado) o demasiado pequeñas (no logrando abarcar el objeto y sus efectos). Los métodos existentes suelen tener dificultades para producir resultados razonables con tales entradas descuidadas.
3. Eficiencia: Las aplicaciones interactivas, particularmente en dispositivos móviles, requieren una latencia extremadamente baja. Los métodos actuales basados en difusión, que ofrecen una calidad perceptual superior, dependen de cientos de miles de millones de parámetros y decenas de pasos de eliminación de ruido iterativos, lo que resulta en costos computacionales elevados y tiempos de inferencia que son impracticables para el uso en tiempo real.

Metodología

Los autores proponen OSOR (One-Step Object Removal), un marco diseñado para lograr una eliminación de objetos eficiente, consciente de los efectos y robusta ante las máscaras en un solo paso de inferencia. La metodología se basa en tres componentes técnicos principales:

1. Pipeline de Verificación Anclado Semánticamente (SAVP) y el Conjunto de Datos CORNE

Para abordar la falta de datos de entrenamiento de alta calidad y conscientes de los efectos, los autores introducen el SAVP. Este pipeline procesa tripletos basados en instrucciones ruidosas (por ejemplo, "eliminar objeto X") para verificar y extraer una supervisión fiable.

• Verificación: El SAVP calcula mapas de calor de diferencia de múltiples características (luminancia logarítmica, cromaticidad, magnitud de gradiente) y los alinea con cajas delimitadoras semánticas generadas por Grounding DINO. Filtra los pares con artefactos dispersos o semántica desalineada.
• Síntesis de Máscaras: Las regiones de diferencia validadas se fusionan con máscaras de núcleo de objeto generadas por SAM2 para crear máscaras de objetivo conscientes de los efectos.
• Conjunto de Datos: Utilizando el SAVP, los autores curaron CORNE, un conjunto de datos que contiene 280,000 pares de eliminación de objetos verificados con anotaciones conscientes de los efectos. También construyeron AnimeEraseBench y TextEraseBench para evaluar el rendimiento en dominios específicos (imágenes de anime y superposición de texto).

2. Currículo de Entrenamiento de Dos Fases

OSOR emplea una estrategia de entrenamiento de dos etapas para equilibrar la consistencia de los bordes con la robustez ante máscaras imperfectas.

• Fase I: Eliminación de un Paso con Consistencia de Bordes

  • Objetivo: Adaptar un modelo de difusión preentrenado (SDXL-Inpainting o FLUX Fill) para una restauración fiable de un solo paso bajo máscaras bien localizadas y conscientes de los efectos.
  • Discriminador Guiado por Ocupación: Para prevenir los bordes difusos comunes en la generación de un solo paso, los autores introducen un discriminador multiescala. En lugar de utilizar máscaras binarias rígidas o suavizado gaussiano para los objetivos de parche, calcula valores de ocupación fraccional mediante el agrupamiento de áreas (area pooling). Esto proporciona una supervisión fraccional precisa para los parches de los bordes, estabilizando el entrenamiento adversarial del modelo de un solo paso.
  • Restauración en el Espacio Latente: El modelo realiza una mezcla dura (hard blending) en el espacio latente, preservando exactamente las regiones no enmascaradas mientras restringe los gradientes a la región editada.

• Fase II: Eliminación Robusta Consciente de Alfa

  • Objetivo: Mejorar la robustez ante máscaras de usuario conservadoras o desalineadas que no logran cubrir efectos suaves (sombras/reflejos).
  • Cabezal de Alfa Ligero (Lightweight Alpha Head): Se añade una pequeña capa de proyección al backbone para predecir un mapa alfa suave ($\hat{\alpha}$) junto con la salida de eliminación de ruido. Esto permite al modelo inferir la región de edición efectiva más allá de la máscara proporcionada.
  • Condicionamiento de Máscara Incompleta: El entrenamiento utiliza máscaras "conservadoras" (por ejemplo, núcleos de objetos ajustados o máscaras perturbadas geométricamente) como condiciones de entrada, mientras que la verdad de terreno (ground truth) sigue siendo la máscara completa consciente de los efectos.
  • Mezcla Adaptativa: En lugar de una mezcla de latentes rígida, el modelo utiliza composición alfa ($z_{out} = \hat{\alpha} \odot \hat{z}_0 + (1 - \hat{\alpha}) \odot \bar{z}$) para mezclar perfectamente el contenido generado con la imagen original, eliminando eficazmente los efectos residuales.

Contribuciones Clave

1. Modelo OSOR: Un modelo de difusión de un solo paso que logra simultáneamente alta eficiencia, eliminación consciente de los efectos (sombras/reflejos) y robustez ante máscaras imperfectas.
2. Innovaciones Técnicas:
   • Un discriminador guiado por ocupación que utiliza objetivos de ocupación fraccional para un entrenamiento estable de un solo paso.
   • Un cabezal de alfa ligero que aprovecha los priors de difusión preentrenados para predecir las regiones de eliminación apropiadas con un overhead mínimo.
   • SAVP, un pipeline para generar datos de supervisión conscientes de los efectos a gran escala y verificados a partir de datos ruidosos.
3. Recursos:
   • CORNE: Un conjunto de datos de alta calidad con 280K pares de eliminación verificados.
   • Benchmarks: AnimeEraseBench y TextEraseBench para evaluar la eliminación en dominios complejos.

Resultados Experimentales

Los experimentos se realizaron en seis benchmarks (CORNE-Val, RORD-Val, AnimeEraseBench, TextEraseBench, OmniPaint-Bench, RemovalBench) comparando OSOR contra bases de comparación de difusión de múltiples pasos (por ejemplo, ObjectClear, OmniEraser, FLUX Fill, SDXL-Inpainting).

• Rendimiento: OSOR supera a las bases de comparación de múltiples pasos en calidad perceptual (FID, LPIPS, PSNR, SSIM) siendo significativamente más rápido.
  • En AnimeEraseBench, OSOR-FLUX logró un PSNR 2.24 dB mayor y fue 27 veces más rápido que el segundo mejor método.
  • En CORNE-Val, OSOR-FLUX obtuvo las mejores puntuaciones en todas las métricas tanto bajo configuraciones de máscara de solo objeto como de máscara consciente de los efectos.
• Eficiencia: OSOR procesa una imagen de 1024 × 1024 en menos de un segundo en una sola GPU NVIDIA A100, lo que representa una aceleración de 4× a 30× respecto a los métodos existentes.
• Análisis Cualitativo: OSOR elimina consistentemente tanto los objetos como sus efectos asociados (sombras, reflejos) mientras preserva estructuras de fondo más limpias, mientras que otros métodos a menudo dejan residuos, alucinan contenido o fallan al manejar máscaras imperfectas.

Significado y Reivindicaciones

El artículo sostiene que la simple aplicación de modelos de difusión preentrenados es insuficiente para la eliminación de objetos; son necesarias estrategias de entrenamiento específicas para desbloquear su potencial para esta tarea particular. OSOR demuestra que la difusión de un solo paso es viable para tareas de edición complejas cuando se combina con:

1. Supervisión de bordes precisa (discriminación guiada por ocupación).
2. Mecanismos para manejar la incertidumbre de la máscara (cabezales de alfa y mezcla adaptativa).
3. Supervisión de alta calidad consciente de los efectos derivada de datos ruidosos (SAVP).

Al reducir el tiempo de inferencia en un orden de magnitud manteniendo o mejorando la calidad perceptual, OSOR cierra la brecha entre la edición generativa de alta fidelidad y los requisitos de latencia de las aplicaciones interactivas y de borde (edge).