Resumen Técnico: ClickRemoval

Enunciado del Problema

Las herramientas existentes para la eliminación de objetos en la creación de contenido multimedia y la protección de la privacidad a menudo presentan barreras significativas para los usuarios no expertos. Los métodos actuales más avanzados, como AttentiveEraser, PowerPaint y la serie SD-Inpaint, suelen depender de máscaras manuales de granularidad fina, indicaciones de texto o pipelines de entrenamiento especializados. Estas dependencias resultan en altos costos de interacción y limitan la usabilidad en escenas complejas, lo que a menudo conduce a una eliminación incompleta de objetos o a una finalización de fondo antinatural. Existe la necesidad de una solución que permita la eliminación precisa de objetos sin requerir enmascaramiento manual, descripciones textuales ni entrenamiento adicional de modelos.

Metodología

ClickRemoval es una herramienta interactiva de eliminación de objetos de código abierto, construida sobre modelos Stable Diffusion preentrenados (SD1.5, SD2.1 y SDXL1.0). Opera exclusivamente mediante clics del usuario, eliminando la necesidad de máscaras dibujadas a mano o indicaciones de texto. El sistema funciona convirtiendo los clics del usuario en mapas semánticos suaves y utilizando estos mapas para redirigir los mecanismos de autoatención dentro del modelo de difusión durante el proceso de eliminación de ruido.

El marco de trabajo consta de tres componentes principales:

1. Extracción del Mapa de Distancia Semántica M2N2:

   • Los clics del usuario se convierten en mapas de distancia semántica utilizando el enfoque M2N2. Esto implica un único paso de propagación hacia adelante de eliminación de ruido en un modelo Stable Diffusion congelado para agregar mapas de autoatención multi-cabeza en una matriz de transición.
   • Se realiza una propagación de Markov comenzando desde la posición clicada para determinar la distancia semántica de cada píxel.
   • Mapa de Objeto ($M_{ob}$): Generado aplicando Flood Fill al mapa semántico para suprimir mínimos locales y mejorar la conciencia de instancias, definiendo la región a eliminar.
   • Mapa de Fondo ($M_{bg}$): Un mapa de Markov normalizado (sin Flood Fill) que mide la distancia semántica desde el objeto clicado, donde valores más pequeños indican mayor similitud con el objeto. Este mapa guía la restauración del fondo.

2. Redirección y Programación de Autoatención Guiada (SGAR & SGAS):

   • SGAR (Redirección de Autoatención Guiada): Modula los logits de autoatención ($S_{self}$) durante la inferencia. Suprime las entradas de clave relacionadas con el objeto utilizando una penalización negativa grande ($P_{ob}$) y repondera las entradas de clave de fondo utilizando un factor programado ($G_{bg}(t)$) derivado de $M_{bg}$.
   • SGAS (Programación de Autoatención Guiada): Controla el momento y la intensidad de SGAR para garantizar una finalización natural del fondo. El proceso de eliminación de ruido se divide en etapas:
     • Etapa temprana (primer ~20%): Sin modificación.
     • Etapa temprana-media: SGAR se habilita, con la guía de fondo decayendo gradualmente.
     • Etapa media: La guía de fondo se deshabilita, pero la supresión de objetos permanece activa.
     • Etapa tardía: Toda la guía se deshabilita, permitiendo que el modelo complete los detalles restantes de forma autónoma.

3. Guía de Redirección de Atención (ARG):

   • Para proporcionar una guía controlable a nivel de salida, ARG combina linealmente la predicción de ruido original ($\epsilon(x,t)$) y la predicción de ruido modulada ($\epsilon'(x,t)$).
   • La predicción final se calcula como $\epsilon_{ARG} = (1-r) \cdot \epsilon(x,t) + r \cdot \epsilon'(x,t)$, donde $r$ es un coeficiente especificado por el usuario. Un $r$ menor retiene más del comportamiento original del modelo, mientras que un $r$ mayor se adhiere más estrictamente a la guía de eliminación.

El sistema admite tanto clics positivos (para indicar objetos a eliminar) como clics negativos (para indicar regiones a preservar), permitiendo interacciones complejas como la eliminación de objetos ocluidos mientras se preservan elementos del primer plano.

Contribuciones Clave

1. Herramienta Interactiva de Eliminación de Objetos: La introducción de ClickRemoval, una herramienta que no requiere máscaras, descripciones de texto ni entrenamiento adicional. Soporta interacciones de clics positivos y negativos, reduciendo significativamente la barrera de uso para usuarios no expertos.
2. Mecanismo de Redirección de Atención Extensible: Un marco impulsado por clics que comprende M2N2, SGAR, SGAS y ARG. Este mecanismo no está estrechamente acoplado a una columna vertebral de difusión específica y se ha implementado con éxito en SD1.5, SD2.1 y SDXL1.0.
3. Entrega Completa de Código Abierto: El lanzamiento de un paquete de software integral bajo la licencia Apache-2.0, que incluye código fuente, archivos de configuración, entornos Docker, documentación, interfaces de demostración y scripts de evaluación.

Resultados Experimentales

Los autores evaluaron ClickRemoval frente a líneas base sólidas, incluyendo SD-Inpaint, LaMa, PixelHacker, Inpaint Anything, PowerPaint-v2 y AttentiveEraser, utilizando un conjunto de pruebas unificado derivado de Pico-Banana-400K.

• Métricas Cuantitativas: ClickRemoval logró resultados competitivos sin entrenamiento adicional.
  • A resolución 1024×1024 (SDXL1.0), logró un FID de 8.05 y un Local-FID de 15.56, comparable a AttentiveEraser (7.98 / 15.74).
  • A resolución 512×512 (SD1.5), obtuvo el mejor rendimiento general entre métodos de la misma resolución con un FID de 9.35, un KID de 0.899 y un Local-FID de 17.27.
• Estudio de Usuarios: En un estudio que involucró a 25 participantes no expertos, ClickRemoval ocupó el primer lugar en ambas configuraciones de resolución, recibiendo el 30.48% de los votos a resolución 512 y el 41.89% a resolución 1024.
• Validación Asistida por LLM: Utilizando un evaluador multimodal basado en GPT, ClickRemoval ocupó el primer lugar a resolución 512 (28.85%) y el segundo a resolución 1024 (39.21%), quedando por detrás de AttentiveEraser por solo 1.97 puntos porcentuales.
• Eficiencia: La herramienta demostró una sobrecarga de inferencia aceptable, con un tiempo de ejecución a resolución 1024 comparable a las líneas base sólidas y una eficiencia práctica para tareas a resolución 512 en hardware de consumo (RTX 3090).

Significado

El artículo posiciona a ClickRemoval como un paso significativo hacia la democratización de la eliminación de objetos de alta calidad. Al eliminar la dependencia de máscaras manuales e indicaciones de texto, ofrece un flujo de trabajo de "apuntar y eliminar" accesible para no expertos, manteniendo al mismo tiempo una calidad de restauración competitiva. Los autores enfatizan que su enfoque logra estos resultados sin necesidad de entrenamiento adicional, confiando en cambio en las capacidades inherentes de los modelos de difusión preentrenados, potenciadas por su marco de redirección de atención. El lanzamiento del paquete completo de código abierto tiene como objetivo apoyar la investigación reproducible y las aplicaciones prácticas de edición de contenido.