💻 computer science

PANDORA: Pixel-wise Attention Dissolution and Latent Guidance for Zero-Shot Object Removal

El artículo presenta PANDORA, un marco de eliminación de objetos en cero disparos que opera directamente sobre modelos de difusión preentrenados mediante la disolución de atención a nivel de píxel y la guía de desvinculación atencional local, logrando una eliminación precisa y escalable sin necesidad de ajuste fino, prompts u optimización.

Autores originales: Dinh-Khoi Vo, Van-Loc Nguyen, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

Publicado 2026-03-31

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Dinh-Khoi Vo, Van-Loc Nguyen, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes una foto familiar donde alguien se paró mal frente a la cámara y tapó un paisaje hermoso, o quizás hay un objeto feo en el centro de una imagen que quieres borrar. Hacer esto sin dejar marcas, como si el objeto nunca hubiera estado ahí, es como intentar quitar una pegatina de un coche sin rayar la pintura ni dejar residuos.

Aquí te explico cómo funciona PANDORA, la nueva tecnología que resuelve este problema, usando analogías sencillas:

1. El Problema: "Borrar sin dejar rastro"

Antes, para borrar cosas de una foto, los programas de computadora tenían que "entrenarse" mucho (como un estudiante que repasa libros durante años) o necesitaban que tú les dijeras exactamente qué poner en su lugar (como darle instrucciones detalladas a un pintor). A veces, el resultado se veía extraño, con texturas raras o el objeto no desaparecía del todo.

2. La Solución: PANDORA (El "Mago" sin entrenamiento)

PANDORA es como un mago que no necesita practicar. Ya conoce perfectamente cómo funcionan las imágenes porque ha "visto" millones de fotos antes (gracias a un modelo de IA pre-entrenado). Lo increíble es que puede borrar objetos sin necesidad de aprender nada nuevo ni de que tú le des instrucciones escritas. Solo le dices: "borra esto" y él lo hace.

3. ¿Cómo lo hace? Dos trucos de magia

Para entenderlo, imagina que la imagen es un gran tapiz tejido por hilos de información.

Truco A: "Disolución de Atención" (PAD)

La analogía: Imagina que el objeto que quieres borrar es un grupo de amigos muy ruidosos en una fiesta que están gritando y atrayendo toda la atención de los demás. La computadora, al intentar reconstruir la foto, sigue "escuchando" a esos amigos y por eso el objeto sigue apareciendo.
Lo que hace PANDORA: PANDORA llega a la fiesta y le pone un "silenciador" a los hilos de información más fuertes que conectan al objeto con el resto de la imagen. Básicamente, le dice a la computadora: "Oye, ignora a esos amigos ruidosos. No mires hacia allá". Al cortar esas conexiones fuertes, el objeto pierde su "sustento" y se desvanece, dejando que el fondo (la fiesta tranquila) llene el espacio naturalmente.

Truco B: "Guía de Desenredo" (LADG)

La analogía: Imagina que estás limpiando un camino de nieve. Si solo quitas la nieve, a veces queda un rastro sucio o un hueco feo. Necesitas alguien que guíe la pala para que la nieve nueva caiga exactamente donde debe, sin tocar los árboles de los lados.
Lo que hace PANDORA: Esta parte actúa como un guía invisible que empuja la "nieve" (la información de la imagen) lejos del objeto que quieres borrar, pero con mucho cuidado de no tocar los árboles (el fondo que quieres conservar). Asegura que el proceso de "limpieza" siga una ruta perfecta, evitando que queden residuos o que el fondo se deforme.

4. ¿Por qué es tan especial?

Es rápido y flexible: Puede borrar un solo objeto, diez objetos, o incluso un montón de objetos idénticos (como un grupo de pájaros o frutas) en una sola pasada.
No deja "fantasmas": A diferencia de otros métodos que a veces dejan el objeto borroso o con una textura extraña, PANDORA reconstruye el fondo de forma tan natural que parece que el objeto nunca estuvo ahí.
Funciona con cualquier modelo: No necesita un entrenamiento especial; funciona con las herramientas que ya existen.

En resumen

PANDORA es como tener un borrador mágico que entiende la lógica de la imagen. En lugar de simplemente pintar encima, "desconecta" la electricidad que mantiene al objeto en la foto y guía al fondo para que se rellene solo, resultando en una imagen limpia, realista y perfecta, sin que tengas que ser un experto en informática.

¡Es un gran paso para que cualquiera pueda editar fotos profesionales con un solo clic!

1. Problema Abordado

La eliminación de objetos en imágenes naturales es una tarea compleja que requiere sintetizar contenido semánticamente coherente mientras se preserva la integridad del fondo. Los métodos existentes presentan varias limitaciones:

Métodos tradicionales (basados en parches o GANs): A menudo generan inconsistencias de textura, artefactos rígidos y una mala integración con el entorno.
Métodos basados en difusión (Inpainting): Aunque mejoran el realismo, suelen requerir fine-tuning (ajuste fino), ingeniería de prompts (instrucciones de texto) u optimización en tiempo de inferencia.
Desafíos actuales: Incluso los métodos de zero-shot (sin entrenamiento previo) luchan con la eliminación de múltiples objetos, sufren de artefactos residuales debido a la atención residual y carecen de escalabilidad para escenas densas o con objetos similares.

2. Metodología Propuesta: PANDORA

PANDORA es un marco de trabajo de eliminación de objetos zero-shot que opera directamente sobre modelos de difusión de texto a imagen pre-entrenados (como Stable Diffusion), sin necesidad de fine-tuning, prompts de texto o optimización durante la inferencia. El proceso se realiza en una sola pasada y consta de tres módulos principales:

A. Adaptación de Preservación del Fondo (BPA - Background Preservation Adaptation)

Objetivo: Asegurar que las regiones no enmascaradas (el fondo) permanezcan inalteradas.
Funcionamiento: Utiliza la inversión DDIM para mapear la imagen de entrada al espacio de ruido latente. Durante el proceso de desruido, extrae las características de key (K) y value (V) de los estados latentes intermedios almacenados.
Mecanismo: Restringe la atención de las consultas del fondo a las regiones de fondo originales, transfiriendo el contenido semántico original a la imagen editada para mantener la fidelidad estructural y visual fuera de la máscara.

B. Disolución de Atención a Nivel de Píxel (PAD - Pixel-wise Attention Dissolution)

Objetivo: Eliminar la información del objeto disolviendo sus conexiones semánticas fuertes en la atención auto-asociativa (self-attention).
Funcionamiento:
1. Calcula los logits de atención entre las consultas (queries) y las claves (keys).
2. Identifica las conexiones más fuertes (top-k) para cada píxel enmascarado.
3. Aplica un umbral basado en percentiles para establecer estas conexiones dominantes a $-\infty$ , eliminándolas efectivamente del flujo de atención.
Resultado: Esto desconecta los píxeles enmascarados de las regiones de primer plano dominantes, permitiendo que el contexto del fondo domine la reconstrucción y "disuelva" el objeto de manera precisa y natural.

C. Guía de Desenredo Atencional Localizado (LADG - Localized Attentional Disentanglement Guidance)

Objetivo: Guiar la trayectoria de desruido en el espacio latente para alejar las regiones enmascaradas de la distribución original del objeto.
Funcionamiento: Es un mecanismo de puerta espacial que combina las predicciones de ruido condicionales y no condicionales.
- Fuera de la máscara: Se mantiene la trayectoria condicional para preservar el fondo.
- Dentro de la máscara: Se guía el ruido latente hacia una predicción condicional que suprime el objeto, alejándolo de la trayectoria no condicionada original.
Resultado: Acelera la eliminación del objeto y mitiga artefactos residuales, produciendo resultados más limpios y coherentes.

3. Contribuciones Clave

Marco PANDORA: Un enfoque zero-shot novedoso que elimina objetos en una sola pasada sobre modelos pre-entrenados, eliminando la necesidad de entrenamiento, prompts o optimización costosa.
Módulo PAD: Introduce el control granular a nivel de píxel al disolver las conexiones de atención más correlacionadas, permitiendo la eliminación precisa de objetos incluso en escenas complejas.
Módulo LADG: Refina la trayectoria de desruido en el espacio latente para suprimir artefactos residuales y mejorar la coherencia semántica.
Nuevo Dataset de Referencia: Creación de un conjunto de datos de evaluación con 186 muestras (75 objetos únicos, 17 múltiples y 94 objetos masivos similares) para evaluar la eliminación de objetos en diversos escenarios.

4. Resultados Experimentales

Los experimentos se realizaron sobre modelos Stable Diffusion v1.5 y v2.1 y compararon a PANDORA con métodos de fine-tuning (LaMa, PowerPaint, SD2-Inpaint) y otros métodos zero-shot (CPAM, Attentive Eraser).

Métricas Cuantitativas:
- PANDORA obtuvo el puntaje CLIP más alto, lo que indica una eliminación de objetos más efectiva y semánticamente alineada con un fondo vacío.
- Logró un equilibrio superior entre la fidelidad del fondo (bajo MSE y LPIPS) y la calidad de la eliminación, superando a los métodos zero-shot existentes.
- En comparación con métodos de fine-tuning, PANDORA evita la distorsión de estructuras de la escena y no depende de prompts específicos.
Estudio de Usuarios:
- En una evaluación con 20 participantes, PANDORA fue seleccionado como la mejor opción en el 47.5% de los casos (UPR), superando significativamente a la competencia (el siguiente mejor fue Attentive Eraser con 22%).
Análisis de Ablación:
- La eliminación de PAD causó una degradación significativa en la capacidad de eliminar objetos.
- La eliminación de LADG redujo ligeramente la precisión, afectando la refinación contextual.

5. Significado e Impacto

El trabajo de PANDORA representa un avance significativo en la edición de imágenes generativa:

Accesibilidad: Al eliminar la necesidad de fine-tuning o prompts, hace que la eliminación de objetos de alta calidad sea accesible en entornos de recursos limitados.
Escalabilidad: Es capaz de manejar escenarios desafiantes como la eliminación de múltiples objetos, objetos masivamente similares (ej. grupos de pájaros o frutas) y objetos densamente agrupados en una sola pasada.
Calidad Semántica: Logra una coherencia semántica y visual superior, evitando los artefactos rígidos comunes en métodos anteriores, estableciendo un nuevo estándar para la eliminación de objetos zero-shot.

En resumen, PANDORA demuestra que es posible lograr una eliminación de objetos precisa y semánticamente plausible manipulando directamente los mecanismos de atención y la trayectoria latente de modelos de difusión pre-entrenados, sin necesidad de reentrenamiento.