From Inpainting to Layer Decomposition: Repurposing Generative Inpainting Models for Image Layer Decomposition

1. El Problema

La descomposición de capas de imágenes consiste en separar una imagen en sus componentes fundamentales: un objeto de primer plano (foreground) y un fondo (background), recuperando simultáneamente las regiones ocluidas del objeto y reconstruyendo el fondo como si el objeto nunca hubiera estado presente.

A pesar de los avances en modelos generativos grandes (como los modelos de difusión), esta tarea sigue siendo un desafío debido a:

• La escasez de métodos especializados y datos de alta calidad etiquetados por capas.
• Los enfoques existentes (como LayerDecomp) requieren un fine-tuning completo en grandes conjuntos de datos curados, lo que demanda recursos computacionales masivos y hace que el método sea inaccesible para la mayoría de los usuarios.
• La necesidad de un equilibrio delicado entre la generación de contenido plausible (relleno) y la preservación fiel de los detalles del objeto original.

2. Metodología Propuesta: "Outpaint-and-Remove"

Los autores proponen un enfoque innovador que reutiliza y adapta un modelo de difusión preentrenado para inpainting (relleno de imágenes) en lugar de entrenar un modelo desde cero. La idea central es que la descomposición de capas es conceptualmente una combinación de inpainting (para el fondo) y outpainting (para el primer plano).

Componentes Clave del Pipeline:

1. Adaptación Eficiente (PEFT):

   • Se utiliza un modelo base de difusión para inpainting (específicamente FLUX.1-Fill-dev).
   • En lugar de un fine-tuning completo, se emplea LoRA (Low-Rank Adaptation) en las capas de atención y feed-forward, junto con la reentrenamiento de la capa de proyección de entrada. Esto permite aprender nuevas capacidades con muy pocos parámetros ajustables.

2. Tokenización de Contexto Multimodal:

   • Para preservar detalles finos en el espacio latente, el modelo no solo recibe la imagen y la máscara, sino también mapas derivados: mapa de bordes, mapa de segmentación y mapa de profundidad.
   • Se introduce un módulo de Fusión Latente Multimodal con complejidad lineal (inspirado en linear attention). Este módulo resume los tokens de múltiples modalidades en un número fijo y pequeño de tokens latentes, reduciendo la carga computacional de $O(K^2)$ a $O(KN)$.

3. Diseño de Contexto Imagen-Máscara Dual:

   • A diferencia de los modelos de inpainting estándar que solo usan el contexto del fondo ($c_{I-M}^b$), el modelo propuesto introduce un contexto de primer plano ($c_{I-M}^f$) adicional.
   • Este contexto dual actúa como una señal de control que ayuda al modelo a equilibrar la preservación de la información existente (el objeto) con la generación de nuevo contenido (el fondo), evitando alucinaciones en el objeto extraído.

4. Decodificación RGBA:

   • El fondo se genera en formato RGB (reutilizando el VAE preentrenado).
   • El primer plano se genera en formato RGBA (incluyendo el canal alfa para transparencia), lo que requiere un codificador/decodificador RGBA ajustado específicamente.

5. Curación de Datos Sintéticos:

   • El modelo se entrena exclusivamente con un conjunto de datos sintético construido a partir de recursos de código abierto.
   • Se utiliza una estrategia híbrida: combina primeros planos reales (del dataset MULAN, con detalles ricos pero formas incompletas) con primeros planos generados (por LayerDiffuse, con formas completas pero texturas suavizadas). Esto crea un conjunto de datos equilibrado y accesible.

3. Contribuciones Principales

• Nueva Perspectiva: Establece una conexión teórica y práctica entre la descomposición de capas y las tareas de inpainting/outpainting, demostrando que un solo modelo puede adaptarse eficientemente para ambas.
• Eficiencia de Datos y Parámetros: Presenta el primer método que adapta un modelo de inpainting preentrenado para la descomposición de capas utilizando fine-tuning ligero (LoRA) y datos públicos, eliminando la necesidad de grandes recursos computacionales.
• Arquitectura Innovadora: Introduce un módulo de fusión de contexto multimodal de baja complejidad y un esquema de contexto dual (fondo + primer plano) que mejora significativamente la fidelidad de la extracción.
• Rendimiento Superior: Logra resultados State-of-the-Art (SOTA) tanto en la tarea de descomposición de capas como en la eliminación de objetos estándar.

4. Resultados Experimentales

El modelo fue evaluado en el dataset MULAN (el estándar en este dominio) y en una colección de imágenes reales de alta calidad.

• Métricas Cuantitativas (Eliminación de Objetos/Fondo):

  • El método propuesto ("Ours") superó a todos los baselines (incluyendo SD-XL Inpainting, PowerPaint, BrushNet y el modelo base FLUX.1-Fill-dev).
  • Obtuvo el mejor puntaje en todas las métricas: PSNR (27.30), SSIM (0.93), LPIPS (0.08) y FID (25.97).
  • Comparado con el modelo base, hubo una mejora de 1.71 dB en PSNR y una reducción de 9.99 en FID.

• Extracción de Primer Plano:

  • Se comparó contra métodos de matting (recorte) como Matting-Anything y DiffMatte.
  • El modelo propuesto obtuvo la tasa de preferencia de usuarios más alta (59.51%) en un estudio con investigadores, superando a los métodos de referencia en fidelidad visual y calidad.

• Estudios de Ablación:

  • Confirmaron que el uso del contexto dual es crucial para evitar alucinaciones en el objeto extraído.
  • Mostraron que el contexto multimodal mejora la comprensión semántica de las regiones a rellenar.
  • Determinaron que un rango LoRA de 256 ofrece el mejor equilibrio entre la adaptación a la nueva tarea y la preservación de los priores generativos del modelo base.

5. Significado e Impacto

Este trabajo es significativo porque democratiza la capacidad de descomposición de capas. Al demostrar que se puede lograr un rendimiento superior sin entrenar modelos masivos desde cero ni utilizar datasets propietarios costosos, hace que esta tecnología avanzada sea accesible para una gama más amplia de investigadores y desarrolladores.

Además, la capacidad de extraer objetos con sus oclusiones recuperadas y generar fondos limpios abre nuevas posibilidades para:

• Edición creativa de imágenes y recomposición.
• Generación de arte en capas.
• Búsqueda basada en componentes.
• Aplicaciones de realidad aumentada y efectos visuales.

En resumen, el papel transforma una tarea compleja de visión por computadora en una extensión eficiente de modelos de inpainting existentes, resolviendo el problema de la escasez de datos y recursos mediante una ingeniería de arquitectura inteligente y una curación de datos híbrida.