CatalogStitch: Dimension-Aware and Occlusion-Preserving Object Compositing for Catalog Image Generation

Resumen Técnico: CatalogStitch

1. El Problema: La Brecha entre Investigación y Producción

Aunque los métodos de composición de objetos generativos basados en difusión (como ObjectStitch, OmniPaint e InsertAnything) han demostrado una gran capacidad para insertar objetos en escenas de manera coherente, su aplicación en la generación de imágenes de catálogos comerciales enfrenta dos obstáculos críticos que requieren intervención manual tediosa:

• Desajuste de Dimensiones (Dimension Mismatch): Cuando se reemplaza un producto por otro con proporciones diferentes (ej. una lámpara alta por una mesa ancha), los métodos actuales fuerzan el nuevo producto dentro de la máscara original. Esto provoca distorsiones geométricas (estiramiento o aplastamiento) que arruinan la fidelidad del producto.
• Destrucción de Oclusiones (Occlusion Destruction): En los catálogos reales, los productos a menudo están parcialmente ocultos por elementos del primer plano (plantas, jarrones, muebles). Los métodos generativos actuales, al regenerar la región objetivo, suelen destruir o distorsionar estos elementos superpuestos, obligando a los usuarios a restaurarlos manualmente después de la generación.

Estos problemas impiden la implementación práctica en flujos de trabajo de producción, donde se requiere precisión píxel a píxel y escalabilidad sin intervención experta.

2. Metodología: CatalogStitch

El artículo presenta CatalogStitch, un conjunto de técnicas agnósticas al modelo (model-agnostic) que actúan como pasos de preprocesamiento y postprocesamiento alrededor de cualquier modelo de composición generativa existente. El sistema automatiza las correcciones permitiendo al usuario solo proporcionar la imagen del producto y el fondo.

El pipeline consta de dos módulos principales:

A. Cálculo de Máscaras Consciente de Dimensiones (Dimension-Aware Mask Computation)
Este algoritmo adapta automáticamente la región objetivo para acomodar las nuevas proporciones del producto sin intervención manual:

1. Análisis: Calcula la relación de aspecto (aspect ratio) de la máscara original ($AR_t$) y del producto nuevo ($AR_p$).
2. Decisión: Si la diferencia excede un umbral ($\tau = 0.06$), el sistema recalcula las dimensiones óptimas.
3. Expansión Centrada: Genera una nueva máscara rectangular ($M^*_t$) que mantiene el centroide original de la ubicación pero expande o contrae las dimensiones (anchura o altura) para igualar la relación de aspecto del producto nuevo.
4. Resultado: El producto se inserta con sus proporciones nativas intactas, evitando distorsiones.

B. Restauración Híbrida Consciente de Oclusiones (Occlusion-Aware Hybrid Restoration)
Este método garantiza la preservación "píxel perfecta" de los elementos que ocultan al producto mediante un enfoque híbrido (IA + operaciones deterministas) en cinco pasos:

1. Segmentación: Identifica instancias de primer plano que se superponen con la región objetivo usando segmentación de entidades.
2. Almacenamiento en Caché (Caching): Extrae y guarda los píxeles exactos (RGB y alpha) de los objetos ocluyentes del fondo original. No se sintetiza nada; se preservan los datos originales.
3. Inpainting Generativo: Se aplica inpainting generativo en el fondo original para eliminar los ocluyentes, creando un fondo "limpio" donde el producto objetivo está totalmente visible.
4. Composición Generativa: Se ejecuta el modelo de composición (ej. ObjectStitch) sobre el fondo limpio y la máscara adaptada. Esto permite una integración perfecta del producto sin artefactos de oclusión.
5. Recomposición Determinista: Finalmente, los píxeles ocluyentes guardados en caché se vuelven a superponer (alpha-blending) sobre el resultado generado. Esto restaura la geometría, textura, iluminación y sombras originales con precisión absoluta.

3. Contribuciones Clave

1. Algoritmo de Máscara Adaptativa: Automatiza la adaptación de la región objetivo a diferentes relaciones de aspecto, eliminando la necesidad de ajustar máscaras manualmente.
2. Restauración Híbrida de Oclusiones: Un pipeline de cinco pasos que combina inpainting generativo con la recomposición determinista de píxeles originales, garantizando que los elementos superpuestos no se pierdan.
3. Benchmark CatalogStitch-Eval: Introducción de un nuevo conjunto de datos de evaluación con 58 ejemplos (35 con desajuste de dimensiones y 23 con oclusiones complejas), junto con visualizadores PDF y HTML para inspección rápida.
4. Evaluación Cruzada: Demostración empírica de que estas técnicas mejoran consistentemente tres modelos de vanguardia (ObjectStitch, OmniPaint, InsertAnything) sin necesidad de reentrenar los modelos generativos subyacentes.

4. Resultados y Evaluación

Los autores evaluaron sus técnicas en el benchmark CatalogStitch-Eval comparando los modelos base contra los modelos mejorados con CatalogStitch.

• Métricas Cuantitativas:
  • Error de Relación de Aspecto (AR Error): Se redujo drásticamente de un promedio de ~30% (sin CatalogStitch) a ~4-5% (con CatalogStitch), indicando una preservación casi perfecta de las proporciones del producto.
  • FID (Fréchet Inception Distance): Disminuyó significativamente, mostrando una mayor realismo en la distribución de las imágenes generadas.
  • Puntuaciones CLIP y DINO: Aumentaron, indicando una mejor alineación semántica y fidelidad estructural.
  • PSNR de Ocluyentes: En los casos de oclusión, la restauración de píxeles originales logró un PSNR muy alto (ej. 27.54 para InsertAnything + Ours), superando con creces a los métodos que intentan regenerar la oclusión.
• Resultados Cualitativos:
  • Los productos mantienen sus proporciones nativas sin estiramiento.
  • Los elementos del primer plano (mesas, plantas) se restauran con sus bordes duros y texturas originales intactos, algo que los modelos puramente generativos fallan en reconstruir consistentemente.

5. Significado e Impacto

El trabajo de CatalogStitch es fundamental para la democratización de la creación de contenido de IA en entornos de comercio electrónico:

• Cambio de Paradigma en la Interacción Humano-IA: Transfiere la carga de trabajo de la manipulación técnica de píxeles (ajuste de máscaras, restauración manual) a la toma de decisiones creativas de alto nivel (selección de producto y fondo).
• Viabilidad Industrial: Al automatizar correcciones tediosas y garantizar la fidelidad requerida para catálogos profesionales, hace que la composición generativa sea práctica para flujos de trabajo de producción masiva.
• Enfoque Híbrido: Refuerza la idea de que para aplicaciones industriales críticas, la combinación de la flexibilidad de la IA generativa (para armonización y sombras) con operaciones deterministas (para máscaras y preservación de píxeles) es superior a los enfoques puramente generativos.

En conclusión, CatalogStitch cierra la brecha entre los métodos de investigación académica y las exigencias de producción real, ofreciendo una herramienta robusta, agnóstica al modelo y fácil de usar para la generación de imágenes de catálogos.