1. 문제 정의 (Problem Statement)

기존의 생성형 AI 기반 객체 합성 (Object Compositing) 기술 (예: ObjectStitch, OmniPaint 등) 은 연구실 환경에서는 뛰어난 성능을 보이지만, 실제 전자상거래 (E-commerce) 제품 카탈로그 이미지 생성에 적용할 때 두 가지 주요 한계로 인해 실용성이 떨어집니다.

1. 제품 치수 불일치 (Product Dimension Mismatch):
   • 기존 방법은 원본 마스크의 비율에 맞춰 새 제품을 강제로 삽입합니다.
   • 교체할 제품과 원본 타겟 영역의 종횡비 (Aspect Ratio) 가 다르면, 제품이 왜곡되어 늘어나거나 찌그러지는 현상이 발생합니다.
   • 이를 해결하기 위해 사용자가 수동으로 마스크를 조정해야 하는 번거로움이 존재합니다.
2. 가림 요소 파괴 (Occlusion Destruction):
   • 실제 카탈로그 이미지에서는 제품 앞에 화분, 테이블, 장식품 등 전경 (Foreground) 요소가 겹쳐 있는 경우가 많습니다.
   • 기존 생성 모델은 합성 과정에서 이러한 겹쳐진 요소들을 파괴하거나 왜곡시켜, 생성 후 사용자가 수동으로 복원해야 하는 복잡한 워크플로우를 요구합니다.

2. 제안 방법론 (Methodology)

저자들은 CatalogStitch라는 모델 무관 (Model-agnostic) 인 기술 세트를 제안합니다. 이는 기존 생성 합성 모델의 전처리 (Preprocessing) 및 후처리 (Postprocessing) 단계에 적용되는 경량 모듈로 구성되어 있습니다.

A. 치수 인식 마스크 계산 (Dimension-Aware Mask Computation)

• 목적: 교체할 제품의 종횡비가 원본 타겟 영역과 다를 때, 제품 비율을 왜곡하지 않으면서도 원래 위치를 유지하는 최적의 타겟 마스크를 자동 생성합니다.
• 알고리즘:
  1. 원본 타겟 영역의 중심점 (Centroid) 을 계산합니다.
  2. 원본 마스크와 제품 이미지의 종횡비 (Aspect Ratio) 를 비교합니다.
  3. 차이가 임계값 ($\tau$) 을 초과하면, 원본 중심점을 기준으로 유지하면서 제품의 비율에 맞춰 마스크의 너비나 높이를 확장/축소합니다.
  4. 확장된 마스크를 생성하여 생성 모델에 입력합니다.
• 효과: 사용자가 수동 조정 없이도 제품이 원래 비율을 유지하며 자연스럽게 배치됩니다.

B. 가림 요소 인식 하이브리드 복원 (Occlusion-Aware Hybrid Restoration)

• 목적: 합성 과정에서 파괴될 수 있는 전경 가림 요소 (Occluders) 를 원본 픽셀 그대로 정확히 복원합니다.
• 5 단계 하이브리드 파이프라인:
  1. 분할 (Segmentation): 배경 이미지에서 타겟 영역과 겹치는 전경 객체 (식물, 테이블 등) 를 식별합니다.
  2. 캐싱 (Caching): 겹치는 객체의 정확한 가시 영역 픽셀을 원본 이미지에서 추출하여 저장합니다.
  3. 생성적 인페인팅 (Generative Inpainting): 겹치는 객체 영역을 제거하여 '깨끗한' 배경을 생성합니다.
  4. 합성 (Compositing): 깨끗한 배경과 치수 인식 마스크를 사용하여 생성 모델로 제품을 합성합니다.
  5. 재조합 (Recomposition): 2 단계에서 캐싱한 원본 가림 요소 픽셀을 최종 결과물 위에 알파 블렌딩 (Alpha Blending) 하여 정밀하게 복원합니다.
• 핵심 아이디어: 가림 요소는 생성 모델로 재창조하는 것이 아니라, 원본의 정확한 픽셀을 보존하여 복원함으로써 픽셀 단위 (Pixel-perfect) 의 정확성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 치수 인식 마스크 알고리즘: 수동 개입 없이 다양한 비율의 제품을 자연스럽게 배치할 수 있도록 자동화했습니다.
2. 가림 요소 인식 하이브리드 복원: 생성적 AI 와 결정론적 (Deterministic) 연산을 결합하여, 겹치는 요소의 기하학적 구조와 조명, 질감을 완벽하게 보존합니다.
3. CatalogStitch-Eval 벤치마크:
   • 종횡비 불일치 (35 개) 와 가림 요소가 많은 (23 개) 총 58 개의 테스트 케이스로 구성된 평가 데이터셋을 공개했습니다.
   • PDF 및 HTML 뷰어를 포함한 메타데이터를 제공합니다.
4. 범용성 검증: ObjectStitch, OmniPaint, InsertAnything 등 3 가지 최첨단 (SOTA) 합성 모델에 적용하여 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

CatalogStitch-Eval 벤치마크를 통해 정량적 및 정성적 평가를 수행했습니다.

• 정량적 평가 (Quantitative):
  • AR Error (종횡비 오차): 기존 방법 (약 30%) 에서 CatalogStitch 적용 시 약 **4~5%**로 획기적으로 감소했습니다.
  • FID (Fréchet Inception Distance): 생성된 이미지의 현실감이 크게 향상되었습니다 (예: InsertAnything 기준 105.99 → 77.72).
  • CLIP/DINO Score: 의미적 정합성과 구조적 유사성이 모두 향상되었습니다.
  • Occluder PSNR: 가림 요소 복원 품질이 기존 방법 (약 1113) 에 비해 **2627** 수준으로 크게 개선되어 원본 픽셀과의 유사도가 높아졌습니다.
• 정성적 평가 (Qualitative):
  • 제품 왜곡이 사라지고, 전경 요소 (화분, 가구 등) 가 합성 전후로 변함없이 정확히 복원되는 것을 확인했습니다.
  • 특히 미세한 경계선과 복잡한 질감을 가진 객체에서 기존 생성 모델의 한계를 극복했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 생산성 혁신: 카탈로그 이미지 제작 과정에서 발생하는 번거로운 수동 작업 (마스크 조정, 가림 요소 복원) 을 자동화하여, 비전문가도 고품질 생성형 AI 를 활용할 수 있게 했습니다.
• 하이브리드 접근법의 가치: 생성형 AI 의 유연성 (조화, 그림자 생성 등) 과 결정론적 방법의 정확성 (마스크 계산, 픽셀 복원) 을 결합함으로써, **실제 생산 환경 (Production Workflow)**에 필요한 신뢰성과 품질을 동시에 달성했습니다.
• 미래 지향성: 제안된 기술은 특정 모델에 종속되지 않으므로, 향후 더 발전된 생성 모델이 등장하더라도 쉽게 적용되어 워크플로우를 개선할 수 있습니다.

이 논문은 생성형 AI 를 단순한 실험실 기술을 넘어, 실제 비즈니스 환경에서 즉시 활용 가능한 도구로 전환하는 중요한 디딤돌이 되었습니다.