MS-CustomNet: Controllable Multi-Subject Customization with Hierarchical Relational Semantics

논문 요약: MS-CustomNet (계층적 관계 의미론을 통한 제어 가능한 다중 객체 커스터마이징)

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 확산 모델 (Diffusion Models) 기반의 텍스트 - 이미지 생성 기술은 비약적으로 발전했으나, 사용자가 제공한 여러 개의 서로 다른 객체 (Subject) 를 하나의 장면으로 통합하면서도 각 객체 간의 세밀한 상호작용과 공간적 관계를 명시적으로 제어하는 것은 여전히 난제입니다.
• 기존 방법의 한계:
  • 기존 단일 객체 커스터마이징 방법 (CustomNet 등) 을 다중 객체로 확장할 경우, 객체 간 개념이 섞이는 (Concept Bleeding) 현상이나 정체성 손실이 발생합니다.
  • 기존 다중 객체 생성 방법 (예: MS-Diffusion) 은 텍스트 프롬프트의 암시적 의미에 의존하여 고품질 이미지를 생성하지만, 사용자가 **구체적인 배치 (예: A 객체가 B 객체 안에 있음, 특정 층위 관계 등)**를 명시적으로 지시하고 이를 재현 가능하게 만드는 데는 한계가 있습니다.
• 핵심 문제: 다중 객체의 정체성을 유지하면서도, 사용자가 정의한 **계층적 구조 (Occlusion, Layering)**와 정밀한 공간적 배치를 제어할 수 있는 프레임워크의 부재.

2. 제안 방법론 (Methodology)

저자들은 MS-CustomNet이라는 새로운 프레임워크와 이를 학습하기 위한 MSI 데이터셋을 제안합니다.

• MSI 데이터셋 (Multi-Subject Interaction Dataset):

  • COCO 데이터셋을 기반으로 구축되었으며, 복잡한 다중 객체 상호작용 학습을 위해 설계되었습니다.
  • 필터링: 이미지 내 객체의 상대적 면적 ($\beta=0.015$) 과 객체 수 ($\alpha=2$ 이상) 를 기준으로 유의미한 상호작용이 있는 장면을 선별합니다.
  • 레이아웃 맵 (Layout Map, $M_L$) 생성: 각 객체의 바운딩 박스와 분할 마스크를 활용하여, 객체들의 배치, 크기, 그리고 **중첩 순서 (Occlusion order)**를 인코딩한 합성 지도를 생성합니다. 이는 사용자의 공간적 제어를 위한 핵심 입력입니다.
  • 참조 이미지 풀: 각 객체 카테고리별로 다중 뷰 (Multi-view) 참조 이미지를 구축하여 제로샷 (Zero-shot) 커스터마이징을 가능하게 합니다.

• MS-CustomNet 아키텍처:

  • 기반 모델: CustomNet 을 기반으로 한 잠재 확산 모델 (Latent Diffusion Model, LDM) 입니다.
  • 카테고리 인식 임베딩: 각 참조 이미지 ($x_{ref,k}$) 에 대해 CLIP 이미지 인코더와 카테고리 인코더를 결합하여, 텍스트 프롬프트와 시각적 참조를 명확하게 매칭시키는 '카테고리 인식 주체 임베딩' ($f_{s,k}$) 을 생성합니다.
  • 조건부 입력:
    1. 텍스트 프롬프트: 배경 및 맥락 설명.
    2. 레이아웃 맵 ($M_L$): 객체의 2D 위치, 크기, 층위 관계를 인코딩하여 U-Net 에 주입합니다.
    3. 주체 임베딩: 각 객체의 정체성 정보.
  • 학습 전략:
    1. 이중 단계 학습 (Dual Stage Training, DST): 1 단계에서는 레이아웃과 기본 상호작용 학습에 집중하고, 2 단계에서는 학습률을 낮춰 객체의 디테일과 정체성 (Identity) 을 정제합니다.
    2. 객체 수 커리큘럼 학습 (Curriculum Learning on Subject Quantity, CLSQ): 학습 초기에는 객체 수를 적게 (2 개) 시작하여 점차 증가 (최대 5 개) 시킴으로써 모델이 복잡한 다중 객체 구성을 점진적으로 학습하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. MS-CustomNet 프레임워크: 단일 객체 커스터마이징을 다중 객체 영역으로 확장하고, 사용자에게 계층적 구조와 공간적 관계에 대한 명시적 제어를 제공하는 최초의 효율적인 프레임워크 중 하나입니다.
2. 고급 학습 전략: 모델의 안정성과 효율성을 높이기 위해 **이중 단계 학습 (DST)**과 **객체 수 기반 커리큘럼 학습 (CLSQ)**을 도입했습니다.
3. MSI 데이터셋: COCO 기반의 다중 객체 상호작용 데이터셋을 공개하여, 복잡한 구성 제어 학습을 위한 벤치마크를 마련했습니다.
4. 성능 입증: 제로샷 환경에서 객체 정체성 보존과 사용자 정의된 공간적 배치의 정확성을 동시에 달성함을 증명했습니다.

4. 실험 결과 (Results)

• 평가 지표:
  • 정체성 보존: DINO-I (0.61), CLIP-I (0.79).
  • 위치 제어: YOLO-L (0.94, 매우 높은 정확도).
  • 객체 수 및 카테고리 일치: YOLO-Subj (0.68).
  • 텍스트 - 이미지 일치: CLIP-B (0.34).
• 비교 분석:
  • 단일 객체: CustomNet, IP-Adapter 등 기존 방법과 경쟁력 있는 성능을 보이며, 특히 정체성 보존과 장면 통합에서 우수한 결과를 기록했습니다.
  • 다중 객체: SSR-Encoder, $\lambda$-ECLIPSE 와 비교 시, YOLO-L 점수가 압도적으로 높습니다. 이는 MS-CustomNet 이 객체의 위치뿐만 아니라 중첩 (Occlusion) 과 층위 관계를 사용자가 지시한 대로 정확하게 구현함을 의미합니다.
• Ablation Study:
  • 레이아웃 맵 ($M_L$) 추가: 공간 제어 능력 급증 (YOLO-L 상승) 이나 배경 품질 저하 (CLIP-B 하락) 발생.
  • DST 추가: 정체성 및 배경 품질 회복.
  • CLSQ 추가: 모든 지표에서 최적의 성능 달성 (정체성, 공간 제어, 배경 일관성 모두 균형 잡힘).

5. 의의 및 결론 (Significance)

• 사용자 제어의 혁신: 기존 생성 모델이 텍스트의 '암시적' 의미에 의존하던 한계를 넘어, 사용자가 **구체적인 물리적 배치와 계층 관계 (예: "A 가 B 안에 있고, C 가 B 뒤에 있음")**를 명시적으로 지시할 수 있는 가능성을 열었습니다.
• 응용 가능성: 제품 디자인, 광고 제작, 게임 asset 생성 등 다중 객체의 공간적 구성이 중요한 분야에서 높은 실용성을 가집니다.
• 효율성: 대규모 데이터셋과 거대 모델을 필요로 하는 기존 SOTA 방법과 달리, MS-CustomNet 은 경량화된 구조로 명시적 제어를 효율적으로 구현하여 접근성을 높였습니다.

이 논문은 생성형 AI 가 단순한 이미지 합성을 넘어, 사용자의 의도대로 정밀하게 구조화된 장면을 구성하는 단계로 도약할 수 있음을 보여주는 중요한 연구입니다.