When Do Diffusion Models learn to Generate Multiple Objects?

"시각적 확산 모델은 언제 여러 객체를 생성하도록 학습하는가?" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

텍스트-이미지 확산 모델은 단일 객체 생성에 있어 놀라운 시각적 충실도를 달성했으나, 다중 객체 구성을 생성할 때는 여전히 신뢰성이 부족합니다. 개수 세기, 속성 바인딩 (예: "빨간 컵과 파란 TV"), 공간적 관계 (예: "책상 아래에 있는 기차") 와 같은 작업에서 실패에 대한 경험적 증거가 있음에도 불구하고, 그 근본 원인은 명확하지 않습니다.

본 논문은 이러한 실패가 다음 중 어디에서 기인하는지 조사합니다:

1. 데이터 편향/불균형: 특정 개수나 색상과 같은 개별 개념이 학습 데이터에 드물게 나타나기 때문에 모델이 이를 학습하지 못함.
2. 구성적 일반화 실패: 알려진 개념들을 보지 못한 조합으로 재결합하지 못함 (예: "빨간 구체"와 "파란 입방체"를 각각 보았더라도, 둘을 함께 "빨간 구체와 파란 입방체"로 생성할 수 있는가?).
3. 장면 복잡성: 데이터 분포와 관계없이 여러 객체를 동시에 관리하는 것의 어려움.

2. 방법론

A. MOSAIC 프레임워크

인과 요인을 분리하기 위해 저자들은 MOSAIC(Multi-Object Spatial relations, AttrIbution, Counting, 다중 객체 공간 관계, 속성, 개수 세기) 을 도입했습니다. 이는 통제된 데이터셋 생성 프레임워크입니다. LAION-2B 와 같은 실제 세계 데이터셋이 얽힌 편향을 갖는 것과 달리, MOSAIC 는 명시적으로 다음을 매개변수화합니다:

• 속성 바인딩: 색상과 특정 객체 유형 (예: 구체 vs 입방체) 을 바인딩.
• 공간적 관계: 객체 간의 각도 위치 정의 (예: 18° 간격).
• 개수 세기: 특정 수의 객체 생성 (1 에서 10 까지).

이 프레임워크는 다음을 체계적으로 변형할 수 있게 합니다:

• 데이터셋 크기: 2k, 10k, 50k, 100k 샘플.
• 데이터 분포: 균일 대 편향 (실제 세계의 빈도 불균형을 모방).
• 장면 복잡성: "기본"(단순) 대 "복잡"(방해 요소/중복 추가) 대 "격자"(객체를 방사형 섹터로 제한하여 공간적 변이성 감소).
• 구성적 난이도: 학습 중에 특정 개념 조합 (개념 행렬의 대각선) 을 체계적으로 홀드아웃하여 보지 못한 쌍에 대한 일반화를 테스트.

B. 실험 설정

• 모델: 처음부터 훈련된 두 가지 아키텍처: U-Net(약 90M 파라미터, 스코어 매칭 목적 함수) 과 Diffusion Transformer(DiT, 확산 트랜스포머)(약 90M 파라미터, 플로우 매칭 목적 함수).
• 평가: 생성 정확도를 평가하기 위해 작업별 판별식 분류기 (CNN/ResNet) 를 훈련.
• 실제 세계 검증: 발견 사항을 다음으로 확장:
  • 파인튜닝: SPEC 벤치마크에서 사전 훈련된 **Stable Diffusion 3(SD3)**에 LoRA 를 적용.
  • 객체 공존: 실제적인 객체 모양, 가림, 다양한 시점을 가진 MOSAIC 의 덜 통제된 변형.

3. 주요 발견 및 결과

A. 개념 일반화 (RQ1: 데이터 불균형 대 복잡성)

• 장면 복잡성이 지배적 요인: 데이터 불균형이 주된 원인이라는 가설과 달리, 장면 복잡성이 성능 저하를 주도합니다.
  • 속성 바인딩과 공간적 관계(2 개 객체) 는 작은 데이터셋 (2k–10k) 과 편향된 분포에서도 잘 일반화됩니다.
  • 개수 세기(최대 10 개 객체) 는 데이터가 균일하든 편향하든 상관없이 저데이터 영역 (10k–50k) 에서 현저히 실패합니다.
• 개수 세기 역학: 개수 세기는 독특한 "초기 정점 및 붕괴" 행동을 보입니다. 저데이터 영역에서 모델은 초기에 개수를 세는 법을 배우지만, 훈련이 계속됨에 따라 저하되어 개별 객체 인스턴스를 유지하지 못합니다. 이는 암기 (데이터 규모가 커질수록 감소) 가 아니라 일반화 실패 때문입니다.
• 유도 편향의 도움: 격자 레이아웃(객체를 특정 섹터로 제한) 을 도입하면 모든 데이터셋 크기에서 개수 세기 성능이 크게 안정화되어, 견고한 개수 세기를 위해 명시적인 공간적 사전 지식이 필요함을 시사합니다.

B. 구성적 일반화 (RQ2: 보지 못한 조합)

• 보지 못한 조합과 함께 일반화 붕괴: 학습 중에 홀드아웃된 개념 쌍의 수가 증가함에 따라 모델의 보지 못한 구성 생성 능력이 급격히 저하됩니다.
• 난이도 계층 구조: 개념을 재결합하는 난이도는 엄격한 순서를 따릅니다:
  1. 속성 바인딩(가장 견고함)
  2. 개수 세기
  3. 공간적 관계(가장 취약함; 소수의 보지 못한 조합만으로도 성능이 급격히 떨어짐).
• 아키텍처 독립성: 이러한 경향은 U-Net 과 DiT 아키텍처 모두에서 유효하여, 특정 아키텍처 결함이 아니라 현재 확산 모델의 근본적인 한계를 나타냅니다.
• 파인튜닝의 한계: 실제 데이터 (SPEC) 로 SD3 를 파인튜닝한 결과, 공간적 관계는 개선되지만 개수 세기 정확도는 악화되어, 사전 훈련된 모델에서도 개수 세기가 여전히 취약한 능력임을 재확인했습니다.

4. 주요 기여

1. MOSAIC 데이터셋: 다중 객체 추론을 개수 세기, 속성 바인딩, 공간적 관계와 같은 독립적인 차원으로 분리하여 데이터 효과의 인과 분석을 가능하게 하는 새로운 통제된 진단 프레임워크.
2. 데이터와 복잡성 분리: 데이터 불균형뿐만 아니라 장면 복잡성이 특히 개수 세기 작업에서 다중 객체 생성의 주요 병목 현상임을 입증.
3. 구성적 일반화의 한계: 확산 모델이 견고한 구성적 일반화를 위한 내재적 메커니즘이 없음을 보여줌; 보지 못한 학습 조합의 수가 증가함에 따라 성능이 선형적으로 저하되며, 공간적 관계가 가장 취약함.
4. 유도 편향의 필요성: 결과에 따르면, 특히 저데이터 영역에서 다중 객체 생성을 신뢰성 있게 처리하기 위해 일반 확산 모델은 더 강력한 유도 편향 (예: 명시적 레이아웃 조건부 또는 객체 중심 표현) 이 필요함.

5. 의의

이 연구는 단순히 데이터를 확장하거나 더 큰 모델을 사용하는 것이 다중 객체 생성 실패를 해결할 것이라는 가정에 도전합니다. 이는 다음을 강조합니다:

• 현재 확산 모델은 명시적 구조적 안내 없이 개념을 재결합하는 능력이 근본적으로 제한됨.
• 데이터 설계가 중요함: 데이터가 개념의 결합 공간을 커버하지 않거나 장면 복잡성이 모델이 객체 구별성을 유지할 수 있는 능력을 초과한다면, 단순히 "더 많은 데이터"를 갖는 것은 불충분함.
• 미래 방향: 이 발견들은 견고한 다중 객체 구성 생성을 보장하기 위해 더 강력한 유도 편향 (예: 명시적 레이아웃 조건부, 객체 중심 표현) 을 가진 새로운 아키텍처 개발과 더 나은 데이터 설계 전략을 촉진함.