BlendFusion -- Scalable Synthetic Data Generation for Diffusion Model Training

1. 연구 배경 및 문제 정의 (Problem)

• 확대되는 데이터 수요: 확산 모델 (Diffusion Models) 의 급속한 발전으로 대규모 이미지 - 텍스트 쌍 데이터셋에 대한 수요가 급증하고 있습니다.
• 기존 합성 데이터의 한계:
  • 시각적 불일치: 확산 모델만으로 생성된 이미지는 기하학적 왜곡, 객체 환각 (hallucination), 의미론적 아티팩트 등의 문제가 빈번합니다.
  • 모델 자가포식 장애 (MAD, Model Autophagy Disorder): 생성된 합성 데이터로 다시 모델을 학습시킬 경우, 오류와 편향이 세대를 거치며 누적되어 모델의 품질이 점진적으로 저하되거나 붕괴 (Model Collapse) 하는 현상이 발생합니다.
• 기존 3D 렌더링 데이터의 부족: 물리 기반 렌더링 (Path Tracing) 을 사용하는 3D 씬 기반 데이터는 기하학적 일관성이 뛰어나지만, 기존 방법론들은 카메라 배치나 캡션 생성 과정에서 효율성과 품질 관리 측면에서 개선의 여지가 있었습니다.

2. 제안 방법론: BlendFusion (Methodology)

저자들은 3D 씬에서 물리 기반 렌더링 (Path Tracing) 을 사용하여 고품질 합성 이미지 - 캡션 쌍을 생성하는 확장 가능한 프레임워크인 BlendFusion을 제안합니다. 주요 파이프라인은 다음과 같습니다.

가. 객체 중심 카메라 배치 (Object-Centric Camera Placement)

• 전략: 무작위 전역 샘플링 대신, 3D 씬 내의 각 메쉬 객체 (Mesh Object) 를 기준으로 카메라를 배치합니다.
• 구현:
  • 각 객체의 축 정렬 경계 상자 (AABB) 중심을 기준으로 8 개의 방위각 (Azimuth, 45° 간격) 을 설정합니다.
  • 고도 (Elevation) 는 0° (눈높이) 로 고정하여 자연스러운 시점을 확보합니다.
  • 자동 프레이밍: 객체의 투영 크기에 따라 카메라 거리를 동적으로 조정하여, 객체가 이미지 수직 방향의 약 2/3 를 차지하도록 설정합니다.
• 효과: 다양한 각도에서 일관된 프레이밍과 메타데이터를 확보하며, 가림 (Occlusion) 문제가 발생하더라도 다른 각도에서 객체가 포착될 가능성을 높입니다.

나. 다단계 필터링 시스템 (Filtering Mechanisms)

생성된 렌더링 이미지 중 학습에 부적합한 데이터를 제거하기 위해 3 단계 필터링을 적용합니다.

1. 휴리스틱 필터링 (Heuristic Filtering):
   • 빈 프레임 제거: 분할 맵 (Segmentation Map) 에서 대상 객체가 0 픽셀인 경우 제거.
   • 밝기 및 분산 필터링: 너무 어둡거나 픽셀 분산이 낮아 (단색 배경 등) 정보가 부족한 이미지 제거.
   • 과다한 어두운 픽셀 제거: 노출 부족으로 인한 이미지 제거.
2. VLM 기반 필터링 (Vision-Language Model Filtering):
   • Qwen3-VL-8B 모델을 사용하여 이미지의 캡션화 가능성 (Captionability) 을 평가합니다.
   • 극단적인 클로즈업, 불완전한 객체, 모호한 장면 등 캡션 생성이 어려운 이미지를 제거합니다.
3. 품질 기반 필터링 (Quality-Based Filtering):
   • CLIPScore: 이미지와 캡션의 의미론적 정렬 (Alignment) 점수.
   • LAION Aesthetic Score: 이미지 미적 품질 점수.
   • 임계값 미만의 샘플을 제거하여 데이터 품질을 보장합니다.

다. 캡션 생성 및 다양성 샘플링

• 자동 캡션 생성: 필터링된 이미지에 대해 VLM 을 사용하여 사실적이고 중립적인 캡션을 자동 생성합니다.
• 다양성 인식 샘플링 (Diversity-Aware Sampling):
  • DinoV2 임베딩을 사용하여 이미지 간 거리를 계산합니다.
  • 가장 먼 점 샘플링 (Farthest Point Sampling, FPS) 기법을 적용하여 중복을 최소화하고 시각적 분포를 최대한 커버하는 하위 집합을 선택합니다.
  • Train/Val/Test 분할 시에도 중복을 피하면서 각 분할 내 다양성을 유지하도록 병렬 FPS 전략을 사용합니다.

3. 주요 기여 (Key Contributions)

1. BlendFusion 파이프라인 개발: 3D 씬에서 객체 중심 렌더링과 자동 필터링을 결합한 고품질 합성 데이터 생성 프레임워크를 제안했습니다.
2. FineBLEND 데이터셋 구축: 다양한 3D 환경 (실내, 도시, 자연 등) 에서 렌더링된 7,500 개의 이미지 - 캡션 쌍으로 구성된 데이터셋을 공개했습니다.
3. 성능 분석 및 비교: 생성된 데이터셋의 이미지 - 텍스트 정렬 및 미적 품질을 분석하여 기존 대규모 데이터셋 (MS-COCO, Conceptual Captions 등) 과 비교했습니다.
4. 객체 중심 배치의 유효성 입증: 객체 무관 (Object-agnostic) 샘플링 전략에 비해 객체 중심 전략이 사용 가능한 렌더링의 수율 (Yield) 을 크게 향상시킴을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• 데이터 품질 (FineBLEND):
  • CLIPScore: FineBLEND 의 평균 CLIPScore 는 25.91로, MS-COCO(25.43) 및 Conceptual Captions(24.72) 와 유사하거나 더 높은 수준을 보였습니다.
  • 일관성: 표준 편차가 3.37 로 타 데이터셋 (3.82~4.99) 보다 낮아, 생성된 캡션과 이미지 간의 정렬이 매우 일관적이고 신뢰할 수 있음을 보여줍니다.
  • 미적 점수: LAION 미적 점수는 자연 사진 기반 데이터셋보다 낮았으나 (4.52 vs 5.79), 이는 렌더링된 이미지의 특성 차이 때문이며 ReLAION 과 유사한 수준으로 학습 데이터로서 충분한 품질임을 시사합니다.
• 확산 모델 생성 이미지와의 비교:
  • Stable Diffusion XL(SDXL) 로 생성된 이미지와 비교 시, 확산 모델은 기하학적 환각, 의미론적 이탈, 텍스트 렌더링 실패, 구조적 불일치 등의 심각한 아티팩트를 보였습니다.
  • 반면, BlendFusion 의 물리 기반 렌더링은 이러한 아티팩트가 없어 MAD(모델 자가포식) 위험을 줄이고 기하학적 충실도를 보장합니다.
• Ablation Study (카메라 배치):
  • 객체 중심 전략은 무작위 뷰포인트 샘플링이나 앵커 기반 스윕 전략에 비해 필터링 통과율이 현저히 높았습니다 (예: Barbershop 씬에서 VLM 통과율이 5.2% 대 1.3~1.4%). 이는 복잡한 씬에서도 효율적인 데이터 생성이 가능함을 의미합니다.

5. 의의 및 결론 (Significance)

• MAD 문제의 해결책: 확산 모델로 생성된 데이터로 학습하는 순환적 구조의 위험을 피하고, 물리적으로 일관된 3D 렌더링 데이터를 통해 고품질 학습 코퍼스를 확보할 수 있음을 증명했습니다.
• 확장성과 제어 가능성: BlenderKit, Sketchfab 등 오픈 소스 3D 에셋을 활용하여 대규모 데이터셋을 구성할 수 있는 확장 가능한 프레임워크를 제공하며, 씬 선택, 카메라 배치, 메타데이터 수집에 대한 세밀한 제어가 가능합니다.
• 미래 방향: 현재 데이터셋 크기는 제한적이지만 (7,500 개), 이 파이프라인을 통해 더 대규모의 3D 씬을 처리할 수 있으며, 확산 모델 기반의 후처리 (Refinement) 를 통해 시각적 사실감을 높이는 방향으로 발전할 수 있습니다.

이 연구는 합성 데이터 생성 분야에서 "생성된 데이터로 학습하는 것"의 대안으로서 "물리 기반 렌더링을 통한 고품질 데이터 생성"의 중요성을 강조하며, 향후 대규모 확산 모델 학습을 위한 신뢰할 수 있는 데이터 소스를 제공합니다.