GENERATE ANY SCENE: 장면 그래프 기반 데이터 합성을 통한 시각적 생성 모델 훈련

(ICLR 2026 발표 논문 요약)

이 논문은 텍스트 - 비전 (Text-to-Vision) 생성 모델의 구성적 일반화 (compositional generalization) 및 의미적 정렬 (semantic alignment) 문제를 해결하기 위해 제안된 'GENERATE ANY SCENE (GAS)' 시스템에 대해 다룹니다. 기존 데이터셋의 노이즈와 구성적 한계를 극복하고, 체계적으로 정의된 장면 그래프 (Scene Graph) 를 기반으로 무한히 다양하고 정교한 합성 데이터를 생성하는 데이터 엔진을 소개합니다.

---

1. 문제 정의 (Problem)

현대적인 텍스트 - 이미지/비디오 생성 모델 (Diffusion 모델 등) 은 높은 시각적 충실도 (fidelity) 를 보이지만, 다음과 같은 근본적인 한계에 직면해 있습니다:

• 구성적 일반화 부족: 복잡한 장면에서 여러 객체, 속성, 관계가 결합된 경우 (예: "초록색 개가 풀을 먹는 토끼를 쫓고 있다") 를 정확하게 생성하지 못함.
• 의미적 정렬 실패: 프롬프트의 세부적인 요구사항 (스타일, 위치, 상호작용) 을 무시하거나 왜곡하여 생성함.
• 데이터의 한계: 기존 대규모 데이터셋 (LAION, CC3M 등) 은 웹 크롤링 기반이라 노이즈가 많고, 단일 객체 중심의 단순한 설명에 치우쳐 있음. 또한, 밀도 높은 구성적 주석 (dense compositional annotations) 을 수동으로 작성하는 것은 비용이 너무 많이 듭니다.

2. 방법론 (Methodology)

저자들은 GENERATE ANY SCENE (GAS) 이라는 데이터 엔진을 개발하여, 장면 그래프를 체계적으로 열거하고 이를 텍스트 설명 (Caption) 및 평가 데이터로 변환하는 프로세스를 자동화했습니다.

A. 시각 요소의 계층적 분류 (Taxonomy of Visual Elements)

GAS 는 다음과 같은 메타데이터를 기반으로 방대한 장면 그래프를 구성합니다:

• 객체 (Objects): 28,787 개 (WordNet 기반)
• 속성 (Attributes): 1,494 개 (색상, 재질, 크기 등)
• 관계 (Relations): 10,492 개 (공간적, 기능적, 사회적 관계)
• 장면 속성 (Scene Attributes): 2,193 개 (예술 스타일, 조명, 카메라 각도 등)

B. 데이터 생성 파이프라인 (5 단계)

1. 장면 그래프 구조 열거: 사용자가 지정한 복잡도 (객체 수, 관계 수 등) 와 구조적 제약 조건 하에 방향성 그래프 토폴로지를 사전 계산하고 열거합니다.
2. 메타데이터 채우기: 생성된 그래프 구조에 위에서 정의된 객체, 속성, 관계를 샘플링하여 채웁니다.
3. 장면 속성 샘플링: 예술 스타일, 시점, 시간대 (비디오의 경우) 등의 전역적 맥락을 추가합니다.
4. 캡션 변환: 그래프를 순회하며 객체, 속성, 관계를 일관된 자연어 문장으로 변환합니다. (중복 방지 및 참조 명확화를 위한 프로그래밍 규칙 적용)
5. 질문 - 답변 (QA) 쌍 생성: 생성된 캡션의 모든 요소를 커버하는 QA 쌍을 자동으로 생성하여, 생성된 이미지의 정확성을 평가하거나 보상 모델 (Reward Model) 로 활용합니다.

3. 주요 기여 및 응용 (Key Contributions & Applications)

GAS 는 단순한 데이터 생성을 넘어 다음과 같은 4 가지 핵심 응용 분야에서 모델 성능을 획기적으로 개선했습니다.

1) 자기 개선 프레임워크 (Self-Improving Framework)

• 방식: GAS 로 생성된 다양한 캡션으로 모델을 생성하고, 생성된 이미지 중 VQA 점수가 가장 높은 것을 선택하여 다시 모델의 미세 조정 (Fine-tuning) 데이터로 사용합니다.
• 결과: SDv1.5 모델을 이 방식으로 미세 조정했을 때, 기존 CC3M(실제 이미지 - 캡션 데이터) 으로 미세 조정한 모델보다 평균 4% 성능 향상을 보였으며, 복잡한 장면 구성에서 더 뛰어난 일반화 능력을 입증했습니다.

2) 타겟화된 능력 증류 (Targeted Distillation)

• 방식: 폐쇄형 모델 (DaLL-E 3) 이 개방형 모델 (SDv1.5) 보다 뛰어난 특정 능력 (다중 객체 구성, 희귀 개념 이해) 을 식별하고, GAS 를 통해 해당 능력을 증류합니다.
  • 구성성 증류: 다중 객체 캡션과 DaLL-E 3 생성 이미지를 사용하여 SDv1.5 를 미세 조정.
  • 난이도 높은 개념 증류: SDv1.5 가 실패하는 81 개의 난이도 높은 개념을 식별하고, 이를 포함한 캡션으로 DaLL-E 3 이미지를 생성하여 증류.
• 결과: 800 개 미만의 합성 캡션만으로 SDv1.5 를 미세 조정하여, 구성적 태스크와 난이도 높은 개념 생성에서 TIFA 점수가 10% 증가했습니다.

3) 합성 보상 모델을 통한 강화 학습 (RLHF with Synthetic Reward)

• 방식: GAS 로 생성된 장면 그래프 기반의 QA 쌍을 사용하여, 생성된 이미지가 캡션의 모든 요소를 포함하는지 정밀하게 평가하는 보상 모델을 구축합니다. 이를 GRPO(Group Relative Policy Optimization) 알고리즘과 결합하여 모델을 학습시킵니다.
• 결과: CLIP 기반 보상 모델을 사용한 방법보다 DPG-Bench 에서 5% 더 높은 점수를 기록하며, 구성적 정확도 (compositional faithfulness) 를 크게 향상시켰습니다.

4) 생성 콘텐츠 탐지 (Content Moderation)

• 방식: 기존 데이터셋의 다양성 부족 문제를 해결하기 위해 GAS 로 생성된 합성 데이터로 생성 콘텐츠 탐지 모델 (ViT-T) 을 재학습시킵니다.
• 결과: 다양한 모델과 데이터셋에서 생성된 이미지를 탐지하는 일반화 성능이 향상되었으며, 특히 교차 모델 (Cross-model) 및 교차 데이터셋 시나리오에서 성능이 크게 개선되었습니다.

4. 실험 결과 (Results)

• 성능 향상: GAS 기반 미세 조정은 실제 데이터 (CC3M, MS-COCO 등) 기반 미세 조정보다 구성적 일반화 및 의미적 정렬 측면에서 우월한 성능을 보였습니다.
• 평가 벤치마크: TIFA, VQA Score, DPG-Bench, GenAI-Bench 등 다양한 벤치마크에서 기존 SOTA 모델들을 능가하거나 개선된 결과를 기록했습니다.
• 효율성: LLM 을 이용한 대량 캡션 생성에 비해 GAS 는 구조적 유효성을 100% 보장하며, 비용과 시간을 획기적으로 절감합니다 (Gemini 대비 90 배 빠른 속도, 거의 0 의 비용).

5. 의의 및 결론 (Significance)

이 논문은 시각 생성 모델의 한계가 아키텍처가 아닌 '구조화된 훈련 데이터의 부재'에 기인함을 지적하고, 이를 해결하기 위한 체계적인 솔루션을 제시했습니다.

• 데이터의 재정의: 수동 주석에 의존하지 않고, 프로그램적으로 정의된 장면 그래프를 통해 무한하고 다양하며 통제 가능한 합성 데이터를 생성할 수 있음을 증명했습니다.
• 모델 발전의 새로운 패러다임: 자기 개선 (Self-improvement), 지식 증류 (Distillation), 강화 학습 (RLHF), 콘텐츠 탐지 등 다양한 분야에서 합성 데이터가 실제 데이터보다 효과적으로 작용할 수 있음을 보여주었습니다.
• 미래 지향성: 생성 모델의 구성적 능력과 의미적 정렬을 높이기 위해, GAS 와 같은 체계적인 데이터 엔진이 필수적임을 강조하며, 향후 커리큘럼 학습 (Curriculum Learning) 등 더 발전된 학습 전략의 기반을 마련했습니다.

결론적으로, GENERATE ANY SCENE은 텍스트 - 비전 생성 모델의 구성적 복잡성과 의미적 정확성을 동시에 해결할 수 있는 강력한 데이터 인프라를 제공하며, 차세대 생성 모델 개발의 중요한 이정표가 될 것으로 기대됩니다.