SceneConductor: 3D Scene Generation from Single Image with Multi-Agent Orchestration

기술 요약: SceneConductor

문제 정의

단일 이미지로부터 완전하고 일관된 3D 장면을 생성하는 것은 시각적 증거의 내재된 모호성으로 인해 근본적으로 어려운 과제입니다. 이는 객체의 기하학적 구조, 공간적 배치, 객체 간 관계 및 환경적 맥락을 공동으로 추론할 것을 요구합니다. 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 전체론적 생성 (Holistic Generation): 여러 객체와 레이아웃을 동시에 생성하는 확산 기반(Diffusion-based) 방법들은 메모리와 연산량이 객체 수에 따라 증가하므로 확장성 문제를 겪으며, 이로 인해 복잡한 실제 장면(cluttered real-world scenes)에 적용하기 어렵습니다.
• 객체 중심 파이프라인 (Object-Centric Pipelines): 객체를 독립적으로 생성하여 조립하는 방식은 합성 데이터나 도메인 제한적인 데이터셋에서 학습된 레이아웃 또는 포즈 모듈에 크게 의존합니다. 이러한 방식은 다양한 시점과 구성을 가진 "in-the-wild" 이미지에 일반화하는 데 실패하는 경우가 많습니다.
• 에이전트 기반 시스템 (Agent-Based Systems): 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM) 에이전트는 계획 능력을 제공하지만, 많은 경우 이미지에 기반한 제약 조건보다는 텍스트 우선순위에 의존합니다. 이미지 조건부 다중 에이전트 시스템은 전체 장면을 전체론적으로 다루는 거친 생성자/평가자 역할을 채택합니다. 이는 전체 컨텍스트에 대한 반복적인 다회차 상호작용을 필요로 하여 지연 시간을 증가시키고 국소적인 수정의 정밀도를 제한합니다.

방법론: SceneConductor

저자들은 단일 이미지 3D 장면 생성을 세 가지 구조화된 순차적 단계로 분해하는 다중 에이전트 오케스트레이션 프레임워크인 SceneConductor를 제안합니다. 이 접근 방식은 전문화된 역할을 에이전트에 할당하여, 에이전트들이 전체 장면을 전체론적으로 추론하는 대신 관련 있는 컨텍스트에서만 작동할 수 있도록 합니다.

1. 장면 초기화 (Scene Initialization)

이 단계는 거친 3D 장면 기초를 구축합니다:

• 마스크 정제 (Mask Refinement): 에이전트가 (Grounded-SAM을 통해 추출된) 세그멘테이션 마스크를 처리하여 중복을 해결하고, 파편화된 인스턴스를 병합하며, 여러 객체를 덮고 있는 마스크를 분할함으로써 마스크와 물리적 객체 간의 깨끗한 일대일 매핑을 보장합니다.
• 3D 재구성 (3D Reconstruction): 정제된 마스크는 SAM3D를 통해 객체 메쉬를 재구성하는 데 사용됩니다. 동일한 객체는 중복을 피하기 위해 한 번만 재구성되어 복제됩니다.
• 레이아웃 예측 (Layout Prediction): **기하학 인식 레이아웃 예측기(geometry-aware layout predictor)**가 객체의 초기 공간 배치를 추정합니다.

2. 환경 구축 (Environment Construction)

이 단계는 장면을 고정할 환경적 스캐폴드(방 경계, 표면, 재질, 조명)를 구축합니다:

• 평면도 추정 (Floor Plan Estimation): 초기 장면과 예측된 포인트 맵을 사용하여 시스템은 버드 아이 뷰(BEV) 공간에서 작동합니다. 유효한 3D 포인트를 추출하고, 이를 수평면으로 투영하며, 코스 폴리곤(coarse stage polygon)을 정의하기 위해 볼록 껍질(convex hull)을 계산합니다.
• 스캐폴드 생성 (Scaffold Generation): 에이전트는 바닥/지지 평면과 경계 벽을 포함하는 단순화된 구조를 추론합니다. 이 경량 스캐폴드는 물리적 지지(객체가 떠 있는 현상 방지)를 강제하고 벽 침범을 방지합니다.
• 맥락화 (Contextualization): 에이전트는 입력 이미지를 분석하여 장면의 지배적인 외관과 일치하는 벽 재질을 할당하고, 그럴듯한 조명을 위해 광원을 구성합니다.

3. 다중 에이전트 정제 (Multi-Agent Refinement)

마지막 단계는 단순 작업과 복잡한 작업의 하이브리드를 통해 기하학적 일관성과 시각적 사실성을 반복적으로 개선합니다:

• 플래너 에이전트 (Planner Agent): 장면을 검사하고 문제를 단순 결정론적 작업 또는 복잡한 국소적 수정 중 하나로 라우팅합니다.
• 단순 작업 (Simple Operations): 플래너는 물리적 지지 강제, 유사한 객체의 스케일/회전 정렬, 비현실적인 포즈 수정과 같은 작업을 위한 결정론적 리스트를 생성합니다.
• 복잡한 작업 (Specialist Agents): 밀접하게 결합된 상호작용의 경우, 플래너는 상호 의존적인 객체들로 이루어진 서브 씬(sub-scene)을 격리합니다. 전문 에이전트는 렌더링된 이미지와 세그멘테이션을 검사하여 공간적 불일치를 해결하기 위해 다회차 상호작용을 통해 이 서브 씬을 정제합니다. 정제된 서브 씬은 다시 글로벌 장면으로 통합됩니다.

핵심 구성 요소: 기하학 인식 레이아웃 예측기 (Geometry-Aware Layout Predictor)

핵심적인 기여는 비용이 많이 드는 장면 수준의 주석 없이도 신뢰할 수 있는 초기화를 제공하도록 설계된 레이아웃 예측기입니다.

• 학습 전략: 제한된 3D 데이터셋으로부터 생성 분포를 학습하는 대신, 모델은 세그멘테이션 마스크와 포인트 맵에서 유도된 희소한 기하학적 사전 지식(priors)에 의해 감독되는 레이아웃 파라미터(회전, 이동, 스케일, 바닥 회전)를 회귀합니다.
• 아키텍처: 모델은 이미지, 마스크, 포인트 맵 특징을 인코딩합니다. 객체 메쉬는 복셀화되어 잠재 토큰(latent tokens)으로 임베딩됩니다. 전역 어텐션(global attention)을 갖춘 트랜스포머는 객체 간의 상호작용을 포착합니다.
• 포즈 분해 (Pose Decomposition): 모델은 정준 바닥 정렬 프레임(canonical floor-aligned frame)에서의 객체별 포즈 $(R_i, T_i, S_i)$와 공유된 글로벌 바닥 회전 $F$를 예측합니다. 이 분해는 전역 바닥 정렬과 개별 객체 포즈를 명시적으로 분리하여 자유도를 줄이고 일관된 높이 개념을 강제합니다.
• 손실 함수 (Loss Function): 포인트 맵 감독 기하 손실(pointmap-supervised geometry loss)은 포인트 맵에서 메쉬로의 일방향 샴 거리(one-sided Chamfer distance)와 바운딩 박스 정렬 항을 결합하여, 실제 3D 포즈에 대한 정답(ground-truth) 없이도 대규모 2D 세그멘테이션 데이터셋에서 학습할 수 있게 합니다.

주요 기여

1. 3단계 다중 에이전트 프레임워크: 전문화된 에이전트를 활용하여 작업 조정과 신뢰성을 높이는 구조화된 파이프라인(초기화, 환경 구축, 정제)을 통해 전체론적 장면 추론의 오버헤드를 피합니다.
2. 기하학 인식 레이아웃 예측기: 희소한 기하학적 사전 지식(세그멘테이션 및 포인트 맵)을 사용하여 실제 이미지로부터 공간 정보를 학습함으로써, 비용이 많이 드는 장면 수준의 주석 없이도 일반화 성능을 높이는 새로운 예측기를 제공합니다.
3. 성능 향상: 벤치마크 데이터셋에서 기하학적 정확도, 공간적 일관성 및 지각적 사실성 측면에서 기존 방식 대비 일관된 개선을 입증했습니다.

실험 결과

본 방법은 3D-FUTURE, ScanNet, MIT-Indoor-67 데이터셋에서 평가되었습니다.

• 정량적 지표: 3D-FUTURE 및 ScanNet에서 SceneConductor는 3D-Fixer, SceneGen, SAM3D와 같은 베이스라인에 비해 가장 낮은 Chamfer Distance (CD)와 가장 높은 F-Score 및 IoU-B를 달성했습니다. 예를 들어, 3D-FUTURE에서 CD 0.0089(SAM3D의 0.0117 대비) 및 F-Score 0.9261을 달성했습니다.
• 시각적 지표: VLM 기반 평가기(Qwen3.5-2B)와 CLIP 점수를 사용하여, 본 방법은 사실성, 기능성, 레이아웃 일관성 및 이미지 정렬 측면에서 베이스라인을 능가했습니다. MIT-Indoor-67에서 SAM3D(4.0179)와 VIGA(1.300)에 비해 가장 높은 평균 점수(4.2742)를 기록했습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 기하 손실, 바닥 회전 예측, 세그멘테이션 데이터 기반 학습의 조합이 최상의 성능을 낸다는 것을 확인했습니다. 특히, 바닥 회전 예측은 회전 모호성을 줄여 포즈 예측을 안정화합니다.
• 정성적 분석: 시각적 비교를 통해 SceneConductor가 특히 카메라 뷰포인트가 기울어진 장면에서 다른 방법들이 불안정한 레이아웃을 생성하는 것과 달리, 더 정확한 객체 회전과 일관된 지면 구조를 생성함을 보여줍니다.

의의 및 주장

논문은 SceneConductor가 확장 가능하고 제어 가능한 이미지-투-장면 생성을 위한 유망한 방향을 제시한다고 주장합니다. 생성 과정을 구조화된 단계로 분해하고 전문화된 에이전트를 활용함으로써, 이 프레임워크는 전체론적 접근 방식에 비해 생성 과정을 관리하고 제어하기 쉽게 만듭니다.

저자들은 기하학 인식 레이아웃 예측기가 비용이 많이 드는 장면 수준의 주석 없이도 2D 세그멘테이션과 포인트 맵만을 사용하여 신뢰할 수 있는 초기화를 가능하게 한다는 점에서 매우 중요하다고 강조합니다. 이를 통해 시스템은 다양한 실제 환경에 강력하게 일반화할 수 있습니다.

한계점: 저자들은 프레임워크가 순차적으로 실행되는 여러 파운데이션 모델에 의존하므로, 추론 지연 시간과 초기 단계에서의 오류 전파 위험이 있음을 인정합니다. 현재 실험은 텍스처 수준의 모델링을 포함하는 실내 장면에 집중되어 있으며, 프레임워크를 실외/무제한 환경 및 더 풍부한 재질 표현으로 확장하는 것을 향후 과제로 언급했습니다.