기술 요약: SceneCode

문제 정의

실내 장면 합성은 embodied AI, 로봇 조작, 시뮬레이션 기반 정책 평가의 기초적인 요구사항입니다. 기존 파이프라인은 일반적으로 장면을 정적 메시 (static meshes) 의 집합으로 생성하거나 큐레이션된 라이브러리에서 에셋을 검색합니다. 이러한 방법들은 시각적으로 그럴듯한 환경을 생성할 수 있지만, 객체의 물리적 구조와 상호작용 메커니즘을 명시하지 못합니다. 구체적으로, 관절이 있는 객체 (예: 문, 서랍) 는 종종 기존 데이터셋에 제한되어, 새로운 상호작용 가능 에셋의 온디맨드 (on-demand) 생성을 방해합니다. 결과적으로 생성된 장면은 객체 수준의 제어 가능성이 부족하며, 물리 시뮬레이션에 필요한 구조적 분해 (예: 조인트 의미론, 부분 계층 구조) 가 종종 누락되거나 불투명합니다.

방법론

저자들은 SceneCode를 제안합니다. 이는 물리적으로 상호작용 가능한 실내 장면 합성을 **프로그래밍적 세계 생성 (programmatic world generation)**으로 공식화한 프레임워크입니다. SceneCode 는 정적 메시를 출력하는 대신, 자연어 프롬프트를 실행 가능한 코드 기반 실내 세계로 컴파일합니다. 이 시스템은 다음과 같은 핵심 구성 요소를 가진 에이전트 기반 텍스트 - 장면 파이프라인으로 작동합니다:

1. 룸 레벨 에이전트 백본 (Room-Level Agentic Backbone)

자연어 프롬프트가 주어지면, 룸 레벨 에이전트는 구조화된 집 레이아웃을 추론하고 AssetRequest의 순서화된 시퀀스를 생성합니다. 이러한 요청은 플래너–디자이너–비평가 (planner–designer–critic) 루프를 통해 생성되며, 객체 카테고리, 설명, 치수, 스타일 컨텍스트, 배치 변환 (placement transforms), 그리고 지지 관계를 명시합니다. 요청은 네 가지 의미론적 단계로 생성됩니다: 대형 가구, 벽면 부착 객체, 천장 부착 객체, 그리고 조작 가능한 항목.

2. 코드 기반 객체 생성

각 AssetRequest 는 객체의 기능적 요구사항에 따라 다섯 가지 VLM 기반 코드 생성 전략 중 하나 (또는 러그와 같은 얇은 덮개를 위한 고정 템플릿) 로 라우팅됩니다:

• WALLART: 포스터와 액자 그림.
• STATICFURN: 대형 경직 가구 (침대, 소파).
• SIMPLEMANIP: 단순 경직 객체 (그릇, 접시).
• STRUCTMANIP: 가시적 구성 요소를 가진 복잡한 경직 객체 (머그컵, 전화기).
• ARTIC: 기능적 이동 부품이 있는 객체 (캐비닛, 냉장고).

생성 과정은 다음과 같습니다:

• ObjectPlan 구성: 요청이 의미론적 부분, 기본 유형, 로컬 포즈, 재질, 대칭 태그, 그리고 이동성 플래그를 포함하는 구조화된 ObjectPlan으로 승격됩니다. 계획을 안내하기 위해 참조 이미지가 생성됩니다.
• 계획 검증: 체커 에이전트가 부분 완성도, 치수 타당성, 공간 일관성, 그리고 이동 가능 부분의 독립성 (관절을 위해 중요함) 에 대해 계획을 검증합니다.
• 부분별 블렌더 프로그램 합성: 부분 구성 요소가 각 의미론적 부분에 대한 개별 블렌더 Python 프로그램을 합성합니다. 이러한 프로그램은 기본형에서 기하학을 구축하고, 재질을 할당하며, 의미론적 분해를 유지합니다.
• 실행 안내 검증: 프로그램은 헤드리스 (headless) 블렌더 환경에서 실행됩니다. 복구 루프 (최대 3 회 시도) 가 실행 오류를 수정하고, 정제 루프 (최대 2 회 반복) 는 비평가 에이전트를 사용하여 렌더링된 이미지를 프롬프트 요구사항과 비교하여 평가합니다.

3. 시뮬레이션 준비 에셋 컴파일

생성된 시각적 객체는 시뮬레이터 호환 에셋으로 컴파일됩니다:

• 경직 객체: 충돌 기하학과 추정된 관성 속성을 가진 단일 몸체 SDF 로 내보내집니다.
• 관절 객체: 이동 가능 부분들이 링크–조인트 구조로 컴파일됩니다. VLM 보조 관절 컴파일러가 조인트 유형 (회전 또는 프리즈마틱), 축, 원점, 그리고 운동 한계를 추론합니다. 에셋은 객체 의미론에서 유래된 물리적 속성 (질량, 관성, 마찰) 을 가진 SDF/URDF 파일로 내보내집니다.

4. 장면 조립 및 상태 직렬화

지속적인 장면 상태 레지스트리 (house_state.json) 는 공유 식별자를 통해 객체 요청, 실행 가능한 프로그램, 렌더링된 기하학, 그리고 시뮬레이션 에셋을 연결합니다. 이는 추적 가능성과 로컬 편집 가능성을 가능하게 하여, 전체 장면을 재생성하지 않고도 수정된 매개변수로 특정 객체 프로그램을 재실행할 수 있게 합니다.

주요 기여

1. 실행 가능한 코드 표현: 정적 시각 에셋이 아닌 실행 가능한 프로그램으로 실내 장면을 표현하는 SceneCode 의 도입으로, 레이아웃, 객체 속성, 그리고 상호작용 메커니즘을 코드에 명시적으로 포착합니다.
2. VLM 주도 온디맨드 합성: 고정된 관절 객체 데이터셋에 의존하는 대신 새로운 상호작용 가능 에셋을 온디맨드로 생성할 수 있도록, 가정용 객체를 명시적인 프로그램으로 생성하는 절차입니다.
3. 종합적 평가: 장면 수준 합성, 객체 수준 에셋 품질, 인간 판단, 그리고 하류 로봇 상호작용에 걸친 다면적 평가를 통해, 실행 가능한 프로그램이 프롬프트 충실도를 향상시키고 시뮬레이션 준비가 된 관절 에셋을 생성함을 입증했습니다.

실험 결과

저자들은 침실, 거실, 식당, 주방, 지하실, 욕실 등 여섯 가지 실내 장면 카테고리에 걸친 30 개의 자연어 프롬프트로 SceneCode 를 평가했으며, SceneSmith, HSM, LayoutVLM, SAM 3D Objects 와 비교했습니다.

• 장면 수준 합성: SceneCode 는 베이스라인 중 가장 높은 의미론적 충실도 (객체 수 및 속성 점수) 를 달성했습니다. 또한 내비게이션 가능성, 충돌 감소, 바닥 포함과 같은 물리적 사용성 지표에서도 다른 방법들보다 우수했습니다. 인간 평가자들은 SceneCode 장면이 모든 베이스라인보다 프롬프트에 훨씬 더 충실하다고 판단했습니다.
• 객체 수준 품질: 이미지 -3D 베이스라인 (SAM 3D Objects) 과 비교하여 SceneCode 는 더 깨끗한 메시 구조 (베이스라인의 아티팩트 대비 0 개의 비다양체 가장자리), 현저히 적은 UV 아일랜드 (약 22 대 96), 그리고 더 낮은 정점/면 수를 가진 에셋을 생성하여 더 높은 기하학적 컴팩트성과 편집 가능성을 나타냈습니다.
• 로봇 상호작용: MuJoCo 에서의 시연은 SceneCode 가 생성한 관절 에셋이 독립적인 이동 링크와 실행 가능한 조인트를 유지하며, 로봇이 문을 열거나 서랍을 미는 물리적 조작을 가능하게 함을 보여주었습니다.

중요성과 주장

본 논문은 객체를 실행 가능한 프로그램으로 취급함으로써 SceneCode 가 검색 기반 및 정적 메시 생성의 한계를 해결한다고 주장합니다. 이는 객체가 단순히 시각적인 것이 아니라 제어 가능한 상태로 구조적으로 정의된 상호작용 가능한 장면의 생성을 가능하게 합니다. 이 접근법은 관절 객체를 위한 큐레이션된 에셋 라이브러리에 대한 의존성을 제거하여 맞춤형 온디맨드 상호작용 가능 에셋의 합성을 허용합니다. 이 프레임워크는 추적 가능하고 로컬 편집이 가능한 세계 구축 프로세스를 지원하는 물리 기반 실내 장면 합성의 기반을 제공하며, 이는 embodied AI 및 로봇 시뮬레이션에 필수적입니다. 저자들은 시스템이 이미지 -3D 방법과 비교하여 사진 같은 질감 변이보다는 구조적 정확성과 편집 가능성을 우선시한다는 점 (이는 트레이드오프임) 을 지적하지만, 자연어 설명과 시뮬레이션 준비가 된 상호작용 가능한 환경 사이의 간극을 성공적으로 메웠다고 강조합니다.