기술 요약: 코딩 에이전트는 세계 시뮬레이터로서 우수함

문제 정의

세계 모델 (World models) 은 인터랙티브 시뮬레이션 환경 구축을 위한 패러다임으로 부상했으며, 최근 비디오 기반 접근법들은 시각적으로 그럴듯한 동역학을 생성하는 데 있어 진전을 보여주고 있습니다. 그러나 이러한 모델들은 일반적으로 비디오에서 동역학을 추론하여 잠재 상태 (latent states) 로 표현할 뿐, 물리적 제약을 명시적으로 강제하지는 않습니다. 그 결과, 생성된 비디오 롤아웃 (rollouts) 은 종종 물리적 타당성이 부족하여 불안정한 접촉, 왜곡된 형태, 또는 일관성 없는 운동을 보입니다. 특히 물리 상태를 보존하는 것이 다음 프레임을 렌더링하는 것만큼 중요한 장거리 상호작용 (long-horizon interactions) 의 경우, 역학을 검사, 실행, 수리할 수 있는 세계를 구축하는 데 있어 중요한 격차가 존재합니다. 기존 물리 시뮬레이터 (예: MuJoCo, Project Chrono) 는 명시적인 상태와 진단 기능을 제공하지만, 사용자가 에셋을 수동으로 선택하고, 물체를 인스턴스화하며, 코드를 작성하고, 매개변수를 조정해야 하므로 세계 구축 과정에서 병목 현상을 초래합니다.

방법론

저자들은 직접적인 프레임 예측이 아닌 실행 가능한 시뮬레이션 코드를 통해 물리 기반 세계 모델을 구축하는 다중 에이전트 프레임워크를 제안합니다. 이 시스템은 생성된 코드를 세계 표현으로 간주하여 물리 엔진 (Project Chrono) 내에서 기하학, 물체, 관절, 접촉, 재료, 센서 및 수치 설정을 지정합니다. 해당 프레임워크는 폐쇄 루프 에이전트 워크플로우를 통해 운영됩니다:

1. 에셋 라이브러리 및 충돌 표현: 시스템은 외부 3D 에셋 (의미론적/시각적 다양성용) 과 시뮬레이터 네이티브 에셋 (물리 구성 요소용) 을 결합한 통합 에셋 라이브러리를 활용합니다. 계산 비용을 관리하기 위해 시각적 기하학과 충돌 기하학을 분리합니다. 고해상도 메시는 렌더링에 사용되고, 물리적 상호작용은 Approximate Convex Decomposition (CoACD) 알고리즘을 통해 생성된 분해된 볼록 껍질 (convex hulls) 에 의존합니다.

2. 다중 에이전트 워크플로우:

   • 계획 에이전트 (Plan Agent): 미구현 자연어 프롬프트 (및 선택적 참조 이미지) 를 구조화된 시뮬레이션 계획으로 변환합니다. 이 에이전트는 물리적 개체를 추출하고, 정의된 술어 대수 (예: PLACE-ON, FLOATS-AT-SURFACE, FACING-TO) 를 사용하여 장면 토폴로지를 추론하며, 공간적 관계를 구체적인 시뮬레이터 포즈로 해결합니다. 치수, 시간 단계, 카메라 배치와 같은 구체적인 선택 사항이 코딩 전에 검증되도록 사용자의 확인을 위해 이 계획을 공개합니다.
   • 코드 에이전트 (Code Agent): 승인된 계획을 실행 가능한 PyChrono 코드로 변환합니다. 생성은 강체, 관절, 차량 등에 대한 구현 패턴을 제공하는 커리된 스킬 라이브러리, 리소스를 쿼리하기 위한 도구 인터페이스, 그리고 API 드리프트를 방지하기 위한 버전별 API 인덱스에 조건부로 수행됩니다.
   • 실행 및 검토 루프: 생성된 코드는 Chrono 엔진에서 실행됩니다.
     • 시각 검토 에이전트 (Visual Review Agent): 시뮬레이션 비디오를 분석하여 장면 레이아웃, 동역학 및 시각적 불일치를 설명합니다.
     • 시뮬레이션 판정자 (Simulation Judge): 진단 로그, 물리적 궤적 데이터 및 시각적 증거를 결합하여 유효성을 판단합니다. 시뮬레이션이 실패하는 경우 (예: 물리 오류, 시각적 불일치), 판정자는 구조화된 오류 보고서를 반환합니다.
     • 반복적 수리: 코드 에이전트는 처음부터 다시 생성하는 대신 피드백에 기반하여 현재 프로그램을 패치합니다. 이 루프는 시뮬레이션이 계획과 물리적 제약을 만족할 때까지 계속됩니다.

주요 기여

1. 세계 시뮬레이션을 위한 다중 에이전트 프레임워크: 저자들은 에이전트들이 시뮬레이터 인식 계획, 스킬 기반 코드 생성, 실행 피드백, 시각적 검토 및 반복적 수정을 통해 실행 가능한 물리 세계를 협력적으로 구축하는 시스템을 제안합니다.
2. 실행 가능한 세계 표현: 이 프레임워크는 물리 시뮬레이션을 세계 구축 과정에 직접 통합합니다. 개체, 관절, 접촉 및 수치 설정은 실행 가능한 시뮬레이터 프로그램으로 표현되어 명시적인 물리 상태, 검사 가능한 동역학 및 프레임 수준의 시각적 예측을 넘어선 근거 있는 상호작용을 가능하게 합니다.
3. 실증된 효과성과 일반성: 이 프레임워크는 실내 환경에서의 로봇 상호작용, 실외 차량 동역학, 그리고 고충실도 유체 - 고체 상호작용 (FSI) 을 포함한 다양한 작업에 걸쳐 평가되었습니다.

실험 결과

이 프레임워크는 Go2 로봇이 사무실을 순찰하는 상황, HMMWV 가 실외 지형을 주행하는 상황, 그리고 Polaris 차량이 물 위의 떠 있는 블록을 횡단하는 상황 (FSI) 의 세 가지 시나리오를 사용하여 평가되었습니다.

• 계획 강건성: Plan 에이전트에 대한 제거 연구 (ablation study) 는 참조 이미지 유무에 관계없이 구조화된 계획을 생성하는 데 높은 성공률 (100% Pass@1) 을 보였습니다.
• 리소스 사용: 성공적인 시뮬레이션을 위한 엔드 - 투 - 엔드 실행은 24~30 분 소요되었으며, 토큰 사용량은 시나리오 복잡도에 따라 약 168 만 개에서 약 634 만 개 토큰까지 다양했습니다.
• 벤치마크 평가 (WorldModelBench): 이 프레임워크는 지시 준수, 물리 법칙 및 상식을 평가하는 WorldModelBench 에서 최첨단 비디오 생성 베이스라인 (Wan2.2-TI2V-5B) 과 비교되었습니다.
  • 다중 에이전트 프레임워크는 세 가지 시나리오 모두에서 더 높은 총점을 달성했습니다.
  • 개선은 FSI 차량 시나리오에서 통계적으로 유의미했습니다 ($p=0.0012$).
  • 지표 수준에서 프레임워크는 지시 준수 측면에서 유의미한 향상을 보였으며 ($p=0.000059$), 요청된 개체와 장면 제약을 더 잘 보존함을 시사합니다.
  • 물리 법칙 및 상식 점수는 베이스라인과 비슷했으나, 프레임워크가 약간의 수치적 우위를 유지했습니다.

중요성 및 한계

본 논문은 코딩 에이전트가 물리 세계 자체를 정의하는 실행 가능한 프로그램을 구축함으로써 효과적인 세계 시뮬레이터 역할을 할 수 있다고 주장합니다. 이 접근법은 프레임 예측에서 시뮬레이터 인식 세계 구축으로 문제를 전환하여, 실패를 실행 로그를 통해 추적하고 잠재 상태를 재학습하거나 재생성하는 대신 코드 수정을 통해 수리할 수 있게 합니다.

저자들은 몇 가지 한계를 인정합니다:

• 수리 단조성 (Repair Monotonicity): 수리 과정이 단조롭게 개선된다는 보장은 없으며, 다양한 실패 모드를 순환할 수 있습니다.
• 에셋 제약: 유한한 에셋 라이브러리는 누락된 개체를 기하학적 프록시로 근사해야 함을 의미합니다.
• 코드 제약: 생성은 스킬 라이브러리와 API 인덱스에 의해 제한되므로, 지원되지 않는 센서나 커스텀 솔버를 인스턴스화하기 어렵습니다.
• 평가 범위: 현재 평가는 소수의 시나리오를 다루며, 계획 승인에 부분적으로 인간의 판단에 의존합니다.

향후 연구 방향으로는 긴 꼬리 (long-tail) 요소를 처리하기 위해 3D 에셋 생성 파이프라인을 통합하고, 더 나은 상태 표현 및 캐싱을 통해 토큰 사용을 최적화하며, 현재 하드웨어 병목 현상을 극복하기 위해 병렬 실행을 탐구하는 것이 포함됩니다.