기술 요약: GEST-Engine

문제 정의

현재의 비디오 생성 및 월드 모델링 접근 방식은 주로 암시적 신경 모델(예: 잠재 역학 모델, Sora 또는 VEO와 같은 확산 기반 비디오 생성기)에 의존합니다. 이러한 시스템은 사실적인 영상을 제작할 수는 있지만, 엄격한 비디오 이해에 필수적인 근본적인 속성들, 즉 객체 영속성(객체가 시야에서 사라졌을 때도 올바르게 유지되는 성질), 다중 행위자 간의 협응(여러 에이전트 사이의 일관된 상호작용), 그리고 시간적 일관성(인과 및 시간적 순서에 대한 엄격한 준수)을 구현하는 데 어려움을 겪습니다. 또한, 이러한 모델을 위한 학습 데이터를 생성하는 과정은 수동 주석(annotation) 작업이 필요하며, 이는 비용이 많이 들고 희소합니다. 따라서 확률적으로 이러한 속성을 학습하는 것이 아니라, 구조적으로 보장된 의미론적 일관성을 가진, 완전히 주석이 달린 다중 모달 비디오 데이터를 생성할 수 있는 시스템이 필요합니다.

방법론

GEST-Engine은 자연어 텍스트(또는 절차적 명세)를 완전히 주석이 달린 다중 행위자 비디오로 변환하는 완전한 시스템입니다. 이 시스템은 **시공간 내 사건의 그래프(Graph of Events in Space and Time, GEST)**라는 형식적 구조로서, 세계 상태(world state)의 완전하고 검사 가능한 표현을 유지하는 명시적 월드 모델의 원리에 따라 작동합니다. 이 그래프는 상용 게임 엔진 내에서 결정론적으로 실행됩니다.

핵심 아키텍처

시스템은 **Grand Theft Auto: San Andreas (2004)**와 Multi Theft Auto (MTA) 오픈 소스 멀티플레이어 프레임워크를 기반으로 구축되었습니다. 이러한 선택은 방대한 기존 자산 라이브러리(733개의 객체, 2,500개 이상의 애니메이션, 312개의 액터 스킨, 70개 이상의 컨텍스트)를 활용하는 동시에, 시뮬레이션 상태에 대한 완전한 프로그래밍적 제어를 가능하게 합니다.

파이프라인은 네 가지 단계로 구성됩니다:

1. 그래프 파싱 및 검증 (Graph Parsing and Validation):

   • 입력: 행위자, 객체, 행동, 위치 및 시간적 제약을 정의하는 GEST 명세(JSON 형식).
   • 프로세스: 시스템은 요구 사항을 추출하고, 백트래킹을 포함한 탐욕적 집합 커버(greedy set-cover) 알고리즘을 사용하여 유효한 시뮬레이션 환경(에피소드) 세트를 선택합니다. 시스템은 선택된 에피소드가 필요한 행동과 객체를 물리적으로 실현할 수 있는지 검증합니다.
   • 출력: 여러 환경을 통합하고 에피소드 간 이동 및 컨텍스트 전환을 처리하는 통합된 MetaEpisode.

2. 엔티티 및 행동 접지 (Entity & Action Grounding):

   • 행위자 접지 (Actor Grounding): 행위자는 성별에 적합한 스킨과 이름(무작위 또는 지정됨)과 함께 인스턴스화됩니다.
   • 체인 ID 시스템 (Chain-ID System): 추상적인 그래프 엔티티는 구체적인 3D 객체 및 관심 지점(POI)에 바인딩됩니다. 체인 ID는 한 행위자의 전체 행동 시퀀스(예: 앉기, 타이핑하기, 서 있기)가 동일한 물리적 객체 및 위치에 바인딩되도록 보장하여 상태 드리프트(state drift)를 방지합니다.
   • 매핑: 시스템은 생성 가능한 객체(예: 전화기, 담배)와 고정된 객체(예: 침대, 책상)를 특정 시뮬레이터 인스턴스에 할당하여, 지연된 런타임 선택을 위한 양방향 맵을 생성합니다.

3. 시간적 오케스트레이션 (Temporal Orchestration):

   • 제약 조건 해결 (Constraint Solving): 시스템은 GEST의 시간적 제약(Allen의 구간 대수 사용: before, after, same_time, concurrent)으로부터 happens-before 그래프를 구축합니다.
   • 스케줄링: Floyd-Warshall 전이 폐쇄(transitive closure) 알고리즘을 통해 이벤트의 전체 순서를 계산합니다. ActionsOrchestrator는 이벤트를 시간적 세그먼트로 분할하여, 세그먼트 내에서는 병렬적인 행동을 실행하고 세그먼트 간에는 순차적인 행동을 실행합니다.
   • 충돌 해결: 시스템은 물리적 충돌을 방지하고 논리적 흐름을 보장하기 위해 POI 점유, 행위자 변위 및 상호작용 동기화(예: 악수)를 처리합니다.

4. 실행 및 캡처 (Execution and Capture):

   • 시뮬레이션: 행동은 MTA 엔진으로 전달됩니다. "관찰자(spectator)" 엔티티는 행위자가 서로 연결되지 않은 환경 사이를 이동할 때 렌더링 컨텍스트 전환(일시 정지, 페이드 인/아웃, 텔레포트)을 관리합니다.
   • 다중 모달 캡처: 네이티브 C++ 모듈과 Windows Desktop Duplication API를 활용하는 통합 클라이언트 캡처 경로를 통해, 추가 비용 없이 프레임 정렬된 데이터를 캡처합니다.
   • 생성되는 결과물:
     • RGB 비디오 (H.264).
     • 조밀한 픽셀당 깊이 맵(depth maps).
     • 인스턴스 세그멘테이션 마스크 (텍스처 레벨 HLSL 셰이더를 통해 생성).
     • 행위자별 18개 관절 스켈레탈 포즈 (애니메이션 엔진의 그라운드 트루스).
     • 프레임별 쌍별 공간 관계 그래프.
     • 이벤트-프레임 시간 매핑.
     • 자연어 설명 (절차적으로 생성되어 LLM에 의해 정제됨).

생성 접근 방식

엔진은 GEST 명세를 생성하기 위해 두 가지 방법을 지원합니다:

• 절차적 생성 (Procedural Generation): 엔진의 기능 레지스트리를 순회하며 유효한 그래프를 구축하는 무작위 생성기로, 설계 단계부터 실행 가능성을 보장합니다.
• 에이전트 기반 Text-to-GEST: 이야기를 기획하기 위해 도구 호출(tool calls)을 사용하는 LLM 기반의 "디렉터(Director)" 에이전트입니다. 결정적인 점은, LLM이 그래프를 직접 조작하는 것이 아니라, 모든 단계를 엔진의 제약 조건에 따라 검증하는 프로그래밍적 상태 백엔드에 함수를 호출한다는 것입니다. 이를 통해 환각(hallucination)을 방지하고 최종 그래프가 실행 가능하도록 보장합니다.

주요 기여

1. 비디오를 위한 명시적 월드 모델: 본 논문은 잠재 학습보다 명시적 상태 표현을 우선시하는 시스템을 제시하며, 이를 통해 객체 영속성, 다중 행위자 협응, 시간적 일관성을 설계 단계에서부터 보장합니다.
2. 결정론적 실행 파이프라인: 형식적 이벤트 그래프를 엄격한 제약 조건 만족(Floyd-Warshall 전이 폐쇄) 및 충돌 해결을 거쳐 실행 가능한 시뮬레이션으로 변환하는 새로운 4단계 파이프라인을 제시합니다.
3. 제로 코스트 조밀한 주석 (Zero-Cost Dense Annotation): 시스템은 단일 시뮬레이션 패스 동안 RGB, 깊이, 세그멘테이션, 포즈, 공간 그래프, 텍스트를 포함한 종합적인 모달리티를 동시에 결정론적으로 생성하여 수동 레이블링의 필요성을 제거합니다.
4. 확장 가능한 프로덕션 시스템: 배치 생성, 크래시 복구 및 클라우드 배포를 관리하며 대규모 코퍼스 생성이 가능한 병렬 가상 머신(VM) 기반의 프로덕션 오케스트레이션 레이어를 운영합니다.
5. 에이전트 기반 검증: LLM이 스토리 생성을 디렉팅하지만 프로그래밍적 백엔드가 유효성을 강제하는 하이브리드 생성 방식을 통해, 자연어 의도와 시뮬레이터 제약 사이의 간극을 메웁니다.

결과 및 역량

• 규모 및 다양성: 시스템은 현재 11개의 구성된 환경(집, 체육관, 사무실, 정원)과 46개의 행동 유형, 45개의 객체 유형을 지원하며, 이는 GTA San Andreas 세계의 전체 잠재력(70개 이상의 컨텍스트, 733개 객체)으로 확장 가능합니다.
• 다중 행위자 협응: 최대 6명의 행위자를 대상으로 복잡한 시나리오를 성공적으로 오케스트레이션하며, 병렬 활동, 동기화된 상호작용(포옹, 악수), 객체 교환 등을 처리합니다.
• 주석 밀도: 18개 관절 스켈레탈 포즈(추정기 지터 없이), 조밀한 깊이 맵, 텍스처 레벨의 인스턴스 세그멘테이션을 포함한 그라운드 트루스 데이터를 생성합니다.
• 텍스트 생성: 비디오 이벤트와 시간적으로 정렬된 자연어 설명을 생성하며, 정확한 행동 시퀀스를 보존하면서도 유창함을 유지하도록 LLM에 의해 정제됩니다.

의의 및 주장

저자들은 GEST-Engine을 암시적 신경 월드 모델의 보완적 패러다임으로 위치시킵러. 신경 모델은 사실성을 탁월하게 구현하지만, 비디오 이해 시스템을 훈련하고 평가하는 데 필요한 구조적 보장을 결여하고 있습니다. GEST-Engine은 이러한 암시적 모델들이 필요로 하는 구조화되고 주석이 달린 데이터를 제공합니다.

본 논문은 객체 영속성, 다중 행위자 협응, 시간적 일관성을 설계 단계에서부터 보장함으로써, 엔진의 출력이 다음과 같은 용도로 가치 있는 자원이 될 것임을 주장합니다:

• 학습 데이터: 비디오 이해 모델을 위한 조밀한 다중 모달 그라운드 트루스 제공.
• 평가 벤치마크: 비디오 모델의 시간적, 공간적 추론 능력을 테스트할 수 있는 통제된 환경 제공.
• 진단 도구: 비디오 인코더가 공간 구조와 인과 관계를 어떻게 학습하는지(또는 실패하는지) 분석할 수 있는 도구 제공.

이 시스템은 단일 연구자에 의해 개발된 약 100,000 라인의 코드로 구성된 상당한 엔지니어링 노력의 산물이며, 기존 게임 자산을 활용함으로써 가상 세계를 처음부터 구축하는 과도한 비용 없이 복잡한 명시적 월드 모델을 구축할 수 있음을 보여줍니다. 저자들은 이 아키텍처가 어댑터 패턴을 통해 다른 3D 플랫폼(예: GTA V/FiveM, Unreal, Unity)으로 이식 가능하도록 설계되었음을 언급했습니다.