기술 요약: EgoCS-400K

1. 문제 정의

수동적인 비디오 생성에서 **상호작적인 월드 모델링(interactive world modeling)**으로의 전환은 학습 데이터의 근본적인 변화를 필요로 합니다. 현재의 대규모 비디오 모델들은 캡션이 달린 웹 비디오에 의존하고 있는 반면, 월드 모델에는 **시간적으로 정렬된 비디오-액션-언어 궤적(temporally aligned video-action-language trajectories)**이 필요합니다. 이러한 궤적은 미래의 장면 변화를 유도하는 구체적인 행동, 카메라 움직임, 내부 상태 및 이벤트에 기반해야 합니다.

기존의 데이터 소스들은 다음과 같은 이유로 이러한 요구사항을 규모 있게 충족하지 못합니다:

• 웹 비디오 데이터셋: 광범위한 시각적 범위를 제공하지만 실행 가능한 액션과 신뢰할 수 있는 상태 감독(state supervision)이 부족하며, 언어가 인과적 액션과 약하게 정렬되어 있습니다.
• 로보틱스 데이터셋: 정밀한 액션 및 상태 감독을 제공하지만, 수집 비용이 높고 장면의 다양성이 제한적이며 복잡한 상호작용 궤적이 부족한 경우가 많습니다.
• 기존 시뮬레이터: 대규모의 인간 주도 상호작용 궤적이 부족한 경우가 많습니다.

핵심 과제는 수동적 관찰과 제어 가능한 월드 시뮬레이션 사이의 간극을 메우기 위해 인간이 주도하고, 1인칭 시점이며, 시각적으로 풍부하고, 시간적으로 정밀하며, 리플레이에 기반하여 재현 가능한(replay-grounded) 데이터셋을 확보하는 것입니다.

2. 방법론

저자들은 전문적인 카운터 스트라이크(CS:GO 및 CS2) 매치 데모에서 파생된 대규모 에고센트릭(egocentric) 데이터셋인 EgoCS-400K를 소개합니다. 구축 파이프라인(그림 2)은 세 가지 주요 단계로 구성됩니다:

1단계: 데이터 수집 및 렌더링

• 소스: HLTV의 공개 전문 매치 데모를 진실의 근거(source of truth)로 사용하며, 여기에는 라운드 경계, 플레이어 식별 정보, 위치, 시야각, 입력 및 게임 이벤트가 포함됩니다.
• 렌더링: CS Demo Manager와 게임 클라이언트를 사용하여 특정 플레이어의 시점에서 깨끗한 1인칭 비디오를 렌더링합니다. 비디오는 게임의 64-tick-per-second 로직과 일치하도록 32 FPS로 렌더링되어, 프레임과 게임 틱 사이의 결정론적 정렬을 보장합니다.
• 필터링: 고충실도 시각적 관찰을 보장하기 위해 유효하지 않은 녹화물(예: 관전자 뷰, 화면 녹화 아티팩트 또는 메타데이터 불일치)을 제거합니다.

2단계: 파싱 및 세그멘테이션

• 틱 단위 파싱: 커스텀 파서(DemoParser2)를 통해 플레이어 위치, 피치/요(pitch/yaw), 속도, 이동 버튼, 무기 상태, 탄약 등을 포함한 틱 단위 데이터(ticks.csv)를 추출합니다.
• 액션 재구성:
  • 키보드/마우스: 버튼 비트마스크로부터 이산적인 키 상태를 디코딩합니다. 마우스 움직임은 하드웨어 원시 값이 아닌 시야각 변화량($\Delta\theta, \Delta\psi$)으로 재구성됩니다.
  • 원자적 액션(Atomic Actions): 규칙 기반 탐지기를 사용하여 원시 신호를 시간적으로 경계가 뚜렷한 원자적 액션(예: 발사, 재장전, 검사, 수류탄 투척)으로 매핑하여 events.csv에 저장합니다.
• 보호된 체인(Protected Chains) 및 세그멘테이션:
  • 보호 구간(Protected Intervals): 절단 시 의미론적 불연속성을 유발할 수 있는 액션(예: 무기 꺼내기, 수류탄 비행)은 "보호됨"으로 표시됩니다.
  • 동적 계획법(DP): 파이프라인은 DP 알고리즘을 사용하여 플레이어 뷰 시퀀스를 학습용 클립으로 분할합니다. 이 알고리즘은 보호 구간 내에서의 절단을 엄격히 피하면서, 간극, 컨텍스트 부족, 목표 지속 시간과의 편차에 페널티를 주는 비용 함수를 최소화하는 경계점을 선택합니다. 이를 통해 세그먼트가 액션의 무결성을 유지하도록 합니다.

3단계: 사전 가이드형 VLM 캡셔닝

구조화된 언어 감독을 생성하기 위해 저자들은 사전 가이드형 시각-언어 모델(Prior-Guided VLM) 접근 방식을 사용합니다:

• 사전 정보(Prior) 구축: 글로벌 주석을 타겟 세그먼트 윈도우에 맞춰 클리핑합니다.
• 사전 정보 필터링: 환각(hallucination)과 허위 근거화를 방지하기 위해 사전을 필터링합니다:
  • 액션 사전: 가시적인 시간적 변화가 있는 이벤트만 유지합니다(예: 무기 교체 애니메이션 중의 "발사" 입력 제거).
  • 움직임/카메라 사전: 변위와 시야각 변화를 집계하고, 증거가 낮은 지터(jitter)를 제거합니다.
• 생성: VLM은 비디오, 필터링된 사전 정보, 그리고 결정론적인 시간적 스켈레톤을 전달받습니다. VLM은 scene_draft(시각적 세부 사항, 환경 진행 상황)와 long_prompt(일관된 캡션)를 포함하는 구조화된 JSON을 출력하여, 언어가 액션 트레이스에 시간적으로 정렬되도록 보장합니다.

3. 주요 기여

1. EgoCS-400K 데이터셋: 1,000개 이상의 전문 매치에서 추출한 400,000개 이상의 1인칭 비디오(>10,000시간)를 포함하며, 13개의 맵과 40,000개 이상의 라운드를 다룹니다. 각 라운드당 10개의 동기화된 플레이어 뷰포인트를 제공합니다.
2. 다중 입도 주석 파이프라인: 틱 단위 상태 트레이스부터 보호된 원자적 액션, 액션 체인, DP 계획 세그먼트에 이르는 계층적 구조를 갖습니다. 모든 주석은 원본 리플레이 파일로 추적 및 감사가 가능합니다.
3. 리플레이 기반 감독: 수동 레이블링과 달리, 이 데이터셋은 게임 엔진 로그에서 직접 액션, 상태, 카메라 움직임을 도출하여 시각적 관찰과 제어 신호 사이의 정밀한 시간적 정렬을 보장합니다.
4. 구조화된 캡셔닝: 리플레이 유래 사실에 의해 제약되는 새로운 캡션 생성 방법을 사용하여, VLM이 지원되지 않는 이벤트를 환각하는 것을 방지하는 동시에 미세한 시각적 세부 사항을 포착합니다.

4. 결과 및 데이터셋 통계

본 논문은 특정 모델 성능 지표를 가진 벤치마크라기보다 완성된 리소스로서 데이터셋을 제시합니다. 주요 통계는 다음과 같습니다:

• 규모: 1,000개 이상의 매치, 40,000개 이상의 라운드, 400,000개 이상의 비디오 클립.
• 지속 시간: 10,000시간 이상의 게임 플레이; 평균 클립 길이 약 90초.
• 입도(Granularity): 틱 단위 상태, 키보드/마우스 신호, 액션 타임라인, 다중 입도 캡션을 포함한 세그먼트당 6가지 유형의 주석.
• 커버리지: 13개의 서로 다른 맵과 라운드당 10개의 플레이어 뷰포인트.

논문은 시각적 프레임이 동기화된 입력 트레이스, 액션 타임라인 및 생성된 프롬프트와 어떻게 일치하는지를 보여주는 정성적 예시(그림 3)를 제공하며, 이를 통해 데이터셋이 수류탄 준비, 비행, 무기 교체와 같은 복잡한 시퀀스를 어떻게 포착하는지 보여줍니다.

5. 의의 및 주장

저자들은 EgoCS-400K를 다음 세 가지 기존 데이터 패러다임 사이의 실질적인 가교로 규정합니다:

1. 수동적 웹 비디오: 액션/상태 근거가 부족함.
2. 제어 가능한 게임 시뮬레이터: 인간 주도의 다양성이 부족한 경우가 많음.
3. 비용이 많이 드는 실제 환경의 체화된 데이터(Embodied Data): 확장이 어려움.

의의 주장:

• 중간 테스트베드: 이 데이터셋은 액션 조건부 역학(action-conditioned dynamics), 체화된 내비게이션(embodied navigation), **능동적 시각 인지(active visual perception)**를 학습하기 위한 확장 가능한 테스트베드 역할을 합니다.
• 전이 가능한 사전 지식: 환경은 시뮬레이션된 것이지만, 내비게이션, 시각 탐색, 카메라 제어, 부분 관측성(partial observability), 다중 에이전트 상호작용과 같은 전이 가능한 에고센트릭 사전 지식을 포착합니다.
• 감사 가능성: "리플레이 기반" 특성은 액션과 그로 인한 시각적 변화 사이의 관계를 엄격하게 감사할 수 있게 하며, 이는 표준 비디오-텍스트 데이터셋에는 없는 기능입니다.

인정된 한계점:
저자들은 EgoCS-400K가 실세계 체화의 직접적인 모델이 아닌 중간 테스트베드임을 명시적으로 밝힙니다.

• 도메인 격차: 연속적인 물리적 상호작용, 촉각 피드백, 변형 가능한 물체 및 전투 외의 일상적 행동이 부족합니다.
• 액션 공간: 제어 방식이 이산적(키보드/마우스)이며 실제 세계의 역학이 아닌 게임 물리 법칙의 지배를 받습니다.
• 주석 품질: 캡션은 수동 골드 레이블이 아닌 신뢰도 플래그가 포함된 VLM 생성물이며, 시각적 세부 사항 오류가 있을 수 있습니다.

결론적으로, EgoCS-400K는 인간의 행동이 장면의 진화를 어떻게 유도하는지 이해하는 월드 모델을 학습시키기 위한 필수적인 인프라를 제공하며, 이는 상호작적인 시각적 모델링으로의 전환 과정에서 발생하는 중요한 데이터 공백을 해결합니다.