GTASA: Ground Truth Annotations for Spatiotemporal Analysis, Evaluation and Training of Video Models

1. 문제 정의 (Problem)

최근 신경망 기반 비디오 생성 모델 (Sora, VEO, Wan 등) 은 시각적으로 매우 사실적인 영상을 생성하지만, 다음과 같은 근본적인 한계를 가지고 있습니다:

• 물리적 타당성 부재: 객체의 갑작스러운 등장/소멸, 물리 법칙을 위반하는 상호작용 등 현실적으로 불가능한 현상이 빈번하게 발생합니다.
• ** Ground Truth(정답) 데이터의 부재:** 생성된 비디오의 물리적 타당성이나 의미론적 정확성을 평가하기 위한 정밀한 3D 공간 정보 및 시간적 매핑 데이터가 부족합니다.
• 데이터의 트레이드오프: 대규모 실사 비디오 데이터셋은 텍스트 설명만 제공하거나 시간적 레이블이 불충분하며, 정밀하게 주석된 데이터셋은 규모가 작고 주석 비용이 매우 높습니다.
• 모델의 공간/시간 추론 능력 불명확: 기존 비디오 인코더가 3D 공간 구조나 개체 간의 동적 관계를 실제로 학습하고 있는지, 아니면 단순히 2D 패턴만 기억하고 있는지 파악하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 게임 엔진의 명시적인 3D 세계 모델을 활용하여 GTASA (Ground Truth Annotations for Spatiotemporal Analysis) 라는 데이터셋과 이를 생성하는 GEST-Engine 시스템을 제안합니다.

• GEST (Graphs of Events in Space and Time): 시간적, 공간적 제약을 포함하는 '이벤트 그래프'를 사용하여 배우, 행동, 객체, 상호작용을 정의합니다.
• GEST-Engine 시스템:
  1. 프로시저럴 그래프 생성: 게임 엔진의 능력 레지스트리를 기반으로 무작위적이지만 실행 가능한 다중 배우 시나리오를 생성합니다.
  2. 시뮬레이션 실행: GTA San Andreas 엔진 (MTA) 위에서 그래프를 실행하여 RGB 비디오를 렌더링합니다.
  3. 아티팩트 수집 (핵심): 렌더링 과정에서 프레임 단위의 3D 공간 관계 그래프 (거리, 방향, 각도 등), 이벤트 - 프레임 시간 매핑, 그리고 텍스트 설명을 자동으로 생성합니다. 이는 추가적인 주석 비용 없이 '완벽한 정답 (Ground Truth)'을 제공합니다.
  4. 텍스트 생성: 생성된 그래프를 프로토 - 언어로 변환한 후 LLM 을 통해 자연스러운 텍스트 설명으로 다듬습니다.

3. 주요 기여 (Key Contributions)

1. 완전한 오픈소스 시스템: 다중 배우 내러티브 비디오를 생성하고, 완벽한 시공간 주석 (3D 위치, 공간 관계, 시간적 경계) 을 제공하는 확장 가능한 시스템.
2. GTASA 데이터셋: 938 개의 다중 배우 비디오, 28,200 개의 행동 클립, 145 만 프레임에 걸친 8 억 9 천만 개의 쌍별 공간 관계, 2 만 9 천 6 백 개의 정확한 이벤트 - 프레임 매핑으로 구성된 대규모 데이터셋 공개.
3. 광범위한 실험 및 검증:
   • 신경망 생성 모델과의 인간 평가 비교 (Q1).
   • 비디오 캡셔닝 모델 학습을 위한 합성 데이터의 유효성 검증 (Q2).
   • 고정된 비디오 인코더의 시공간 추론 능력 프로빙 (Q3).

4. 실험 결과 (Results)

Q1: 비디오 생성의 물리적 타당성 및 의미론적 정합성

• 비교 대상: GEST-Engine vs. VEO 3.1, WAN 2.2 (신경망 생성 모델).
• 결과: 인간 평가에서 GEST-Engine 은 물리적 타당성 (69%) 에서 신경망 모델 (VEO 18%, WAN 13%) 을 압도적으로 앞섰습니다. 또한 의미론적 정합성 점수 (4.09/5.0) 에서도 가장 높은 순위를 기록했습니다.
• 의미: 신경망 모델은 시각적 사실감은 높지만, 물리 법칙 위반이나 의미 불일치가 빈번한 반면, 게임 엔진 기반 생성은 명시된 시나리오를 정확하고 논리적으로 구현합니다.

Q2: 비디오 캡셔닝 모델 학습을 위한 합성 데이터의 활용

• 실험: VideoLLaMA3 와 Qwen3-VL 모델을 (a) GEST 합성 데이터 후 실사 데이터, (b) VEO 합성 데이터 후 실사 데이터, (c) 실사 데이터만 으로 파인튜닝하여 비교.
• 결과: GEST 데이터를 사용한 경우 (G) 가 VEO 데이터나 실사 데이터만 사용한 경우보다 모든 평가 지표 (BLEU, CIDEr 등) 와 LLM 저리 (Jury) 평가에서 더 높은 성능을 보였습니다.
• 의미: 시각적 도메인 갭 (Visual Domain Gap) 이 있음에도 불구하고, 정확한 시공간 정답을 가진 합성 데이터는 비디오 이해 모델의 학습에 매우 효과적입니다.

Q3: 비디오 인코더의 시공간 정보 인코딩 분석

• 실험: 11 가지 시공간 추론 태스크 (객체 수 세기, 거리 추정, 상대적 운동 감지 등) 를 수행하기 위해 4 개의 고정된 비디오 인코더 (V-JEPA 2, VideoMAE V2, Qwen3-VL, VideoLLaMA3) 를 프로빙 (Probing).
• 결과:
  • 자기지도 학습 (Self-supervised) 인코더 (V-JEPA 2, VideoMAE V2) 가 VLM 기반 인코더 (Qwen3-VL) 보다 공간 구조 인코딩 능력이 훨씬 뛰어났습니다.
  • 특히 동적 태스크 (운동 감지, 접근/후퇴 판단) 에서 자기지도 학습 모델의 우위가 두드러졌습니다.
  • VideoLLaMA3 은 '배우 수 세기' 태스크에서 특출난 성능을 보였으나, 쌍별 방향 추론 등 정밀한 공간 추론에서는 여전히 한계가 있었습니다.
• VLM 한계 발견: 최신 VLM 들은 물리적으로 불가능한 비디오 (객체 소멸, 변형 등) 를 식별하는 데 있어 무작위 수준 (약 56% 정확도) 의 성능만 보였습니다.

5. 의의 및 결론 (Significance)

• 신뢰할 수 있는 벤치마크: 기존 신경망 생성 모델의 '할루시네이션' 문제를 정량적으로 측정하고, 물리적 타당성과 의미론적 일관성을 보장하는 새로운 평가 기준을 제시했습니다.
• 모델 분석 도구: 비디오 인코더가 실제로 3D 세계 모델을 학습하고 있는지, 아니면 2D 패턴만 기억하는지를 검증할 수 있는 강력한 진단 도구 (Probing) 를 제공합니다.
• 효율적인 학습 자원: 고비용의 수동 주석 없이 완벽한 정답 데이터를 대량으로 생성할 수 있어, 비디오 이해 및 생성 모델의 학습을 위한 고품질 합성 데이터의 중요성을 입증했습니다.
• 향후 전망: GTA V 로 엔진을 이식하여 시각적 품질을 높이고, 더 다양한 게임 엔진 (Unity, Unreal) 및 신경 세계 모델로 확장하여 대규모 합성 비디오 인프라를 구축할 수 있는 가능성을 열었습니다.

이 논문은 게임 엔진의 구조적 이점을 활용하여 AI 비디오 모델의 현재 한계를 극복하고, 더 신뢰할 수 있는 시공간 추론 능력을 가진 모델을 개발하는 데 중요한 이정표가 됩니다.