Towards Spatio-Temporal World Scene Graph Generation from Monocular Videos

이 논문은 가려짐과 카메라 움직임으로 인해 일시적으로 관찰되지 않는 객체까지 포함하는 시공간적 세계 장면 그래프 생성 (WSGG) 과 이를 위한 4D 데이터셋 (ActionGenome4D) 및 다양한 추론 방법을 제안하여 비디오 장면 이해를 세계 중심적이고 시간적으로 지속 가능한 수준으로 발전시킵니다.

핵심

1. 문제점: "지금 보이는 것만 아는 안 좋은 영화관"

기존의 비디오 분석 기술 (Scene Graph Generation) 은 마치 커튼이 가린 무대를 보는 것과 같습니다.

• 현재의 한계: 카메라가 비추는 사람과 사물만 인식합니다. 사람이 커튼 뒤로 가면, 그 사람은 '없던 것'으로 처리됩니다. 책상이 화면 밖으로 나가면, 그 책상도 사라진 것으로 간주합니다.
• 비유: 친구와 영화를 보고 있는데, 친구가 화장실에 가자마자 "아, 친구는 이제 없어!"라고 생각하는 것과 같습니다. 현실에서는 친구가 화장실에 갔을 뿐이지 사라진 게 아니죠. 하지만 기존 AI 는 사물이 화면에서 사라지면 기억을 지워버립니다.

2. 해결책: "전체 무대를 기억하는 '세계 지도' 만들기"

이 논문은 **"World Scene Graph Generation (WSGG)"**이라는 새로운 개념을 제안합니다.

• 핵심 아이디어: 카메라가 비추는 순간뿐만 아니라, 화면 밖으로 나가거나 가려진 사물도 계속 기억해야 합니다. 마치 우리가 방을 비추고 나와도 "아까 그 소파는 저기 있었지"라고 기억하는 것처럼요.
• 목표: 3 차원 공간 (세계 좌표계) 에 모든 사물의 위치를 기록하고, 시간이 지나도 사라지지 않는 영구적인 관계 지도를 만드는 것입니다.

3. 새로운 도구: "ActionGenome4D" (새로운 학습 교재)

AI 를 가르치기 위해 새로운 교재 (데이터셋) 를 만들었습니다.

• 기존 교재: 2 차원 평면 사진만 주고 "지금 보이는 것만 말해"라고 했습니다.
• 새로운 교재 (ActionGenome4D):
  1. 3D 입체 지도: 단안 카메라 (한 눈) 로 찍은 영상만으로도 3 차원 공간을 재구성합니다.
  2. 사라진 친구 찾기: 화면 밖으로 나가거나 가려진 사물도 "어디에 있었는지" 3D 좌표로 기록합니다.
  3. 숨은 관계 기록: 사람이 보이지 않아도 "그 사람은 지금 소파 위에 앉아 있을 거야"라고 추론할 수 있도록 관계 (누가 무엇을 하고 있는지) 를 모두 적어줍니다.

4. 세 가지 학습 방법 (AI 의 두뇌 훈련법)

이 새로운 교재로 AI 를 가르치는 세 가지 방법을 제안했습니다. 각각 다른 성격의 '기억력'을 훈련시킵니다.

① PWG (지속적인 세계 그래프) - "마지막 기억 유지하기"

• 비유: 친구가 방을 나가면, AI 는 **"마지막에 본 모습"**을 그대로 기억합니다.
• 방식: 사물이 화면에서 사라지면, 그 사물의 마지막 시각적 특징을 '메모장'에 저장해두고, 그 메모장을 계속 참조합니다. 마치 친구가 화장실에 갔을 때 "아, 저 친구는 파란 셔츠 입었지"라고 기억하는 것과 같습니다.

② MWAE (마스크된 세계 자동 인코더) - "퍼즐 맞추기"

• 비유: 친구의 얼굴이 가려졌을 때, 나머지 부분과 주변 상황을 보고 얼굴을 상상해냅니다.
• 방식: 가려진 사물을 '빈칸 (마스크)'으로 두고, 주변의 3D 구조와 다른 시점의 정보를 바탕으로 빈칸을 채우는 훈련을 합니다. "이 사람은 소파 뒤에 숨어있으니, 소파 뒤에 사람 형체가 있을 거야"라고 추론하는 것입니다.

③ 4DST (4D 장면 트랜스포머) - "시간을 거슬러 읽는 책"

• 비유: 영화의 앞뒤 장면을 모두 훑어보며 **"과거와 미래를 연결"**하여 현재를 이해합니다.
• 방식: 단순히 마지막 기억을 유지하는 게 아니라, 시간 전체를 한 번에 분석합니다. 카메라가 움직이는 방향과 사물의 움직임을 계산해서, "아까 그 사물이 저쪽으로 갔으니, 지금 저기 있을 거야"라고 정교하게 예측합니다.

5. 큰 그림: 왜 이것이 중요한가요?

이 기술은 로봇이나 자율주행차에게 매우 중요합니다.

• 현재: 로봇이 물건을 놓치면 "없어졌어"라고 생각해서 다시 찾을 수 없습니다.
• 미래 (이 논문 이후): 로봇이 물건을 놓쳐도 "아, 그 물건은 저기 책상 뒤에 가려져 있구나"라고 기억하고 찾아갈 수 있습니다.

요약

이 논문은 **"비디오 속 사물이 화면에서 사라져도, 3D 공간과 시간의 흐름을 기억하며 그 사물이 어디에 있고 무엇을 하고 있는지 계속 추적하는 기술"**을 개발했습니다.

• 기존: "보이는 것만 아는 눈"
• 새로운 기술: "보이지 않아도 기억하는 뇌"

이를 통해 로봇이 더 똑똑하게 세상을 이해하고, 우리가 만든 AI 가 현실 세계의 복잡한 상황을 더 잘 이해할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 비디오 장면 그래프 생성 (VidSGG) 은 프레임 중심 (Frame-centric) 접근법을 따릅니다.

• 한계점:
  • 현재 프레임에서 감지된 객체만 처리하고, 가려지거나 (Occlusion) 카메라 시야를 벗어나면 (Out-of-view) 그래프에서 즉시 삭제됩니다.
  • 2D 이미지 평면에 국한되어 3D 공간적 맥락이 부족합니다.
  • 시간적으로 일관된 세계 모델을 유지하지 못해, 로봇이 물체를 잃어버렸을 때나 장시간의 활동을 이해하는 데 한계가 있습니다.
• 목표:
  • 세계 장면 그래프 생성 (WSGG): 카메라 시야에 보이지 않는 객체를 포함하여, 장면 내 **모든 상호작용하는 객체 (관측된 것 + 관측되지 않은 것)**에 대해 각 타임스탬프마다 3D 세계 좌표계에서 일관된 관계 그래프를 구성하는 것입니다.
  • 이는 발달 심리학의 '사물 영속성 (Object Permanence)' 개념을 컴퓨터 비전에 적용한 것입니다.

2. 주요 기여 (Key Contributions)

A. ActionGenome4D 데이터셋

기존 Action Genome 데이터를 4D 시공간 표현으로 업그레이드한 새로운 데이터셋입니다.

• 4D 장면 구성: 단일 시점 비디오를 기반으로 $\pi3$ 모델을 사용하여 3D 포인트 클라우드와 카메라 포즈를 재구성합니다.
• 기하학적 주석: 모든 객체에 대해 세계 좌표계 기반의 방향성 3D 바운딩 박스 (World-frame Oriented Bounding Boxes, OBB) 를 제공합니다.
• 밀도 높은 의미론적 주석: 가려진 객체나 시야 밖의 객체까지 포함하는 모든 (사람, 객체) 쌍에 대한 관계 (주의, 공간, 접촉) 를 주석합니다. 이는 VLM 기반의 자동 생성과 인간의 수동 수정을 통해 이루어졌습니다.
• 통계: 9,250 개의 비디오, 23 만 개 이상의 프레임, 60 만 개 이상의 객체 인스턴스 (관측 및 비관측 포함) 를 포함합니다.

B. WSGG 작업 (Task)

• 입력: 단일 시점 비디오.
• 출력: 각 타임스탬프 $t$에서 세계 상태 $W_t$ (모든 객체 집합) 에 대한 완전한 장면 그래프 $G^W_t$.
• 핵심 요구사항:
  1. 3D 국소화: 모든 객체에 대해 공유된 세계 좌표계에서 3D 방향성 바운딩 박스를 추정.
  2. 관계 예측: 관측된 객체 간, 관측된 객체와 비관측 객체 간, 그리고 비관측 객체 간 모든 상호작용 관계를 예측.

C. 제안된 세 가지 방법론 (Methods)

비관측 객체에 대한 추론을 위한 서로 다른 귀납적 편향 (Inductive Bias) 을 가진 세 가지 모델을 제안합니다.

1. PWG (Persistent World Graph):

   • 개념: 사물 영속성 원리를 구현합니다.
   • 메커니즘: 객체가 마지막으로 관측되었을 때의 시각적 특징 (DINO features) 을 **영구 메모리 버퍼 (Zero-order hold)**에 저장합니다. 객체가 시야에서 사라져도 이 '마지막 상태'를 유지하며 3D 기하학적 구조와 결합하여 관계를 추론합니다.
   • 특징: 비미분 가능 (Non-differentiable) 한 버퍼를 사용하며, 구현이 간단하고 강력한 구조적 사전 지식을 제공합니다.

2. MWAE (Masked World Auto-Encoder):

   • 개념: 마스킹된 자동 인코더 (MAE) 프레임워크를 장면 이해에 적용합니다.
   • 메커니즘: 가려짐을 자연스러운 마스킹으로 간주합니다. **연관성 검색기 (Associative Retriever)**를 사용하여, 관측된 객체의 특징을 바탕으로 비관측 객체의 시각적 표현을 '복원 (Reconstruct)'합니다.
   • 특징: 비대칭 크로스 어텐션 (비관측 토큰은 관측 토큰만 참조) 을 사용하여 노이즈 전파를 방지하고, 재구성 손실을 통해 학습을 강화합니다.

3. 4DST (4D Scene Transformer):

   • 개념: 시공간 어텐션 기반의 엔드 투 엔드 학습.
   • 메커니즘: 정적 버퍼 대신 **양방향 시간적 트랜스포머 (Bidirectional Temporal Transformer)**를 사용합니다. 모든 객체 (관측/비관측) 토큰에 대해 카메라 포즈, 운동 정보, 3D 기하학을 결합하여 전체 비디오 시퀀스 전체에서 어텐션을 수행합니다.
   • 특징: 미분 가능한 방식으로 시간적 맥락을 학습하며, 가장 일관된 성능을 보입니다.

D. VLM 평가 (VLM Evaluation)

• 오픈 소스 비전 - 언어 모델 (InternVL, Qwen 등) 을 Graph RAG 기반 접근법으로 평가하여 WSGG 작업의 베이스라인을 확립했습니다.
• 현재 VLM 은 관계 추론 능력이 있지만, 정밀한 공간/접촉 관계 예측과 비관측 객체 처리에는 여전히 한계가 있음을 확인했습니다.

3. 실험 결과 (Results)

ActionGenome4D 데이터셋에서 PredCls(정답 라벨 제공) 및 SGDet(엔드 투 엔드 감지) 태스크를 평가했습니다.

• 성능: 4DST가 대부분의 설정에서 가장 일관된 성능 향상을 보였습니다. 특히 SGDet 태스크에서 R@50 기준 71.95% (DINOv3-L) 의 높은 성능을 기록했습니다.
• 비교:
  • 4DST: 시간적 어텐션과 3D 기하학의 결합으로 객체 분류 및 꼬리 클래스 (tail-class) 재현율 향상에 유리합니다.
  • MWAE: 다중 레이블 설정 (No Constraint) 에서 우수한 성능을 보이며, 재구성 손실이 다양한 관계 예측에 정규화제로 작용합니다.
  • PWG: 비미분 가능한 설계임에도 불구하고, 3D 구조적 사전 지식만으로도 강력한 성능을 보여 WSGG 문제 설정의 유효성을 입증했습니다.
• VLM 결과: Qwen 2.5-VL 이 가장 강력한 백본이었으며, Graph RAG를 사용하면 단순 자막 기반보다 성능이 향상되었습니다.

4. 의의 및 중요성 (Significance)

• 패러다임 전환: '현재 보이는 것'만 보는 프레임 중심의 이해에서, '전체 세계'를 이해하는 세계 중심 (World-centric) 이해로 전환을 주도합니다.
• 실용적 응용: 로봇 조작 (도구 찾기), embodied navigation (공간 기억), 장시간 활동 이해 등 지속적인 세계 상태 추론이 필요한 다운스트림 작업에 필수적인 기술적 기반을 제공합니다.
• 데이터 및 벤치마크: 단일 시점 비디오로 4D 장면 그래프를 생성하기 위한 첫 번째 대규모 데이터셋과 표준 벤치마크를 제공하여 향후 연구의 토대를 마련했습니다.

결론

이 논문은 ActionGenome4D 데이터셋과 WSGG 작업을 통해 비디오 장면 이해의 새로운 지평을 열었습니다. 제안된 PWG, MWAE, 4DST 모델들은 가려진 객체를 포함한 완전한 세계 모델을 구축하는 다양한 접근법을 제시하며, 특히 4DST가 가장 우수한 성능을 입증했습니다. 이는 단순한 객체 감지를 넘어, 에이전트가 물리 세계를 지속적으로 이해하고 추론할 수 있는 능력을 갖춘 인공지능 시스템 개발에 중요한 이정표가 됩니다.