Synthetic Visual Genome 2: Extracting Large-scale Spatio-Temporal Scene Graphs from Videos

이 논문은 자동화 파이프라인을 통해 대규모 시공간 장면 그래프 데이터셋인 'Synthetic Visual Genome 2(SVG2)'를 구축하고, 이를 기반으로 비디오를 단일 순전파로 장면 그래프로 변환하는 TRaSER 모델을 제안하여 기존 모델 대비 객체 및 관계 예측 성능을 획기적으로 향상시키고 비디오 질문 응답 정확도를 높였음을 보여줍니다.

핵심

🎥 "Synthetic Visual Genome 2 (SVG2)": 비디오를 이해하는 새로운 눈과 뇌

이 논문은 **"비디오를 단순히 보는 것을 넘어, 그 안의 모든 사물과 관계를 완벽하게 이해하는 시스템"**을 개발한 이야기입니다. 마치 비디오 속의 모든 사물이 살아있는 캐릭터가 되어 서로 대화하고 움직이는 것을 실시간으로 해석하는 것과 같습니다.

핵심 내용을 세 가지 비유로 쉽게 설명해 드리겠습니다.

---

1. SVG2: "수천 개의 비디오를 한 번에 읽는 초고속 도서관 사서"

기존에 컴퓨터가 비디오를 이해하려면 사람이 일일이 "이건 사람이다", "이건 자전거다", "사람이 자전거를 탄다"라고 손으로 적어줘야 했습니다. 하지만 비디오는 길고 복잡해서 사람이 일일이 적는 건 불가능에 가까웠습니다.

• 비유: 기존 방식은 손으로 일일이 책을 정리하는 사서라면, 이 연구에서 만든 SVG2는 전체 도서관의 책을 1 초 만에 읽고, 책의 내용, 등장인물, 그리고 인물 간의 관계를 자동으로 정리해 주는 AI 사서입니다.
• 무엇을 했나요?
  • 규모: 기존 데이터보다 10 배 이상 큰 규모 (63 만 개 이상의 비디오) 를 만들었습니다.
  • 자동화: 사람이 직접 적지 않고, AI 가 비디오를 보고 사물을 쫓아다니며 (트래킹), 그 사물이 무엇인지 (속성), 다른 사물과 어떤 관계인지 (예: '타고 있다', '만지고 있다') 를 자동으로 분석했습니다.
  • 정확도: AI 가 만든 데이터가 사람도 인정할 만큼 정확합니다 (사물 93.8%, 관계 85.4% 정확).

2. TraSeR: "비디오를 한 번에 훑어보는 '초점' 카메라"

이제 이렇게 방대한 데이터를 바탕으로, 실제 비디오를 보고 관계를 찾아내는 모델인 TraSeR을 만들었습니다. 기존 모델들은 비디오를 보다가 "아, 저기 사람이 있네"라고 생각하다가 다음 장면으로 넘어가면 "아까 그 사람이 어디로 갔지?"라고 잊어버리기 일쑤였습니다.

• 비유: 기존 모델이 산책하면서 주변을 두리번거리는 사람이라면, TraSeR 은 비디오 속의 모든 사물에 '초점'을 맞춰 그 사물이 처음 등장해서 사라질 때까지 끝까지 따라가는 카메라입니다.
• 어떻게 작동하나요?
  • 사물 추적 (Object-Trajectory Resampler): "저기 있는 빨간 공"이 화면을 어떻게 움직이는지 처음부터 끝까지 하나의 흐름으로 기억합니다.
  • 시간 창 (Temporal-Window Resampler): 공이 움직이는 순간순간의 미세한 변화 (예: 공이 튀는 순간) 도 놓치지 않고 기억합니다.
  • 결과: 이 두 가지 기능을 합쳐서, 비디오를 한 번만 보더라도 **"사람이 자전거를 타고, 그 자전거가 빨간색이며, 사람이 자전거를 타고 있는 동안 공을 발로 차고 있다"**는 식의 복잡한 관계를 한 번에 정확히 파악합니다.

3. 실제 효과: "질문하면 답을 찾아주는 똑똑한 비서"

이 기술이 실제로 얼마나 유용한지 테스트해 보았습니다. 비디오를 보고 "저 사람이 무엇을 하고 있나요?"라고 물으면, TraSeR 이 만든 '관계도 (Scene Graph)'를 함께 주면 답을 훨씬 잘 찾습니다.

• 비유: 비디오만 보여주는 것은 눈을 가리고 소리를 듣고 상황을 추측하는 것이라면, TraSeR 의 관계도를 함께 주는 것은 상황을 설명해 주는 가이드북을 함께 주는 것과 같습니다.
• 성과:
  • 기존 최신 AI 모델들보다 비디오 속 사물과 관계를 찾는 능력이 15~40% 더 뛰어납니다.
  • 심지어 GPT-5 같은 초고성능 AI 보다도 사물과 속성을 찾는 데 더 뛰어난 성능을 보였습니다.
  • 비디오 질문 답변 (Video QA) 테스트에서, TraSeR 의 관계를 활용하면 정답률이 최대 4.6% 까지 상승했습니다.

---

🌟 요약: 왜 이 연구가 중요한가요?

이 연구는 **"컴퓨터가 비디오를 볼 때, 단순히 픽셀 (화소) 의 나열로 보는 것이 아니라, 사물과 그들 사이의 '이야기'를 읽을 수 있게 했다"**는 점에서 획기적입니다.

• SVG2는 AI 가 비디오를 학습할 수 있는 거대한 교과서를 만들었습니다.
• TraSeR은 그 교과서를 완벽하게 이해하고, 비디오를 보고 사물의 움직임을 추적하며 관계를 파악하는 똑똑한 학생이 되었습니다.

이 기술은 향후 로봇이 복잡한 환경에서 움직이거나, 비디오를 분석해야 하는 보안 시스템, 혹은 영화나 드라마를 자동으로 요약해 주는 서비스 등에 혁신적인 변화를 가져올 것으로 기대됩니다. 마치 비디오 속의 모든 사물이 살아 움직이며 서로 관계를 맺고 있다는 것을 컴퓨터가 진심으로 이해하게 된 셈입니다.

기술 요약

Synthetic Visual Genome 2 (SVG2) 및 TraSeR 기술 요약

이 논문은 비디오 이해 (Video Understanding) 분야에서 중요한 한계를 극복하기 위해 제안된 Synthetic Visual Genome 2 (SVG2) 라는 대규모 합성 비디오 장면 그래프 (Video Scene Graph) 데이터셋과 이를 활용하여 개발된 TraSeR 모델에 대해 다룹니다.

1. 문제 정의 (Problem)

기존의 비디오 장면 그래프 (Video Scene Graph, VSG) 연구는 다음과 같은 심각한 한계에 직면해 있었습니다:

• 데이터 부족 및 확장성 문제: 밀도 높은 프레임 단위 수동 주석 (Annotation) 의 높은 비용과 어려움으로 인해 기존 데이터셋의 규모와 다양성이 제한적입니다.
• 불완전한 주석: 기존 방법들은 비디오의 일부 프레임만 주석하거나, 새로 등장하거나 사라지는 객체를 포착하지 못해 객체와 관계의 연속성이 깨지는 문제가 있었습니다.
• 일반화 능력 저하: 제한된 데이터로 학습된 모델은 특정 데이터셋 분포에 과적합 (Overfitting) 되어 새로운 객체, 속성, 관계를 가진 오픈 보카불러리 (Open Vocabulary) 환경에서 일반화하기 어렵습니다.
• 시간적 (Temporal) 맥락 부재: 객체의 속성과 관계는 시간에 따라 급격히 변할 수 있으나, 기존 모델들은 이러한 미세한 시간적 변화를 포착하는 데 어려움을 겪습니다.

2. 방법론 (Methodology)

2.1 Synthetic Visual Genome 2 (SVG2) 데이터셋 생성

SVG2 는 인간 개입 없이 완전히 자동화된 파이프라인을 통해 생성된 대규모 데이터셋입니다.

• 규모: 636,000 개 이상의 비디오, 660 만 개 이상의 객체, 5,200 만 개 이상의 속성, 670 만 개 이상의 관계를 포함합니다. 이는 기존 데이터셋 대비 1 차수 (order-of-magnitude) 이상 큰 규모입니다.
• 자동화 파이프라인 (3 단계):
  1. 팬옵틱 궤적 생성 (Panoptic Trajectory Generation): SAM2 를 활용한 다중 스케일 팬옵틱 분할과 온라인 - 오프라인 2 단계 추적 메커니즘을 결합합니다.
     • 온라인 단계: 새로운 객체의 출현을 실시간으로 감지하고 ID 를 할당합니다.
     • 오프라인 단계: 비디오를 다시 재생하여 모든 객체의 첫 등장 시점부터 일관된 ID 로 전체 궤적을 완성합니다.
  2. 객체 설명 및 구조화 파싱: DAM (Describe Anything Model) 을 이용해 객체 궤적에 대한 상세한 텍스트 설명을 생성하고, GPT-4.1-nano 를 통해 객체 이름과 속성 (색상, 모양 등) 을 구조화된 형식으로 추출합니다.
  3. 객체 간 관계 추출: GPT-5 를 활용하여 공간적 (Spatial) 및 비공간적 (Non-spatial, 기능적, 사회적, 운동적 등) 관계를 추론합니다. 공간적 관계는 단순한 좌표 기반 추론을 배제하고 시각적 증거를 기반으로 한 비자명한 관계를 중점적으로 추출합니다.
• 품질 검증: 인간 검증 결과, 객체 (93.8%), 속성 (88.3%), 관계 (85.4%) 정확도가 높음을 확인했습니다.

2.2 TraSeR 모델 (Video Scene Graph Generation)

SVG2 데이터를 기반으로 훈련된 비디오 장면 그래프 생성 모델입니다.

• 핵심 아키텍처: 기존 VLM(Visual Language Model) 에 두 가지 핵심 모듈을 추가하여 단일 프론트 패스 (Single Forward Pass) 로 비디오와 팬옵틱 궤적을 입력받아 구조화된 장면 그래프를 출력합니다.
  1. 궤적 정렬 토큰 배치 (Trajectory-Aligned Token Arrangement): ViT 토큰을 객체 궤적에 직접 매핑하여 객체 정체성 (Identity) 을 시간적으로 보존합니다.
  2. 이중 리샘플러 (Dual Resampler) 모듈:
     • 객체 - 궤적 리샘플러 (Object-Trajectory Resampler): 객체의 전체 궤적에 걸친 글로벌 컨텍스트를 요약하여 객체 인식 정확도를 높입니다.
     • 시간 창 리샘플러 (Temporal-Window Resampler): 비디오를 짧은 시간 창으로 나누어 로컬 운동과 시간적 변화 (속성/관계 변화) 를 보존합니다. 이는 관계 예측 성능 향상에 결정적입니다.

3. 주요 기여 (Key Contributions)

1. 대규모 합성 데이터셋 (SVG2): 수동 주석의 한계를 극복하고, 밀도 높고 시간적으로 정렬된 63 만 개 이상의 비디오 장면 그래프를 제공합니다.
2. 고성능 생성 모델 (TraSeR): 궤적 기반 토큰 배치와 이중 리샘플러를 통해 객체, 속성, 관계 예측을 동시에 수행하는 새로운 아키텍처를 제안했습니다.
3. 새로운 벤치마크 (SVG2test): 오픈 보카불러리를 지원하며 객체, 속성, 관계를 모두 평가할 수 있는 고품질 진단용 벤치마크를 구축했습니다.
4. 실용성 입증: 생성된 장면 그래프를 비디오 질문 응답 (Video QA) 태스크에 적용하여 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

4.1 비디오 장면 그래프 생성 성능

PVSG, VidOR, VIPSeg, SVG2test 등 다양한 벤치마크에서 TraSeR 은 기존 모델들을 압도했습니다.

• 관계 예측: 오픈 소스 베이스라인 대비 +15~20% 향상.
• 객체 예측: 오픈 소스 베이스라인 대비 +30~40% 향상, GPT-5 대비 +13% 향상.
• 속성 예측: 오픈 소스 SOTA 대비 +15% 향상.
• 비교: TraSeR 은 GPT-4.1, Gemini-2.5 Pro, GPT-5 와 같은 상용 대형 모델들보다도 객체 및 속성 예측에서 더 높은 성능을 보였습니다.

4.2 비디오 질문 응답 (Video QA) 적용

생성된 장면 그래프를 VLM(예: GPT-4.1) 에 입력하여 AGQA 및 Perception-Test 벤치마크에서 테스트했습니다.

• 성능 향상: 비디오만 입력한 경우나 Qwen2.5-VL 이 생성한 그래프를 사용한 경우보다 1.5~4.6% 의 절대 정확도 향상을 기록했습니다.
• 의미: 명시적인 시공간 장면 그래프가 중간 표현 (Intermediate Representation) 으로 작용하여 VLM 의 추론 능력을 크게 향상시킵니다.

5. 의의 및 결론 (Significance)

• 데이터의 패러다임 전환: 수동 주석에 의존하던 기존 방식을 넘어, 자동화된 파이프라인을 통해 대규모 고품질 비디오 데이터를 생성할 수 있음을 증명했습니다.
• 시간적 이해의 심화: 객체의 정체성을 유지하면서도 시간에 따른 미세한 변화 (운동, 상태 변화) 를 포착하는 모델 설계는 복잡한 비디오 이해 태스크에 필수적입니다.
• 미래 방향: SVG2 와 TraSeR 은 비디오 기반 VLM 의 훈련 파이프라인에 직접 통합되어, 더 깊은 구성적 (Compositional) 및 시간적 이해를 가능하게 할 잠재력을 가지고 있습니다.

요약하자면, 이 논문은 SVG2라는 방대한 데이터 자원과 TraSeR이라는 효율적인 모델을 통해 비디오 장면 그래프 생성의 규모와 정확도를 획기적으로 높였으며, 이를 통해 비디오 이해 및 질문 응답 성능을 크게 개선했다는 점에서 컴퓨터 비전 및 멀티모달 연구에 중요한 기여를 했습니다.