SVBench: Evaluation of Video Generation Models on Social Reasoning

SVBench 는 발달 및 사회심리학에 기반한 30 가지 사회적 인지 패러다임을 활용하여 텍스트-비디오 생성 모델이 시각적 사실성은 높지만 의도, 감정, 사회적 규범 등 사회적 추론 능력에서는 한계가 있음을 체계적으로 평가한 최초의 벤치마크입니다.

핵심

🍽️ 비유: "맛있는 요리 vs. 마음을 읽는 요리사"

지금까지의 영상 생성 AI 들은 **요리 실력 (시각적 퀄리티)**은 매우 뛰어났습니다.

• 기존 AI: "소고기를 볶고, 양파를 썰고, 불꽃이 튀는 장면"을 아주 사실적으로 만들어냅니다. (눈에 보이는 건 완벽함)
• 하지만 문제점: "소고기를 볶는 건 왜? 배가 고파서? 아니면 누군가에게 대접하려는 걸까?" 같은 심리적 맥락이나 사회적 관계는 전혀 고려하지 못합니다.

이 논문은 **"AI 가 사람의 마음을 읽을 수 있는가?"**를 확인하기 위해 SVBench라는 새로운 시험지를 만들었습니다.

---

🧠 SVBench 란 무엇인가? (사회적 추론 시험지)

이 시험지는 심리학자들이 수백 년간 연구해 온 **"사람들이 어떻게 서로를 이해하는지"**에 대한 30 가지 고전적인 상황을 바탕으로 합니다.

예를 들어, 이런 상황들이 시험 문제입니다:

1. 눈물과 아이스크림: 공원에 앉아 울고 있는 소녀 옆에 떨어진 아이스크림이 있습니다.
   • 사람의 생각: "아, 아이스크림이 떨어져서 슬퍼하는구나. 옆에 있는 어른이 그걸 보고 위로해 주겠지."
   • 기존 AI 의 반응: "울고 있는 소녀, 떨어진 아이스크림, 옆에 있는 어른." (장면은 만들지만, 위로하는 행동은 안 함)
2. 클립을 줍는 어른: 어른이 클립을 떨어뜨렸는데 못 줍니다. 옆에 있는 어린아이를 보고 클립을 가리킵니다.
   • 사람의 생각: "도움을 요청하는 신호야! 아이가 클립을 줍겠지."
   • 기존 AI 의 반응: "클립을 떨어뜨린 사람, 가리키는 손." (아이가 도와주는 행동은 안 함)

이처럼 **사물 (물리)**은 잘 만들지만, **사람의 마음 (사회적 논리)**은 못 만드는 AI 들을 가려내는 것이 목표입니다.

---

🤖 어떻게 시험을 치는가? (4 명의 AI 심판단)

이 시험지를 만들 때 인간이 직접 일일이 손으로 만들면 너무 느리니까, 4 명의 AI 에이전트가 팀을 이루어 자동화했습니다.

1. 이해 에이전트 (교과서 분석가): 심리학 실험 내용을 읽고 "이 실험의 핵심은 뭐지?"를 파악합니다.
2. 만들기 에이전트 (요리사): 그 핵심을 바탕으로 "소녀가 울고 있는 공원" 같은 구체적인 영상 프롬프트를 만듭니다.
3. 비평가 에이전트 (식중독 검사관): "이 프롬프트에 정답이 너무 많이 드러나진 않았나?", "난이도는 적절한가?"를 체크하고 수정합니다.
4. 평가 에이전트 (미식가 심판): AI 가 만든 영상을 보고 "이게 진짜 사회적으로 논리적인가?"를 5 가지 항목 (예: 행동의 일관성, 눈맞춤 등) 으로 채점합니다.

---

📊 시험 결과: AI 들은 얼마나 잘했나?

최신 AI 8 개 모델을 이 시험지에 넣어봤습니다.

• 상위권 (Sora2, Veo 등): "소풍 가는 가족" 같은 장면은 잘 만들지만, "누가 누구를 도와줘야 하는지" 같은 복잡한 사회적 상황에서는 여전히 실수가 많습니다. (약 70~80% 점수)
• 하위권 (오픈소스 모델 등): 시각적으로 예쁘게 만들기는 하지만, 사회적 맥락은 거의 이해하지 못합니다. (30~50% 점수)

가장 큰 발견:
AI 는 **"눈에 보이는 것 (물리 법칙)"**은 완벽하게 따라하지만, **"보이지 않는 것 (마음, 의도, 사회적 규칙)"**은 여전히 인간처럼 이해하지 못한다는 것입니다.

---

💡 결론: 왜 이 연구가 중요한가?

지금까지 우리는 AI 가 **"얼마나 사실적인 영상"**을 만드는지에만 관심을 가졌습니다. 하지만 이 논리는 말합니다.

"진짜 똑똑한 AI 가 되려면, 사람들이 왜 그렇게 행동하는지를 이해하고, 그걸 영상으로 자연스럽게 보여줘야 한다."

이 연구는 AI 가 단순히 화려한 영화를 만드는 것을 넘어, 사람들과 소통할 수 있는 진정한 지능을 갖추기 위해 어떤 부분이 더 발전해야 하는지 보여주는 나침반이 되었습니다.

한 줄 요약:

"AI 가 이제 '예쁜 그림'을 그리는 건 잘하지만, '사람의 마음'을 읽는 건 아직 초보 수준이다. 이 논문은 그 차이를 정확히 측정하는 자를 만들었다."

기술 요약

SVBench: 비디오 생성 모델의 사회적 추론 능력 평가

1. 문제 제기 (Problem)

최근 텍스트 - 비디오 생성 모델 (Text-to-Video) 은 시각적 사실성 (Visual Realism), 운동 충실도 (Motion Fidelity), 텍스트 - 비디오 정렬 능력에서 괄목할 만한 발전을 이루었습니다. 그러나 이러한 모델들은 **사회적 일관성 (Social Coherence)**을 갖춘 행동을 생성하는 데 여전히 심각한 한계를 보입니다.

• 현재의 한계: 인간은 짧은 시각적 단서로부터 의도, 신념, 감정, 사회적 규범을 추론할 수 있지만, 현재 모델들은 물리적 사건을 사실적으로 묘사하는 데는 능숙하나, "왜 (Why)" 인간이 특정 행동을 하는지 (배후의 인과관계, 심리적 동역학) 를 이해하고 반영하지 못합니다.
• 기존 벤치마크의 부족: 기존 비디오 생성 평가 지표 (VBench, EvalCrafter 등) 는 주로 화질, 물리 법칙 준수, 운동의 부드러움 등 저수준의 지각적 요인에 집중하고 있습니다. 다중 에이전트 간의 상호작용, 역할, 의도, 사회적 규범 등 고수준의 사회적 추론을 평가하는 체계적인 벤치마크는 부재했습니다.

2. 방법론 (Methodology)

저자들은 발달 심리학 및 사회 심리학에 기반한 최초의 사회적 추론 벤치마크인 SVBench를 제안했습니다. 이 프레임워크는 학습이 필요 없는 (Training-free) 에이전트 기반 파이프라인을 통해 구축 및 평가됩니다.

A. 벤치마크 구성 (Benchmark Construction)

• 7 가지 핵심 차원: 사회적 인지의 7 가지 핵심 영역을 기반으로 30 개의 고전적 심리학 실험을 선정했습니다.
  1. 정신 상태 추론 (Mental-state inference)
  2. 목표 지향적 행동 (Goal-directed action)
  3. 공동 주의 및 관점 수용 (Joint attention & Perspective)
  4. 사회적 조정 (Social coordination)
  5. 친사회적 행동 및 감정 (Prosocial behavior & Emotion)
  6. 사회적 규범 및 간격 (Social norms & Spacing)
  7. 다중 에이전트 전략 (Multi-agent strategy)
• 작업 분류: 현재 비디오 생성 모델의 제한된 길이 (5~10 초) 를 고려하여, 30 개 실험 중 단기 영상으로 표현 가능한 15 개 작업을 주요 벤치마크로 선정하고, 나머지는 확장 벤치마크로 분류했습니다.

B. 에이전트 기반 파이프라인 (Agent-Based Pipeline)
전체 프로세스는 4 개의 에이전트로 구성되며, 인간 개입 없이 자동화됩니다.

1. 실험 이해 에이전트 (Experiment Understanding Agent): 심리학 실험 설명을 처리하여 핵심 인지 메커니즘, 인과 관계, 기대 결과를 구조화합니다.
2. 프롬프트 합성 에이전트 (Prompt Synthesis Agent): 추상적인 개념을 구체적인 시각적 시나리오로 변환합니다. (행위 중심 기술, 시간적 실현 가능성, 구체적 인스턴스화 원칙 준수)
3. 비평가 에이전트 (Critic Agent):
   • 개념적 중립성 유지: "슬퍼한다", "도움을 결정한다" 등 해석이 포함된 언어를 제거하고 관찰 가능한 행동만 남깁니다.
   • 정답 누출 방지: 프롬프트에 정답이 직접 드러나지 않도록 검사합니다.
   • 난이도 제어: 시선, 제스처, 물체 배치 등 사회적 단서 (Cues) 를 조작하여 Easy, Medium, Hard 버전을 생성합니다.
4. 평가 에이전트 (Evaluation Agent - EVA): 고사양 비전 - 언어 모델 (VLM) 을 사용하여 생성된 비디오를 평가합니다.

C. 평가 지표 (Evaluation Dimensions)
VLM 은 5 가지 이진 (Binary) 차원을 기준으로 비디오를 평가합니다.

1. D1: 핵심 패러다임 복제 (Core Paradigm Replication): 심리학적 현상이 올바르게 구현되었는가?
2. D2: 프롬프트 충실도 (Prompt Faithfulness): 지정된 에이전트, 객체, 장면이 준수되었는가?
3. D3: 사회적 일관성 (Social Coherence): 인과적, 사회적으로 타당한 행동인가?
4. D4: 사회적 단서 효과성 (Social Cue Effectiveness): 시선, 제스처 등 핵심 지각 단서가 제대로 표현되었는가?
5. D5: 비디오 실현 가능성 (Video Plausibility): 시각적 안정성은 유지되었는가?

3. 주요 결과 (Key Results)

8 개의 최신 비디오 생성 모델 (Sora2pro, Kling2.5, Veo-3.1, HunyuanVideo 등) 을 대상으로 한 대규모 평가 결과는 다음과 같습니다.

• 성능 격차:
  • 선도적 상용 모델 (Sora2pro, Veo-3.1): 전체 통과율 79.6% 및 72.4% 로 타 모델보다 월등히 높았습니다. 특히 목표 이해, 공동 주의, 친사회적 행동 분야에서 80% 이상의 높은 성능을 보였습니다.
  • 기타 모델: Hailuo02-S(56.4%), Kling2.5(52.2%) 는 상대적으로 낮은 성능을 보였으며, 오픈소스 모델 (HunyuanVideo, LTX-1.0 등) 은 전반적으로 30~40% 대의 낮은 점수를 기록했습니다.
• 약점 발견: 모든 모델이 신념 기반 추론 (Belief-based inference), 미묘한 단서 통합, 다중 에이전트 조정 작업에서 실패하는 경향을 보였습니다.
• 단서 (Cue) 의 영향:
  • 성능이 낮은 모델은 명확한 시각적 단서가 있을 때 성능이 향상되었습니다.
  • 반면, Sora2pro 와 Veo-3.1 같은 고성능 모델은 단서가 적어도 (Medium/Hard 조건) 오히려 더 잘 수행하거나, 불필요한 단서가 추가될 때 오히려 다른 차원 (프롬프트 충실도 등) 에서 점수가 하락하는 경향을 보였습니다. 이는 고성능 모델이 내재된 사회적 추론 능력을 가지고 있음을 시사합니다.
• 에이전트 평가의 신뢰성: VLM 기반 평가 결과와 인간 평가 결과 간의 상관관계가 높았으며, 특히 논리적 결함에 대해서는 인간 평가자와 유사하게 엄격하게 판단하는 것을 확인했습니다.

4. 주요 기여 (Key Contributions)

1. 최초의 사회적 추론 벤치마크: 발달 및 사회 심리학의 7 가지 핵심 역량을 기반으로 비디오 생성 모델의 사회적 추론 능력을 체계적으로 평가하는 최초의 벤치마크를 제안했습니다.
2. 학습 불필요 자동화 파이프라인: 4 개의 에이전트로 구성된 파이프라인을 통해 심리학 실험을 난이도가 제어된 비디오 프롬프트로 자동 변환하고, 대규모 평가를 수행할 수 있는 프레임워크를 개발했습니다.
3. 포괄적인 분석: 8 개의 최신 모델을 대상으로 한 실험을 통해, 현재 모델들이 시각적 사실성은 뛰어나지만 사회적 일관성과 인과적 추론에서는 여전히 근본적인 한계가 있음을 규명했습니다.

5. 의의 (Significance)

이 연구는 비디오 생성 모델의 발전 방향을 단순한 "시각적 사실성"에서 "사회적 이해와 추론"으로 확장해야 함을 강조합니다. SVBench 는 모델이 인간과 같은 사회적 맥락에서 행동할 수 있는지, 그리고 복잡한 사회적 상호작용을 생성할 수 있는지에 대한 객관적인 기준을 제시합니다. 이는 향후 더 인간적이고 신뢰할 수 있는 AI 에이전트 및 콘텐츠 생성 시스템을 개발하는 데 필수적인 기초를 마련합니다.