SIV-Bench: A Video Benchmark for Social Interaction Understanding and Reasoning

다음은 "SIV-Bench: 사회적 상호작용 이해 및 추론을 위한 비디오 벤치마크" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

멀티모달 대규모 언어 모델 (MLLM) 은 시각적 추론과 비디오 캡션 생성 분야에서 상당한 진전을 이루었으나, 사회적 상호작용 이해에는 어려움을 겪고 있습니다. 사회적 상호작용은 미묘한 멀티모달 단서의 지각, 관찰할 수 없는 정신 상태 (감정, 의도) 의 추론, 그리고 사회적 규범에 기반한 역동적 행동의 예측을 요구하는 복잡하고 다면적인 영역입니다.
기존의 비디오 벤치마크 (예: VideoMME, MLVU) 는 주로 일반적인 장면 이해나 객체 분할과 같은 특정 작업에 중점을 둡니다. 이들은 MLLM 의 종합적 사회적 지능, 특히 대인 관계를 추론하고 사회적 역학을 예측하는 능력을 평가할 수 있는 체계적인 프레임워크가 부족합니다. 표면적인 지각을 넘어 깊은 사회적 추론을 테스트하는 벤치마크가 시급히 필요합니다.

2. 방법론

A. 이론적 프레임워크

SIV-Bench 는 사회적 상호작용을 네 가지 기본 모델로 분류하는 **Fiske 의 관계 모델 이론 (Relational Models Theory)**에 기반합니다:

1. 공동체 공유 (Communal Sharing) (예: 가족, 친구)
2. 권위 서열 (Authority Ranking) (예: 상사 - 직급, 교사 - 학생)
3. 평등 매칭 (Equality Matching) (예: 팀원, 동료)
4. 시장 가격 (Market Pricing) (예: 서비스, 거래적 관계)

이러한 모델들은 14 가지 구체적인 관계 유형 (예: 부모 - 자녀, 형제, 코치 - 선수) 을 통해 구현됩니다.

B. 벤치마크 구축

벤치마크는 인간과 LLM 이 협력하는 파이프라인을 통해 구축된 2,792 개의 비디오 클립과 5,455 개의 고품질 질문 - 답변 (QA) 쌍으로 구성됩니다:

• 데이터 수집: 다양한 관계 유형, 장르 (일상, 영화, 스포츠), 언어를 보장하기 위해 GPT-4o-mini 가 생성한 키워드를 사용하여 TikTok 과 YouTube 에서 비디오를 수집했습니다.
• QA 생성 파이프라인:
  1. 확장 가능한 생성: LLM(Gemini-2.0-Flash) 이 세 가지 핵심 차원을 포괄하는 초기 QA 쌍을 생성했습니다.
  2. 적대적 필터링: 세 개의 상용 모델이 후보 질문에 답변했습니다. 모든 모델이 정답을 맞춘 질문은 너무 쉬우거나 단순하다고 판단되어 폐기되었습니다. 모델 간 의견이 불일치한 '어려운' 샘플만 유지되었습니다.
  3. 인간 검증: 20 명의 인간 주석자가 남은 어려운 샘플을 검증했습니다. 인간 주석자 전원의 동의를 얻은 질문만 유지되었습니다.
  4. 인간 작성: 주석자들이 벤치마크의 한계를 끌어올리기 위해 추가적인 복잡한 질문을 수동으로 작성했습니다.
• 멀티모달 조건: 언어적 단서의 영향을 연구하기 위해 비디오는 세 가지 조건으로 제공됩니다:
  • Origin: 내장 텍스트가 포함된 원본 비디오.
  • +Subtitle: 대본이 자막으로 추가된 원본 비디오.
  • -Subtitle: 화면의 모든 텍스트가 제거된 원본 비디오.

C. 작업 차원

SIV-Bench 는 사회적 상호작용을 세 가지 상호 연관된 차원으로 분해하며, 이는 10 개의 세분화된 하위 작업으로 나뉩니다:

1. 사회적 장면 이해 (SSU): 가시적 요소의 지각.
   • 하위 작업: 행동 인식, 환경 지각, 표정 인식, 인간 속성 식별.
2. 사회적 상태 추론 (SSR): 관찰할 수 없는 정신 상태의 추론.
   • 하위 작업: 의도 추론, 감정 추론, 태도 추론, 관계 추론 (구체적인 관계 유형 식별).
3. 사회적 역학 예측 (SDP): 미래 또는 가상의 결과 예측.
   • 하위 작업: 사실적 예측 (다음에 무슨 일이 일어날지), 반사실적 예측 (조건이 변했다면 어떻게 될지).

3. 주요 기여

1. 새로운 분석 프레임워크: 사회적 상호작용을 SSU, SSR, SDP 로 구조적으로 분해하여 사회적 지능을 평가하기 위한 통합 분류 체계를 제공합니다.
2. SIV-Bench 데이터셋: 14 가지 관계 유형을 포괄하는 2,792 개의 비디오와 5,455 개의 QA 쌍으로 구성된 대규모 다양성 데이터셋이며, 엄격한 '휴먼 - 인 - 더 - 루프' 품질 관리 프로세스를 특징으로 합니다.
3. 포괄적 평가: 오디오와 자막에 대한 통제된 제거 실험을 포함하여, 실제 사회적 맥락에서 지각, 추론, 예측 전반에 걸쳐 MLLM 을 체계적으로 평가하는 최초의 벤치마크입니다.

4. 실험 결과

저자들은 12 개의 최첨단 MLLM(GPT-4o, Gemini-2.5-Pro, Qwen2.5-VL, InternVL 포함) 을 평가했습니다.

• 전체 성능:
  • 성능 계층화: 대형 모델이 소형 모델보다 현저히 우수한 성능을 발휘했습니다 (예: Gemini-2.5-Pro: 62.40% vs 소형 오픈소스 모델 약 42%).
  • 차원 간 격차: 모델들은 SSU(지각) 에서는 상대적으로 잘 수행하지만, SSR(추론) 과 SDP(예측) 에서는 현저히 어려움을 겪습니다.
• 주요 병목 현상:
  • 관계 추론 (RI): 가장 취약한 부분입니다. 모델들은 특히 위계적 관계 (권위 서열) 와 평등적 관계 (평등 매칭) 사이에서 체계적인 혼란을 보입니다. 예를 들어, '상사 - 직원' 관계를 '동료' 관계와 혼동합니다.
  • 오류 모드: 모델들은 주된 관계와 부차적 관계를 구분하지 못하거나, 전형적인 장면 단서 (예: '교실' = '교사 - 학생'으로 가정) 에 과도하게 의존하며, 깊은 상식적 사회적 추론이 부족합니다.
• 모달리티 영향:
  • 오디오: 오디오를 제거하면 성능이 크게 저하됩니다 (SSR 에서 -2.44%), 이는 사회적 추론에 오디오가 필수적임을 보여줍니다.
  • 자막: 자막을 제거하면 추론 중심 작업 (SSR/SDP) 의 성능이 크게 저하되는 반면, 추가하는 것은 미미한 이득만 제공합니다. 이는 복잡한 추론을 위해 텍스트적 맥락이 결정적임을 시사합니다.
• 인간 기준 (SIV-Bench-Hard): 어려운 하위 집합에서 최상위 모델 (Gemini-3-Pro, GPT-5.1) 은 약 45% 의 정확도를 달성한 반면, 인간은 **74.4%**의 정확도를 달성했습니다.
  • 추론 분석: 정답을 맞춘 모델들은 틀린 모델들보다 인간의 추론 흔적과 의미적 유사성이 현저히 높았으며, 이는 성공이 패턴 매칭이 아닌 인간과 유사한 추론을 필요로 함을 입증했습니다.

5. 의의

• 진단 도구: SIV-Bench 는 현재 MLLM 의 특정 한계, 특히 인간의 사회적 인지와의 정렬 실패 및 관계 추론에서의 체계적 오류를 드러냅니다.
• 연구 방향: 이 발견들은 미래의 MLLM 이 진정한 사회적 지능을 달성하기 위해 다층적 사회적 기반(관찰, 정서, 규범의 분리) 과 더 깊은 추론 능력이 필요함을 시사합니다.
• 윤리적 및 실질적 영향: 통합된 테스트베드를 제공함으로써 SIV-Bench 는 인간 - AI 협업 응용 분야를 위한 더 공감적이고 맥락 인식적이며 사회적 지능을 갖춘 AI 시스템 개발을 안내하며, 사회적 추론과 관련된 조작 및 편향 위험을 강조합니다.

데이터셋, 코드, 평가 스크립트는 사회적 AI 에 대한 추가 연구를 장려하기 위해 공개되어 있습니다.