Grounding Social Perception in Intuitive Physics

1. 문제 제기 (Problem)

인간은 타인의 행동을 관찰할 때 풍부한 사회적 정보 (추적, 방해, 협력 등) 를 추론합니다. 이러한 추론은 단순한 시각적 패턴 매칭을 넘어, 직관적 심리학 (Intuitive Psychology) 과 직관적 물리학 (Intuitive Physics) 의 통합된 추론 과정에 기반합니다.

• 핵심 질문: 인간은 물리적으로 제약된 환경 (장애물, 중력, 충돌, 힘의 작용 등) 에서 관찰된 움직임을 통해 어떻게 타인의 목표 (Goal) 와 관계 (Relation) 를 추론하는가?
• 기존 연구의 한계:
  • 역계획 (Inverse Planning) 모델: 합리적 행위자 가정을 바탕으로 하지만, 물리적 역동성 (물체의 질량, 충돌, 마찰 등) 을 추상화하여 상징적 상태 전이로만 다루어 복잡한 물리 상호작용을 설명하지 못함.
  • 엔드 - 투 - 엔드 (End-to-End) 신경망 모델: 대규모 데이터로 학습하여 시각적 특징을 학습하지만, 명시적인 물리 추론 과정을 거치지 않아 일반화 능력이 부족하고 인간의 판단과 일치하지 않음.

2. 방법론 (Methodology)

저자들은 인간의 사회적 지각이 '생성 모델의 역전 (Inversion of a Generative Model)' 이라는 분석 - 합성 (Analysis-by-Synthesis) 접근법을 따른다는 가설을 검증하기 위해 다음과 같은 데이터셋과 모델을 제안했습니다.

A. 데이터셋: PHASE (PHysically grounded Abstract Social Events)

• 구성: 헤이더와 심멜 (Heider and Simmel) 영화 스타일의 2 차원 물리 시뮬레이션 애니메이션 500 개로 구성.
• 특징:
  • 두 개의 에이전트 (사다리꼴 모양) 가 다양한 크기, 힘 (Strength), 시야 제한을 가짐.
  • 장애물, 랜드마크, 물체 (원형) 가 포함된 물리 환경에서 상호작용.
  • 시나리오 유형: 협력 (Collaborative), 독립 (Independent), 경쟁 (Competing), 대립 (Opposing) 의 4 가지 목표 유형과 우호적, 중립적, 적대적 관계로 분류.
  • 인간 실험을 통해 23 가지 사회적 상호작용 레이블에 대한 일관된 인간 판단 데이터를 확보.

B. 모델: SIMPLE (SIMulation, Planning, and Local Estimation)

인간의 추론 과정을 모방한 물리 기반 베이지안 역계획 (Physics-grounded Bayesian Inverse Planning) 모델입니다.

• 핵심 아이디어: 관찰된 궤적 ($s_{1:T}$) 을 설명하는 가장 가능성 높은 잠재 변수 (목표 $g$, 관계 $\alpha$, 물리적 능력 $f$) 를 찾기 위해, 물리 엔진과 계획기를 결합한 생성 모델을 역전합니다.
• 구조:
  1. 결합 물리 - 사회 시뮬레이션 (Joint Physical-Social Simulation):
     • 계층적 계획기 (Hierarchical Planner): 에이전트의 목표와 신념에 기반해 행동을 샘플링 (직관적 심리학).
     • 물리 엔진 (Forward Physics Engine): 행동을 물리 법칙에 따라 시뮬레이션하여 충돌, 물체 이동 등을 계산 (직관적 물리학).
  2. 추론 (Inference):
     • 베이지안 역계획: 관찰된 궤적과 시뮬레이션된 궤적 간의 오차를 기반으로 사후 확률 $P(h|s_{1:T})$ 을 추정.
     • Metropolis-Hastings 알고리즘: 고차원의 가설 공간을 탐색하기 위해 MCMC(Markov Chain Monte Carlo) 기법 사용.
     • 국소 추정 (Local Estimation): 전체 궤적보다 특정 시간 구간 ($\Delta T$) 의 편차를 중점적으로 분석하여 가설을 업데이트하는 효율적인 전략 적용.

C. 비교 모델 (Baselines)

• SocialGNN: 시각 - 공간 입력을 그래프 신경망으로 학습하여 관계와 목표를 예측 (엔드 - 투 - 엔드).
• Gemini 2.5 Pro: 대규모 시각 - 언어 모델 (VLM) 을 활용한 제로샷 추론.
• Predicate Inverse Planning: 물리 역동성을 배제하고 상징적 상태 전이 (Predicate) 만을 기반으로 한 기존 역계획 모델.

3. 주요 기여 (Key Contributions)

1. PHASE 데이터셋 개발: 물리적으로 정립된 추상적 사회적 사건을 체계적으로 변형하여 생성한 대규모 데이터셋으로, 인간이 물리 환경에서 사회적 상호작용을 어떻게 지각하는지 연구할 수 있는 표준 벤치마크 제공.
2. SIMPLE 모델 제안: 직관적 심리학과 물리학을 통합한 계산 모델로, 단순한 패턴 매칭이 아닌 물리 시뮬레이션을 통한 역추론이 인간 수준의 사회적 지각에 필수적임을 입증.
3. 인지 과학적 통찰: 인간의 사회적 지각이 물리적 제약 (장애물, 힘의 크기 등) 을 고려한 '분석 - 합성' 과정을 통해 이루어진다는 것을 계산적으로 규명.

4. 실험 결과 (Results)

• 정확도: SIMPLE 모델은 목표 분류 (Goal Classification) 와 관계 분류 (Relation Classification) 모두에서 가장 높은 정확도를 기록했으며, 인간 판단과 통계적으로 유의미하게 일치했습니다.
  • 특히 경쟁 (Competing) 시나리오에서 다른 모델들은 실패했으나, SIMPLE 은 물리적 상호작용 (예: 같은 물체를 서로 다른 방향으로 당기는 '줄다리기' 상황) 을 시뮬레이션하여 인간과 유사한 판단을 내렸습니다.
• 비교 모델의 한계:
  • SocialGNN & Gemini 2.5 Pro: 시각적 패턴 (동시 이동 등) 에만 의존하여 경쟁 상황을 협력으로 오인하거나, 물리 법칙을 무시한 추론을 함.
  • Predicate Inverse Planning: 상징적 정보만으로는 복잡한 물리적 제약 하에서의 구체적 목표 추론이 어려웠음.
• 인간 판단과의 일치도: SIMPLE 은 인간이 가진 불확실성 (graded judgments) 과 확률 분포를 가장 잘 모사했습니다 (상관계수 $r \approx 0.8$).

5. 의의 및 결론 (Significance)

• 인지 과학적 의미: 인간의 사회적 지각은 단순한 시각적 분류가 아니라, "무엇이 가능한가 (물리)" 와 "무엇을 원하는가 (심리)" 를 통합한 역추론 과정임을 입증했습니다. 이는 영아기부터 발달하는 물리 및 심리 이론의 통합을 지지합니다.
• AI 및 로봇 공학적 함의:
  • 단순한 데이터 학습 (Feedforward) 에 의존하는 현재의 AI 는 물리 상식을 결여하여 복잡한 사회적 상호작용을 이해하지 못합니다.
  • 분석 - 합성 (Analysis-by-Synthesis) 방식의 모델 (물리 엔진 기반 시뮬레이션과 역추론) 이 일반화 능력과 인간 유사성을 확보하는 핵심 요소임을 보여줍니다.
• 한계 및 향후 과제: 현재 모델은 계산 비용이 높고 2D 기하학적 형태에 국한되어 있습니다. 향후 실시간 추론을 위한 효율성 개선 (Amortized Inference) 과 3D 실제 환경으로의 확장이 필요합니다.

이 논문은 사회적 지각을 이해하기 위해 물리 엔진이 통합된 생성 모델의 역전이 필수적임을 보여주며, 인간과 유사한 사회적 추론 능력을 가진 AI 를 개발하는 새로운 방향성을 제시합니다.