Bottom-up and generative computations uniquely explain neural responses across the social brain

이 연구는 사회적 지각과 정신화 영역이 서로 다른 뇌 영역이 아니라, 하향식(bottom-up) 관계적 처리와 상향식(generative) 추론적 계산을 모두 수행하며 시간적 차원에서 계층적으로 작동함을 최초로 실증적으로 규명했습니다.

핵심

이 연구는 우리가 남의 행동을 보고 "저 사람들은 친구인가, 적인가?"를 어떻게 알아차리는지 그 뇌의 작동 원리를 밝힌 흥미로운 논문입니다.

쉽게 말해, "우리의 뇌는 남의 행동을 볼 때, 단순히 눈으로 본 대로 빠르게 판단할까요? 아니면 그 사람의 마음을 깊이 있게 추측하며 판단할까요?" 라는 질문에 답을 찾았습니다.

기존의 생각은 뇌의 두 부위가 엄격하게 나누어져서 일한다고 믿었습니다.

• 눈 (pSTS): "아, 저 두 개체가 서로 쫓고 있네!"라고 빠르게 눈으로만 감지하는 부위.
• 마음 (TPJ): "아, 저건 장난이 아니라 진짜 공격하려는 의도였구나!"라고 마음을 깊이 있게 추론하는 부위.

하지만 이 연구는 "아니요, 두 부위 모두 두 가지 일을 다 합니다!" 라고 반박하며 놀라운 사실을 발견했습니다.

---

🧠 핵심 비유: "경찰관과 탐정" vs "모든 형사"

과거의 이론은 뇌를 경찰관과 탐정으로 나눴습니다.

• 경찰관 (pSTS): 현장에 도착하자마자 "저기서 싸움이 났다!"라고 즉시 보고하는 역할. (빠른 시각 정보 처리)
• 탐정 (TPJ): "왜 싸웠을까? 범인의 동기는 뭐였을까?"라고 수사하는 역할. (깊은 마음 추론)

하지만 이 연구는 뇌의 두 부위 모두 경찰관과 탐정을 동시에 수행하는 '슈퍼 형사' 라는 것을 발견했습니다.

1. 실험 내용: "애니메이션 캐릭터들의 싸움"

연구진은 참가자들에게 두 개의 애니메이션 캐릭터가 움직이는 짧은 영상을 보여주고 fMRI(뇌 촬영) 를 찍었습니다.

• 모델 A (사회적 GNN): 캐릭터들의 움직임, 위치, 충돌 같은 시각적 정보만 보고 관계를 판단하는 '빠른 컴퓨터'. (경찰관 스타일)
• 모델 B (SIMPLE): 캐릭터들의 목표와 마음을 추측하며 시뮬레이션하는 '깊은 컴퓨터'. (탐정 스타일)

2. 놀라운 결과: "두 부위 모두 두 모델을 다 이해했다!"

연구진은 "pSTS 는 모델 A 와, TPJ 는 모델 B 와만 잘 맞을 것"이라고 예상했습니다.
하지만 결과는 정반대였습니다!

• pSTS(빠른 부위) 에서도 모델 A(빠른 컴퓨터) 와 모델 B(깊은 컴퓨터) 모두 뇌 신호와 잘 맞았습니다.
• TPJ(깊은 부위) 에서도 모델 A 와 모델 B 모두 뇌 신호와 잘 맞았습니다.

즉, 뇌의 두 부위는 서로 다른 일을 하는 게 아니라, 두 부위 모두 '빠른 시각 처리'와 '깊은 마음 추론'을 동시에 하고 있었습니다.

3. 시간의 비밀: "먼저 눈, 그다음 마음"

그렇다면 왜 이렇게 된 걸까요? 연구진은 시간의 차이를 발견했습니다.

• 초반 (0~4 초): 뇌는 모델 A(빠른 시각 처리) 에 더 집중합니다. "아, 저게 움직이고 있네!"라고 빠르게 파악합니다.
• 후반 (4~10 초): 뇌는 모델 B(깊은 마음 추론) 로 점차 넘어갑니다. "그럼 그건 왜 움직였을까? 무슨 뜻일까?"라고 깊이 생각하기 시작합니다.

이것은 공간적 분리 (부위마다 다른 일) 가 아니라, 시간적 순서 (먼저 눈, 그다음 마음) 로 일어난다는 뜻입니다. 마치 영화를 볼 때, 먼저 화면을 보고 (시각), 그다음 줄거리와 인물의 마음을 이해하는 (추론) 과정과 같습니다.

---

💡 이 연구가 우리에게 주는 메시지

1. 뇌는 단순하지 않습니다: 우리가 남의 행동을 볼 때, 뇌는 "눈으로 보는 것"과 "마음을 읽는 것"을 따로따로 처리하지 않습니다. 두 과정이 동시에, 그리고 빠르게 순서대로 일어나며 서로 얽혀 있습니다.
2. 인공지능과 뇌의 연결: 이 연구는 인공지능 (AI) 모델이 인간의 뇌 활동을 얼마나 잘 예측할 수 있는지 보여줍니다. 특히 '마음을 추론하는 AI'가 뇌의 활동을 설명할 수 있다는 점은, AI 가 인간의 사회적 인지 능력을 이해하는 데 큰 진전을 이룬 것입니다.
3. 일상생활의 적용: 우리가 친구와 대화할 때, 상대방의 표정을 보고 (빠른 처리) 동시에 "왜 저렇게 말했을까?"라고 생각 (깊은 처리) 하는 것이 뇌의 자연스러운 흐름이라는 것을 과학적으로 증명했습니다.

한 줄 요약:

"우리의 뇌는 남의 행동을 볼 때, '눈'과 '마음'을 따로 쓰는 게 아니라, 먼저 눈으로 빠르게 파악하고 그다음 마음속으로 깊이 생각하며 두 과정을 모두 활용해서 상황을 이해합니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 인간은 시각적 입력 (예: 추상적인 도형의 움직임) 에서도 타인의 사회적 상호작용 (협력, 경쟁 등) 과 의도를 파악할 수 있습니다. 신경영상 연구에 따르면, 이 과정에는 후두측두구 (pSTS) 와 같은 사회적 지각 영역과 측두두정접합부 (TPJ) 와 같은 마음 읽기 영역이 관여합니다.
• 기존 가설: 일반적으로 pSTS 는 시각적 자극에서 빠른 하향식 (Bottom-up) 계산을 통해 상호작용의 외형적 특징을 추출하고, TPJ 는 이를 바탕으로 역계획 (Inverse Planning) 을 수행하여 행동의 배경이 되는 목표와 신념을 추론한다는 계층적 분리 가설이 지배적이었습니다.
• 문제점: 그러나 이러한 계산적 - 신경적 매핑 (Computational-Neural Mapping) 을 검증할 수 있는 성공적인 계산 모델, 특히 순수한 하향식 사회적 지각 모델의 부재로 인해 이 가설은 공식적으로 테스트되지 못했습니다.

2. 방법론 (Methodology)

연구는 사전 등록 (Preregistered) 된 fMRI 실험과 두 가지 계산 모델의 비교 분석으로 구성되었습니다.

A. 실험 설계 및 데이터 수집

• 참가자: 25 명의 성인 (29 명 중 4 명 제외).
• 자극: PHASE 데이터셋에서 선별된 50 개의 애니메이션 비디오 (두 개의 에이전트가 2D 환경에서 상호작용하는 장면). 상호작용 유형은 '친구', '중립', '적대적'으로 분류됨.
• fMRI 프로토콜:
  • 메인 태스크: 10 초 길이의 비디오 시청 및 사회적 관계 판단.
  • 로컬라이저 (Localizer): pSTS (사회적 상호작용 지각), TPJ (거짓 믿음/마음 읽기), 물리 지각 영역을 기능적으로 정의하기 위한 추가 작업 수행.
  • 분석: 전 뇌 검색광 (Whole-brain Searchlight) 및 기능적 관심 영역 (fROI) 분석을 위한 표현 유사성 분석 (RSA) 수행.

B. 계산 모델 (Computational Models)

연구는 두 가지 상반된 계산 프레임워크를 구현한 모델을 비교했습니다.

1. SocialGNN (상향식 관계 모델):
   • 구조: 그래프 신경망 (GNN) 기반.
   • 작동 원리: 시각적 정보 (위치, 속도, 방향, 물리적 접촉 등) 를 노드와 엣지로 구성된 그래프로 변환하여 처리합니다. 명시적인 목표나 신념 추론 없이 순수한 관계적 시각 정보를 기반으로 사회적 상호작용을 분류합니다.
   • 특징: 순환 신경망 (LSTM) 을 통해 시간적 정보를 통합합니다.
2. SIMPLE (생성적 역계획 모델):
   • 구조: 생성적 역계획 (Generative Inverse Planning) 모델.
   • 작동 원리: 에이전트의 물리적/사회적 목표에 대한 가설을 생성하고, 물리 엔진과 계층적 계획기를 사용하여 해당 가설에 따른 궤적을 시뮬레이션합니다. 관측된 궤적과 시뮬레이션된 궤적을 비교하여 가장 가능성 높은 사회적 관계를 추론합니다.
   • 특징: 에이전트의 **내적 상태 (목표, 신념, 의도)**를 명시적으로 추론합니다.

C. 비교 기준 (Baselines)

• Motion Energy: 저수준 시각적 움직임 정보 모델.
• ControlRNN: SocialGNN 과 유사하지만 그래프 구조 (관계적 인덕티브 편향) 가 없는 순환 신경망.

3. 주요 결과 (Key Results)

A. 인간 판단과 뇌 반응의 상관관계

• 인간의 사회적 판단 (친구/중립/적대적) 은 pSTS 와 TPJ 모두에서 뇌 반응 패턴과 유의미하게 상관관계를 보였습니다. 이는 저수준 시각 정보 (Motion Energy) 로 설명되지 않는 고차원적 사회적 정보 처리가 이루어지고 있음을 시사합니다.

B. 모델 - 뇌 대응성 (Model-Brain Correspondence)

• 예상과 다른 발견: 연구자들은 pSTS 가 SocialGNN 과, TPJ 가 SIMPLE 과 각각 더 강하게 상관할 것이라고 가정했으나, 결과는 달랐습니다.
  • **SocialGNN(상향식)**과 SIMPLE(역계획) 모델 모두가 pSTS 와 TPJ 모두에서 뇌 반응의 변인을 유의미하게 설명했습니다.
  • 두 모델은 서로 다른 변인을 설명하며, 한 모델의 효과를 통제하더라도 다른 모델이 여전히 유의미한 설명력을 가졌습니다.
  • ControlRNN은 pSTS 나 TPJ 와의 상관관계가 유의하지 않았으며, SocialGNN 보다 설명력이 낮았습니다. 이는 관계적 (Relational) 처리가 사회적 뇌 영역의 반응을 설명하는 데 필수적임을 보여줍니다.

C. 시간적 역동성 (Temporal Dynamics)

• 시간 분해 분석 (Time-resolved Analysis): 10 초 비디오를 2 초 단위로 나누어 분석한 결과, 두 모델의 뇌 반응 대응 패턴이 시간에 따라 다르게 나타났습니다.
  • SocialGNN: 비디오 초기~중반에 뇌 반응과의 유사성이 급격히 증가했다가 감소하는 패턴 (피크).
  • SIMPLE: 시간이 지남에 따라 서서히 증가하는 패턴.
• 이는 두 계산 과정이 공간적으로 분리된 것이 아니라, **시간적 순서 (Temporal Hierarchy)**를 따라 진행될 가능성을 시사합니다. 즉, 초기에는 시각적 관계 처리가, 이후에는 고차원적 추론이 활성화되는 것입니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 사회적 뇌의 계산적 재정의:
   • 기존의 "pSTS 는 지각, TPJ 는 추론"이라는 엄격한 기능적 분업 가설을 반박합니다. 대신, pSTS 와 TPJ 모두에서 하향식 관계 처리와 상향식 추론이 결합되어 발생함을 최초로 실증했습니다.
2. 계산 모델과 뇌 과학의 통합:
   • 역계획 (Inverse Planning) 모델이 fMRI 데이터와 직접 비교된 최초의 연구 중 하나입니다. 이론 기반의 인지 모델이 실제 뇌 활동을 성공적으로 예측할 수 있음을 입증했습니다.
3. 시간적 계층성의 발견:
   • 사회적 추론이 공간적 계층 (어떤 영역이 먼저, 어떤 영역이 나중) 이 아니라, **시간적 계층 (초기 시각 처리 $\rightarrow$ 후기 추론)**으로 조직될 수 있음을 제안합니다.
4. 관계적 처리의 중요성:
   • 단순한 시각적 특징이 아닌, 에이전트 간의 **관계적 구조 (Relational Structure)**를 인코딩하는 것이 사회적 뇌 영역을 이해하는 핵심임을 확인했습니다.

5. 결론

이 연구는 인간이 사회적 상황을 이해할 때, 단순한 시각적 특징 추출과 복잡한 마음 읽기 추론이 뇌의 특정 영역에 고정되어 분리되어 작동하는 것이 아니라, pSTS 와 TPJ 를 포함한 사회적 뇌 네트워크 전체에서 상호작용하며, 서로 다른 시간 척도 (Timescale) 로 통합됨을 보여줍니다. 이는 사회적 인지 (Social Cognition) 의 신경 계산 메커니즘에 대한 우리의 이해를 심화시키고, 향후 하이브리드 모델 개발 및 발달 심리학, 비교 인지 연구의 기초를 마련합니다.