Behavioral characterization of dynamic facial expression perception in rhesus monkeys (Macaca mulatta) using naturalistic and synthetic stimuli

이 연구는 원숭이가 얼굴 표정을 고정된 형태적 범주가 아닌 발신자의 특성과 맥락에 따라 기능적으로 의미 있는 사회적 신호로 지각하며, 위협 표식에 대한 선천적 경향과 인간 얼굴에 대한 반응 부재를 통해 종 특이적 운동의 중요성을 규명했다고 요약할 수 있습니다.

핵심

1. 실험의 설정: "원숭이들의 표정 분류 게임"

연구자들은 두 마리의 긴꼬리원숭이 (마카크) 를 훈련시켜 네 가지 표정을 구별하는 게임을 시켰습니다.

• 게임 규칙: 화면에 원숭이 친구의 영상이 나오면, 네 가지 색깔 버튼 중 하나를 눌러야 합니다.
  • 🟢 중립: 아무 감정 없음
  • 💋 입술 쪼이기 (Lip-smacking): "친구야, 좋아!" (우호적)
  • 😬 이 드러내기 (SBT): "무서워, 제발 안 봐줘!" (복종/공포)
  • 😡 입 벌리기 (Threat): "내게 오지 마!" (공격적)

원숭이들은 이 게임을 잘 해냈고, 심지어 훈련받지 않은 새로운 원숭이나 **가상 캐릭터 (아바타)**가 나와도 표정을 대략적으로 맞췄습니다. 하지만 여기서 중요한 건, 그들이 단순히 "입 모양이 비슷하니까"라고 구분한 게 아니라는 점입니다.

2. 핵심 발견 1: "표정은 사진이 아니라, '상황'과 '신호'의 합성이다"

많은 사람이 원숭이들이 표정을 볼 때 "이건 이빨이 드러났으니까 무서운 표정이다"라고 단순히 생각할 수 있습니다. 하지만 연구 결과는 다릅니다.

• 비유: "의사소통은 악보가 아니라 즉흥 연주다"
  원숭이들은 표정을 고정된 사진처럼 보지 않았습니다. 예를 들어, '이 드러내기 (SBT)'라는 표정은 상황에 따라 완전히 다른 뜻으로 해석되었습니다.

  • 무거운 몸무게 + 직접적인 시선: "이 큰 녀석이 나를 위협하는 건가?" (공격적으로 해석)
  • 가벼운 몸무게 + 시선 피하기: "나는 약하니까 너를 존중해." (복종으로 해석)

  즉, 원숭이들은 **얼굴 근육의 움직임 (입, 눈썹, 귀)**뿐만 아니라, 그 원숭이가 얼마나 큰지 (체중), **누구를 보고 있는지 (시선)**까지 모두 합쳐서 "이 친구가 지금 내게 무엇을 말하려는 거지?"를 추론합니다. 마치 우리가 사람의 표정을 볼 때 "그 사람이 화난 건가, 아니면 놀란 건가?"를 그 사람의 평소 성격이나 상황과 함께 판단하는 것과 비슷합니다.

3. 핵심 발견 2: "얼굴은 '실제'일 필요는 없지만, '모양'은 있어야 한다"

연구자들은 원숭이들이 진짜 원숭이 얼굴을 봐야만 표정을 알 수 있는지, 아니면 그림이나 로봇이라도 되는지 실험했습니다.

• 비유: "인형극과 그림자 극의 차이"

  • 움직임이 어지러워도 OK: 영상의 프레임 순서를 뒤죽박죽 섞어도 (움직임이 매끄럽지 않아도) 원숭이들은 표정을 알아봤습니다.
  • 털이나 색상은 상관없음: 털이 없거나 회색으로만 된 원숭이 아바타도 알아봤습니다.
  • 하지만 '모양'은 필수: 얼굴의 윤곽이나 질감이 완전히 사라진 '선 (wireframe)'이나 '점 (point-light)'으로만 된 얼굴은 알아볼 수 없었습니다.

  결론은 **"얼굴이 원숭이처럼 생겼을 필요는 없지만, 얼굴이라는 '모양'은 있어야 한다"**는 것입니다. 마치 우리가 인형극을 보더라도 인형이 사람 얼굴 모양을 하고 있으면 감정을 느끼지만, 막대기 두 개만 흔들면 감정을 못 느끼는 것과 같습니다.

4. 핵심 발견 3: "인간 표정은 원숭이에게 '외계어'다"

가장 놀라운 점은 인간이 웃거나 화내는 표정을 보여줬을 때입니다.

• 비유: "다른 언어를 쓰는 외국인"
  인간이 "웃음 (행복)"을 지으면 원숭이들은 "아, 이건 우리 원숭이의 '입술 쪼이기'겠지?"라고 생각할까요? 아닙니다.
  원숭이들은 인간 표정을 전혀 구분하지 못했고, 심박수나 눈동자 크기 (흥분도) 도 변하지 않았습니다. 인간 표정과 원숭이 표정이 입 모양이 비슷해도 (예: 인간 웃음과 원숭이 이 드러내기), 원숭이들에게는 의미 없는 외계어처럼 들렸습니다.

  이는 원숭이들이 표정을 볼 때 단순히 "입이 벌어졌다/다물었다"는 생리적 특징만 보는 게 아니라, 자신들의 종족 (원숭이) 과 공유하는 사회적 의미를 알고 있어야 표정을 이해할 수 있다는 것을 보여줍니다.

---

📝 한 줄 요약

이 연구는 원숭이들이 얼굴 표정을 단순한 **'그림'**으로 보지 않고, **얼굴 근육, 몸집, 시선, 그리고 사회적 맥락이 어우러진 복잡한 '메시지'**로 해석한다는 것을 증명했습니다. 그리고 그 메시지는 오직 자신들의 종족 (원숭이) 과 공유할 때만 통한다는 사실을 발견했습니다.

마치 우리가 외국인이 하는 제스처를 보고 "아, 저건 '안녕'인가?"라고 추측하기보다, 우리 문화권 사람들이 하는 제스처를 볼 때 훨씬 더 명확하게 감정을 읽는 것과 같은 원리입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 영장류에게 얼굴 표정은 중요한 사회적 의사소통 수단이지만, 원숭이가 얼굴 표식을 평가하는 기준이 무엇인지 명확하지 않습니다.
• 기존 연구의 한계:
  • 대부분의 연구가 정적인 이미지 (static images) 에 의존하여 역동적인 움직임의 역할을 간과했습니다.
  • 원숭이가 표식을 단순히 시각적 유사성 (morphological similarity) 에 기반하여 구분하는지, 아니면 기능적 의미 (functional meaning, 예: 위협, 친밀감) 에 기반하여 구분하는지 불분명했습니다.
  • 표식 인식에 필요한 필수 요소 (모션의 일관성, 사실적인 질감, 종 특이적 형태 등) 가 무엇인지 체계적으로 규명된 바가 부족합니다.
• 연구 목표:
  1. 원숭이가 새로운 개체와 아바타에 대한 일반화 능력을 보이는지 확인.
  2. 표식 인식에 필요한 시각적, 운동적 특징 규명.
  3. 표식 범주화가 시각적 유사성에 기반한 것인지, 아니면 기능적 의미와 맥락에 기반한 것인지 규명.

2. 방법론 (Methodology)

실험 대상 및 설계

• 대상: 2 마리의 성체 수컷 리서스 원숭이 (Monkey 1, Monkey 2).
• 과제: 강제 선택 범주화 과제 (Forced-choice categorization paradigm).
  • 4 가지 표식 유형: 중립 (Neutral), 입술 쏘기 (Lip-smacking), 침묵 이빨 드러내기 (SBT, fear-grin), 입 벌린 위협 (Open-mouth threat, OMT).
  • 훈련 후 새로운 자극 (Catch trials) 을 제시하여 일반화 능력과 동공 반응 (Pupillary response, 각성도 측정) 을 기록.

자극 (Stimuli)

1. 실제 원숭이 비디오: 다양한 개체의 자연스러운 표식 비디오 (MaqFACS 기준 수동 코딩 및 DeepLabCut 을 이용한 자동 모션 추적 병행).
2. 원숭이 아바타 (Monkey Avatar): MRI 기반 메쉬와 모션 캡처 데이터를 결합한 합성 원숭이.
   • 모핑 (Morphing): 두 가지 표식 사이를 25% 간격으로 연속적으로 변형.
   • 조작 조건:
     • 시간적 무질서 (Frame scrambling): 모션의 연속성 제거.
     • 현실성 저하 (Degraded realism): 털 제거, 회색조, 와이어프레임, 포인트라이트 (모양만 모션으로 표현).
     • 종 간 변화: 인간 아바타에 원숭이 표식 적용, 인간 아바타에 인간 표식 적용.

분석 기법

• 자동화된 얼굴 행동 코딩: DeepLabCut 과 MaqFACS(Macaque Facial Action Coding System) 를 결합하여 얼굴 근육 운동 (Action Units, AUs) 을 정량화.
• 통계 분석:
  • 다항 로지스틱 회귀 (Multinomial Logistic Regression, MLR): 범주화 선택에 영향을 미치는 요인 (표식, 개체 중량, 시선 방향, AU 조합 등) 규명.
  • 랜덤 포레스트 분류기 (Random Forest Classification): 비선형적 AU 조합과 임계값 분석.
  • 동공 크기 분석: 자극에 따른 각성도 (Arousal) 측정.

3. 주요 결과 (Key Results)

1) 자연스러운 자극에 대한 일반화 및 기능적 의미 지각

• 일반화: 원숭이는 훈련된 새로운 개체와 아바타의 표식을 어느 정도 범주화할 수 있었으나, 완벽하지는 않았습니다.
• 시각적 유사성 vs. 기능적 의미:
  • 오답 패턴은 표식 간의 시각적 유사성 (FACS 구성 상관관계) 과는 상관관계가 없었습니다.
  • 대신, 위협 (Threat) 은 명확하게 구분되었고 가장 강한 동공 확장 (각성) 을 보였으며, 입술 쏘기와 중립, SBT 간의 혼동이 빈번했습니다. 이는 시각적 특징이 아닌 기능적 의미 (위협, 친밀감, 복종 등) 에 기반한 지각을 시사합니다.
• 맥락적 요인의 영향: SBT(침묵 이빨 드러내기) 의 범주화는 개체 중량 (Body weight), 시선 방향 (Gaze direction), 그리고 입술/눈썹/귀 운동의 조화에 따라 크게 달라졌습니다.
  • 예: 시선이 피하는 경우 (Averted gaze) 는 위협이나 입술 쏘기보다는 SBT 로 분류될 확률이 높았습니다.

2) 합성 자극 (아바타) 을 통한 필수 요소 규명

• 모핑 실험: 표식 간 모핑된 자극에 대해 원숭이는 표식 구성 요소의 강도에 비례하여 범주화했습니다. 이는 표식 지각이 이산적 카테고리가 아닌 연속체 (Continuum) 로 이루어짐을 보여줍니다.
• 모션의 일관성: 프레임 순서를 무작위로 섞어도 (Scrambled) 표식 인식과 동공 반응이 유지되었습니다. 즉, 시간적 모션의 일관성은 필수 조건이 아님을 의미합니다.
• 현실성과 형태:
  • 털이 없거나 회색조인 아바타는 인식 가능했으나, 와이어프레임 (Texture 없음) 이나 포인트라이트 (Shape 없음) 아바타는 인식 실패했습니다.
  • 결론: 표식 인식에는 구분 가능한 얼굴 형태 (Discernible facial shape) 와 일정 수준의 질감 (Texture) 이 필수적이지만, 완전한 사실성 (Photorealism) 이나 종 특이적 얼굴 형태는 필수 조건이 아닙니다.
• 종 간 전이 (Species Transcendence):
  • 인간 아바타에 원숭이 표식을 적용하면 원숭이들이 잘 인식했습니다.
  • 그러나 인간 표식 (미소, 공포, 분노) 을 제시했을 때는 무작위 분류를 보였고 동공 반응의 차이가 없었습니다. 이는 원숭이가 인간 표식을 사회적 의미로 해석하지 못함을 의미합니다.

4. 주요 기여 (Key Contributions)

1. 새로운 자동화 코딩 방법론: DeepLabCut 과 MaqFACS 를 통합하여 원숭이 얼굴의 근육 운동을 객관적으로 정량화하는 방법을 제시했습니다.
2. 기능적 지각의 증명: 원숭이가 얼굴 표식을 단순한 시각적 패턴이 아니라, 사회적 맥락 (신호자의 중량, 시선 등) 과 결합된 기능적 신호로 해석함을 입증했습니다.
3. 표식 인식의 필수 조건 규명:
   • 모션의 연속성 불필요.
   • 사실적인 질감과 구분 가능한 얼굴 형태 필요.
   • 종 특이적 형태는 불필요하지만, 종 특이적 모션 패턴 (Species-specific motion) 은 필수적 (인간 표식은 인식 불가).
4. SBT 의 맥락 의존성: SBT 가 단순히 '복종'이 아니라, 맥락 (위협 회피 vs. 친밀감) 에 따라 다르게 해석될 수 있음을 행동 데이터로 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 리서스 원숭이의 얼굴 표식 지각이 고정된 형태적 범주가 아니라, 표식 자체의 특징과 신호자의 특성, 그리고 사회적 맥락이 통합된 유연한 과정임을 보여줍니다. 특히, 표식 인식에 있어 '시각적 유사성'보다는 '사회적 의미 (Social Meaning)'가 더 중요하며, 이를 이해하기 위해서는 종 특이적인 모션 패턴이 필수적임을 강조합니다.

이러한 발견은 비인간 영장류의 사회적 인지 연구뿐만 아니라, 인간과 영장류 간의 얼굴 인식 메커니즘 비교 연구 및 사회적 신호 처리를 위한 인공지능/로봇 아바타 개발에 중요한 시사점을 제공합니다. 또한, 인간 표식이 원숭이에게 무의미하게 작용한다는 점은 사회적 의미 학습의 중요성을 부각시킵니다.