Face-selective responses correlate with deep networks that learn from environment feedback

이 논문은 환경의 피드백을 기반으로 학습하는 강화학습 (RL) 모델이 얼굴 인식 신경 반응을 설명하는 데 기존 지도학습 및 비지도학습 모델과 동등한 성능을 보이며, 자연스러운 얼굴 지각 이해를 위한 유망한 접근법임을 iEEG 데이터를 통해 입증했습니다.

핵심

이 논문은 **"인간이 얼굴을 어떻게 인식하고 기억하는지"**를 설명하기 위해 컴퓨터 모델 (인공지능) 을 사용해서 연구한 내용입니다.

기존의 연구들은 주로 **"정답이 있는 시험 (지도 학습)"**을 통해 AI 를 훈련시켰습니다. 하지만 현실 세계에서는 우리가 얼굴을 볼 때마다 "이건 A 씨야, 저건 B 씨야"라고 정답을 알려주는 사람이 없습니다. 대신 우리는 상대방의 반응 (미소, 화남, 무관심 등) 을 통해 그 사람과 어떻게 상호작용해야 할지 배웁니다.

이 논문은 바로 이 **'현실적인 상호작용 (환경의 피드백)'**을 통해 학습하는 AI 모델을 만들어서, 인간의 뇌가 얼굴을 어떻게 처리하는지 설명해낼 수 있는지 확인했습니다.

핵심 내용을 쉬운 비유로 설명해 드릴게요.

---

1. 세 가지 다른 방식의 '학생' (AI 모델)

연구진은 얼굴을 인식하는 능력을 기르기 위해 세 가지 다른 방식으로 공부하는 '학생 (AI 모델)'을 만들었습니다.

• 학생 A (지도 학습, SUP):
  • 학습 방식: 선생님이 "이건 김철수야, 이건 이영희야"라고 정답을 알려주고 암기합니다.
  • 현실성: 시험 점수는 좋지만, 정답이 없는 현실 세계에서는 당황할 수 있습니다.
• 학생 B (비지도 학습, UNSUP):
  • 학습 방식: 정답 없이 수많은 얼굴 사진을 보고 "이 사진과 저 사진은 비슷해, 저건 달라"라고 스스로 패턴을 찾아냅니다. (이미지를 다시 그리는 연습을 합니다.)
  • 현실성: 정답이 없어서 좋지만, "이 사람과 친해져야 할까, 피해야 할까?" 같은 실용적인 판단은 못 합니다.
• 학생 C (강화 학습, RL - 이 연구의 주인공):
  • 학습 방식: 정답도 없어요. 대신 상대방의 반응을 보고 점수를 받습니다.
  • 상황: "이 사람 (A) 에게 다가가면 미소를 받고 점수를 얻고, 저 사람 (B) 에게 다가가면 화를 내서 점수를 잃는다"고 배웁니다.
  • 핵심: 현실 세계에서 우리가 얼굴을 대할 때와 가장 비슷하게 학습합니다. "이 사람과 친해져도 될까?"를 판단하는 능력을 기릅니다.

2. 실험: 인간의 뇌와 비교하기

연구진은 뇌에 전극을 삽입한 환자분들 (간질 치료 목적으로) 의 뇌에서 얼굴을 볼 때의 신호를 측정했습니다. 그리고 이 세 학생이 만든 '얼굴 인식 지도 (얼굴들의 유사도/차이도 지도)'와 인간 뇌의 지도를 비교했습니다.

• 결과 1: 기존에 정답을 외운 학생 A 와 스스로 패턴을 찾은 학생 B 는 뇌와 잘 맞았습니다.
• 결과 2: 놀랍게도, 현실적인 상호작용을 통해 배운 학생 C (RL 모델) 도 뇌와 매우 잘 맞았습니다. 특히 'VIB DenseNet'이라는 특별한 건축 구조 (엔코더) 를 썼을 때, 정답을 외운 학생과 똑같은 수준의 성과를 냈습니다.

3. 중요한 발견: "배우는 방법"과 "머리 구조"의 조화

이 연구는 두 가지 중요한 교훈을 줍니다.

1. 배우는 목표 (과제) 가 중요합니다: 같은 두뇌 구조를 가져도, 무엇을 목표로 학습하느냐 (정답 암기 vs 이미지 복원 vs 보상 획득) 에 따라 뇌와 얼마나 잘 맞는지가 달라졌습니다.
2. 뇌의 구조 (아키텍처) 가 중요합니다: 특히 강화 학습 (RL) 모델을 만들 때, 기존의 일반적인 구조 (ResNet) 를 쓰면 뇌와 잘 맞지 않았지만, 새로운 구조 (VIB DenseNet) 를 쓰니 뇌와 완벽하게 조화를 이뤘습니다. 이는 뇌가 정보를 처리할 때 단순히 이미지를 보는 것뿐만 아니라, 확률적이고 유연하게 (불확실성을 고려하며) 정보를 처리한다는 점을 시사합니다.

4. 뇌의 두 가지 구역: '안쪽'과 '옆쪽'

인간 뇌에는 얼굴을 인식하는 두 가지 주요 길이 있습니다.

• 배쪽 (Ventral) 경로: "이 사람이 누구인가?" (정체성) 를 주로 담당합니다.
• 옆쪽 (Lateral) 경로: "이 사람이 어떤 표정인가?" (감정/동적인 변화) 를 주로 담당합니다.

연구 결과, 배쪽 경로 (정체성) 는 모든 AI 모델과 잘 맞았지만, 옆쪽 경로 (동적인 변화) 는 AI 모델과 잘 맞지 않았습니다.

• 이유: AI 모델들은 정지된 사진으로만 학습했기 때문입니다. 옆쪽 뇌 영역은 움직이는 얼굴이나 역동적인 상황에 더 민감하게 반응하는데, 정지된 사진만 본 AI 는 이를 완벽하게 따라가지 못했습니다.

5. 결론: 왜 이 연구가 중요한가요?

이 논문은 **"인간의 뇌는 정답을 외우는 것뿐만 아니라, 환경과의 상호작용 (보상과 처벌) 을 통해 얼굴을 배운다"**는 가설을 강력하게 지지합니다.

• 기존의 생각: 얼굴 인식은 정답을 외우는 '시험'과 비슷하다.
• 이 연구의 새로운 시각: 얼굴 인식은 **"누구와 친구가 될지, 누구를 피할지"를 경험하며 배우는 '생활'**과 더 비슷하다.

미래에는 정답이 없는 복잡한 현실 세계에서도, 환경의 피드백을 통해 학습하는 AI 가 인간의 뇌를 더 잘 이해하고, 더 똑똑한 인공지능을 만드는 데 핵심 열쇠가 될 것입니다.

---

한 줄 요약:

"정답을 외우는 것보다, 상대방의 반응을 보고 '친구'와 '적'을 구분하며 배우는 AI가 인간의 뇌가 얼굴을 인식하는 방식과 가장 비슷하다는 것을 발견했습니다!"

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 기존 모델의 한계: 얼굴 및 객체 인식에 대한 신경 반응을 모델링하는 기존 딥 뉴럴 네트워크 (DNN) 연구는 주로 **지도 학습 (Supervised Learning)**에 의존합니다. 이는 정답 레이블 (Ground-truth labels, 예: 얼굴 ID) 이 필요하지만, 실제 자연 환경에서는 이러한 레이블을 얻기 어렵습니다.
• 비지도 학습의 부족: 레이블 없이 학습하는 비지도 학습 (Unsupervised Learning) 모델은 이 문제를 해결했으나, 시각 표현이 환경으로부터의 피드백 (보상, 처벌 등) 에 의해 형성된다는 점을 간과합니다.
• 핵심 질문: 환경 피드백 (보상/회피) 을 통해 학습하는 강화 학습 (RL) 모델이 실제 인간의 얼굴 선택적 신경 반응을 설명할 수 있는가?

2. 방법론 (Methodology)

2.1 데이터 및 실험 설계

• 참가자: 뇌전증 수술을 위해 피질 내 뇌전도 (iEEG) 전극을 이식받은 11 명의 환자 (나중 분석을 위해 1 명 제외, 총 10 명).
• 신경 데이터: 얼굴 선택적 전극 (Ventral 및 Lateral stream 포함) 에서 수집된 단일 시점 (single-trial) 신호.
• 자극: Karolinska Directed Emotional Faces (KDEF) 데이터셋의 얼굴 이미지 (정체성, 표정, 시점 변형).
• 과제: 참가자는 얼굴의 성별을 빠르게 판별하는 과제를 수행했습니다.

2.2 모델 아키텍처 및 학습 전략

연구팀은 동일한 인코더 아키텍처를 사용하거나 다른 학습 메커니즘을 적용하여 총 6 개의 모델을 비교했습니다.

1. 학습 메커니즘 (3 가지):

   • Supervised (SUP): 얼굴 ID 분류 (정답 레이블 사용).
   • Unsupervised (UNSUP): 이미지 재구성 (VAE 기반).
   • Reinforcement Learning (RL): 접근 - 회피 (Approach-Avoidance) 과제. 특정 얼굴 ID 에 대한 상호작용 시 기대 보상 (Reward) 을 예측하고, 보상이 높은 얼굴은 접근, 낮은 얼굴은 회피하도록 학습. (실제 환경의 불확실성을 반영하기 위해 각 ID 는 가우시안 분포의 보상 확률과 연결됨).

2. 인코더 아키텍처 (2 가지):

   • ResNet-18: 기존 신경과학 연구에서 널리 사용된 표준 잔류 네트워크.
   • VIB DenseNet (Variational Information Bottleneck + DenseNet): 변분 오토인코더 (VAE) 의 확률적 특성과 DenseNet 의 skip-connection 을 결합한 구조. 이는 학습된 표현이 신경의 튜닝 특성과 더 잘 일치한다는 이전 연구에 영감을 받음.

3. 분석 방법:

   • 표현 유사성 분석 (RSA): iEEG 데이터와 모델의 표현을 **표현 비유사성 행렬 (RDM)**로 변환.
   • 상관관계 측정: Kendall's $\tau$ 계수를 사용하여 모델 RDM 과 신경 RDM 간의 유사성을 정량화.
   • 시간 창 분석: 자극 제시 후 125ms~275ms 구간 등 여러 시간 창에서 분석 수행.

3. 주요 결과 (Key Results)

3.1 RL 모델의 신경 반응 설명력

• ResNet 인코더 사용 시: 지도 학습 (SUP) 모델이 RL 및 비지도 학습 모델보다 신경 반응과 더 높은 상관관계를 보였습니다.
• VIB DenseNet 인코더 사용 시: RL 모델이 지도 학습 (SUP) 및 비지도 학습 (UNSUP) 모델과 동등한 수준으로 신경 반응을 설명했습니다.
  • 특히, VIB RL 모델은 ResNet RL 모델보다 신경 데이터와 유의미하게 높은 상관관계를 보였습니다 ($p=0.030$).
  • 이는 환경 피드백을 통한 학습이 뇌의 얼굴 처리 메커니즘을 설명하는 데 유효함을 시사합니다.

3.2 아키텍처와 과제의 상호작용

• 표현 기하학 (Representational Geometry): 학습 과제 (Task) 와 인코더 아키텍처 (Architecture) 가 모두 표현 구조에 영향을 미쳤습니다.
• Ventral vs. Lateral Stream:
  • Ventral(복측) 및 Lateral(측측) 영역의 전극 패턴을 모델 상관관계 패턴으로 분류한 결과, 75% 의 정확도로 구분 가능했습니다.
  • Ventral 영역은 초기 시간 창 (125-175ms) 에서 모든 모델과 더 높은 상관관계를 보였으나, Lateral 영역은 동적 자극에 대한 반응이 강하다는 기존 연구와 달리 정적 이미지 학습 모델과의 상관관계가 상대적으로 낮았습니다.

3.3 다중 작업 학습 (Multi-task Learning)

• UNSUP + RL 결합 모델: 이미지 재구성 (비지도) 과 보상 예측 (RL) 을 동시에 수행하는 모델을 개발했습니다.
• 결과: 단일 작업 모델에 비해 각 개별 과제의 성능 (재구성 정확도, 보상 획득량) 은 다소 떨어졌으나, 신경 반응 설명력은 VIB UNSUP 및 VIB RL 단일 모델과 통계적으로 유의미한 차이가 없는 수준을 유지했습니다.

4. 주요 기여 및 의의 (Significance)

1. 자연스러운 학습 메커니즘의 검증: 실제 인간은 얼굴을 볼 때 정답 레이블을 보지 못하지만, 사회적 상호작용 (보상/회피) 을 통해 얼굴을 인식합니다. 이 연구는 RL 기반 모델이 이러한 자연스러운 학습 과정을 시뮬레이션하여 뇌의 신경 표현을 성공적으로 설명할 수 있음을 입증했습니다.
2. 아키텍처의 중요성 강조: RL 모델이 신경 데이터와 잘 일치하려면 단순한 ResNet 구조보다는 **VIB DenseNet(확률적 병목 및 밀집 연결)**과 같은 구조가 필수적임을 발견했습니다. 이는 학습 목표뿐만 아니라 네트워크 구조가 신경 표현 형성에 중요한 역할을 함을 보여줍니다.
3. 신경과학적 통찰: Ventral 및 Lateral 시각 경로의 기능적 차이를 모델 상관관계 패턴을 통해 분석할 수 있음을 보였으며, 특히 초기 시각 처리 단계 (125-175ms) 에서 모델과 뇌의 일치도가 가장 높음을 확인했습니다.
4. 미래 방향: 환경 피드백을 통한 학습이 자연스러운 얼굴 인식의 하한선 (lower bound) 을 제공하며, 더 복잡하고 역동적인 RL 과제를 도입하면 신경 표현과의 일치도를 더욱 높일 수 있을 것으로 기대됩니다.

결론

이 논문은 환경 피드백 (RL) 을 통해 학습한 딥 네트워크가 지도 학습 모델과 동등하게 뇌의 얼굴 선택적 신경 반응을 설명할 수 있음을 최초로 입증했습니다. 특히 VIB DenseNet 아키텍처의 중요성을 부각시켰으며, 이는 자연 환경에서의 시각 학습을 이해하는 새로운 패러다임을 제시합니다.