Low-dimensional factorized neural computations underlie risk-adaptive choices

기술 요약: 저차원 인수(factorized) 신경 연산은 위험 적응적 선택의 기초가 된다

문제 제기
실제 세계의 의사결정은 불확실성 조건 하에서 빈번하게 발생하며, 이는 개인이 잠재적 보상과 부정적 결과의 확률 사이에서 무게를 달아야 함을 의미한다. 이러한 과정에서의 실패는 도박 중독 및 약물 사용과 같은 부적응적 행동 및 정신 질계 질환과 연관되어 있다. 강화 학습(RL)은 이러한 결정을 모델링하는 프레임워크를 제공하지만, 불확실한 결과 지형에 대한 추론을 용이하게 하는 구체적인 신경 연산과 집단 역학은 여전히 불분명하다. 저자들은 딥 RL 에이전트와 인간의 뇌가 위험한 의사결정 과제를 해결할 때 유사한 내부 표상을 공유하는지, 특히 서로 다른 행동 전략이 구별되는 저차원 신경 기하학에 의해 지원되는지를 조사한다.

방법론
본 연구는 인공 지능과 생물학적 지능을 잇는 "뉴로-AI(neuro-AI)" 접근 방식을 채택하여 풍선 아날로그 위험 과제(BART)를 활용하였다.

• 딥 RL 에이전트: 저자들은 근사 정책 최 optimization(PPO)을 사용하는 Actor-Critic 구조의 400개 무작위 초기화된 딥 RL 에이전트를 훈련시켰다. 에이전트들은 평균 풍선 크기($\mu$)가 에포크(epoch)마다 변하는 "메타-BART" 상에서 훈련되었다. 에이전트들은 17개의 고정된 $\mu$ 조건 세트에 대해 평가되었다.
• 에이전트 분류: 에이전트의 순환층 노드 활동은 k-means 클러스터링(초기 $k=12$, 대칭성 조정을 거쳐 6으로 축소)을 통해 분석되었다. 에이전트들은 노드 비율에 따라 세 가지 유형으로 분류되었다. 두 가지 뚜렷한 행동 표현형이 나타났다: "Type 1"(이후 Bimodal로 명명)과 "Type 3"(이후 Explorer로 명명).
• 신경 역학 분석: 저자들은 3D 주성분 분석(PCA) 공간에서 에이전트 순환층 활성화의 궤적을 분석하였다. 부분 최소 제곱(PLS) 회귀를 사용하여 "풍선 크기 축"을 추정함으로써 신경 궤적을 투영하고 그 기하학적 구조(예: 볼록 껍질, 이봉성)를 평가하였다.
• 인간 데이터 수집: 44명의 약물 저항성 뇌전증 환자(미세 와이어를 이용한 뇌내 전극 기록법인 스테레오-전극 뇌파 검사 수행)가 컴퓨터화된 BART를 수행하였다. 단일 단위 활동(single-unit activity)은 내측 전두엽 피질(ACC, vmPFC) 및 내측 측두엽(MTL)에서 기록되었다.
• 인간 분류: 인간 참가자들은 행동 지표(총점, 팝 레이트(pop rate), 빨강, 주황, 노랑 풍선 분포에 따른 평균 팽창 시간)를 기반으로 "Bimodal" 및 "Explorer" 그룹으로 클러스터링되었다.
• 교차 영역 비교: 인간 뉴런 앙상블을 Bimodal 및 Explorer 행동 전략에 대응하는 "의사 앙상블(pseudoensembles)"로 그룹화하였다. 이들은 에이전트에 적용된 것과 동일한 PCA 및 PLS 방법을 사용하여 신경 궤적 기하학, 표상 유사성 및 설명된 분산을 비교 분석하였다.

주요 기여 및 결과

1. 에이전트에서의 뚜렷한 전략 출현:

   • Bimodal 에이전트 (Type 1): 이 에이전트들은 효율적이고 위험 적응적인 전략을 채택했다. 이들은 작은 풍선을 덜 불고 큰 풍선을 더 많이 불었으며, 그 결과 팝 레이트의 유의미한 증가 없이 더 높은 총점을 얻었다. 이들의 신경 궤적은 안전한 상태와 위험한 상태를 구분하는 저차원 표상을 형성했다. 구체적으로, 이들의 궤적은 풍선 크기 축의 가장자리 근처에서 이봉형(bimodal)으로 클러스터링되었으며, 크기 축은 제1 주성분(PC1)과 밀접하게 정렬되었다.
   • Explorer 에이전트 (Type 3): 이 에이전트들은 보상 수반 관계를 천천히 탐색하는, 덜 성공적인 신중한 전략을 보였다. 이들의 신경 궤적은 왜곡되고 단봉형(unimodal)이며 얽혀 있었으며, 크기 축은 PC1에 직교하게 조직되었다.

2. 인간 행동의 예측:

   • 인간 참가자들은 에이전트 분포와 유사한 비율로 Bimodal 및 Explorer 그룹으로 자연스럽게 구분되었다.
   • Bimodal 인간: 이들은 에이전트와 마찬가지로 낮은 보상의(빨간색) 풍선에 비해 높은 보상의(노란색) 풍선에 대해 유의미하게 높은 점수와 긴 팽창 시간을 기록했다.
   • Explorer 인간: 이들은 풍선 유형에 따라 팽창 시간이 더 점진적으로 증가하는 양상을 보였으며 전반적인 성과가 낮았다.

3. 신경 기하학의 수렴:

   • 저차원 인수(Low-Dimensional Factorization): Bimodal 인간 뉴런 앙상블은 Bimodal 에이전트와 매우 유사한 신경 궤적을 보였다. 이들의 궤적은 기대 가치가 서로 다른 풍선 색상을 명확히 구분하는 정렬된 풍선 크기 축을 중심으로 호를 그리며 움직였다. 2차원 볼록 껍질(convex hulls)은 평균 팽창이 큰 풍선에서 더 커졌는데, 이는 견고한 예측 모델을 나타낸다.
   • Explorer에서의 얽힘: 반면, Explorer 인간 앙상블은 구조화된 저차원 기하학이 결여되어 있었다. 이들의 궤적은 동일한 공동 활성 패턴이나 크기 축을 따른 명확한 분리를 보여주지 않았다.
   • 표상 유사성 분석 (RSA): RSA 결과, Bimodal 신경 활동 패턴은 예측된 풍선 크기와 유의미하게 상관관계가 있었던 반면(물리적 크기 관계 인코딩), Explorer 패턴은 음의 상관관계 또는 상관관계가 없음을 보였다.
   • 의사 결정 경계: 쌍별 중심점 거리(pairwise centroid distances)는 Bimodal 인간이 행동적으로 유의미한 경계 주변에서 상태 공간을 압축하여, 중간 및 높은 가치의 풍선을 하나의 "불어도 되는" 범주(빨간색은 구별되나 주황/노랑은 통합됨)로 취급함을 나타냈다. Explorer는 빨간색과 주황색의 표상은 붕괴시키고 노란색은 분리했다.

4. 해부학적 기여:

   • Bimodal 참가자의 경우, 복측 전전두엽 피질(vmPFC)이 PC1의 가장 큰 분산(72.9%)을 설명하였는데, 이는 가치/위험 범주에 대한 전망적 고려를 시사한다.
   • Explorer 참가자의 경우, 전대상 피질(ACC)이 PC1의 더 큰 비율(56.0%)을 설명하였으며, 이는 모델 구축보다는 보상 예측 오류 모니터링에 집중하고 있음을 나타낼 수 있다.
   • 통제 분석을 통해 이러한 기하학적 차이가 표본 크기의 불균형이나 불균등한 해부학적 샘플링에 의한 인위적 결과가 아님을 확인하였다.

의의
본 논문은 성공적인 추론을 뒷받침하는 것은 저차원, 인수된 신경 매니폴드(manifolds)로 특징지어지는 특정 역동적 연산이라고 주장한다. 본 연구는 딥 RL 에이전트가 인간 뉴런 앙상블에서 발견되는 것과 유사한 행동 표현형 및 관련 신경 기하학을 자발적으로 생성할 수 있음을 입증한다.

주된 의의는 인공 시스템과 생물학적 시스템 간의 수렴에 있다: 효율적인 위험 관리를 지원하는 "Bimodal" 전략은 정돈된 읽기(readout)를 가능하게 하는 얽히지 않은 저차원 궤적에 의해 뒷받침된다. 이는 인간의 뇌가 의사결정을 단순화하기 위해 복잡한 확률적 상태 공간을 저차원 역학의 매니폴드로 압축한다는 것을 시사한다. 이 연구 결과는 인공 신경망이 고차원적 인지 과정을 뒷받침하는 역동적 연산을 파헤치는 데 유효한 모델이 될 수 있다는 "뉴로-AI" 가설을 지지하며, 이를 통해 모델 기반 추론(Bimodal)과 모델 프리 또는 오류 모니터링 전략(Explorer)을 구분할 수 있다. 저자들은 임상적 제약으로 인한 샘씨링 영역의 한계와 RL 에이전트의 추상성을 언급하면서도, 생물학적 및 인공적 에이전트 간의 잠재 공간(latent spaces)을 정렬함으로써 의사결정의 공유된 알고리즘 원리를 밝혀냈다고 결론짓는다.