기술 요약: EmoMind – 인간 뇌 fMRI 에서 감성 캡션 디코딩

문제 제기

현재 뇌-텍스트 디코딩 시스템은 fMRI 신호에서 시각 장면이나 음성과 같은 의미론적 내용을 복원하는 데 상당한 진전을 이루었습니다. 그러나 이러한 시스템들은 지각의 감성적 차원을 대부분 배제합니다. 기존 접근법들은 감정이 결여된 중립적 설명을 생성하거나, coarse 한 범주형 감정 레이블 (예: "행복", "슬픔") 을 기반으로 대규모 언어 모델 (LLM) 을 조건화합니다. 이러한 범주형 레이블은 개인의 감정 경험이 가진 풍부하고 연속적이며 매우 가변적인 특성을 포착하지 못하며, 피험자 간 변이를 이산적인 통으로 축소시킵니다. 또한, LLM 은 레이블로 프롬프트를 받으면 감정적인 텍스트를 생성할 수 있지만, 신경 활동에서 특정 피험자의 연속적이고 개인화된 감성 상태를 직접 읽어낼 수는 없습니다.

방법론: EmoMind 파이프라인

EmoMind 는 연속적이고 고차원적인 감정 벡터를 제어 신호로 활용하여 fMRI 신호에서 직접 감성 캡션을 디코딩하도록 설계된 최초의 엔드-투-엔드 파이프라인입니다. 이 아키텍처는 두 가지 주요 단계로 작동합니다:

1. 듀얼-스트림 뇌 디코딩 (1 단계)

비디오 클립을 시청하는 피험자의 fMRI 볼륨 응답 벡터 $v$가 주어지면, 시스템은 피험자별 선형 모델을 사용하여 두 가지 보완적 표현을 디코딩합니다:

• 의미론적 검색 ($x$): 사전 색인화된 학습 코퍼스에서 중립적인 장면 설명이 검색됩니다. 이는 fMRI 신호를 사전 훈련된 DeBERTa-large 모델 (24 레이어) 의 다층 특징 스택에 매핑하고 최근접 이웃 코사인 검색을 수행함으로써 달성됩니다. 이는 토큰별 반복 생성을 단일 패스 검색으로 대체하여 추론 비용을 크게 절감합니다.
• 연속 감정 디코딩 ($e$): 피험자별 릿지 회귀 모델이 fMRI 볼륨을 34 차원 Cowen & Keltner (C&K) 감정 벡터로 매핑합니다. 범주형 레이블과 달리, 이 벡터는 자극에 대한 인간의 평가에서 도출된 연속 확률로서 기쁨, 공포, 경이, 향수 등 세분화된 감정 상태를 나타냅니다.

2. 축-토큰 리라이터 (2 단계)

훈련된 인코더-디코더 언어 모델 (BART-base) 은 디코딩된 감정 벡터 $e$에 조건부 중립 캡션 $x$를 감정 스타일 캡션 $\hat{y}$로 변환하는 리라이터 역할을 합니다.

• 아키텍처: 이 모델은 34 개의 학습된 "축 토큰"(각 C&K 감정 범주 하나씩) 을 통합합니다. 뇌 디코딩된 감정 벡터 $e$는 이러한 축 토큰을 요소별 (element-wise) 로 스케일링한 후 인코더의 은닉 상태에 연결합니다. 이를 통해 디코더는 입력 캡션의 사전 훈련된 의미론적 표현을 방해하지 않고 감정 축을 추가적인 가상 컨텍스트 토큰으로 해석할 수 있습니다.
• 학습 목적: 모델은 베르누이 스위칭 목적 함수로 훈련됩니다. 확률 $\rho$로 재구성 작업 (감정 벡터가 0 으로 설정된 입력 $x$) 을 수행하고, 확률 $1-\rho$로 감정 목표 작업 (특정 감정 캡션을 목표로 하는 감정 벡터 $e$가 있는 입력 $x$) 을 수행합니다. 이 명시적 정체성 보존 널 (null) 분지는 모델이 언제 의미론적 내용을 보존하고 언제 감성적 제어를 허용해야 하는지 학습시킵니다.
• 추론 (분류기 없는 안내): 의미론적 충실도와 감성적 표현 사이의 균형을 제어하기 위해 시스템은 분류기 없는 안내 (CFG) 를 적용합니다. 최종 인코더 출력은 선형 외삽입니다: $H_{cfg} = H_{null} + (1+w)(H_{cond} - H_{null})$. 여기서 $w$는 안내 가중치입니다. $w$ 값이 높을수록 일부 내용 충실도를 희생하면서 감성적 표현이 증폭됩니다.

주요 기여

1. 최초의 연속 뇌 조건부 파이프라인: EmoMind 는 이산적인 범주형 레이블에 의존하는 대신 fMRI 에서 직접 유도된 연속적이고 디코딩된 감정 벡터에 텍스트 생성을 조건화하는 최초의 시스템을 도입합니다.
2. 3 축 검증 프레임워크: 저자들은 다음과 같은 엄격한 평가 프레임워크를 제안합니다:
   • 피험자별 특성: 동일한 장면을 시청하는 서로 다른 피험자가 신경적 차이에 비례하여 고유한 캡션을 생성하는지 측정합니다.
   • 구조적 기하학 (RSA): 디코딩된 감정 공간에서 클립 간의 관계 구조가 생성된 캡션에 보존되는지 평가합니다.
   • 인과적 제어 (SWAP): 리라이터가 원래 클립의 고유한 감성으로 되돌아가지 않고 다른 클립에서 이동된 감정 목표를 따르는지 테스트합니다.
3. 합성 뇌 견고성 테스트: 프레임워크에는 현재 비디오-뇌 인코더의 표현적 격차를 진단하기 위해 측정된 fMRI 를 비디오 특징에서 예측된 합성 활동으로 대체하는 "TRIBE v2 대체"테스트가 포함됩니다.

실험 결과

이 시스템은 MindCaptioning 과 Horikawa 2020 의 두 가지 독립적인 fMRI 데이터셋에서, 실제 지상 진실 (ground-truth) 상위 5 개 범주형 감정 레이블로 프롬프트된 GPT-4 라는 강력한 기준선과 비교하여 평가되었습니다.

• 피험자별 특성: EmoMind 는 GPT-4 기준선을 크게 능가했습니다. 피험자 간 캡션의 다양성은 감정 벡터 유사성 (CK34 코사인) 에서 3.4 배 높았고, 어휘 다양성에서는 11.6 배 높았습니다. 결정적으로, 이 다양성은 신경적 유사성에 의해 조직되었습니다. 유사한 뇌 반응을 가진 피험자들은 더 유사한 캡션을 생성했는데, 이는 레이블 프롬프트 기준선에는 존재하지 않는 구조였습니다.
• 구조적 기하학: 뇌 디코딩된 표현적 비유사성 행렬 (RDM) 과 캡션 RDM 간의 스피어만 상관관계는 EmoMind 의 경우 +0.635였으며, GPT-4 의 경우 +0.435였습니다. 이는 연속 뇌 디코딩이 범주형 레이블보다 감정 경험의 관계적 기하학을 더 잘 보존함을 나타냅니다.
• 인과적 제어: SWAP 테스트에서 EmoMind 는 **2.8%**의 "자기 누출"율을 달성했는데, 이는 통계적으로 우연과 구별되지 않아 이동된 목표를 원래 클립의 감성으로 되돌리지 않고 성공적으로 따랐음을 의미합니다. GPT-4 는 **8.3%**에서 원래 클립의 감성이 누출되어, 연속 뇌 신호가 범주형 레이블보다 더 깨끗한 제어 신호를 제공함을 입증했습니다.
• 합성 뇌 분석: fMRI 가 합성 활동 (TRIBE v2) 으로 대체되었을 때, 인과적 제어는 견고하게 유지되었으나 (누출 5.2%), 구조적 기하학은 붕괴되었습니다 (RSA 가 +0.635 에서 +0.166 으로 하락). 이는 현재 비디오-fMRI 인코더가 클립별 감성을 포착할 수는 있지만, 클립 간의 관계적 구조를 보존하지는 못함을 시사합니다.

중요성과 주장

이 논문은 연속 뇌 디코딩 감성이 개별화된 감성 캡션 생성을 위한 실현 가능한 제어 신호이며, 범주형 레이블이 달성할 수 없는 능력을 제공한다고 주장합니다.

• 개인적 변이: 결과는 감정 경험의 개인적 차이가 인구 수준의 레이블로 집계될 때 손실되는 분산된 고차원 신경 패턴에 인코딩되어 있음을 입증합니다. EmoMind 는 정신 건강의 전환적 응용 분야에서 인구 평균이 종종 임상적으로 의미 있는 신호를 놓치는 중요한 "피험자 간 변이"를 성공적으로 포착합니다.
• 표면 지표를 넘어: GPT-4 는 지상 진실 텍스트와 레이블에 접근할 수 있어 BLEU, ROUGE 와 같은 표준 표면 중첩 지표에서 EmoMind 를 능가하지만, EmoMind 는 개인별 감성 구조가 필요한 지표에서 우세합니다.
• 신경과학적 통찰: 인과적 사용 가능성 (합성 뇌에서 보존됨) 과 구조적 사용 가능성 (합성 뇌에서 손실됨) 사이의 분리는 현재 비디오-fMRI 인코더가 감성의 관계적 기하학을 완전히 재구성하는 데 필요한 내감각적 또는 피험자별 신호가 부족함을 시사합니다.

저자들은 EmoMind 가 개별 감성 뇌 조직을 연구하는 새로운 방향을 열고, 단순히 사람이 무엇을 보았는지가 아니라 그들의 고유한 신경 서명에 특유한 방식으로 그들이 그것을 어떻게 느꼈는지를 반영하는 텍스트 생성을 위한 기질을 제공한다고 결론지었습니다.