Bridging Brain and Semantics: A Hierarchical Framework for Semantically Enhanced fMRI-to-Video Reconstruction

기술 요약: CINENEURON 을 통한 뇌와 의미론의 연결

문제 제기
기능성 자기 공명 영상 (fMRI) 신호로부터 동적인 시각 경험 (동영상) 을 재구성하는 것은 인지 신경과학에서 중요한 과제입니다. 이전 방법들은 정적 이미지 재구성에서 성공을 거두었으나, fMRI 데이터의 낮은 신호 대 잡음비와 제한된 시간 해상도로 인해 연속적인 동영상 자극으로 확장하는 것은 여전히 어렵습니다. 최신 기법들은 "의미론적 간극"으로 고통받고 있습니다. 즉, 불완전한 의미론적 임베딩 (대개 이미지 - 텍스트 쌍으로 제한됨) 에 의존하며, 재구성을 현재 자극만을 사용하는 고립된 과정으로 취급합니다. 이로 인해 이러한 방법들은 동영상 특유의 단서 (예: 동작, 물체 범주) 를 포착하거나 인간 뇌가 자연스럽게 활용하는 사전 지식을 통합하지 못해, 잘못된 물체가 나타나고 동작 인식이 부실하며 의미론적 일관성이 낮은 동영상 결과를 초래합니다.

방법론: CINENEURON
저자들은 인간 뇌의 이중 경로 처리 메커니즘 (하향식 감각 축적과 상향식 기억 통합) 에서 영감을 받은 CINENEURON이라는 계층적 프레임워크를 제안합니다. 이 프레임워크는 두 가지 시너지 단계를 통해 작동합니다:

1. 하향식 의미론적 풍부화:

   • 목표: 노이즈가 섞인 fMRI 신호를 텍스트 의미론, 이미지 내용, 동작 개념, 물체 범주를 포괄적으로 포착하는 풍부한 임베딩 공간으로 매핑합니다.
   • 메커니즘: 트랜스포머 기반의 "뇌 모델"이 fMRI 신호를 처리하여 글로벌 토큰과 문맥 임베딩을 생성합니다. 이 모델은 일련의 명시적 작업을 통해 훈련됩니다:
     • 이미지 - 텍스트 정렬: InfoNCE 손실 함수를 사용하여 글로벌 fMRI 토큰을 CLIP 에서 파생된 이미지 및 텍스트 임베딩과 정렬합니다.
     • 동작 의미론적 정렬: ViCLIP 를 활용하여 동영상 자극에서 동작 임베딩을 추출하고, 대비 손실을 통해 fMRI 토큰과 정렬하여 시간적 역동성을 포착합니다.
     • 범주 의미론 학습: Qwen2.5-VL 을 사용하여 캡션에서 물체 범주를 추출하고, 이를 단순화된 상위 클래스 집합에 매핑합니다. 분류 헤드는 클래스 불균형을 처리하기 위해 이진 교차 엔트로피와 포커스 손실의 조합을 사용하여 이러한 범주를 예측합니다.

2. 상향식 기억 통합:

   • 목표: 해마의 기억 재생을 모방하여 이전에 본 데이터에서 관련 "기억"을 동적으로 선택하고 융합함으로써 풍부해진 fMRI 임베딩을 정제합니다.
   • 메커니즘: 새로운 혼합 기억 (Mixture-of-Memories, MoM) 모듈이 도입됩니다.
     • 검색: 모달리티 인식 라우터가 훈련 데이터에서 파생된 기억 풀에 저장된 텍스트, 이미지, 동작 임베딩에 동적으로 가중치를 부여합니다. 현재 fMRI 임베딩과의 가중치 기반 유사도에 따라 혼합 점수를 계산하여 상위 k 개의 관련 기억을 선택합니다.
     • 통합: 검색된 다중 모달 임베딩은 교차 주의 (cross-attention) 레이어와 제로 컨볼루션 (zero-convolution) 레이어를 사용하여 fMRI 임베딩과 융합됩니다. 이 과정은 생성기의 특징 공간의 안정성을 유지하면서 시각 및 동작 단서를 주입합니다.
   • 디코딩: 최종 융합 임베딩은 시간적 일관성과 의미론적 일관성을 갖춘 동영상을 생성하도록 비디오 확산 트랜스포머 (Video DiT, 구체적으로 Wan2.1) 에 조건을 부여합니다.

주요 기여

1. 계층적 프레임워크: CINENEURON 의 도입으로, 노이즈가 섞인 뇌 신호와 복잡한 동영상 콘텐츠 간의 간극을 메우기 위해 하향식 의미론적 풍부화와 상향식 기억 통합을 통합합니다.
2. 포괄적 의미론적 풍부화: 동영상 자극에 대한 명시적 작업을 학습하여 fMRI 신호를 풍부하게 하는 새로운 접근법으로, 전통적인 이미지 - 텍스트 정렬을 넘어 더 넓은 범위의 의미론 (이미지, 텍스트, 동작, 범주) 을 포착합니다.
3. 혼합 기억 (MoM): 기억 풀에서 관련 다중 모달 임베딩을 동적으로 선택하고 융합하여 비디오 디코딩을 정제하는 새로운 방법으로, 현재 자극 기반 재구성의 고립 문제를 해결합니다.
4. 최첨단 성능: 광범위한 실험을 통해 CINENEURON 이 두 가지 까다로운 벤치마크에서 여러 지표를 기준으로 기존 방법들을 능가함을 입증했습니다.

실험 결과
이 프레임워크는 두 가지 데이터셋인 cc2017(자연 동영상) 과 CineBrain(TV 드라마 에피소드) 에서 평가되었습니다.

• 정량적 성능: CINENEURON 은 Mind-Video, NeuroClips, CineSync 와 같은 베이스라인에 비해 의미론적 수준 지표 (2-way 및 50-way 정확도), 시공간 일관성 (CLIP-pcc, DTC), 그리고 동작 부드러움 (MS) 에서 우수한 점수를 기록했습니다. 예를 들어, cc2017 데이터셋에서 2-way 의미론적 정확도는 0.850 이었고, CLIP-pcc 는 0.972 였습니다.
• 정성적 성능: 시각적 비교 결과, CINENEURON 은 요가, 애무와 같은 복잡한 동작과 물체 범주를 충실히 재구성하는 반면, 베이스라인들은 종종 잘못된 물체를 환각하거나 특정 움직임을 포착하지 못했습니다.
• 인간 평가: 20 명의 참가자를 대상으로 한 연구에서 CINENEURON 은 의미론적 정렬 측면에서 경쟁 방법보다 63.77% 의 경우에서, 전체 충실도 측면에서는 67.59% 의 경우에서 선호되었습니다.
• 절대 실험 (Ablation Studies): 결과들은 각 구성 요소 (동작 정렬, 범주 학습, MoM) 가 성능에 크게 기여함을 확인시켜 주었습니다. 특히, 해마 fMRI 데이터의 포함은 의미론적 지표를 추가로 향상시켜 상향식 기억 통합 설계의 유효성을 입증했습니다.

의의 및 주장
이 논문은 CINENEURON 이 고립된 자극 - 반응 매핑을 넘어 뇌의 사전 지식과 기억 활용을 모방하는 시스템으로 이동함으로써 뇌 해독 분야에서 중요한 진전을 이루었다고 주장합니다. 동작 및 범주 의미론을 명시적으로 통합하고 기억 검색 메커니즘을 활용함으로써, 이 방법은 시각적으로 일관될 뿐만 아니라 의미론적으로 정확한 동영상을 생성합니다. 저자들은 이 접근법이 모델의 학습된 표현과 알려진 시각 피질 영역 (예: 측두엽 후두엽 및 복측 피질) 간의 기능적 정렬을 보여줌으로써 신경 처리에 대한 더 깊은 통찰력을 제공한다고 봅니다. 이 연구는 fMRI 에서 동영상으로의 재구성에서의 향후 진전은 단순한 원시 신호 정렬이 아닌, 이러한 계층적이고 의미론적으로 풍부한 프레임워크에 달려 있음을 시사합니다.