기술 요약: fMRI로부터 인간 시각적 지각의 실시간 재구성

문제 정의

기능적 자기공명영상(fMRI)은 미세한 인지 상태를 해독하고 시각 자극을 재구성하는 데 있어 상당한 발전을 이끌어냈으나, 최첨단 오프라인 해독 방법과 실시간 응용 분야 사이에는 결정적인 격차가 존재한다. 파운데이션 모델을 활용하는 것과 같은 고급 해독 파이프라인은 계산 집약적이어서 종종 처리하는 데 몇 시간에서 며칠이 소요된다. 결과적으로, 이러한 방식은 미래의 세션 데이터에 접근할 수 없으며 수 초 이내에 데이터를 처리해야 하는 실시간 분석의 시간적 범위를 충족하지 못한다. 이러한 한계는 정밀한 재구성을 통해 과학적 발견이나 임상 치료에 기여할 수 있는 정교한 뇌-컴퓨터 인터페이스(BCI) 및 폐쇄 루프 신경 피드백 시스템의 배치를 저해한다. 주요 과제는 실시간 fMRI의 엄격한 지연 시간 제약 조건 하에서 작동하면서 동시에 BOLD 신호의 고유한 혈역학적 지연(hemodynamic lag)을 고려하도록 이 무거운 계산 파이프라인을 적응시키는 것이다.

방법론

저자들은 시각적 해독을 위한 대규모(7억 개 이상의 파라미터) 머신러 लर्निंग 아키텍처인 MindEye2를 실시간 호환 가능하도록 변형한 모델을 제시한다. 이 구현은 fMRI 데이터를 스트리밍하고 분석하기 위해 설계된 오픈 소스 기반의 확장 가능한 클라우드 플랫폼인 RT-Cloud에 의존한다.

데이터 수집 및 실험 설계

• 스캐너: 이전의 고해상도 연구에서 사용된 덜 흔한 7T 시스템이 아닌, 널리 사용되는 임상 플랫폼인 3테슬라(3T) Siemens Prisma 스캐너를 사용하였다.
• 참가자: 데이터는 단일 참가자(저자 중 한 명)로부터 수집되었으며, Natural Scenes Dataset(NSD)의 홀드아웃 피험자를 통해 검증되었다.
• 자극: 주로 NSD에서 가져온 자연 이미지(장소, 동물, 사람)를 사용하였다. 실험 설계는 11개의 기능적 런(run) 동안 531개의 고유한 이미지를 제시하는 신속 이벤트 관련 패러다임(rapid event-related paradigm)을 활용하였다.
• 프로토콜: 참가자는 이미지를 3초 동안 시청하였고, 자극 간 간격은 1초였다. 주의력을 유지하기 위해 친숙도 탐지 작업("새로운 것" vs "익숙한 것")이 사용되었다.

실시간 처리를 위한 파이프라인 수정

오프라인에서 실시간 분석으로 전환하기 위해 저자들은 표준 MindEye2 파이프라인을 다음과 같이 수정하였다:

1. 전처리:
   • 스트리밍: 3D 뇌 볼륨이 매 TR(1500 ms)마다 스캐너로부터 스트리밍된다.
   • 등록 및 움직임 보정: 훈련 세션의 참조 볼륨에 정렬하기 위해 아핀 등록(Affine registration) 및 움직임 보정(FSL MCFLIRT)이 실시간으로 적용된다.
   • 혈역학적 지연 처리: BOLD 반응의 정점을 포착하기 위해 추론이 지연된다. 저자들은 세 가지 지연 전략을 테스트하였다:
     • Fast (빠름): 자극 제시 후 약 7.9초 (2개 트라이얼).
     • Slow (느림): 자극 제시 후 약 29초 (7개 트라이얼).
     • End-of-run (런 종료 시점): 기능적 런이 끝나는 시점 (약 5분).
   • GLM 추정: 확장된 BOLD 반응과 중첩된 자극을 고려하여 단일 트라이얼 베타 추정치를 추출하기 위해 최소 제곱 분리(Least Squares-Separate, LSS) 방식을 사용하는 일반 선형 모델(GLM)을 적합시킨다.
2. 모델 아키텍처:
   • 저수준 서브모듈과 텍스트 정제 단계를 생략하고, 공유 피험자 잠재 차원을 4096에서 1024로 줄인 압축된 버전의 MindEye2를 사용하였다.
   • 입력: "신뢰성 마스크"(반응 일관성이 높은 복셀)로부터 추출된 단일 트라이얼 베타가 릿지 회귀(ridge regression)를 통해 공유 피험자 잠재 공간으로 매핑된다.
   • 출력: 잠재 공간이 CLIP 이미지 임베딩으로 매핑된다.
     • 재구성: 확산 사전 확률(diffusion prior)과 동결된 unCLIP 모델(Stable Diffusion XL)을 사용하여 이미지를 생성한다.
     • 검색: MLP 프로젝터를 사용하여 CLIP 공간으로 매핑한 후, 후보 이미지 풀에 대해 최근접 이웃 탐색을 수행한다.
3. 훈련 전략:
   • 사전 훈련: 모델은 7명의 NSD 피험자(7T 데이터)로부터 얻은 데이터로 사전 훈련되었다.
   • 미세 조정(Fine-tuning): 새로운 참가자의 3T 데이터 약 1시간 분량(첫 번째 스캔 세션의 평균 베타 사용)을 사용하여 미세 조정되었다.
   • 평가: 테스트 이미지의 첫 번째 제시에서 얻은 단일 트라이럴 베타를 사용하여 테스트하였다.

주요 결과

본 연구는 표준 3T 스캐너에서 정밀한 시각적 해독이 가능하다는 것을 입증한다.

• 지연 시간 vs 성능:
  • Fast Real-Time (빠른 실시간): 자극 제시 후 검색은 9.5초, 재구성은 14.5초 내에 완료된다.
  • Slow Real-Time (느린 실시간): 검색에 약 36초가 소요된다.
  • End-of-Run (런 종료 시점): 약 2.7분이 소요된다.
  • Offline (오프라인): 24시간 이상 소요된다.
• 해독 정확도:
  • 검색: "빠른" 실시간 설정(9.5초 지연)에서도 시스템은 50개의 이미지 풀에서 36%의 top-1 정확도(우연 확률 = 2%)를 달성하였다. 풀 크기가 2일 때 정확도는 **90.6%**에 달했다.
  • 재구성: 정성적 결과는 자연 경관을 인식할 수 있는 수준의 재구성을 보여주었으나, 오프라인 7T 재구성에 비해서는 충실도가 낮았다.
  • 비교: 미세 조정된 오프라인 3T 성능은 오프라인 7T 성능에 근접하여, 모델의 자기장 강도 간 전이 가능성을 입증하였다.
• 트레이드오프: 자극 지연 시간과 해독 성능 사이에는 양의 상관관계가 존재한다. 성능 향상은 약 30초 이후부터 둔화되며, 이는 속도와 정확도 사이의 최적의 절충점을 시사한다.
• 일반화: 파이프라인은 7T 사전 훈련에서 3T 미세 조정 및 테스트로 성공적으로 일반화되었으며, 새로운 참가자의 데이터가 약 1시간만 필요했다.

주요 기여

1. 최초의 실시간 시각적 재구성: 본 연구는 단일 트라이얼 해상도로 fMRI로부터 시각적 지각을 실시간 재구성하는 최초의 파이프라인을 제시한다.
2. 3T의 타당성 입증: 고성능 해독이 특수한 7T 시스템뿐만 아니라 널리 사용되는 3T 스캐너에서도 가능하다는 것을 보여준다.
3. 최소한의 훈련 데이터: 새로운 참가자로부터 최소한의 훈련 데이터(약 1시간)만으로 신뢰할 수 있는 실시간 해독이 가능함을 보여준다.
4. 정량화된 트레이드오프: 오프라인에서 실시간 분석으로 전환할 때 발생하는 성능-지연 시간 트레이드오프를 체계적으로 기록하여 향후 BCI 설계를 위한 벤치마크를 제공한다.
5. 오픈 사이언스: 협업과 다운스트림 애플리케이션을 장려하기 위해 모든 코드, 모델 및 데이터를 공개한다.

의의 및 주장

저자들은 이 작업을 계산 집약적인 최첨단 fMRI 해독 파이프라인을 실시간으로 배치할 수 있음을 보여주는 **개념 증명(proof-of-concept)**으로 규정한다.

• BCI 및 신경 피드백: 본 연구의 주요 의의는 새로운 폐쇄 루프 실험을 가능하게 한다는 점에 있다. 저자들은 전체 이미지 재구성이 일부 응용 분야에는 너무 느릴 수 있지만, 짧은 지연 시간(예: 두 이미지 사이를 구별하는 것)에서의 높은 검색 정확도가 신경 피드백 패러다임을 지원할 수 있다고 제안한다. 예를 들어, 참가자가 자신의 신경 표상을 두 대상 사이의 거리를 가깝게 하거나 멀게 조절하도록 훈련받을 수 있으며, 이는 부정적인 자극에 대한 지각을 변화시켜 우울증과 같은 질환을 치료하는 데 도움을 줄 수 있다.
• 과학적 발견: 생각을 거의 실시간으로 해독할 수 있는 능력은 사후 분석이 아닌, 학습 메커니즘과 인지 과정이 일어나는 현장에서 이를 연구할 수 있는 새로운 길을 열어준다.
• 겸허한 주장: 저자들은 결과가 우연 확률보다 높고 유망하지만, 아직 오프라인 7T 재구성의 충실도에는 미치지 못한다는 점을 명시적으로 언급하였다. 또한 현재의 지연 시간(10~30초)이 기존의 신경 피드백 문헌에 근거한 학습에는 적합하지만, 더 즉각적인 피드백 루프를 위해서는 추가적인 최적화가 필요함을 강조한다. 이 작업은 강력한 AI 알고리즘을 실시간 임상 및 연구 환경에 통합하기 위한 기초적인 단계 역할을 한다.