⚡ electrical engineering

RPNT: Robust Pre-trained Neural Transformer -- A Pathway for Generalized Motor Decoding

이 논문은 텍스트 및 이미지 모델의 구성 요소를 직접 적용할 수 없는 신경 스파이크 데이터의 특성을 고려해 설계된 'RPNT(강건한 사전 훈련 신경 트랜스포머)'를 제안하며, 다차원 회전 위치 임베딩, 컨텍스트 기반 어텐션 메커니즘, 강건한 자기지도 학습 목표를 통해 다양한 실험 조건과 피험체 간에 뛰어난 일반화 성능을 달성한 뇌 운동 해독 모델을 개발했습니다.

원저자: Hao Fang, Ryan A. Canfield, Tomohiro Ouchi, Beatrice Macagno, Eli Shlizerman, Amy L. Orsborn

게시일 2026-04-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hao Fang, Ryan A. Canfield, Tomohiro Ouchi, Beatrice Macagno, Eli Shlizerman, Amy L. Orsborn

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 뇌의 언어를 해독하는 'RPNT': 뇌-컴퓨터 인터페이스의 새로운 여정

이 논문은 **"뇌가 어떻게 움직임을 계획하는지"**를 컴퓨터가 이해하도록 돕는 새로운 인공지능 모델, RPNT(Robust Pre-trained Neural Transformer) 를 소개합니다.

기존의 기술은 뇌 신호를 해석할 때 매번 새로운 사람, 새로운 실험실, 새로운 환경에 맞춰 다시 가르쳐야 하는 번거로움이 있었습니다. 하지만 RPNT 는 마치 유능한 번역가처럼, 처음 보는 상황에서도 뇌의 신호를 잘 이해하고 해석할 수 있도록 훈련된 모델입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

1. 문제: 왜 뇌 신호 해석은 어려운가요? 🤯

뇌 신호를 해석하는 것은 마치 매우 복잡한 외국어를 배우는 것과 비슷합니다.

변화무쌍한 언어: 같은 사람이라도 오늘과 내일, 혹은 실험실의 조명이나 전극 위치만 조금 달라져도 뇌가 보내는 신호 (언어) 가 달라집니다.
기존의 한계: 이전의 인공지능들은 이 '외국어'를 하나하나 따로따로 배웠습니다. A 라는 사람의 뇌를 해석하는 모델을 만들면, B 라는 사람의 뇌나 다른 날의 데이터에는 전혀 쓸모가 없었습니다. 매번 0 부터 다시 공부를 해야 했던 것이죠.

2. 해결책: RPNT 의 등장 - '유연한 뇌 번역가' 🦸‍♂️

저자들은 RPNT 라는 모델을 만들었습니다. 이 모델은 세 가지 특별한 능력을 통해 뇌 신호를 해석합니다.

① MRoPE: 뇌의 '주소'와 '상황'을 동시에 기억하는 나침반 🧭

비유: 뇌 신호를 해석할 때는 단순히 "언제" 신호가 왔는지뿐만 아니라, "어디서"(뇌의 어느 부위), "누구의"(어떤 사람), "무슨 행동 중"(손을 뻗는 중인지, 잡는 중인지) 신호인지가 중요합니다.
RPNT 의 능력: 기존 모델들은 시간만 기억했지만, RPNT 는 3 차원 나침반처럼 공간 (뇌 위치), 시간, 사람, 행동 유형을 모두 한 번에 이해합니다. 그래서 새로운 실험실이나 새로운 사람에게도 "아, 이 신호는 A 실험실의 B 사람이 손을 뻗을 때 나오는 신호구나"라고 바로 파악할 수 있습니다.

② 컨텍스트 기반 어텐션: 흐르는 강물을 읽는 눈 👁️

비유: 뇌 신호는 고정된 것이 아니라 흐르는 강물처럼 계속 변합니다 (비정상성). 마치 강물이 비가 오면 불어나고, 맑은 날에는 얕아지는 것처럼요.
RPNT 의 능력: RPNT 는 강물의 흐름을 단순히 전체적으로 보는 게 아니라, **국소적인 흐름 **(국소 시간 구조)을 포착하는 특수한 렌즈를 사용합니다. 뇌 신호가 갑자기 변하거나 흐트러져도, 그 주변 상황을 고려해 "아, 지금 신호가 흔들리는구나"라고 유연하게 대처하며 정확한 해석을 유지합니다.

③ 강인한 자기 학습 (SSL): 정답 없이도 배우는 천재 🎓

비유: 보통 학생은 선생님이 정답 (어떤 행동을 했는지) 을 알려줘야 공부를 합니다. 하지만 RPNT 는 정답이 없는 상태에서도 스스로 뇌 신호의 패턴을 찾아내며 배웁니다.
RPNT 의 능력: 뇌 신호의 일부 (일부 뉴런이나 시간) 를 가리고, 나머지 부분으로 가려진 부분을 예측하는 게임을 반복합니다. 이 과정에서 뇌가 움직임을 어떻게 계획하는지 그 근본적인 원리를 스스로 터득하게 됩니다. 덕분에 실제 적용할 때는 아주 적은 데이터만으로도 빠르게 적응할 수 있습니다.

3. 실험 결과: RPNT 가 보여준 놀라운 성과 🏆

저자들은 RPNT 를 두 가지 다른 환경에서 테스트했습니다.

여러 실험실과 사람, 여러 과제 (LTRCH 데이터):
- 다른 사람, 다른 날, 다른 행동 (중앙에서 목표 지점으로 손을 뻗는 것 vs 무작위 목표) 에 대해 테스트했습니다.
- 결과: 기존 최고의 모델들보다 훨씬 정확했습니다. 특히 완전히 새로운 사람과 새로운 행동을 접했을 때, 다른 모델들은 엉망이 되지만 RPNT 는 여전히 높은 정확도를 유지했습니다.
뇌의 다른 부위 (Neuropixel 데이터):
- 뇌의 다른 위치 (전두엽, 운동피질 등) 에 전극을 꽂았을 때도 테스트했습니다.
- 결과: 전극을 꽂은 위치가 달라져도 RPNT 는 뇌 신호를 잘 해석했습니다. 이는 뇌의 어느 부분에서 신호를 받아도通用的 (범용적) 으로 작동할 수 있음을 의미합니다.

4. 왜 이것이 중요한가요? 🌟

이 연구는 **뇌 - 컴퓨터 인터페이스 **(BCI)의 미래를 바꿀 수 있는 중요한 한 걸음입니다.

기존의 문제: 현재 뇌를 이용해 의수를 움직이거나 마우스를 조종하는 기술은 매번 사용자를 위해 몇 시간씩 재보정 (Calibration) 을 해야 합니다. 마치 새 차를 탈 때마다 운전석과 핸들을 다시 맞추는 것과 같습니다.
RPNT 의 미래: RPNT 를 사용하면, 한 번만 대량으로 학습시킨 뒤에는 새로운 사용자에게도 거의 재보정 없이 바로 적용할 수 있습니다.
- 환자에게는: 불편한 재보정 절차가 사라집니다.
- 의사에게: 더 빠르고 정확한 치료가 가능해집니다.
- 연구자에게: 뇌가 어떻게 움직임을 제어하는지에 대한 더 깊은 통찰을 얻을 수 있습니다.

요약

RPNT는 뇌 신호라는 복잡한 외국어를, **상황 **(위치, 사람, 행동)을 이해하고, 흐르는 변화에 유연하게 대응하며, 정답 없이도 스스로 학습할 수 있는 초고성능 번역가입니다. 이 기술이 실용화된다면, 뇌와 컴퓨터가 대화하는 장벽은 훨씬 낮아지고, 더 많은 사람들이 뇌를 통해 세상을 자유롭게 움직일 수 있게 될 것입니다. 🚀

1. 연구 배경 및 문제 정의 (Problem)

배경: 뇌 운동 해독 (Brain Motor Decoding) 은 신경 활동을 행동으로 변환하는 기술로, 뇌 - 컴퓨터 인터페이스 (BCI) 의 핵심입니다. 최근 트랜스포머 (Transformer) 아키텍처와 사전 학습 (Pretraining) 전략은 자연어 처리 (NLP) 및 컴퓨터 비전 분야에서 혁신을 이끌었으나, 신경 데이터 적용에는 한계가 있습니다.
핵심 문제:
1. 일반화 부족: 기존 신경 해독 모델들은 특정 세션, 피험자, 행동 유형, 또는 뇌 부위에만 최적화되어 있어, 새로운 조건 (Cross-session, Cross-subject 등) 에 적용 시 성능이 급격히 떨어집니다.
2. 신경 데이터의 비정상성 (Non-stationarity): 신경 신호는 시간의 흐름에 따라 드리프트 (drift) 가 발생하고, 세션 간 recording configuration(전극 위치, 설정 등) 이 달라져 데이터 분포가 변합니다.
3. 기존 모델의 한계: 기존 트랜스포머 기반 신경 모델 (NDT, PoYo 등) 은 다른 모달리티 (텍스트, 이미지) 에서의 구성 요소를 직접 적용하거나, 사전 학습 시 행동 레이블 (Supervised) 을 필요로 하여 계산 효율성과 일반화 능력이 제한적입니다. 또한, 신경 데이터의 국소적 시간 구조와 다차원 메타데이터 (좌표, 세션 ID 등) 를 효과적으로 인코딩하는 메커니즘이 부족합니다.

2. 제안 방법론: RPNT (Methodology)

저자들은 신경 스파이크 활동 모델링에 최적화된 사전 학습 신경 트랜스포머 RPNT (Robust Pre-trained Neural Transformer) 를 제안합니다. RPNT 는 기존 트랜스포머의 구성 요소를 신경 데이터의 특성에 맞게 재설계한 세 가지 핵심 혁신 요소를 포함합니다.

가. 핵심 아키텍처 구성 요소

다차원 회전 위치 임베딩 (Multidimensional Rotary Positional Embedding, MRoPE):
- 문제: 기존 위치 인코딩 (Sinusoidal, Learnable) 은 시간 순서만 반영하며, 전극 좌표, 세션 ID, 행동 유형 등 신경 실험의 다차원 메타데이터를 통합하기 어렵습니다.
- 해결: 회전 위치 임베딩 (RoPE) 을 다차원으로 확장했습니다. 모델 차원을 그룹화하여 공간 좌표 ( $x, y$ ), 시간 ( $t$ ), 피험자, 행동 유형 등 다양한 실험 메타데이터 축을 독립적으로 인코딩합니다. 이는 새로운 뇌 부위 구성이나 세션에 대한 제로샷 (Zero-shot) 일반화를 가능하게 합니다.
맥락 기반 어텐션 메커니즘 (Context-based Attention Mechanism):
- 문제: 표준 셀프 어텐션은 전역적 (Global) 인 신경 역학을 포착하지만, 신경 활동의 국소적 시간 구조와 비정상성 (Non-stationarity) 을 처리하는 데 한계가 있습니다.
- 해결: 전역 어텐션 점수에 학습 가능한 컨볼루션 커널을 적용하여 국소적 시간 구조를 학습합니다. 이는 과거 데이터 (Context) 를 기반으로 커널을 생성하여 어텐션 분포를 조절함으로써, 신경 신호의 드리프트와 분포 변화를 효과적으로 처리합니다.
강건한 자기지도 학습 (Robust Self-Supervised Learning, SSL) 전략:
- 문제: 기존 모델들은 행동 레이블이 필요한 지도 학습이나, 비인과적 (Bidirectional) 인 마스킹을 사용하여 실시간 적용에 부적합합니다.
- 해결:
  - 확률적 인과적 마스킹 (Stochastic Causal Masking): 고정된 마스킹 비율 대신, 시간과 뉴런 차원에서 균일 무작위 분포 $U(0,1)$ 에서 마스킹 비율을 샘플링합니다. 이는 모델이 다양한 재구성 난이도를 경험하게 하여 강건한 표현을 학습시킵니다.
  - 인과적 예측: 시간 $t$ 의 재구성은 $t$ 이전의 마스킹되지 않은 입력에만 의존하도록 인과적 구조를 강제하여, 실시간 해독에 적합한 예측 태스크로 설계합니다.
  - 손실 함수: 포아손 재구성 손실 (Poisson Reconstruction Loss) 과 대조적 표현 학습 (Contrastive Learning) 을 결합하여 사이트 불변 (Site-invariant) 표현을 학습합니다.

나. 학습 및 평가 파이프라인

사전 학습 (Pretraining): 레이블이 없는 대규모 신경 스파이크 데이터 (LTRCH, NPCS) 를 사용하여 SSL 로 사전 학습합니다.
하류 작업 미세 조정 (Supervised Finetuning, SFT): 사전 학습된 모델을 소량의 레이블이 있는 데이터 (Few-shot) 로 미세 조정하여 운동 변수 (속도 등) 를 예측합니다.

3. 주요 실험 및 결과 (Results)

저자들은 두 가지 대규모 데이터셋 (LTRCH: 마이크로전극, NPCS: Neuropixel) 을 사용하여 RPNT 를 평가했습니다.

데이터셋:
- LTRCH: 4 마의 원숭이, 111 세션, 다중 작업 (Center-out, Random Target), 다중 뇌 영역 (M1, PMd) 데이터.
- NPCS: 1 마 원숭이, 17 개 뇌 부위, 고밀도 Neuropixel 1.0 프로브를 사용한 교차 부위 (Cross-site) 데이터.
성능 비교 (LTRCH 벤치마크):
- 교차 세션/피험자/작업: RPNT 는 기존 모델 (Wiener filter, MLP, RNN, 기존 Transformer 등) 을 모두 능가했습니다. 특히 가장 어려운 교차 작업 (T-RT) 시나리오에서 기존 최상위 모델 (POSSM-GRU) 보다 약 7% 높은 $R^2$ 점수 (0.8356 vs 0.7687) 를 기록했습니다.
- Few-shot SFT: 행동 레이블이 전혀 없는 사전 학습 단계와 소량의 레이블만 있는 미세 조정 단계를 통해, 레이블이 있는 모든 세션으로 사전 학습한 기존 모델 (PoYo, POSSM) 보다 우수한 성능을 보였습니다. 이는 RPNT 가 레이블 의존성을 줄이면서도 높은 일반화 능력을 가짐을 의미합니다.
성능 비교 (NPCS - 교차 부위):
- Cross-site Generalization: 서로 다른 뇌 부위에서 기록된 데이터에 대한 일반화 능력을 평가했습니다. RPNT 는 사전 학습된 모델이 0.6612 의 $R^2$ 를 기록하여,scratch 학습 (0.6358) 및 기존 모델들 (NDT, PoYo 등) 보다 우월한 성능을 보였습니다.
- 데이터 양에 따른 강건성: 학습 데이터가 10% 로 줄어든 상황에서도 사전 학습된 RPNT 는 0.54 이상의 $R^2$ 를 유지하며, 적은 데이터 환경에서도 강건함을 입증했습니다.
전송 학습 (Transfer Learning):
- LTRCH(다중 세션/피험자) 에서 사전 학습한 모델을 NPCS(단일 피험자/다중 부위) 에 적용했을 때 높은 성능 유지 (0.6537) 를 보였습니다. 이는 대규모 데이터셋으로 사전 학습한 모델이 더 풍부한 신경 표현을 학습하여 다른 모달리티/구성에 전이 가능함을 시사합니다.
Ablation Study (성분 제거 실험):
- MRoPE 제거 시 성능 약 3% 감소, Context-based Attention 제거 시 약 5~16% 감소, 고정 마스킹 전략 사용 시 성능 저하가 확인되어, 제안된 세 가지 구성 요소가 모두 필수적임을 입증했습니다.

4. 주요 기여 (Key Contributions)

새로운 아키텍처 제안: 신경 데이터의 다차원 메타데이터와 비정상성을 처리하기 위해 MRoPE와 Context-based Attention을 도입한 최초의 신경 트랜스포머 모델입니다.
강건한 사전 학습 전략: 행동 레이블 없이 스파이크 활동만으로 학습 가능한 확률적 인과적 마스킹 SSL 전략을 제시하여, 데이터 효율성과 일반화 능력을 동시에 확보했습니다.
범용 운동 해독 성능 입증: 교차 세션, 교차 피험자, 교차 작업, 교차 부위 등 4 가지 어려운 일반화 시나리오에서 기존 SOTA(State-of-the-Art) 모델을 일관되게 능가하는 성능을 입증했습니다.
해석 가능성: 학습된 공간 어텐션 맵을 통해 뇌 영역 간의 기능적 연결성 (Functional Connectivity) 을 데이터 기반으로 시각화하고 해석할 수 있음을 보였습니다.

5. 의의 및 향후 전망 (Significance)

BCI 의 실용화: RPNT 는 BCI 시스템의 가장 큰 장벽 중 하나인 '정기적인 보정 (Recalibration)' 필요성을 줄일 수 있는 잠재력을 가집니다. 사전 학습된 모델을 소량의 데이터로 빠르게 적응 (Few-shot) 시킬 수 있어, 임상 환경에서의 장기적 BCI 배포를 가능하게 합니다.
신경 기초 모델 (Neural Foundation Model) 의 길: 이 연구는 대규모 신경 데이터에 대한 사전 학습이 신경 해독의 표준 패러다임이 될 수 있음을 보여주며, 향후 더 복잡한 자연 행동이나 다중 신호 모달리티 (LFP 등) 로 확장될 수 있는 기반을 마련했습니다.
데이터 효율성: 레이블이 없는 신경 데이터의 가치를 극대화하여, 레이블 수집이 어렵고 비용이 많이 드는 임상 및 연구 환경에서 효율적인 모델 개발을 가능하게 합니다.

요약하자면, RPNT는 신경 데이터의 고유한 복잡성 (비정상성, 다차원성) 을 해결하기 위해 트랜스포머 아키텍처를 재설계하고, 자기지도 학습을 통해 강력한 일반화 능력을 갖춘 새로운 운동 해독 모델로서, 차세대 BCI 및 신경과학 연구에 중요한 이정표가 될 것으로 기대됩니다.