A cross-species neural foundation model for end-to-end speech decoding

이 논문은 다양한 종과 과제를 아우르는 사전 학습된 신경 인코더와 오디오 대규모 언어 모델을 결합하여 말하기와 상상된 말하기 모두를 통합적으로 처리하고 기존 최첨단 성능을 크게 앞지르는 종단간 뇌-텍스트 해독 프레임워크를 제안합니다.

핵심

뇌에서 말로: "BIT"라는 새로운 번역기의 이야기

이 논문은 마비로 인해 말을 할 수 없는 사람들을 위해, 뇌의 신호를 직접 글자로 바꿔주는 획기적인 기술을 소개합니다. 연구팀이 개발한 이 시스템의 이름은 **BIT(BraIn-to-Text)**입니다.

기존의 방식과 BIT 가 어떻게 다른지, 그리고 왜 이것이 중요한지 쉬운 비유로 설명해 드릴게요.

---

1. 기존 방식의 문제점: "번역 - 편집 - 교정"의 지루한 과정

기존의 뇌 - 말 인터페이스 (BCI) 는 마치 외국어를 모르는 사람이 문장을 번역하는 과정과 비슷했습니다.

1. 뇌 신호 → 소리 (음소): 먼저 뇌의 신호를 "소리" (예: 'ㄱ', 'ㅏ' 같은 작은 소리 단위) 로 번역합니다. (이때 RNN 이라는 옛날 방식의 AI 를 사용)
2. 소리 → 문장: 번역된 소리 조각들을 이어붙여 문장을 만듭니다.
3. 문장 교정: 만든 문장이 어색하면, 사전이나 문법 규칙 (n-gram 언어 모델) 을 찾아서 고칩니다.

문제점: 이 과정은 각 단계가 따로 놀기 때문에, 첫 단계인 '소리 번역'이 완벽해도 전체 문장이 매끄럽지 않을 수 있습니다. 마치 번역기가 단어는 잘 번역해도 문맥이 어색한 것과 같습니다. 또한, 각 단계를 따로 따로 훈련해야 해서 최적화가 어렵습니다.

---

2. BIT 의 혁신: "뇌를 가진 통역사"

BIT 는 이 복잡한 과정을 한 번에 해결합니다. 마치 뇌 신호를 직접 문장으로 번역하는 '한 방' 통역사처럼 작동합니다.

핵심 비유 1: "다양한 경험을 가진 천재 통역사 (사전 학습)"

BIT 의 가장 큰 특징은 뇌 신호를 읽는 '통역사 (인코더)'가 인간과 원숭이, 그리고 다양한 운동 (말하기, 팔 움직임) 데이터를 미리 많이 공부했다는 점입니다.

• 비유: imagine 하세요. 이 통역사가 학교에서 '말하기' 수업만 들은 게 아니라, '팔로 그림 그리기', '원숭이들의 운동' 등 다양한 경험을 쌓고 왔다고요.
• 효과: 덕분에 이 통역사는 뇌 신호의 미세한 뉘앙스도 잘 이해합니다. 특히, **말을 '내심'으로 생각할 때 (상상된 말)**의 뇌 신호도 잘 읽어냅니다. 기존에는 상상된 말을 읽기가 매우 어려웠는데, BIT 는 다양한 경험을 통해 이를 해결했습니다.

핵심 비유 2: "뇌에 귀를 달아준 AI (LLM)"

BIT 는 최신 AI 언어 모델 (LLM) 에 뇌 신호를 읽는 '귀'를 달아주었습니다.

• 기존: 뇌 신호를 먼저 소리 단위로 바꾸고, 그 소리를 AI 가 문장으로 만듦.
• BIT: 뇌 신호를 AI 가 직접 "이 뇌 신호는 '삶을 즐기자'라는 문장이다"라고 바로 이해함.
• 효과: 중간 단계를 거치지 않아서 훨씬 빠르고 정확합니다. 연구 결과, 기존 방식의 오류율 (24.69%) 을 **10.22%**까지 크게 줄였습니다.

---

3. 왜 이것이 중요한가요?

1) "상상"으로도 대화 가능

마비 환자들은 입술을 움직여 소리를 내는 것 (시도된 말) 이 아니라, 머릿속으로만 말을 하는 것 (상상된 말) 을 통해 소통하고 싶어 합니다. BIT 는 이 두 가지 뇌 신호의 패턴을 비슷한 언어 구조로 맞춰주어, 상상만으로도 정확한 문장을 만들어냅니다.

2) "작은 AI"가 큰 힘을 발휘

놀랍게도, 거대한 AI 모델보다 작은 오디오 기반 AI 모델이 뇌 신호 번역에 더 효과적이었습니다. 이는 뇌 신호가 '소리'의 파동과 유사하기 때문에, 소리를 잘 이해하는 AI 가 뇌 신호를 더 잘 해석한다는 뜻입니다.

---

4. 요약: BIT 가 가져올 변화

이 기술은 마치 **마비 환자의 뇌와 세상 사이를 연결하는 '직통 케이블'**을 설치하는 것과 같습니다.

• 과거: 뇌 신호 → (번역) → 소리 → (조립) → 문장 → (교정) → 결과 (오류 많음, 느림)
• BIT: 뇌 신호 → (직접 이해) → 문장 (정확함, 빠름)

이 연구는 단순히 기술의 발전을 넘어, 말할 수 없는 사람들이 AI 와 함께 자유롭게 대화하며 일상생활을 영위할 수 있는 미래를 열었습니다. 비록 실시간 속도를 더 높이고, 더 많은 데이터를 확보해야 할 과제는 남아 있지만, '뇌에서 말로'라는 길을 여는 중요한 첫걸음입니다.

기술 요약

1. 문제 정의 (Problem)

• 기존 시스템의 한계: 현재 말하기 뇌 - 컴퓨터 인터페이스 (BCI) 는 대부분 연쇄형 (Cascaded) 프레임워크를 사용합니다. 이는 신경 활동을 먼저 음소 (phoneme) 로 해독한 후, n-gram 언어 모델 (LM) 을 사용하여 문장으로 조립하는 방식입니다. 각 단계를 별도로 최적화하기 때문에, 전체 시스템의 성능을 동시에 최적화할 수 없으며, 음소 해독 오류가 최종 단어 오류 (WER) 로 직접적으로 이어지지 않는 등 성능 병목 현상이 발생합니다.
• 기존 엔드 - 투 - 엔드 (End-to-End) 접근법의 부족: 최근 연구들 (예: Feng et al., 2024) 은 RNN 과 LLM 을 결합한 엔드 - 투 - 엔드 방식을 시도했으나, 현대적인 아키텍처 (Transformer) 나 대규모 사전 학습 (Pretraining) 을 활용하지 못해 성능이 제한적이었습니다. 또한, RNN 기반 인코더는 복잡한 신경 표현을 포착하는 데 한계가 있었습니다.
• 데이터 부족 및 일반화 문제: 신경 데이터는 수집이 어렵고 라벨이 적어, 소규모 데이터셋만으로는 Transformer 와 같은 대규모 모델의 잠재력을 발휘하기 어렵습니다. 또한, 시도된 말하기 (attempted speech) 와 상상된 말하기 (imagined speech) 간의 전이 학습이 어렵습니다.

2. 방법론 (Methodology)

저자들은 BIT (BraIn-to-Text) 라는 새로운 엔드 - 투 - 엔드 프레임워크를 제안합니다. 이는 신경 활동을 직접적으로 일관된 문장으로 변환하는 단일 미분 가능한 신경망을 사용합니다.

A. 교차 종 및 교차 태스크 신경 인코더 (Cross-Species Neural Encoder)

• 아키텍처: Transformer 기반 인코더를 사용합니다. Utah 어레이 (Utah array) 로부터 수집된 20ms 시간 창 (bins) 의 임계값 스파이크 (thresholded spikes) 와 스파이크 대역 전력 (SBP) 을 패치 (patch) 단위로 임베딩합니다.
• 대규모 자기지도 학습 (Self-Supervised Pretraining):
  • 데이터: 인간 (말하기, 손 운동 등) 과 영장류 (팔 운동 등) 의 Utah 어레이 데이터를 포함하여 총 367 시간의 신경 데이터를 사용합니다.
  • 학습 목표: 시간 패치 마스킹 (Time-patch masking) 을 활용한 자기지도 학습 (SSL) 을 통해 마스킹된 신경 활동의 재구성을 수행합니다 (MSE 손실 함수).
  • 효과: 이 과정을 통해 태스크와 종 (species) 에 무관한 강력한 신경 표현 (Representations) 을 학습하며, 이는 추후 미세 조정 (Fine-tuning) 시 다양한 작업에 전이됩니다.

B. 오디오 기반 LLM 디코더 및 엔드 - 투 - 엔드 통합

• 디코더: 사전 학습된 신경 인코더의 출력을 오디오 LLM (Audio-LLM) 의 임베딩 공간에 매핑합니다.
  • 프로젝터: 신경 임베딩을 텍스트/오디오 임베딩 공간으로 변환하는 얇은 MLP 프로젝터를 사용합니다.
  • 모달리티 정렬 (Modality Alignment): 신경 임베딩과 텍스트 임베딩을 공유 잠재 공간에 정렬하기 위해 대조 학습 (Contrastive Learning) 을 적용합니다. 이는 신경 활동과 언어 구조 간의 정렬을 강화합니다.
  • 프롬프트: "decode the above neural activity into an English sentence:"와 같은 프롬프트를 사용하여 디코딩을 유도합니다.
• 파인튜닝 전략:
  1. 음소 해독 (CTC Loss): 사전 학습된 인코더를 CTC 손실 함수로 미세 조정하여 음소 수준의 표현을 강화합니다.
  2. 문장 해독 (Cross-Entropy Loss): 오디오 LLM 과 결합하여 신경 활동을 직접 문장으로 생성하도록 미세 조정합니다.
  3. LoRA (Low-Rank Adaptation): LLM 의 어텐션 및 피드포워드 레이어에 LoRA 를 적용하여 파라미터 수를 줄이면서 효율적으로 미세 조정합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 교차 종 신경 기반 모델: 인간과 영장류 데이터를 통합하여 대규모 사전 학습을 수행한 신경 기반 모델 (Foundation Model) 을 도입하여, 소규모 데이터셋에서도 강력한 성능을 발휘하도록 했습니다.
2. 엔드 - 투 - 엔드 아키텍처의 혁신: 기존 RNN 기반 엔드 - 투 - 엔드 방식을 넘어, Transformer 인코더와 오디오 LLM 을 결합하여 연쇄형 프레임워크의 성능 격차를 획기적으로 줄였습니다.
3. 작은 규모의 오디오 LLM 의 효과: 대규모 텍스트 LLM 보다 작은 규모의 오디오 LLM (예: 1.5B 파라미터) 이 신경 해독 작업에서 더 우수한 성능을 보임을 발견했습니다. 이는 오디오 사전 학습이 신경 신호의 파형적 특성과 더 잘 부합하기 때문입니다.
4. 교차 태스크 일반화: 시도된 말하기 (Attempted speech) 와 상상된 말하기 (Imagined speech) 의 임베딩을 정렬하여, 라벨이 적은 상상된 말하기 작업에서도 높은 성능을 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능 (Brain-to-Text '24 & '25):
  • 연쇄형 (Cascaded) 설정: BIT 는 기존 SOTA (Feghhi et al., 2025) 인 7.98% WER 을 6.35% WER로 개선하여 1 위를 차지했습니다.
  • 엔드 - 투 - 엔드 설정: 기존 엔드 - 투 - 엔드 방법 (Feng et al., 2024, 24.69% WER) 대비 10.22% WER로 성능을 50% 이상 개선했습니다. (앙상블 기법 적용 시 7.76% 까지 달성).
• 상상된 말하기 (Imagined Speech): 데이터가 부족한 상상된 말하기 작업에서도 SSL 사전 학습이 큰 도움을 주어, 기존 방법 대비 WER 을 39~45% 개선했습니다.
• 해석 가능성 (Interpretability):
  • RSA (Representational Similarity Analysis): BIT 의 신경 임베딩이 오디오 LLM 의 언어 구조와 높은 유사성을 보임을 확인했습니다.
  • PCA 및 LDA 분석: 사전 학습을 통해 시도된 말하기와 상상된 말하기의 신경 임베딩이 의미적 구조를 공유하며, 태스크 간 경계가 줄어듦을 확인했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 이 연구는 BCI 시스템이 연쇄형 파이프라인에서 단일 엔드 - 투 - 엔드 최적화 가능한 프레임워크로 전환될 수 있음을 입증했습니다.
• 데이터 효율성: 대규모의 다양한 신경 데이터 (인간 + 영장류) 를 활용한 사전 학습이 소규모 라벨 데이터 환경에서도 강력한 일반화 능력을 제공함을 보였습니다.
• 실용적 가치: 높은 정확도의 말하기 BCI 는 마비 환자에게 의사소통 수단을 복원할 수 있으며, 실시간 적용을 위한 엔드 - 투 - 엔드 최적화의 길을 열었습니다.
• 한계 및 향후 과제: 현재 엔드 - 투 - 엔드 방식의 추론 속도가 연쇄형보다 느리고 (약 0.95 초/문장), 실시간 적용을 위해 인코더의 인과적 (Causal) 어텐션 전환 및 모델 경량화가 필요합니다. 또한, 장기적인 사용 시 발생하는 신경 가소성 (Neural plasticity) 문제 해결이 필요합니다.

요약하자면, 이 논문은 대규모 교차 종 신경 기반 모델과 오디오 LLM을 결합하여 엔드 - 투 - 엔드 음성 해독의 성능 한계를 돌파하고, 새로운 SOTA 를 확립한 획기적인 연구입니다.