💬 NLP

End-to-End Intracortical Speech Decoding from Neural Activity

본 논문은 외부 언어 모델 없이 ALS 환자의 피질 내 기록을 직접 학습한 엔드 투 엔드 컨포머 기반 신경 디코더가 신호 열화와 단어 경계 분할의 어려움에도 불구하고 23.80%의 문자 오류율로 의미 있는 문자 단위 음성 디코딩을 달성함을 보여준다.

원저자: Owais Mujtaba Khanday, Jose A. Gonzalez-Lopez, Marc Ouellet, Alberto Galdon, Gonzalo Olivares Granados

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Owais Mujtaba Khanday, Jose A. Gonzalez-Lopez, Marc Ouellet, Alberto Galdon, Gonzalo Olivares Granados

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 뇌가 수백만 개의 작은 전령 (뉴런) 이 지시를 외치며 분주하게 움직이는 도시라고 상상해 보세요. 대부분의 사람들에게 말을 하고 싶을 때, 이 전령들은 입술과 혀에게 무엇을 해야 할지 알려줍니다. 하지만 근위축성 측삭 경화증 (ALS) 과 같은 질환을 가진 사람들에게는 뇌와 입을 연결하는 '전선'이 끊겨 있습니다. 전령들은 여전히 외치고 있지만, 그 메시지는 입술에 도달하지 못합니다.

이 논문은 외부 사전이나 문법 책의 도움 없이 뇌에서 직접 그 외침을 포착하여 화면의 텍스트로 변환하는 새로운 '번역기'를 개발한 과정을 설명합니다.

다음은 그들이 이를 구축한 방식에 대한 이야기로, 간단한 비유를 사용하여 설명합니다:

1. 문제: "무거운 배낭"

이전 고기술 뇌-텍스트 장치는 무거운 배낭을 메고 수학 문제를 풀려는 학생과 같았습니다. 이 배낭은 외부 언어 모델(단어들이 어떻게 보통 결합되는지에 대한 방대한 데이터베이스) 을 나타냅니다.

기존 방식: 뇌 디코더가 글자를 추측한 후, 무거운 배낭이 그 추측을 확인하고 수정하며 옵션을 다시 순위 매깁니다.
문제점: 이 배낭은 무겁습니다 (많은 메모리 차지), 느립니다 (지연 시간 추가), 그리고 강력한 컴퓨터가 필요합니다. 사람의 두개골 내부에 이식하려는 장치에 '배낭'을 지고 다니는 것은 비현실적입니다. 연구자들은 질문했습니다: 배낭이 전혀 필요 없을 정도로 똑똑한 번역기를 만들 수 있을까요?

2. 해결책: "수퍼 번역가" (컨포머)

팀은 컨포머 (Conformer) 라는 새로운 종류의 번역기를 구축했습니다. 이는 원시적인 뇌의 소음을 보고 직접 이야기를 파악하는 훈련된 탐정이라고 생각하세요.

입력: 그들은 말하기 조절을 담당하는 뇌 부위에 이식된 작은 전극을 사용하여 ALS 환자에게서 신호를 기록했습니다.
목표: 전체 단어를 추측하는 것 (어렵습니다) 대신, 시스템이 뇌파에서 직접 글자를 하나씩 추측합니다.
결과: 외부 사전이나 문법 검사기를 사용하지 않고도 이 시스템은 약 76% 의 글자를 정확히 맞추었습니다 (23.8% 오류율). 이는 뇌 신호 자체가 '배낭' 없이도 이해될 만큼 충분히 강력하다는 것을 증명합니다.

3. 과제: "흔들리는 카메라"

뇌 해독에서 가장 큰 장애물 중 하나는 신호가 시간이 지남에 따라 변한다는 것입니다. 매일 천천히 이동하고, 더러워지며, 초점이 변하는 카메라로 움직이는 사물의 사진을 찍으려 한다고 상상해 보세요.

문제점: 전극이 약간 움직이거나 뇌의 활동 패턴이 하루하루 변합니다. 월요일 데이터로 훈련된 모델은 화요일 데이터에서는 실패할 수 있습니다.
해결책: 연구자들은 특별한 "세션 어댑터 (Session Adapter)" 를 추가했습니다. 이는 모델이 매일 아침 끼는 조정 가능한 안경과 같습니다. 주요 탐정 (컨포머) 이 데이터를 보기 전에, 이 안경은 그날의 '흔들리는 카메라'에 맞춰 초점을 빠르게 조정합니다. 이로 인해 주요 탐정은 시야가 변하더라도 차분하고 일관되게 유지할 수 있습니다.

4. 훈련: "소음과 함께 연습하기"

번역기를 견고하게 만들기 위해 그들은 깨끗한 뇌 신호만 보여주지 않았습니다. 데이터 증강 (Data Augmentation) 이라는 기법을 사용했는데, 이는 정적, 속도 변화, 누락된 노트가 포함된 음악을 연주하며 음악가를 훈련시키는 것과 같습니다.

그들은 신호에 인위적으로 '정적' (소음) 을 추가했습니다.
녹음을 가속화하고 감속화했습니다.
전극 중 일부를 무작위로 '블랙아웃'했습니다 (끊어진 전선을 시뮬레이션).
이유: 이는 모델이 단일 녹음 세션의 특정 소음을 외우는 것이 아니라, 말의 본질을 배우도록 강제했습니다. 이는 운전자에게 비, 눈, 안개 속에서 운전하도록 가르쳐 도로의 어떤 날씨든 처리할 수 있게 하는 것과 같습니다.

5. 약점: "단어가 어디서 시작하고 끝나는가?"

시스템이 글자를 추측하는 데는 뛰어나지만, 때로는 단어 경계에 어려움을 겪습니다.

비유: 모든 공백이 사라진 문장을 읽는다고 상상해 보세요: HELLOHOWAREYOU. 당신은 글자를 알지만, 한 단어가 어디에서 끝나고 다음 단어가 어디에서 시작하는지 추측해야 합니다.
발견: 시스템이 저지른 가장 큰 실수는 공백을 삭제하여 두 단어를 합치거나, 단어 중간에 공백을 추가하는 것이었습니다. 보통은 'A'와 'B'를 혼동하는 것이 아니라, '공백'이 어디에 있어야 하는지 혼란스러워하는 것이었습니다.
이유: 실제 글자에 대한 신호에 비해 '공백'에 대한 뇌 신호는 매우 미약합니다. 시끄러운 방에서 속삭임을 듣는 것과 같습니다.

요약

이 논문은 거대한 외부 컴퓨터의 도움 없이 문법을 수정할 필요 없이 뇌 신호를 읽어서 텍스트로 변환하는 자립형 엔드 투 엔드 번역기를 구축할 수 있음을 보여줍니다.

성공: 미래 장치의 강력한 기반이 될 만큼 잘 작동합니다.
한계: 단어의 시작과 끝 (공백) 에 대해 여전히 혼란을 겪으며, 전극이 노화되거나 시간이 지남에 따라 이동함에 따라 성능이 약간 떨어집니다.
교훈: 뇌 신호는 글자를 직접 해독할 만큼 명확하여, 말을 할 수 없는 사람들을 위한 더 간단하고 빠르고 이식 가능한 장치의 길을 열고 있습니다.

기술 요약: 신경 활동으로부터의 엔드투엔드 피질 내 음성 해독

문제 제기
현재 고성능 피질 내 음성 신경보철기는 낮은 단어 오류율을 달성하지만, 일반적으로 추론 시 Connectionist Temporal Classification (CTC) 빔 검색으로 생성된 출력을 재점수하기 위해 외부 언어 모델 (LM) 에 의존합니다. 정확도 측면에서는 효과적이지만, 이러한 의존성은 상당한 실용적 제약을 초래합니다: 대규모 어휘의 언어 모델은 막대한 메모리를 요구하며, 언어 모델 통합을 수반하는 빔 검색의 순차적 특성은 빔 너비에 비례하는 지연 시간을 발생시킵니다. 이러한 요소들은 외부 컴퓨터에 연결되지 않고 실시간으로 작동하는 완전히 이식 가능하고 소형화되며 전력 효율적인 음성 신경보철기의 배포를 방해합니다. 더 나아가, 외부 언어 모델의 역할은 신경 신호에서 직접 정보를 추출하는 것이 아니라 언어적 구조를 부과하는 것이므로, 외부 재점수 없이 완전한 엔드투엔드 프레임워크에서 의미 있는 문자 단위 해독이 달성될 수 있는지 의문이 제기됩니다. 또한, 전극 이동, 임피던스 변동, 그리고 신경 집단 역학의 변화로 인한 세션 간 비정상성으로 인해 피질 내 기록은 세션 간 일반화가 저하됩니다.

방법론
저자들은 근위축성 측경화증 (ALS) 환자에게서 얻은 피질 내 기록을 기반으로 Conformer 아키텍처에 기반한 완전한 엔드투엔드 신경 디코더를 제안합니다. 이 시스템은 추론 시 외부 언어 모델 없이 CTC 목적 함수를 사용하여 신경 활동을 문자 시퀀스로 매핑합니다.

제안된 아키텍처는 네 가지 핵심 구성 요소로 이루어집니다:

세션별 선형 정렬: 세션 간 비정상성을 해결하기 위해 공유 인코더 앞에 경량 세션별 선형 어댑터 레이어가 배치됩니다. 이 레이어는 각 기록 세션의 특징 분포를 정규화하기 위해 SiLU 활성화 함수와 함께 세션별 가중치 행렬 ( $W_d$ ) 및 편향 벡터 ( $b_d$ ) 를 적용합니다. 이러한 파라미터는 공유 인코더가 세션 불변 표현을 학습하는 동안 빠른 정렬을 가능하게 하기 위해 더 높은 학습률로 독립적으로 최적화됩니다.
시간 패치 임베딩: Vision Transformers 에서 영감을 받아, 모델은 인코더 이전에 시퀀스 길이를 줄이기 위해 스트라이드된 시간 패치 임베딩을 사용합니다. 이는 시간 해상도를 압축하여 후속 자기 어텐션 레이어의 계산 복잡성을 줄이면서도 국소적 시간 역학을 보존합니다.
Conformer 인코더: 핵심 인코더는 "Macaron 스타일" 샌드위치 아키텍처를 활용하는 여섯 개의 적층된 Conformer 블록으로 구성됩니다. 각 블록은 전역적 의존성을 포착하는 멀티헤드 자기 어텐션과 국소적 발음 패턴을 포착하는 합성곱 모듈을 포함하며, 이들을 피드포워드 네트워크 사이에 샌드위치 형태로 배치합니다.
문자 예측 헤드: 129 개의 토큰 (128 개의 인쇄 가능 ASCII 문자 및 빈 토큰 포함) 어휘에 대한 문자 확률을 예측하는 2 층 선형 헤드를 사용합니다.

학습 및 데이터 증강
이 모델은 20 개월 동안 45 개의 기록 세션에서 수집된 10,948 개의 시도로 구성된 "Brain-to-Text '25" 벤치마크에서 학습됩니다. 피질 내 데이터의 고유한 비정상성과 낮은 신호 대 잡음비 (SNR) 에 대한 강건성을 향상시키기 위해 저자들은 특징 공간에 적용된 표적 데이터 증강 전략을 사용합니다:

가산 잡음: 채널 잡음과 기준선 드리프트를 시뮬레이션하기 위해 백색 잡음, 상수 오프셋 잡음, 그리고 랜덤 워크 잡음을 사용합니다.
시간 증강: 이동 지연 및 속도 변이에 대한 불변성을 장려하기 위해 랜덤 시간 컷오프, 시간 왜곡, 그리고 SpecAugment 스타일의 시간 마스킹을 적용합니다.
채널 증강: 채널 드롭아웃은 전극 고장을 시뮬레이션합니다.
가우시안 평활화: 이진화된 스파이크 속도를 평활화하기 위해 학습 및 검증 모두에 적용됩니다.

학습 목적 함수는 모델이 과도하게 뾰족한 빈 (blank) 예측으로 붕괴되는 것을 방지하기 위해 엔트로피 정규화 항과 결합된 CTC 손실을 사용합니다.

주요 결과
홀드아웃 검증 세트 (1,426 문장) 에서 평가된 제안된 시스템은 **23.80%**의 문자 오류율 (CER) 을 달성합니다.

비교: 이는 벤치마크에 제공된 기준 GRU + CTC 시스템 (30.00% CER) 대비 20.67% 의 상대적 개선을 나타냅니다.
절제 실험: 세션별 정렬 레이어를 제거하면 CER 가 24.28% 로 증가하는 반면, 데이터 증강을 제거하면 39.55% 로 성능이 크게 저하되어 일반화에서 증강의 결정적 역할을 강조합니다.
오류 분석: 분석 결과, 성능 변동성은 주로 세션 간 신호 저하에 의해 주도되며, 초기 세션 (~~10%) 에 비해 후기 세션은 더 높은 오류율 (최대 40~~45%) 을 보입니다. 지배적인 오류 모드는 음운론적 혼동이 아니라 잘못된 단어 경계 분할 (예: 단어 내 공백 삭제 또는 삽입) 이며, 이는 상위 치환 오류의 대부분을 차지합니다.

의의 및 주장
본 논문은 외부 언어 모델 재점수에 의존하지 않고 완전한 엔드투엔드 프레임워크에서 효과적인 문자 단위 해독이 달성 가능함을 입증한다고 주장합니다. 대규모이고 메모리 집약적인 언어 모델과 순차적 빔 검색의 필요성을 제거함으로써, 제안된 접근법은 더 단순하고 배포 가능하며 실시간인 피질 내 음성 신경보철기를 향한 길을 제시합니다. 이 연구는 하류 언어 처리를 위한 강력한 신경 신호를 제공하며, 단어 단위 정확도가 현재 외부 언어 모델을 사용하는 시스템보다 뒤처지더라도 신경 디코더 자체가 의미 있는 텍스트를 생성하기에 충분한 구조를 학습할 수 있음을 시사합니다. 저자들은 이를 완전 이식형 장치의 지연 시간 및 하드웨어 제약을 해결하기 위해 신경 신호 추출을 하류 언어 처리로부터 분리하는 한 걸음으로 위치시킵니다.