🤖 AI

MindVoice: Reconstructing Intelligible Speech from Non-invasive Neural Signals with Pretrained Priors

MindVoice는 사전 학습된 모델을 활용하여 노이즈가 있는 비침습적 신경 기록(EEG/MEG)으로부터 고수준의 의미론적 콘텐츠와 미세한 음향적 속성을 분리 및 재구성함으로써, 기존 방식들을 크게 능가하는 자연스럽고 명료한 음성을 합성할 수 있게 하는 새로운 프레임워크입니다.

원저자: Guangyin Bao, Taiping Zeng, Jianfeng Feng, Xiangyang Xue

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guangyin Bao, Taiping Zeng, Jianfeng Feng, Xiangyang Xue

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 시끄러운 방 안에서 벌어지는 대화를 이해하려고 노력하는 상황을 상상해 보세요. 벽은 두껍고, 말하는 사람들은 속삭이고 있습니다. 이제 당신이 건물 밖에 고정된 마이크 하나만을 사용하여 그 대화를 녹음하려고 한다고 상상해 보세요. 당신이 얻은 신호는 흐릿하고, 잡음으로 가득하며, 단 몇 단어만을 간신히 포착할 뿐입니다.

이것은 과학자들이 EEG(뇌파, 두피에 센서 캡을 사용하는 방식)나 MEG(뇌자도, 헬멧 형태의 스캐너를 사용하는 방식)와 같은 비침습적 도구를 사용하여 인간의 뇌로부터 음성을 읽어내려 할 때 직면하는 도전 과제와 본질적으로 같습니다. 이러한 도구들은 안전하고 사용하기 쉽지만, 그들이 포착하는 신호는 "노이즈"가 많고 흐릿합니다. 신호는 음성의 "아이디어"를 담고 있지만, 세부 사항은 잡음 속에서 사라져 버립니다.

오랫동안 연구자들은 이 흐릿한 뇌 신호로부터 명확한 목소리로 가는 직접적인 다리를 구축하려고 노력했습니다. 그것은 마치 한 줌의 탁한 수채화 물감만을 사용하여 걸작을 그리려는 것과 같았습니다. 결과는 대개 알아들을 수 없거나, 로봇 같거나, 혹은 말처럼 들리기는 하지만 이해할 수는 없는 소리의 불협화음이었습니다.

"MindVoice"의 등장.

푸단 대학교(Fudan University)의 저자들은 뇌 신호가 모든 힘든 일을 다 하게 만드는 것을 그만두기로 했습니다. 대신, 그들은 방대한 지식의 도서관을 갖춘 똑똑한 번역기처럼 작동하는 MindVoice라는 시스템을 구축했습니다.

이 시스템이 어떻게 작동하는지, 간단한 단계별로 나누어 설명하겠습니다.

1. 이중 트랙 시스템 (The "Dual-Stream")

문장 전체를 한꺼번에 추측하는 대신, MindVoice는 우리 뇌가 자연스럽게 언어를 처리하는 방식에서 영감을 받아 작업을 두 개의 별도 팀으로 나눕니다.

"의미" 팀 (Semantic Stream): 이 팀은 흐릿한 뇌 신호를 보고 "이 사람이 무엇을 생각하거나 말하고 있는가?"를 묻습니다. 이 팀은 강력한 사전 학습된 AI(매우 똑똑한 음성-텍스트 변환 엔진과 같은)를 사용하여 단어를 추측합니다. 이것은 마치 흐릿한 단서들을 보고 "이 사람이 '사과'와 '빨간색'이라고 말했을 확률이 80%다"라고 판단하는 탐정과 같습니다.
"목소리" 팀 (Acoustic Stream): 이 팀은 "그 소리가 어떻게 들리는가?"를 묻습니다. 이 팀은 피치(음높이), 톤, 감정, 그리고 화자의 특정한 목소리에 집중합니다. 이 팀은 수천 시간의 음악과 음성 데이터를 통해 학습된 다른 사전 학습된 AI를 사용하여 음의 높낮이와 목소리의 "색깔"을 추측합니다.

2. "사전 학습된 사전 지식" (The "Secret Sauce")

이 부분이 가장 중요한 부분입니다. 뇌 신호는 불완전합니다. 그것은 마치 퍼즐 조각의 절반이 빠진 것과 같습니다.

기존 방식들은 가지고 있는 적은 데이터만을 바탕으로 단순히 추측하여 빠진 조각들을 채우려 했습니다.
MindVoice는 **사전 학습된 사전 지식(pretrained priors)**을 사용합니다. 당신이 문장의 앞부분 몇 단어만 듣고 문장을 완성해야 하는 상황을 상상해 보세요. 당신은 단순히 무작위 단어를 추측하지 않습니다. 당신은 언어가 작동하는 방식을 알고 있기 때문에 나머지 부분을 채워 넣습니다. MindVoice는 이미 인터넷 전체를 "읽고" 수백만 시간의 음성을 "들은" AI 모델들을 사용하여 이 작업을 수행합니다. 뇌 신호가 너무 약해서 "고양이(cat)"와 "박쥐(bat)"를 구분하지 못할 때, 시스템은 자신의 거대한 지식 라이브러리를 사용하여 문장을 완성하기 위한 가장 논리적인 추측을 합니다.

3. 최종 조립

"의미" 팀이 단어를 파악하고 "목소리" 팀이 톤을 파악하면, 이들은 자신들의 노트를 텍스트 음성 변환(TTS) 엔진에 전달합니다. 이 엔진은 전문 성우와 같습니다. 엔진은 재구성된 단어와 목소리의 특징을 가져와서 소리 내어 말합니다. 이 성우는 자연스럽게 말하는 법을 알고 있기 때문에, 결과물은 로봇이 아닌 실제 인간이 말하는 것처럼 들립니다.

무엇을 발견했는가?

연구진은 사람들이 이야기를 듣고 있는 두 가지 주요 데이터셋(EEG 및 MEG)을 통해 이를 테스트했습니다.

결과: MindVoice는 이전 방법들과 비교했을 때 엄청난 성공을 거두었습니다. 생성된 음성은 이해 가능한(intelligible) 수준이었습니다. 만약 인간(또는 매우 똑똑한 AI)에게 그 출력물을 들려준다면, 그들은 실제로 문장을 이해할 수 있었습니다.
트레이드오프(Trade-off): 흥 흥미롭게도, MindVoice가 만들어낸 파형은 원래의 녹음본과 수학적으로 완벽하게 일치하지는 않았습니다(원시 데이터에 약간의 "잡음"이 더 섞여 있었습니다). 그러나 의미는 훨씬 더 명확했습니다. 이는 원본과 픽셀 하나하나까지 똑같지만 알아볼 수 없는 흐릿한 사진과, 원본과는 약간 다르더라도 누구나 누구인지 즉시 알아볼 수 있는 선명한 사진의 차이와 같습니다. MindVoice는 완벽하게 동일한 것보다 이해 가능한 것을 우선시했습니다.

핵심 요약

MindVoice는 우리가 뇌 신호가 스스로 모든 것을 해내도록 두는 대신, 뇌 신호가 "힌트"를 제공하고 강력한 AI 모델이 그 빈틈을 채울 "지식"을 제공하게 함으로써, 비침습적 뇌 스캔으로부터 명확하고 이해 가능한 음성을 재구성할 수 있음을 증명합니다.

중요 참고 사항: 이 논문은 엄격하게 듣는 것(사람이 이야기를 들을 때)에 초점을 맞추고 있습니다. 이는 사람들이 머릿속으로 음성을 상상하거나 소리 내어 말할 때의 뇌 신호는 서로 다르고 해독하기 더 어렵다는 점을 고려한 것입니다. 현재의 목표는 단순히 그 사람이 무엇을 듣고 있는지를 이해하는 것입니다.

기술 요약: MindVoice

문제 정의

비침습적 신경 기록(EEG 및 MEG 등)으로부터 연속적이고 이해 가능한 음성을 재구성하는 것은 청각 신경과학 및 뇌-컴퓨터 인터페이스(BCI) 연구에서 여전히 근본적인 과제로 남아 있다. 침습적 방법은 상당한 성공을 거둔 반면, 비침습적 신호는 낮은 신호 대 잡음비(SNR), 공간적 흐림(spatial blurring), 그리고 부분적인 정보 보존의 문제를 겪는다. 기존의 비침습적 접근 방식은 일반적으로 신경 활동을 얽혀 있는 음성 표현(예: mel-spectrogram)으로 직접 매핑하고 신경 보코더를 사용하여 파형을 합성한다. 그러나 이러한 방법들은 미세한 의미론적 및 음향적 구조를 복구하는 데 실패하기 때문에, 스펙트럼상으로는 유사하지만 이해할 수 없는 결과를 내놓는 경우가 많다. 핵심적인 어려움은 신경 데이터에만 전적으로 의존하지 않고도, 희소하고 노이즈가 많은 신경 관측값으로부터 정보 밀도가 높고 시간적으로 민감한 음성을 복구하는 결정 불가능한(underdetermined) 문제를 해결하는 데 있다.

방법론: MindVoice 프레임워크

이러한 한계를 해결하기 위해, 저자들은 불완전한 신경 신호를 보완하기 위해 사전 학습된 사전 지식(pretrained priors)을 활용하는 신경-음성 재구성 프레임워크인 MindVoice를 제안한다. 음성 인지의 이중 경로 이론(dual-stream theory)에서 영감을 얻은 MindVoice는 재구성을 두 개의 상보적인 경로로 분리한 후 합성 단계로 이어지는 이중 스트림 아키텍처를 채택한다.

1. 의미론적 수준 재구성 스트림 (Semantic-Level Reconstruction Stream)

이 스트림은 이해 가능성에 결정적인 고수준의 의미론적 콘텐츠를 복구하는 데 집중한다.

아키텍처: 이는 신경 신호 임베더(EEG/MEG를 CNN과 Transformer로 처리되는 단일 채널 이미지로 취급), 음성 벡터 양자화 오토인코더(VQ-AE), 그리고 신경-의미론 정렬기(Neuro-to-Semantic Aligner)로 구성된다.
메커니즘: VQ-AE는 연속적인 mel-spectrogram 잠재 변수를 양자화하여 압축된 이산 음성 토큰을 학습함으로써 효과적인 음성 어휘를 생성한다. 정렬기는 신경 임베딩을 이 사전 양자화된 음성 임베딩 공간으로 매핑한다.
사전 학습된 사전 지식: 정렬기에 의해 생성된 이산 토큰은 동결된(frozen) 사전 학습된 자동 음성 인식(ASR) 모델(Whisper-base)로 전달된다. ASR 모델의 언어 모델링 능력은 노이즈가 섞인 신경 신호로부터 디코딩된 의미론적 정보를 정제하고 완성하는 사전 지식 역할을 하여, 재구성된 텍스트 토큰( $\hat{T}$ )을 생성한다.

2. 음향적 수준 재구성 스트림 (Acoustic-Level Reconstruction Stream)

이 스트림은 의미론적 접근 방식에서 흔히 손실되는 피치(pitch), 음색(timbre), 감정과 같은 미세한 음향적 속성을 목표로 한다.

아키텍처: 사전 학습된 음성 코덱(FishSpeech-s1-mini)과 병렬 신경 신호 임베더를 활용한다.
메커니즘: 코덱은 음성을 잠재 임베딩으로 인코딩한 후 이를 양자화한다. 신경 임베더는 신경 신호로부터 이러한 임베딩을 예측한다.
사전 학습된 사전 지식: 시스템은 신경 신호를 사전 학습된 코덱의 심층 음성 특징과 정렬한다. 양자화는 예측된 연속 임베딩을 학습된 이산 단위로 매핑하여, 피치와 음색 단서의 식별력을 높이기 위해 음향적 사전 지식을 주입한다.

3. 음성 재구성 브랜치 (Speech Reconstruction Branch)

마지막 단계는 두 스트림의 출력을 융합하여 자연스러운 음성 파형을 합성한다.

프로세스: 의미론적 스트림에서 재구성된 텍텍스트 토큰( $\hat{T}$ )과 음향적 스트림에서 추출된 음향 임베딩( $\hat{A}$ )은 사전 학습된 텍스트 음성 변환(TTS) 모델의 제약 조건으로 작용한다.
인컨텍스트 음성 클로닝 (In-Context Voice Cloning): 음향 임베딩은 인컨텍스트 음성 클로닝을 위한 프롬프트 역할을 하여, TTS 모델의 자기회귀적(autoregressive) 음성 잠재 변수 생성을 유도한다. TTS 모델은 텍스트로부터 운율과 시간적 구조를 추론하기 위해 자신의 사전 지식을 활용하는 동시에, 음향 임베딩을 사용하여 음색과 피치를 조건화한다.
학습 전략: 결정적으로, ASR 및 TTS 모델은 학습 중에 동결(frozen) 상태를 유지한다. 프레임워크는 제한된 신경 데이터에 맞춰 이들을 미세 조정(fine-tuning)하기보다는, 이들이 가진 기존의 사전 지식을 활용하는 데 의존한다. 저자들은 미세 조정이 이해 가능성을 단순한 스펙트럼 유사성과 맞바꾸는 결과를 초래할 것이라고 주장한다.

주요 기여

이중 스트림 분리(Dual-Stream Disentanglement): 본 논문은 의미론적 재구성과 음향적 재구성을 분리하는 새로운 아키텍처를 도입하여, 기존의 직접 매핑 방식이 가진 얽힘 문제를 해결한다.
사전 학습된 사전 지식의 통합: MindVoice는 대규모 사전 학습 모델(ASR, 음성 코덱, TTS)에 인코딩된 풍부한 음향 및 언어적 사전 지식을 활용함으로써, 노이즈가 많은 신경 데이터와 자연스러운 음성 사이의 간극을 메우는 원칙적인 접근 방식을 보여준다.
최첨단 성능 (State-of-the-Art Performance): 이 프레임워크는 "웅얼거리는 음향적 근사치"를 넘어 이해 가능한 음성으로 나아감으로써, 비침습적 음성 재구성 분야의 새로운 기준을 세운다.

실험 결과

저자들은 Brenel EEG 데이터셋(참여자 49명)과 Gwilliams MEG 데이터셋(참여자 27명)을 사용하여 무작위 분할(random split) 및 엄격한 문장 기반 분할(strict sentence-based split) 방식으로 MindVoice를 평가하였다.

정량적 개선: MindVoice는 고수준 지표에서 기존 베이스라인(Vanilla regression 및 FESDE)을 크게 상회한다.
- 의미론적 정확도: HuBERT 유사도 및 ASR-BERTScore-F1에서 상당한 이득을 보인다 (예: MEG Random split: FESDE의 0.219 대비 MindVoice의 0.441).
- 음색 및 품질: WavLM 유사도 및 MOS 예측값에서 뚜렷한 개선을 보인다 (예: MEG Random split: FESDE의 1.41 대비 MindVoice의 4.35).
- 스펙트럼 지표: MindVoice가 저수준 스펙트럼 지표(mel-MSE, MCD)에서 일관되게 베이스라인보다 우세하지는 않다. 저자들은 이를 베이스라인이 스펙트럼 유사성을 직접 최적화하는 반면, MindVoice는 고수준의 의미론적 및 지각적 품질을 우선시하기 때문이라고 설명한다.
정성적 증거: mel-spectrogram 시각화 결과, MindVoice는 베이스라인이 보이는 과도하게 매끄러운(over-smoothed) 형태와 달리 조화 구조(harmonic structures)와 시간적 에너지 변화를 더 잘 보존한다. 전사(transcription) 결과는 MindVoice의 출력이 인식 가능한 언어적 내용을 포함하는 반면, 베이스라인은 이해할 수 없는 파편을 생성함을 확인시켜 준다.
일반화 가능성: 모델은 테스트 문장이 학습 중에 등장하지 않는 엄격한 "Sentence split" 상황에서도 우위를 유지하며, 이는 모델이 특정 문장 패턴을 암기하는 것이 아니라 일반적인 신경-음성 매핑을 학습했음을 나타낸다.

의의 및 주장

본 논문은 사전 학습된 사전 지식이 필수적임을 입증함으로써, 노이즈가 많은 신경 데이터로부터 이해 가능한 음성을 재구성하는 비침습적 음성 BCI 연구의 중요한 진전을 이루었다고 주장한다.

과학적 영향: 이 연구는 인간의 청각 인지 과정을 조사하는 새로운 도구를 제공하며, 자연스러운 음성의 음향적 및 언어적 구조를 뇌가 어떻게 인코딩하는지에 대한 직접적인 증거를 제시한다.
기술적 성취: 이 프레임워크는 이해할 수 없는 결과를 냈던 기존 방식의 한계를 극 overcoming 하여, EEG 및 MEG로부터 연속적인 음성을 성공적으로 재구성하는 최첨단 프레임워크를 구축했다.
제한 사항: 저자들은 재구성 성공률이 여전히 제한적임을 인정한다(BERTScore-F1 약 0.44로 표시됨). 즉, 신경 신호가 불충분할 경우 상당한 의미론적 불일치와 "생성적 환각(generative hallucinations)"이 발생할 수 있다. 또한 현재의 범위가 청각 유발 신호(들려주는 음성)에 국한되어 있으며, 아직 발화(overt) 또는 상상된 음성(imagined speech)에는 확장되지 않았음을 명시한다.

결론적으로, MindVoice는 직접적인 회귀(regression)에서 생성형 AI의 사전 지식과 결러한 하이브리드 접근 방식으로 패러다임을 전환하며, 이 전략이 실용적인 비침습적 음성 뇌-컴퓨터 인터페이스를 향한 유망한 경로임을 증명한다.