⚡ electrical engineering

emg2speech: Synthesizing speech from electromyography using self-supervised speech models

이 논문은 자기지도학습 음성 모델의 표현이 구강 근육의 전자기적 활동과 강한 선형 관계를 가진다는 점을 활용하여, ALS 환자가 발성 없이 구강 근육의 전자기 신호 (EMG) 를 직접 음성으로 변환하는 엔드투엔드 시스템을 제안합니다.

원저자: Harshavardhana T. Gowda, Daniel C. Comstock, Lee M. Miller

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Harshavardhana T. Gowda, Daniel C. Comstock, Lee M. Miller

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎙️ 1. 핵심 아이디어: "입술의 춤을 소리로 번역하기"

우리가 말을 할 때, 우리 뇌는 입술, 혀, 턱, 목 근육을 미세하게 움직이게 지시합니다. 이때 근육에서 전기 신호가 나옵니다. 이걸 **근전도 (EMG)**라고 합니다.

기존의 기술들은 이 근육 신호를 직접 소리로 바꾸려고 애썼는데, 마치 난해한 외국어 (근육 신호) 를 직접 번역해서 노래 (소리) 를 부르게 하려는 것처럼 매우 어려웠습니다.

이 연구팀은 새로운 방법을 썼습니다.

"우리가 근육 신호를 직접 소리로 바꾸지 말고, 먼저 '음악의 악보' (언어 모델의 특징) 로 바꾸고, 그 악보를 바탕으로 노래를 부르게 하자!"

🔍 2. 놀라운 발견: "AI 가 근육의 움직임을 이미 알고 있다?"

연구팀은 거대하고 똑똑한 AI 모델 (S3 모델, 예: HuBERT 등) 을 사용했습니다. 이 AI 는 수천 시간의 말을 듣고 '말의 구조'를 이미 완벽하게 이해하고 있습니다.

그런데 재미있는 사실이 발견되었습니다.

비유: 이 똑똑한 AI 가 '말'을 분석한 결과 (악보) 와, 우리가 입술을 움직일 때 나오는 **근육의 전기 신호 (입술 춤)**가 수학적으로 매우 비슷하게 연결되어 있다는 것입니다.
결과: AI 가 만든 '말의 특징'을 보면, 어떤 근육이 어떻게 움직였는지 85% 이상 정확하게 예측할 수 있었습니다.
의미: 즉, AI 는 말소리를 분석하는 과정에서, 우리 몸의 근육이 어떻게 움직이는지 (발음 기관의 움직임) 를 이미 '암기'하고 있었던 것입니다.

🛠️ 3. 어떻게 작동할까? (시스템의 3 단계)

이 기술은 세 가지 단계로 이루어져 있습니다.

감지 (입술의 춤 감지):
- 목과 얼굴에 붙인 31 개의 센서로, 말하지 않고 입술만 움직일 때 나오는 미세한 근육 전기를 잡습니다. (마치 춤추는 사람의 움직임을 카메라로 찍는 것)
번역 (악보로 변환):
- 잡은 근육 신호를 AI 가 이해하는 '말의 특징 (악보)'으로 바꿉니다.
- 여기서 핵심은 정렬 (Alignment) 이 필요 없다는 점입니다. 보통은 "이 근육 신호는 0.1 초, 이 소리는 0.1 초"라고 딱 맞춰야 하는데, 이 기술은 시간 순서 없이도 "근육이 이렇게 움직였으니, 대충 이런 소리가 날 거야"라고 추측할 수 있습니다. (마치 악보 없이도 멜로디를 듣고 "아, 이 곡은 C 장조구나"라고 알아맞히는 것)
재생 (소리 내기):
- 변환된 '악보'를 미리 훈련된 AI 성대 (보코더) 에 넣으면, 실제 사람 목소리가 나옵니다.

🏥 4. 실제 테스트: ALS 환자를 위한 희망

이 기술은 건강한 사람뿐만 아니라, **ALS(루게릭병)**로 인해 말을 못 하거나 목소리가 사라진 환자들에게도 적용되었습니다.

상황: 환자는 소리를 내지 않고 입술만 움직여 문장을 만들었습니다. (목소리가 나지 않음)
결과: 시스템이 그 입술 움직임을 감지해서, 마치 환자가 정상적으로 말하듯 목소리를 만들어냈습니다.
의미: 수술을 하거나 뇌에 전극을 박을 필요 없이, 피부에 센서만 붙이면 되므로 훨씬 안전하고 저렴합니다.

💡 5. 왜 이 연구가 중요한가? (요약)

비침습적 (Non-invasive): 뇌를 건드리지 않고, 피부에 센서만 붙이면 됩니다.
데이터가 적어도 가능: ALS 환자는 말을 많이 못 하므로 데이터가 적지만, 이 기술은 적은 데이터로도 잘 작동하도록 설계되었습니다.
자연스러운 발음: 단순히 글자를 읽는 게 아니라, 실제 발음 기관 (혀, 입술) 의 움직임을 기반으로 하므로 더 자연스러운 억양과 리듬을 가질 수 있습니다.

🌟 한 줄 요약

"이 연구는 '입술의 미세한 춤'을 AI 가 알아듣는 '말의 악보'로 번역하고, 다시 AI 성대가 노래하게 만들어, 말을 잃은 사람들이 다시 목소리를 되찾게 해주는 새로운 기술입니다."

이 기술이 발전하면, 목소리를 잃은 분들뿐만 아니라, 소음 많은 환경에서 몰래 메시지를 주고받고 싶거나, 단순히 말을 하기 귀찮을 때 입술만 움직여 대화하는 '침묵의 대화'가 일상화될지도 모릅니다.

1. 문제 정의 (Problem)

배경: 뇌 - 컴퓨터 인터페이스 (BCI) 나 침습적 신경 프로스테시스는 말실수증 (anarthria) 이나 근위축성 측색 경화증 (ALS) 환자에게 말 능력을 회복시켜 주지만, 수술적 이식 필요성, 높은 비용, 임상적 위험으로 인해 보편화가 어렵습니다.
목표: 비침습적인 전자기근 (EMG) 신호를 활용하여 구강 및 안면 근육의 활동을 직접 오디오로 변환하는 시스템을 구축하는 것입니다.
핵심 난제: 기존 연구들은 대부분 입력 신호 (EMG) 와 오디오 간의 시간적 정렬 (temporal alignment) 이 알려져 있다고 가정합니다. 하지만 임상적 상황 (후두절제술로 인한 성대 진동 부재, ALS 로 인한 음질 저하 등) 에서는 병렬 EMG-오디오 쌍을 얻기 어렵거나 신뢰할 수 없습니다. 따라서 시간 정렬이 없는 (alignment-free) 상태에서 EMG 신호를 음성으로 변환하는 것은 매우 어려운 학습 문제입니다.

2. 방법론 (Methodology)

이 연구는 자기지도 학습 음성 모델 (Self-Supervised Speech, S3) 의 표현력을 활용하여 위 난제를 해결합니다.

A. 핵심 통찰 (Key Insight)

선형적 상관관계: S3 모델 (HuBERT, Wav2Vec 2.0, WavLM 등) 이 추출한 음성 특징 (H) 과 EMG 신호의 전력 (D(E), 즉 각 전극의 근육 활동 전위 전력) 사이에는 강한 선형 관계가 존재합니다.
구조적 클러스터링: 서로 다른 발음 기구 (articulatory gestures) 에 해당하는 EMG 전력 벡터는 특징 공간에서 구조화되고 분리 가능한 군집을 형성합니다. 이는 S3 모델이 EMG 활동에 반영된 발음 기구 메커니즘을 암묵적으로 인코딩하고 있음을 시사합니다.

B. 시스템 아키텍처

입력 전처리:
- EMG 신호는 31 개 전극에서 수집되며, 공분산 행렬 (Covariance Matrix, $E$ ) 과 그 대각 성분인 전력 벡터 ( $D(E)$ ) 로 변환됩니다.
- 주파수 스펙트로그램 ( $B$ ) 도 입력 특징으로 고려됩니다.
인코더 (Encoder):
- TDS (Time-Depth Separable) 컨볼루션 네트워크: EMG 특징을 입력받아 S3 모델의 이산 단위 (discrete HuBERT units) 를 예측합니다.
- 공간적 강인성: 전극 배치의 변이 (shift) 에 강인하도록, 입력 채널을 $-1, 0, +1$ 만큼 순환 시프트 (circular shift) 하여 처리한 후 평균화하는 모듈을 포함합니다.
학습 전략 (Alignment-Free):
- CTC (Connectionist Temporal Classification) 손실: EMG 시퀀스와 타겟 HuBERT 단위 시퀀스 간의 프레임 단위 정렬이 없어도 학습이 가능하도록 CTC 손실을 사용합니다.
- 음소 기반 디코딩 (Phoneme-guided Decoding): HuBERT 단위 예측과 함께 음소 (phoneme) 예측 헤드를 추가하고, 일관성 손실 (consistency loss) 을 도입하여 음소 구조가 HuBERT 단위 예측을 보정하도록 유도합니다. 이는 EMG 신호가 HuBERT 단위보다 음소 구조를 더 잘 포착한다는 사실에 기반합니다.
합성 (Synthesis):
- 예측된 HuBERT 단위 시퀀스를 사전 학습된 Tacotron 보코더 (vocoder) 에 입력하여 최종 오디오를 생성합니다.

C. 데이터셋

DATA GENERAL: 건강한 참가자 1 명의 약 9 시간 분량, 6,800 개 이상의 고유 단어가 포함된 대규모 EMG-음성 데이터셋.
DATA ALS: ALS 환자 1 명의 약 1 시간 분량, 300 개 고유 단어의 침묵 발화 (silent articulation) 데이터셋.
DATA OROFACIAL GESTURES: 12 명의 참가자가 수행한 13 가지 구강 운동 데이터.

3. 주요 기여 (Key Contributions)

대규모 오픈 소스 데이터셋: 현재까지 공개된 EMG-음성 변환을 위한 가장 크고 포괄적인 데이터셋 (건강한 참가자 및 ALS 환자 포함) 을 공개했습니다.
발음 기구 기반 인코더 설계: S3 모델과 EMG 전력 간의 선형적 관계를 정량화하고, 이를 활용하여 소량의 데이터 (ALS 환자의 40 분 데이터) 로도 효과적으로 작동하는 경량 인코더를 개발했습니다.
음소 기반 디코딩 도입: EMG-음성 합성에서 음소 구조를 명시적으로 활용하여 생성된 오디오의 품질을 향상시키는 새로운 방법을 제시했습니다.
비정렬 (Unaligned) 학습 설정: 시간 정렬이 없는 EMG-오디오 쌍을 학습할 수 있는 파이프라인을 구축하여, 임상적으로 더 실용적인 시나리오를 지원했습니다.

4. 실험 결과 (Results)

선형 매핑 분석: S3 모델의 HuBERT 특징과 EMG 전력 ( $D(E)$ ) 사이의 선형 매핑 상관 계수는 r = 0.85로 매우 높게 나타났습니다. 이는 S3 모델이 발음 기구 정보를 잘 인코딩함을 증명합니다.
단위 오류율 (UER) 및 음소 오류율 (PER):
- DATA GENERAL: 입력 특징으로 전체 공분산 벡터 (vec(E)) 를 사용했을 때 가장 성능이 좋았습니다 (UER: 56.08%, PER: 32.78%).
- 음소 기반 디코딩 효과: 음소 기반 훈련을 적용한 결과, HuBERT 단위 예측 오류율 (UER) 이 56.08% → 51.81% 로 유의미하게 감소했습니다.
ALS 환자 적용:
- ALS 환자의 침묵 발화 데이터를 사용하여 학습한 모델은 WER (단어 오류율) 약 50.82% 를 달성했습니다. 이는 기존 침습적 BCI 연구들의 성능 범위와 유사한 수준입니다.
비교: 기존 EMG-음성 벤치마크 (Gaddy & Klein 등) 는 시간 정렬된 데이터를 가정했으나, 본 연구는 정렬되지 않은 데이터에서도 경쟁력 있는 성능을 보였습니다.

5. 의의 및 결론 (Significance)

임상적 가치: 수술 없이도 말실수증이나 ALS 환자가 자연스러운 음성으로 소통할 수 있는 비침습적 솔루션을 제시합니다.
기술적 혁신: S3 모델이 단순한 음성 인식을 넘어 발음 기구 (articulatory) 정보를 내포하고 있음을 규명하고, 이를 EMG 변환에 활용하는 새로운 패러다임을 제시했습니다.
재현성: 오픈 소스 데이터셋과 코드, 그리고 명확한 실험 설정을 통해 향후 연구의 기준 (benchmark) 을 마련했습니다.
한계 및 향후 과제: 현재는 단일 환자 데이터로 장기적 안정성 (일일 신호 변화, 질병 진행 등) 을 검증하지 못했으며, 대규모 사전 학습 EMG 모델의 효과는 아직 탐구되지 않았습니다.

이 논문은 비침습적 신경 인터페이스 분야에서 중요한 진전을 이루었으며, 특히 자기지도 학습 음성 모델과 EMG 신호 간의 구조적 유사성을 활용한 점이 핵심적인 기여로 평가됩니다.