An Approach to Simultaneous Acquisition of Real-Time MRI Video, EEG, and Surface EMG for Articulatory, Brain, and Muscle Activity During Speech Production

이 논문은 MRI 유도 전자기 간섭과 근원성 아티팩트 등 기술적 난제를 극복하기 위해 맞춤형 아티팩트 억제 파이프라인을 도입하여, 실시간 MRI, EEG, 표면 EMG 를 동시 획득함으로써 발화 생성 과정의 뇌 신호, 근육 활성화, 조음 운동을 포괄적으로 분석하는 새로운 다중 모달 접근법을 제시합니다.

핵심

이 논문은 **"말을 할 때 우리 뇌, 근육, 그리고 입 모양이 어떻게 함께 움직이는지"**를 한 번에 모두 찍어내는 혁신적인 기술을 소개합니다.

기존에는 말소리를 듣거나, 뇌파를 측정하거나, 입 모양을 보는 것 중 하나만 선택해서 연구할 수 있었습니다. 하지만 이 연구는 세 가지를 동시에 촬영하는 '초고속 멀티캠'을 개발했다고 보시면 됩니다.

이 내용을 일반인도 쉽게 이해할 수 있도록 비유를 들어 설명해 드릴게요.

---

🎬 1. 이 연구는 어떤 '영화'를 찍었나요?

말을 한다는 것은 아주 복잡한 과정입니다.

1. 뇌 (감독): "이제 '안녕'이라고 말해야지"라고 생각합니다.
2. 신경 (전선): 그 명령을 근육으로 전달합니다.
3. 근육 (배우): 입술, 혀, 턱이 움직입니다.
4. 입 모양 (무대 장치): 공기가 통과하며 소리가 납니다.

기존 연구들은 이 중 소리만 듣거나, 뇌파만 보거나, 입 모양만 보는 식으로 단편적으로 연구했습니다. 하지만 이 논문은 세 가지 카메라를 동시에 작동시켜, 뇌가 명령을 내리는 순간부터 입이 움직여 소리가 날 때까지의 완전한 연속극을 찍어냈습니다.

🛠️ 2. 기술적인 난관: "폭풍 속에서의 촬영"

이 촬영을 하려면 아주 까다로운 환경에서 작업을 해야 했습니다. 바로 MRI(자기공명영상) 기계 안에서 뇌파 (EEG) 와 근육 신호 (EMG) 를 측정하는 것이죠.

• 문제점: MRI 기계는 강력한 자석과 전기 신호를 켜고 끄는데, 이 과정에서 뇌파 센서에 **엄청난 잡음 (번개 같은 간섭)**이 생깁니다. 마치 폭풍우 치는 바다에서 작은 배의 흔들림을 재려고 할 때, 파도 소리가 너무 커서 배의 소리가 들리지 않는 상황과 비슷합니다.
• 해결책 (잡음 제거 필터): 연구진은 이 잡음을 없애기 위해 **정교한 '소거 필터'**를 개발했습니다.
  • MRI 가 만드는 규칙적인 잡음 패턴을 미리 알아두고 빼버립니다.
  • 심장이 뛰는 리듬에 맞춰 생기는 잡음도 제거합니다.
  • 말을 할 때 얼굴 근육이 움직이며 생기는 잡음도 분리해냅니다.
  • 결과: 마치 폭풍우를 잠재우고 맑은 바다에서 배의 흔들림을 선명하게 찍어낸 것과 같습니다.

🧪 3. 실험 내용: "말하지 않는 말"

연구진은 한 남성을 대상으로 실험을 했습니다.

1. 실제 말하기: "아파" 같은 단어를 소리 내어 말합니다.
2. 묵언 (Silent Speech): 소리는 내지 않지만 입 모양을 똑같이 움직입니다.
3. 상상 말하기 (Imagined Speech): 입도 움직이지 않고 머릿속에서만 말을 합니다.

이때 MRI 는 입 안쪽의 혀와 입술이 어떻게 움직이는지 실시간 비디오로 찍고, 뇌파와 근육 신호는 전기 신호로 기록했습니다.

💡 4. 놀라운 발견: "상상할 때도 입이 미세하게 움직인다"

가장 흥미로운 발견은 '상상 말하기' 부분입니다.
사람은 "입을 움직이지 말고 상상만 해라"라고 해도, 뇌가 명령을 내리면 입 안쪽의 미세한 근육들이 실제로 아주 조금씩 움직이는 것을 MRI 로 포착했습니다.

• 비유: 큰 소리로 노래를 부르지 않아도, 머릿속으로 노래를 부르면 목구멍이 미세하게 떨리는 것과 비슷합니다. 연구진은 이 미세한 떨림까지 잡아내어, "아, 사람이 말을 상상할 때도 뇌는 실제 말하듯 근육을 준비하고 있구나"라고 확인했습니다.

🚀 5. 이 기술이 왜 중요할까요? (미래의 가능성)

이 기술이 완성되면 두 가지 큰 변화를 가져올 수 있습니다.

1. 뇌 - 컴퓨터 인터페이스 (BCI) 의 혁신:

   • 말을 못 하는 분들 (뇌졸중, 루게릭병 등) 이 생각만으로 컴퓨터와 대화할 수 있게 됩니다.
   • 소리가 나지 않아도, 뇌 신호와 입 근육의 미세한 움직임을 분석하면 "무슨 말을 하려는지"를 정확히 알아낼 수 있어, 침묵의 언어를 해독하는 도구가 될 것입니다.

2. 언어 과학의 새로운 지평:

   • 우리가 말을 할 때 뇌가 어떻게 계획을 세우고, 근육이 어떻게 반응하는지 완벽한 지도를 그릴 수 있습니다.
   • 말더듬이나 발음 장애의 원인을 뇌와 근육의 연결 고리에서 찾아낼 수 있게 됩니다.

📝 요약

이 논문은 **"MRI 기계라는 폭풍우 속에서, 뇌파와 근육 신호라는 작은 배를 동시에 띄워, 말이 만들어지는 전 과정을 한 화면에 담는 데 성공했다"**는 이야기입니다.

이 기술은 앞으로 말을 잃어버린 사람들에게 목소리를 되찾아주고, 인간이 말을 하는 신비로운 뇌의 작동 원리를 밝히는 열쇠가 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

음성 생성 (Speech Production) 은 신경 계획, 운동 제어, 근육 활성화, 그리고 조음 운동학 (articulatory kinematics) 이라는 복잡한 과정의 연속입니다. 기존 연구에서는 주로 최종 산출물인 음향 신호 (acoustic signal) 에 의존하거나, 일부 모달리티 (예: EEG 와 EMA, 또는 rtMRI 와 EMG 등) 만을 결합하여 분석했습니다.

그러나 뇌 신호 (EEG), 근육 활성화 (EMG), 조음 운동 (rtMRI) 을 동시에 포착하는 기술적 난제가 존재하여 음성 생성의 인과적 생리학적 기전을 완전히 이해하는 데 한계가 있었습니다. 주요 기술적 장벽은 다음과 같습니다.

• 자기 유도 간섭: MRI 스캐너의 급격한 자기장 기울기 (gradient) 스위칭이 EEG 및 EMG 전극에 큰 전압 변동을 유발함.
• 심박수 아티팩트 (BCG): 정적 자기장 내에서의 심장 박동에 의한 운동이 EEG 신호에 간섭을 일으킴.
• 근원성 오염 (Myogenic Contamination): 발성 중 얼굴 근육의 수축과 머리의 미세한 움직임이 전극 접촉을 방해하여 뇌 신호를 왜곡시킴.

2. 방법론 (Methodology)

2.1 실험 장비 및 설정

• 장비: 0.55T MRI 스캐너 (전통적인 3T 보다 생체전기 신호 기록에 유리함), 맞춤형 8 채널 상기도 코일, BrainVision 시스템 (MRI 호환 EEG/EMG).
• 데이터 수집:
  • rtMRI: 99 fps (TR 5.05 ms) 로 실시간 구강 내 조음 기관 영상을 촬영.
  • EEG/EMG: 5 kHz 샘플링 주파수. 16 개 전극 (9 개 EEG, 2 개 EOG, 3 개 EMG, 1 개 ECG) 사용.
  • 동기화: 광섬유 트리거 (Fiber-optic trigger) 를 통해 MRI 클록과 생체 신호를 정밀하게 동기화.
• 실험 과제: 발음 (Fully phonated), 무성 발화 (Silent), 상상 발화 (Imagined speech) 과제를 수행하며, MRI 내부와 외부 조건에서 각각 12 회 반복.

2.2 노이즈 제거 파이프라인 (Artifact Suppression Pipeline)

동시 획득된 3 가지 모달리티의 신호 정합을 위해 다단계 노이즈 제거 프로세스를 도입했습니다.

1. 자기 아티팩트 제거 (Gradient & BCG Correction):
   • 기울기 아티팩트 (GA): MRI 기울기 스위칭으로 인한 주기적 고전압 변동을 제거하기 위해 평균 아티팩트 뺄셈 (Average Artifact Subtraction, AAS) 기법 적용.
   • 심장 박동 아티팩트 (BCG): ECG 채널을 참조하여 R-피크를 감지하고, 심박수에 동기화된 아티팩트 템플릿을 생성하여 EEG 신호에서 차감.
2. 근원성 및 안구 아티팩트 제거 (Myogenic & Ocular Correction):
   • CCA (Canonical Correlation Analysis) 기반 참조 제거: EMG(근육) 와 EOG(눈) 채널을 참조 신호로 사용하여 EEG 신호를 분해.
   • 참조 신호와 높은 상관관계 ($\rho > 0.4$) 를 보이는 성분을 아티팩트로 분류하여 직교 투영 (orthogonal projection) 을 통해 제거. 이를 통해 뇌의 신경 신호는 보존하면서 얼굴 근육 및 눈 깜빡임 노이즈를 제거.

3. 주요 기여 (Key Contributions)

• 최초의 3 모달리티 동시 획득: 음성 생성 중 **rtMRI(조음 운동), EEG(뇌 활동), 표면 EMG(근육 활성화)**를 동시에 기록하는 세계 최초의 시도.
• 맞춤형 아티팩트 제거 파이프라인: MRI 환경에서 발생하는 복합적인 간섭 (기울기, 심장, 근육) 을 해결하기 위해 기존 fMRI-EEG 기법을 확장하고 EMG 참조를 결합한 새로운 노이즈 제거 프레임워크 제시.
• 생리학적 진실성 (Physiological Ground Truth) 확보: 소리가 없는 상태 (무성/상상 발화) 에서도 조음 운동 궤적을 관측할 수 있는 데이터를 제공하여, 뇌 - 컴퓨터 인터페이스 (BCI) 학습을 위한 새로운 기준점 마련.

4. 결과 (Results)

• 영상 품질: EEG/EMG 장비 착용이 rtMRI 영상 (특히 혀와 같은 조음 관심 영역) 의 화질이나 SNR 에 유의미한 영향을 미치지 않음을 확인 (SNR: $10.148 \pm 0.575$).
• 아티팩트 제거 효과:
  • 자기 아티팩트: 보정 전에는 고주파 고조파와 큰 진폭의 변동이 관찰되었으나, 보정 후 외부 환경 (스캐너 밖) 에서의 신호와 유사한 시계열 및 주파수 특성을 회복함 (내부/외부 조건 간 상관관계 0.66, 전두엽/언어 영역에서는 0.8 이상).
  • 근원성 아티팩트: CCA 기반 제거 전에는 전두엽에 집중된 고진폭 아티팩트 (약 60 $\mu V$) 가 관찰되었으나, 제거 후에는 좌반구 우세 (Left-lateralized) 의 언어 처리 관련 신경 활성화 패턴이 명확히 드러남. 진폭이 약 20 $\mu V$ 수준으로 감소.
• 상상 발화 연구: 참가자가 의식적으로 움직임을 억제하도록 지시받았음에도 불구하고, rtMRI 를 통해 **미세 조음 운동 (Micro-articulatory movements, 예: velum 움직임)**이 관찰됨. 이는 상상 발화 시에도 미세한 운동 실행이 동반됨을 시사.

5. 의의 및 향후 전망 (Significance & Future Work)

• 뇌 - 컴퓨터 인터페이스 (BCI) 발전: 소리가 없는 상태 (무성/상상 발화) 에서도 조음 운동 궤적을 통해 신경 신호를 직접적으로 매핑할 수 있는 '생리학적 진실' 데이터를 제공함으로써, 더 강건한 음성 해독 (Speech Decoding) 알고리즘 개발 가능.
• 음성 과학의 심화: 신경 계획부터 운동 실행, 실제 조음에 이르는 전 과정의 시공간적 상관관계를 연구하여, 말더듬이나 실어증과 같은 언어 장애의 신경 기전 규명에 기여.
• 확장성: 제안된 획득 및 노이즈 제거 파이프라인은 다양한 MRI 스캐너와 고밀도 EEG 장비에 적용 가능하며, 향후 더 많은 피험자와 복잡한 언어 과제로 확장될 예정.

결론적으로, 이 연구는 음성 생성의 복잡한 생리학적 과정을 다각도로 관측할 수 있는 기술적 토대를 마련하였으며, 이를 통해 차세대 음성 BCI 및 신경언어학 연구에 혁신적인 통찰을 제공할 것으로 기대됩니다.