Affect Decoding in Phonated and Silent Speech Production from Surface EMG

이 논문은 발화 및 무성 발화 중 얼굴과 목의 표면 근전도 (sEMG) 신호를 분석하여 좌절감을 포함한 감정을 0.845 AUC 의 정확도로 식별할 수 있음을 입증하고, 무성 발화에서도 감정 신호가 유지됨을 보여줌으로써 감성 인식 무성 발화 인터페이스의 가능성을 제시합니다.

핵심

1. 연구의 핵심: "감정은 목소리가 아니라 '근육의 춤'에 있다"

우리는 보통 감정을 목소리 톤 (높낮이, 빠르기) 으로 판단합니다. 하지만 이 연구는 "목소리가 나지 않아도, 얼굴과 목의 근육이 감정을 표현하는 춤을 추고 있다" 는 가설을 세웠습니다.

• 비유: 감정이 담긴 말은 마치 연극 배우의 연기와 같습니다.
  • 목소리 (Acoustic): 배우가 대사를 외치는 소리입니다. (우리가 평소 듣는 것)
  • 근육 (EMG): 배우가 대사를 외치면서 얼굴을 찡그리거나, 미소를 짓거나, 목을 긴장시키는 몸짓입니다.
  • 연구의 발견: 이 연구는 "목소리를 아예 내지 않고 (묵언), 입만 움직여도 배우의 '몸짓 (근육 움직임)'만으로도 그 사람이 화가 났는지, 정중하게 말하려는지 알아챌 수 있다"는 것을 증명했습니다.

2. 실험 방법: "무대 위의 배우 12 명"

연구진은 12 명의 참가자를 모아 다음과 같은 실험을 했습니다.

• 상황 1 (대본 읽기): "아파트를 구하고 싶다"라는 문장을 중립, 정중함, 화남 세 가지 감정으로 말하게 했습니다.
  • 한 번은 목소리를 내서 말하게 하고, 바로 다음에는 목소리를 내지 않고 입만 움직이게 (묵언) 했습니다.
• 상황 2 (실제 대화): 가상의 보험 상담원과 대화하게 했습니다. 상담원이 무례하게 굴면 참가자는 화를, 친절하게 굴면 정중함을 느끼게 했습니다.
• 측정 도구: 참가자의 얼굴과 목에 작은 전극 (센서) 을 붙여 근육이 미세하게 떨리는 전기 신호 (EMG) 를 기록했습니다. 마치 근육의 심전도를 찍는 것과 같습니다.

3. 주요 발견: "소리가 없어도 감정은 읽힌다!"

연구 결과는 놀라웠습니다.

• 화 (Frustration) 는 가장 잘 읽혔습니다:
  • 컴퓨터가 근육 신호를 분석했을 때, 화난 감정을 약 84.5% 의 정확도로 찾아냈습니다. (소리가 날 때나 안 날 때나 비슷했습니다.)
  • 비유: 마치 잠자는 사람도 꿈속에서 발을 차는 것처럼, 화가 나면 목소리가 없어도 얼굴 근육이 "화나!"라고 외치는 것입니다.
• 묵언 (Silent Speech) 도 가능:
  • 소리를 내지 않고 입만 움직여도 감정을 읽을 수 있었습니다. 이는 소리 없는 대화 (Silent Speech Interface) 나 성대 제거 수술을 받은 분들의 감정 표현을 이해하는 데 큰 도움이 될 수 있습니다.
• 사람마다 다르지만, 공통점도 있다:
  • 사람마다 근육을 쓰는 습관이 달라서, 한 사람의 데이터를 다른 사람에게 바로 적용하기는 어렵습니다. 하지만 이마 (E6 채널) 나 입 주변의 근육 움직임이 감정을 읽는 데 가장 중요한 '열쇠'라는 공통점을 발견했습니다.

4. 왜 이 연구가 중요할까요? (실생활 적용)

이 기술이 발전하면 다음과 같은 일이 가능해질 수 있습니다.

1. 조용한 환경에서의 감정 인식: 도서관이나 회의실처럼 소리를 내면 안 되는 곳에서, 상대방이 화났는지 이해할 수 있습니다.
2. 보조 기기 (Speech Prosthesis): 성대가 없어 소리를 낼 수 없는 분들이, 입만 움직여도 "화났다", "기쁘다"는 감정을 기계가 읽어내어 더 자연스러운 소통이 가능해집니다.
3. 사생활 보호: 소리를 내지 않고 말하면 녹음 장치가 감지하지 못하지만, 근육 신호는 감지할 수 있어 새로운 형태의 보안이나 인터페이스가 생길 수 있습니다.

요약

이 논문은 "감정은 소리에만 있는 게 아니라, 우리 몸 (근육) 의 미세한 떨림에도 깊이 새겨져 있다" 는 것을 보여줍니다. 소리가 나지 않아도 (묵언), 얼굴 근육의 신호만으로도 "그 사람은 지금 화가 났구나" 를 알아챌 수 있다는 사실은, 앞으로 우리가 사람과 기계, 혹은 사람과 사람을 소통하는 방식을 바꿀 수 있는 흥미로운 첫걸음입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 정서 (Affect) 는 구어 의사소통의 핵심 요소이나, 정서가 구어 생성의 기저에 있는 운동 실행 (articulatory execution) 과 어떻게 연결되는지는 명확하지 않습니다. 기존 연구는 주로 음향 신호 (Acoustic signal) 를 통해 정서를 분석하거나, 수동적인 감정 자극에 대한 얼굴 표정 (EMG) 을 분석하는 데 집중했습니다.
• 문제점:
  1. 음향 정보의 부재: 청각 정보가 제한되거나 왜곡된 환경 (보조 의사소통 기술, 성절제술 후, 저가청 환경 등) 에서 정서적 뉘앙스를 복원하는 것이 어렵습니다.
  2. 연구 공백: 대부분의 sEMG 연구는 언어적 내용 (단어, 문장) 복원에 집중했고, 정서적 변조 (affective modulation) 를 분석한 연구는 드뭅니다. 특히 발성 (Phonated) 과 무음 발화 (Silent speech) 모드 모두에서 정서가 어떻게 인코딩되는지, 그리고 화자 간 (Inter-subject) 으로 이러한 신호가 얼마나 견고한지 연구된 바가 부족합니다.
• 목표: 얼굴 및 목 부위의 표면 근전도 (sEMG) 를 활용하여 발성 및 무음 발화 중 정서 상태 (좌절, 정중함, 중립) 를 해독할 수 있는지, 그리고 이러한 정서적 서명이 운동 실행에 어떻게 내재되어 있는지 규명하는 것.

2. 데이터 및 방법론 (Methodology)

2.1. 데이터셋 (ST-Case Dataset)

• 구성: 12 명의 참가자 (여성 9 명, 평균 연령 26.2 세) 로부터 수집된 총 2,780 개의 발화 (Utterances).
• 실험 과제:
  1. Task 1 & 3 (제시된 읽기): 아파트 검색 대화 맥락에서 중립, 정중함, 좌절감의 세 가지 정서로 50 개의 문장을 발성 및 무음으로 읽는 과제. (각 참가자당 100 회 발성, 100 회 무음)
  2. Task 2 (자발적 대화): 마법사의 지팡이 (Wizard-of-Oz) 방식의 자동차 보험 상담 시나리오. 한 시나리오는 정중함을, 다른 시나리오는 좌절감을 유발하도록 설계됨. (자발적 발화만 포함)
• 센서: 8 채널 sEMG (Brain Products actiCHamp Plus, 10kHz 샘플링) 및 오디오 (48kHz).
  • 전극 위치: 턱밑 (Infrahyoid), 턱 위 (Suprahyoid), 구강 주변 (Orbicularis Oris), 이마 (Depressor Supercilii), 광대뼈 (Zygomaticus Major) 등 8 지점.
• 전처리: 고역/저역/노치 필터링, 다운샘플링 (1kHz), 이상치 제거, 베이스라인 보정.

2.2. 특징 추출 (Feature Extraction)

• sEMG 특징:
  • Handcrafted: 평균 정류값, 표준편차, 변동계수, 최대 진폭, RMS, 주파수 대역 (PSD), 스펙트럼 엔트로피, 교차 채널 상관관계 등 (92 차원).
  • TD-0 특징: 저/고주파 성분, 제로 크로스링 (ZCR) 등을 기반으로 한 시계열 특징.
  • Deep Learning Embeddings: sEMG 신호로 사전 훈련된 BioCodec 모델의 임베딩 (128 차원) 사용.
• 음성 특징 (비교 대상):
  • eGeMAPSv02: 전통적인 프로소디 특징.
  • Vox-Profile: Whisper-Large 기반의 딥러닝 음성 정서 임베딩 (256 차원).

2.3. 평가 설정

• 모델: SVM (RBF 커널, Handcrafted 특징용) 및 선형 프로브 (Linear Probe, 임베딩용).
• 평가 지표: 균형 정확도 (BAC), ROC 곡선 아래 면적 (AUC).
• 교차 검증:
  • Intra-subject: 5 폴드 교차 검증 (문장 단위 데이터 누수 방지).
  • Inter-subject: Leave-One-Subject-Out (LOSO) 방식 (새로운 화자에 대한 일반화 능력 평가).
• 연구 질문 (RQ):
  1. sEMG 로 정서 해독이 가능한가?
  2. 발성 vs 무음 발화 간 해독 성능 차이는?
  3. 통제된 실험 vs 자발적 대화 간 일반화 가능성은?

3. 주요 결과 (Key Results)

3.1. 정서 해독 성능 (RQ1)

• Intra-subject: sEMG 기반 모델이 음성 기반 모델보다 우월한 성능을 보임.
  • TD-0 특징이 가장 높은 성능 기록 (AUC = 0.845).
  • 음성 특징 (eGeMAPS, Vox-Profile) 은 상대적으로 낮은 성능 (AUC 0.64~0.73) 을 보임.
• Inter-subject: 화자 간 일반화 성능은 전반적으로 감소했으나, sEMG 가 여전히 유의미한 성능 유지.
  • BioCodec 임베딩이 화자 간 일반화에서 가장 좋은 성능 (AUC 0.574) 을 보임.
  • 문장 반복 실험: 동일한 문장을 다른 정서로 반복했을 때, 음성 모델 (특히 Vox-Profile) 의 성능이 급격히 하락 (AUC 0.469) 하여 단어/문맥 의존성을 보인 반면, sEMG 모델은 AUC > 0.7을 유지하여 정서적 신호가 단어 자체보다 운동 실행에 더 강하게 내재되어 있음을 증명.

3.2. 발성 vs 무음 발화 (RQ2)

• 모드 간 전이: 발성 (Phonated) 데이터로 학습한 모델이 무음 (Silent) 데이터에서도 잘 일반화됨 (Intra-subject AUC 0.707).
• 무음 발화의 이점: 무음 발화 조건에서 얼굴 근육 (특히 E6, 이마 부위) 의 정서적 부호화가 더 명확하게 나타남. 이는 무음 발화 시 외부 소음 없이 운동 제어에 더 집중하기 때문으로 해석됨.
• 전체적 결론: 정서적 변조는 주로 음성 생성의 핵심 요소가 아닌, 부수적인 얼굴 및 목 근육 운동에 강하게 인코딩되어 있음.

3.3. 자발적 대화에서의 일반화 (RQ3)

• Task 2 (자발적 좌절/정중함) 평가: 통제된 실험 (Task 1, 3) 으로 학습된 모델을 자발적 대화에 적용.
• 성능: 음성 기반 모델 (Vox-Profile, AUC 0.743) 이 sEMG 모델 (BioCodec, AUC 0.630) 보다 자발적 대화에서 더 높은 성능을 보임. 이는 자발적 대화에서 풍부한 음향적 단서가 존재하기 때문.
• 의의: 그럼에도 불구하고 sEMG 모델은 우연 수준 (Chance) 을 상회하는 성능을 보이며, 통제된 실험에서 학습된 정서적 운동 서명이 자발적 상황에서도 부분적으로 전이 가능함을 입증.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 새로운 데이터셋 (ST-Case): 발성 및 무음 발화, 통제 및 자발적 상황을 모두 아우르는 대규모 sEMG-정서 데이터셋을 공개 (비공개 조건 하에 공유 가능).
2. 정서의 운동적 기저 규명: 정서가 단순히 소리 (음향) 에만 존재하는 것이 아니라, 구강 및 얼굴 근육의 운동 실행 (Motor execution) 에 깊이 내재되어 있음을 실증. 특히 무음 발화에서도 정서적 서명이 유지됨을 확인.
3. 무음 정서 인터페이스의 가능성: 음성이 없는 상황 (무음 발화) 에서도 sEMG 를 통해 정서 (특히 좌절감) 를 0.845 AUC 까지 정확히 식별 가능함을 보여줌. 이는 청각 장애인이거나 성절제술을 받은 사용자를 위한 정서 인식형 무음 음성 인터페이스 (Affect-aware Silent Speech Interfaces) 개발의 토대가 됨.
4. 모델 일반화 통찰:
   • 단순한 특징 (Handcrafted) 보다 사전 훈련된 임베딩 (BioCodec) 이 화자 간 일반화 및 복잡한 조건 (반복 문장, 교차 모드) 에서 더 강력한 성능을 보임.
   • 얼굴 부위 (특히 이마) 와 목 부위 근육이 정서 해독에 서로 다른 역할을 하며, 화자 간 일반화 시 목 부위 신호가 더 일관된 패턴을 보임.

5. 결론

이 연구는 sEMG 신호가 구어 생성 과정의 정서적 변조를 효과적으로 포착할 수 있음을 입증했습니다. 특히 무음 발화 상황에서도 정서적 신호가 유지된다는 점은, 소리가 없는 환경에서도 자연스럽고 표현력 있는 의사소통을 가능하게 하는 차세대 보조 기술의 핵심이 될 수 있음을 시사합니다. 향후 더 많은 참가자와 생태학적 타당성이 높은 환경에서의 연구가 필요하지만, 본 연구는 정서가 "들리는 것 (Audible)"을 넘어 "몸에 담기는 것 (Embodied)"임을 명확히 보여주었습니다.