NasoVoce: A Nose-Mounted Low-Audibility Speech Interface for Always-Available Speech Interaction

이 논문은 환경 소음에 강건하면서도 저음량 발화까지 포착할 수 있도록 안경의 코받침에 마이크와 진동 센서를 융합한 'NasoVoce'라는 새로운 음성 인터페이스를 제안하고, 이를 통해 항상 가능한 조용하고 은밀한 AI 음성 대화의 실현 가능성을 입증했습니다.

핵심

코에 달린 '비밀의 마이크': 나소보스 (NasoVoce) 의 이야기

이 논문은 우리가 시끄러운 곳에서도, 혹은 옆사람에게 들리지 않게 AI 와 대화할 수 있는 새로운 방법을 소개합니다. 바로 안경의 코받침 (코 패드) 에 마이크와 진동 센서를 달아, 속삭임까지 잡아내는 장치인 **'나소보스 (NasoVoce)'**입니다.

이 기술을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드릴게요.

---

1. 왜 이런 게 필요할까요? (문제 상황)

생각해 보세요. 지하철이 시끄러울 때나, 도서관에서 조용히 AI 에게 질문하고 싶을 때, 큰 소리로 말하면 민폐가 되고, 속삭이면 AI 가 못 알아듣습니다.

• 큰 소리: 주변에 들리고, 소음에 묻힙니다.
• 속삭임: 주변 소음에 쉽게 묻혀 AI 가 "뭐라고?"라고 묻습니다.
• 입 모양 읽기: 카메라로 입모양을 읽는 건 프라이버시 문제가 있고, 안경처럼 일상적으로 쓰기엔 부담스럽습니다.

2. 나소보스의 비밀 무기: "코"에 달린 두 개의 귀

나소보스는 안경의 코받침 부분에 두 가지 센서를 달았습니다. 마치 한 사람이 두 가지 귀를 가진 것과 같습니다.

• 첫 번째 귀 (마이크): 공기 중의 소리를 듣습니다.
  • 장점: 소리가 선명하고 자연스럽습니다.
  • 단점: 주변 시끄러운 소음 (기차 소리, 사람 목소리) 이 섞이면 소리가 뭉개집니다.
• 두 번째 귀 (진동 센서): 코뼈와 피부의 진동을 느낍니다.
  • 장점: 주변 소음에 전혀 영향을 받지 않습니다. 내가 입으로 내는 소리가 아니라, 내 몸속에서 울리는 진동을 듣기 때문입니다.
  • 단점: 소리가 다소 낮고, 기계적인 느낌이 강합니다.

3. 마법 같은 조합: "두 귀"가 함께 일할 때

이 두 센서는 따로 작동하지 않고, 함께 작동합니다.

비유: imagine(상상해 보세요)
시끄러운 카페에서 친구와 비밀스러운 이야기를 나누고 싶다고 가정해 봅시다.

• 마이크만 있으면: 카페의 커피 기계 소리, 옆 테이블 대화 소리가 섞여 친구의 속삭임을 못 듣습니다.
• 진동 센서만 있으면: 친구의 목소리 진동은 잘 들리지만, 목소리가 뭉개져서 무슨 말인지 정확히 알아듣기 힘듭니다.
• 나소보스 (두 센서 합작): 마이크가 친구의 목소리 '형태'를 잡고, 진동 센서가 그 목소리의 '핵심'을 잡습니다. AI 는 이 두 정보를 합쳐 **"아, 이 진동은 '안녕'이라는 말의 진동이구나! 그리고 마이크 소리는 카페 소음이었구나!"**라고 구분해냅니다.

결과적으로 시끄러운 카페에서도 친구의 속삭임이 선명하게 들리는 마법이 일어납니다.

4. 왜 하필 '코'일까요?

목이나 귀 뒤에 센서를 붙이는 기존 기술들은 '성대 진동'에 의존합니다. 하지만 속삭임은 성대가 울리지 않습니다. (공기만 나가는 소리죠.) 그래서 기존 기술들은 속삭임을 잘 못 들었습니다.

하지만 코는 다릅니다.

• 코는 입과 가깝고, 숨을 쉴 때 공기가 코를 통과하며 진동을 만듭니다.
• 비유: 코는 입과 성대 사이의 '중계역' 같은 곳입니다. 성대가 울리지 않는 속삭임이라도, 공기가 코를 지날 때 코뼈와 피부가 미세하게 진동합니다. 나소보스는 이 미세한 진동을 잡아내어, 성대가 울리지 않는 속삭임까지도 알아들을 수 있게 해줍니다.

5. 실제로 얼마나 잘할까요?

연구진은 이 장치를 안경에 달고 다양한 실험을 했습니다.

• 시끄러운 기차 안, 카페, 거리에서도 나소보스는 주변 소음을 차단하고 사용자의 속삭임을 정확히 알아들었습니다.
• 반면, 최신 이어폰 (AirPods Pro 등) 의 '소음 제거' 기능은 시끄러운 소리를 잡는 데는 좋지만, 속삭임은 소음으로 오해해서 아예 지워버리는 문제가 있었습니다. 나소보스는 이 문제를 해결했습니다.

6. 결론: 언제 어디서나 조용한 AI 친구

나소보스는 "언제 어디서나, 남에게 들리지 않게, AI 와 대화할 수 있는" 완벽한 도구를 제시합니다.

• 편안함: 안경처럼 코에 가볍게 걸치면 됩니다.
• 비밀: 속삭여도 AI 는 알아듣고, 옆사람은 모릅니다.
• 강인함: 시끄러운 곳에서도 소리가 뭉개지지 않습니다.

이 기술은 앞으로 우리가 AI 와 대화할 때, 더 이상 "큰 소리로 말해야 한다"는 제약에서 벗어나, 생각하는 대로, 속삭이는 대로 자연스럽게 소통할 수 있는 시대를 열 것입니다. 마치 안경이 시력을 보정해주듯, 나소보스는 소리의 비밀을 지켜주며 AI 와의 대화를 가능하게 해주는 '마법의 코받침'이라고 할 수 있습니다.

기술 요약

1. 문제 정의 (Problem)

최근 생성형 AI 의 발전으로 인해 언제 어디서나 사용할 수 있는 '상시 이용 가능한 (Always-Available)' 음성 인터페이스에 대한 요구가 증가하고 있습니다. 그러나 기존 음성 인터페이스는 다음과 같은 주요 한계점을 가지고 있습니다.

• 사회적 수용성 및 사생활: 공공장소에서 큰 소리로 말하면 주변을 방해하거나 민감한 정보가 유출될 수 있습니다.
• 소음 내성 (Noise Robustness): 기존 마이크 기반 시스템은 환경 소음에 매우 취약하여, 시끄러운 곳에서는 인식률이 급격히 떨어집니다.
• 착용성 (Wearability): 입술 인식 (Lip-reading) 카메라는 얼굴을 가려야 하거나 카메라가 필요하여 착용감이 떨어지며, 이안 (In-ear) 장치는 장시간 착용 시 불편함을 줍니다.
• 조음 (Silent/Whispered Speech) 의 한계: 기존 '조음 (Silent Speech)' 기술은 명령어 위주로 제한된 어휘를 지원하거나, 소리가 너무 작아 외부 소음에 의해 쉽게 가려지는 문제가 있었습니다. 특히 속삭임 (Whispering) 은 성대 진동이 없어 기존 골전도 센서로 포착하기 어렵습니다.

2. 방법론 (Methodology)

가. 하드웨어 구성: NasoVoce

• 설치 위치: 스마트 글래스의 코받침 (Nose pad) 에 마이크와 진동 센서를 통합하여 장착합니다.
• 센서 구성:
  • MEMS 마이크 (Air-conduction): 공기 전도 음성을 포착하여 고품질 오디오를 제공하지만 환경 소음에 취약합니다.
  • MEMS 진동 센서 (Bone/Skin-conduction): 코뼈와 피부 진동을 포착합니다. 이 위치는 성대 진동뿐만 아니라 속삭임 시 발생하는 공기역학적 난류 (Aerodynamic turbulence) 와 공명도 포착할 수 있어, 기존 목이나 두개골 센서보다 속삭임 인식에 유리합니다. 소음에 강하지만 신호 품질은 낮습니다.
• 데이터 동기화: 두 센서 모두 PDM(Pulse Density Modulation) 인터페이스를 사용하여 동일한 클록으로 16kHz 샘플링 및 16 비트 디지털화되며, 시간 지연 없이 동기화된 스테레오 오디오 스트림 (좌: 진동, 우: 마이크) 으로 출력됩니다.

나. 소프트웨어 및 모델: D-DCCRN

• 모델 아키텍처: 기존 DCCRN(Deep Complex Convolution Recurrent Network) 을 확장한 D-DCCRN(Dual-DCCRN) 모델을 제안합니다.
• 동작 원리:
  • 마이크 (Mic) 와 진동 센서 (Vib) 의 복합 입력을 받아 실시간으로 오디오를 향상 (Enhancement) 시킵니다.
  • 복소수 (Complex-valued) 컨볼루션 및 LSTM 을 사용하여 진폭뿐만 아니라 위상 (Phase) 정보도 처리합니다. 이는 속삭임과 같은 비성대음 (Unvoiced sound) 이 환경 소음과 유사한 특성을 가지기 때문에 위상 정보가 구분에 중요하기 때문입니다.
• 학습 전략 (Training):
  • 재구성 손실 (Reconstruction Loss): 잡음이 섞인 마이크 입력과 진동 입력을 결합하여 깨끗한 음성 (Ground Truth) 을 복원하도록 학습합니다.
  • 지식 증류 (Knowledge Distillation): OpenAI Whisper Large-v2 모델을 '교사 (Teacher)'로 고정하고, D-DCCRN 의 출력이 Whisper 가 깨끗한 음성으로 인식한 결과와 일치하도록 '학생 (Student)' 모델을 학습시킵니다. 이를 통해 ASR(음성 인식) 성능을 직접적으로 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 센서 퓨전 인터페이스: 스마트 글래스의 코받침에 마이크와 진동 센서를 통합하여, 속삭임과 정상 음성을 모두 포착하면서도 사회적 거부감이 적은 착용형 장치를 구현했습니다.
2. 속삭임 인식 최적화: 코뼈 진동 센서의 고유한 특성을 활용하여, 기존 센서로는 포착하기 어려웠던 속삭임의 공기역학적 특성을 효과적으로 추출했습니다.
3. 고성능 딥러닝 모델: D-DCCRN 을 통해 잡음 환경에서도 고품질의 음성을 복원하고, Whisper 와 같은 대형 ASR 모델과 연동하여 높은 인식 정확도를 달성했습니다.
4. 실제 환경 검증: 다양한 잡음 환경 (카페, 길거리, 기차 등) 에서의 실제 테스트를 통해 기술의 실용성을 입증했습니다.

4. 평가 결과 (Results)

가. 음성 인식 정확도 (ASR: WER/CER)

• 실험 설정: OpenAI Whisper Large-v2 를 사용하여 정상음과 속삭임에 대한 단어 오류율 (WER) 을 측정했습니다.
• 결과:
  • 마이크 단독: 소음 레벨이 증가함에 따라 인식률이 급격히 저하되었습니다.
  • 진동 센서 단독: 소음에 강하지만, 속삭임의 경우 진동 신호가 약해 인식률이 낮았습니다.
  • NasoVoce (Fusion): 소음 환경 (0dB 이상) 에서 마이크 단독보다 높은 정확도를 보였으며, 특히 속삭임 인식에서 진동 센서 단독보다 일관되게 우수한 성능을 발휘했습니다.

나. 음질 평가 (Objective & Subjective)

• 객관적 지표 (PESQ, STOI): 다양한 소음 조건 (-20dB ~ 10dB) 에서 NasoVoce 의 향상된 오디오가 마이크 단독보다 높은 점수를 기록했습니다. (단, 극심한 소음 10dB 에서는 진동 센서 단독이 약간 더 높았으나, 이는 마이크 입력이 노이즈로 작용했기 때문으로 분석됨).
• 주관적 평가 (MUSHRA): 50 명의 참가자를 대상으로 한 평가에서, 향상된 오디오 (Enhanced) 는 소음 조건에서 마이크 입력보다 항상 높은 선호도를 보였습니다.

다. 현장 테스트 (In-the-Wild)

• 카페, 길거리, 기차 등 실제 환경에서 테스트한 결과, 애플 에어팟 프로 2 의 '음성 분리 (Voice Isolation)' 기능은 속삭임을 배경 소음으로 간주하여 거의 완전히 차단한 반면, NasoVoce 는 모든 환경에서 속삭임을 안정적으로 포착하고 외부 소음을 억제했습니다.

5. 의의 및 결론 (Significance)

• 상시 이용 가능한 AI 비서: NasoVoce 는 사회적 제약 (소리 내지 않음), 사생활 보호 (입술 가림), 환경 소음, 착용성이라는 네 가지 상충되는 요구사항을 동시에 해결합니다.
• 속삭임의 실용화: 속삭임은 소리가 작아 기존 기술로는 인식하기 어렵지만, NasoVoce 는 이를 고품질 음성으로 변환하여 일반 대화와 유사한 어휘량과 인식률을 제공합니다.
• 적응형 퓨전 전략: 연구진은 극심한 소음 환경에서는 마이크 입력을 배제하고 진동 센서만 사용하는 적응형 게이트 메커니즘의 필요성을 제안하며, 이는 향후 상용화를 위한 중요한 설계 방향을 제시합니다.

결론적으로, NasoVoce 는 스마트 글래스와 같은 웨어러블 디바이스를 통해 언제 어디서나 사생활을 보호하며 AI 와 자연스러운 대화를 나눌 수 있는 실용적인 인터페이스의 가능성을 입증했습니다.