SUBARU: A Practical Approach to Power Saving in Hearables Using SUB-Nyquist Audio Resolution Upsampling

이 논문은 저전력 청각 기기 (Hearables) 에서 아날로그 - 디지털 변환기의 샘플링 주파수와 비트 해상도를 의도적으로 낮추어 전력 소모를 3.31 배 감소시키면서도, 서브-나이퀴스트 샘플링 신호를 광대역으로 복원하는 SUBARU 기법을 통해 실시간 음성 향상 성능을 유지하는 실용적인 접근법을 제안합니다.

핵심

🎧 문제: "배터리가 금방 닳는 이어폰"과 "시끄러운 세상"

지금까지 이어폰은 소리를 잘 들으려고 매우 높은 품질의 데이터를 계속 수집했습니다.

• 비유: 마치 고해상도 4K 카메라로 24 시간 내내 영상을 찍는 것과 같습니다. 화질은 좋지만, 배터리 (전력) 를 엄청나게 많이 먹죠.
• 현실: 이어폰은 배터리가 작아서 이런 고부하 작업을 하면 금방 꺼집니다. 게다가 시끄러운 카페나 버스 안에서는 배경 소음 때문에 상대방 목소리가 들리지 않습니다.

기존 기술들은 "소음 제거"와 "고음질 복원"을 이어폰 자체에서 하려고 노력했지만, 그 과정에서 배터리가 너무 빨리 방전되는 문제가 있었습니다.

---

🚀 해결책: "SUBARU" (스마트한 분업 시스템)

이 논문이 제안한 SUBARU는 "이어폰이 모든 일을 다 하지 말고, 스마트폰이 도와주자"는 분업 시스템을 만듭니다.

1. 이어폰의 역할: "간이 보고서 작성" (저전력 모드)

• 기존 방식: 이어폰이 고해상도 (고화질) 소리를 다 받아서 처리함.
• SUBARU 방식: 이어폰은 소리를 아주 간소화해서 받습니다.
  • 비유: 이어폰은 복잡한 4K 영상을 찍지 않고, 스케치북에 대충 그린 8-bit 흑백 그림처럼 소리를 압축해서 스마트폰으로 보냅니다.
  • 효과: 데이터 양이 줄어들테니, 이어폰의 배터리 소모가 3.3 배나 줄어듭니다. (배터리가 3 배 더 오래 갑니다!)

2. 스마트폰의 역할: "고급 화가" (고성능 복원)

• 이어폰이 보낸 "초간단 스케치"를 스마트폰이 받아서 고화질 4K 영상으로 다시 그려냅니다.
• 스마트폰은 배터리가 크고 성능이 좋으니, 이 작업을 해도 전혀 문제없습니다.
• 핵심 기술: 스마트폰은 이어폰에서 온 "부족한 소리"에 missing 된 고음 (높은 소리) 을 AI 가 알아서 채워주고, 시끄러운 배경 소음까지 지워줍니다. 마치 손으로 그린 스케치를 AI 가 사진처럼 선명하게 복원해주는 것과 같습니다.

---

🛠️ SUBARU 가 어떻게 그렇게 잘 하나요? (4 가지 비밀 무기)

이 기술이 단순히 "소리를 줄였다가 다시 늘리는" 게 아니라, 정말 똑똑하게 작동하는 이유는 다음과 같습니다.

1. 이중 작업 (Waveform + Spectrum):

   • 소리를 분석할 때 '파형 (시간에 따른 모양)'과 '스펙트럼 (주파수 성분)' 두 가지 방식을 동시에 사용합니다.
   • 비유: 요리할 때 '재료의 질감 (파형)'과 '향기 (스펙트럼)'를 모두 체크해서 더 맛있는 요리를 만드는 것과 같습니다.

2. Mamba 라는 똑똑한 AI:

   • 기존에 쓰던 거대한 AI 모델 (Transformer) 대신, Mamba라는 더 가볍고 빠른 모델을 사용합니다.
   • 비유: 무거운 트럭 대신 스마트한 전기 자전거를 탄 것입니다. 성능은 비슷하거나 더 좋으면서, 에너지 (메모리) 는 훨씬 적게 씁니다.

3. 소리의 '위상 (Phase)'까지 복원:

   • 소리는 진폭 (크기) 만 중요한 게 아니라, 진동이 언제 시작되는지 (위상) 도 중요합니다. 기존 기술들은 이 부분을 잘 못 복원했는데, SUBARU 는 소리의 리듬과 타이밍까지 완벽하게 맞춰줍니다.
   • 비유: 악보의 음표 크기만 맞추는 게 아니라, 연주자의 템포와 감성까지 완벽하게 재현하는 것입니다.

4. 실시간 스트리밍 가능:

   • 이 모든 작업을 1 초도 걸리지 않게 (약 0.07 초) 처리합니다.
   • 비유: 이어폰에서 스마트폰으로 소리가 전달되는 동안, AI 가 그 소리를 실시간으로 고화질로 바꿔서 바로 귀에 들려줍니다. 끊김 없이 대화할 수 있습니다.

---

📊 실제 효과는 어떨까요?

• 배터리: 이어폰의 배터리 수명이 약 3 배 늘어납니다. (하루 종일 써도 끄떡없음)
• 음질: 시끄러운 버스나 카페에서도 상대방 목소리가 선명하게 들립니다.
• 속도: 스마트폰 (갤럭시 S21, 픽셀 7 등) 에서 실시간으로 작동하며, 지연 시간이 거의 없습니다.
• 범용성: 사람 목소리뿐만 아니라 음악 소리도 고화질로 복원해냅니다.

💡 결론

이 기술은 **"이어폰은 일을 덜 하고, 스마트폰이 대신 똑똑하게 처리한다"**는 아이디어입니다.

기존에는 이어폰이 "배터리가 빨리 닳는 고해상도 카메라"였다면, SUBARU 는 **"배터리가 오래 가는 저전력 카메라 + 스마트폰의 강력한 AI 화가"**가 협력하는 시스템입니다. 덕분에 우리는 시끄러운 세상에서도 이어폰을 오래 착용하며, 선명한 목소리로 대화할 수 있게 됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

Hearables(귀에 착용하는 웨어러블 컴퓨터) 는 건강 모니터링, 증강 현실 (AR), 음성 비서 등 다양한 분야에서 활용되고 있으나, 다음과 같은 실용적인 한계점을 가지고 있습니다.

• 높은 전력 소모: 기존의 hearables 는 아날로그 - 디지털 변환기 (ADC) 에서 나이퀴스트 주파수 (16 kHz 이상) 와 높은 비트 해상도 (12 비트 이상) 로 오디오를 샘플링하여 높은 전력 소모를 유발합니다.
• 음질 저하와 노이즈: 공기 전도 마이크 (ACM) 만 사용할 경우 배경 소음에 취약하며, 뼈 전도 마이크 (BCM) 를 보조로 사용하더라도 기존 알고리즘들은 저전력 구현을 고려하지 않았습니다.
• 기존 기술의 한계:
  • 기존 음성 향상 (SE) 및 대역폭 확장 (BWE) 알고리즘은 고해상도 입력을 전제하므로, ADC 의 샘플링 주파수와 비트 해상도를 낮추는 경우 음질이 급격히 떨어집니다.
  • 최신 모델 (GAN 기반 등) 은 파라미터 수가 수억 개에 달해 모바일 플랫폼에서 실행하기에는 메모리 및 연산 자원이 부족합니다.
  • 기존 연구들은 하위 나이퀴스트 (Sub-Nyquist) 샘플링된 신호를 고해상도로 복원하는 광대역 재구성 방법론을 제공하지 못했습니다.

2. 제안 방법론: SUBARU (Methodology)

저자들은 SUBARU(Sub-Nyquist Audio Resolution Upsampling) 라는 새로운 아키텍처를 제안했습니다. 이는 **분할 아키텍처 **(Split Architecture) 를 기반으로 하며, hearables 와 모바일 플랫폼 (스마트폰) 간의 역할을 다음과 같이 분담합니다.

A. 시스템 아키텍처

• **Hearables **(저전력 단말기) ACM 과 BCM 신호를 **하위 나이퀴스트 샘플링 주파수 **(예: 4 kHz)와 **낮은 비트 해상도 **(예: 8 비트)로 샘플링하여 전송합니다. 이는 ADC 의 전력 소모를 획기적으로 줄입니다.
• **모바일 플랫폼 **(고성능 단말기) hearables 로부터 전송된 저해상도 신호를 수신하여, **연결된 대역폭 확장 **(BWE)을 수행하여 고해상도 (예: 16~24 kHz, 12 비트) 의 고품질 오디오로 복원합니다.

B. 핵심 설계 요소 (4 가지)

1. **하이브리드 아키텍처 **(Waveform + Spectrum) 파형 기반 (Waveform-based) 과 스펙트럼 기반 (Spectrum-based) 방법을 결합하여, 파형의 정밀함과 스펙트럼의 효율성을 모두 확보합니다.
2. **효율적인 네트워크 구조 **(U-Net + Mamba)
   • GAN 의 높은 성능과 U-Net 의 낮은 메모리/빠른 수렴 장점을 결합하기 위해 **다중 스케일 및 다중 주기 손실 함수 **(Multi-scale & Multi-period Loss)를 적용한 U-Net 을 사용합니다.
   • Transformer 대비 파라미터가 약 1/3 적고 효율적인 시퀀스 모델링인 Mamba를 병목 레이어 (Bottleneck) 에 도입하여 연산 효율성을 극대화했습니다.
3. **위상 재구성 **(Phase Reconstruction) 잡음 환경에서 청각적 품질을 높이기 위해 **순간 위상 **(Instantaneous Phase)과 **군 지연 **(Group Delay)을 학습하여 깨끗한 위상을 복원합니다.
4. 실시간 스트리밍 지원: 프레임 단위 (Frame-by-frame) 처리가 가능하도록 최적화되어, hearables 에서 모바일로 실시간 스트리밍이 가능합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 전력 소모 감소

• ADC 샘플링을 {24 kHz, 12-bit}에서 {4 kHz, 8-bit}로 낮추었을 때, hearables 의 전력 소모가 3.31 배 감소했습니다.
• 이는 hearables 의 배터리 수명을 약 3.31 배 연장할 수 있음을 의미합니다.
• 모바일 플랫폼에서 추가적인 BWE/SE 연산으로 인한 전력 소모는 hearables 의 절감량에 비해 미미하여 (스마트폰 배터리는 hearables 보다 100 배 이상 큼), 전체 시스템 효율성이 크게 향상됩니다.

B. 성능 평가 (Performance)

• 음질 및 명료도: 10 개의 SOTA 모델 (GAN 기반, U-Net 기반, Diffusion 기반 등) 과 비교하여, SUBARU 는 LSD(로그 스펙트럼 거리) 등 모든 평가 지표에서 우수한 성능을 보였습니다.
  • 특히 GAN 기반 모델들 (HiFi++, AERO 등) 보다 3.61 배 더 빠른 추론 시간을 기록하면서도 유사하거나 더 나은 청각적 품질을 제공했습니다.
• 실시간 처리:
  • **데스크탑 **(GPU) 1.74 ms 추론 시간.
  • **모바일 **(Google Pixel7) 71 ms 추론 시간.
  • 이는 국제전기통신연합 (ITU) 이 권장하는 음성 통신의 최대 허용 지연 (150 ms) 을 만족하여, hearables 에서 모바일로의 실시간 스트리밍이 가능함을 입증했습니다.
• 다양한 환경 적응: 실험실 내외의 다양한 잡음 환경 (버스, 교실, 차량, 라이브 스피치 등) 에서 테스트되었으며, Whisper 를 이용한 문자 오류율 (CER) 감소로 명료도 향상을 확인했습니다.

C. 모델 효율성

• 전체 모델 크기는 13.77 MB, 파라미터 수는 3.61 M으로, 기존 GAN 모델들 (수백 M 파라미터) 에 비해 매우 경량화되었습니다.

4. 의의 및 결론 (Significance & Conclusion)

이 논문은 Hearables 의 전력 소모와 음질 간의 트레이드오프를 해결하는 실용적인 솔루션을 제시했습니다.

• 기술적 혁신: 하위 나이퀴스트 샘플링과 저비트 해상도를 의도적으로 사용하여 하드웨어 전력 소모를 줄이고, 이를 모바일 플랫폼의 강력한 연산 능력으로 보완하는 분산 처리 아키텍처를 성공적으로 구현했습니다.
• 실용성: 기존 연구들이 간과했던 ADC 의 비트 해상도 변화에 따른 영향과 저전력 환경에서의 실시간 스트리밍 가능성을 입증했습니다.
• 미래 영향: SUBARU 는 배터리 수명이 제한적인 웨어러블 기기에서 고품질 음성 통신과 증강 현실 경험을 가능하게 하여, 차세대 스마트 Hearables 의 표준 아키텍처로 자리 잡을 수 있는 잠재력을 가지고 있습니다.

요약하자면, SUBARU 는 **"낮은 전력으로 샘플링하여 전송하고, 모바일에서 고도화된 AI 로 복원한다"**는 접근 방식을 통해 Hearables 의 전력 효율성과 음질을 동시에 극대화한 획기적인 연구입니다.