Fine-grained Soundscape Control for Augmented Hearing

이 논문은 제한된 컴퓨팅 자원을 가진 청각 보조 장치에서 실시간으로 여러 소리 소스를 개별적으로 추출하고 볼륨을 조절할 수 있는 최초의 시스템인 'Aurchestra'를 제안하여, 단순한 소음 제거를 넘어 환경을 프로그래밍 가능하게 만드는 정교한 사운드스케이프 제어 기술을 제시합니다.

핵심

🎧 오케스트라 (Aurchestra): 당신의 귀를 위한 '실시간 사운드 믹싱대'

이 논문은 우리가 매일 듣는 소리를 단순히 '끄거나' '키거나'만 할 수 있는 기존 이어폰/보청기의 한계를 깨고, 소리를 마치 스튜디오에서 음악을 믹싱하듯 자유롭게 조절할 수 있는 새로운 기술을 소개합니다. 이 시스템의 이름은 **'오케스트라 (Aurchestra)'**입니다.

이 기술을 쉽게 이해하기 위해 몇 가지 비유를 들어보겠습니다.

---

1. 기존 기술 vs 오케스트라: "소음 차단" vs "지휘자"

• 기존 이어폰 (블랙 & 화이트):
  지금 우리가 쓰는 노이즈 캔슬링 이어폰은 마치 **무언가 "끄는 스위치"나 "켜는 스위치"**만 있는 것과 같습니다.

  • "소음 끄기"를 누르면 모든 소리가 차단되고, "사람 목소리 듣기"를 누르면 모든 소리가 들립니다.
  • 비유: 거대한 폭포 소리가 들리는 곳에서, 당신은 폭포 소리를 완전히 차단하거나 (모두 끄기), 폭포 소리와 함께 옆에 있는 친구의 대화까지 모두 듣는 것 (모두 켜기) 사이에서만 선택할 수 있습니다. 친구의 목소리만 듣고 폭포 소리는 줄이고 싶다면? 불가능합니다.

• 오케스트라 (Aurchestra):
  이 시스템은 당신을 '소리 지휘자'로 만들어줍니다.

  • 비유: 복잡한 오케스트라 연주회 (거리, 카페, 공원 등) 에 있다고 상상해 보세요. 오케스트라는 바이올린 (새소리), 트럼펫 (차 경적), 타악기 (건설 공사 소리), 그리고 성악 (사람 대화) 이 동시에 울립니다.
  • 기존 이어폰은 "전체 음량 줄이기"나 "전체 음량 키우기"만 가능하지만, 오케스트라는 각 악기 (소리) 의 볼륨을 따로 조절할 수 있는 콘솔을 제공합니다.
  • 실제 상황:
    • 차가 지나가는 소리는 줄이고 (트럼펫 볼륨 Down),
    • 옆에 있는 친구의 대화는 크게 하고 (성악 볼륨 Up),
    • 배경에 있는 새 소리는 그대로 유지 (바이올린 볼륨 유지)
  • 이렇게 원하는 소리만 골라 섞어서 들을 수 있습니다.

2. 어떻게 작동할까요? (두 가지 핵심 마법)

이 시스템은 두 가지 마법 같은 기술로 작동합니다.

① 마법 1: "지금 무슨 소리가 들리는지 알아맞히는 눈" (동적 인터페이스)

• 문제점: 보통 이어폰 설정 메뉴에는 20 가지 이상의 소리 목록 (새, 차, 사람, 개, 고양이 등) 이 쭉 나열되어 있습니다. 소리가 들릴 때마다 목록을 스크롤해서 "아, 지금 차 소리가 들리네? 차를 찾아서 누르자"라고 하면 너무 귀찮고 느립니다.
• 오케스트라의 해결책: 자동으로 현재 들리는 소리만 보여줍니다.
  • 비유: 레스토랑 메뉴판이 생각보다 훨씬 똑똑해졌습니다. 당신이 "배가 고프다"고 말하면, 메뉴판이 모든 음식을 보여주는 게 아니라, 지금 주방에서 요리 중인 메뉴 (현재 들리는 소리) 만 딱 3~4 개만 띄워줍니다.
  • 그래서 사용자는 "차 소리"와 "대화 소리"만 보고 바로 선택하면 됩니다.

② 마법 2: "작은 귀에 들어가는 초고속 믹싱대" (실시간 추출 기술)

• 문제점: 소리를 분리해서 섞는 작업은 보통 무거운 컴퓨터나 서버에서 해야 합니다. 하지만 이어폰은 배터리가 작고 성능이 약해서 이런 복잡한 작업을 실시간으로 하기 어렵습니다.
• 오케스트라의 해결책: 초경량 AI 모델을 만들어서 이어폰 자체에서 바로 처리합니다.
  • 비유: 거대한 믹싱 콘솔을 휴대폰 크기만큼 작게 줄여서 이어폰 안에 넣은 것과 같습니다.
  • 소리가 들어오자마자 (약 6 밀리초, 눈깜짝할 사이보다 훨씬 빠름) AI 가 소리를 분석하고, "이건 차 소리, 저건 사람 소리"라고 구분한 뒤, 사용자가 설정한 대로 볼륨을 조절해서 다시 합쳐서 들려줍니다.
  • 이 과정이 너무 빨라서 사용자가 "아, 소리가 늦게 들리는구나"라고 느끼지 않습니다.

3. 실제 실험 결과: 얼마나 잘할까요?

연구진들은 실제 거리와 실내에서 이 시스템을 테스트했습니다.

• 성능: 기존 기술보다 소리를 더 선명하게 분리해냈습니다. 특히 5 가지 소리가 동시에 섞여 있어도 (예: 차 소리 + 대화 + 새소리 + 공사소리 + 음악) 각각을 잘 구별해냈습니다.
• 사용자 경험: 실험 참가자들은 "배경 소음 (차 소리 등) 이 훨씬 덜 거슬린다"고 느꼈고, "전체적인 청취 경험이 훨씬 좋아졌다"고 평가했습니다.
• 편의성: 소리 목록을 자동으로 보여주기 때문에, 사용자가 소리를 고르는 시간이 약 68% 단축되었습니다.

4. 결론: 당신의 귀는 이제 '프로그램 가능한 스튜디오'

이 논문이 말하려는 핵심은 **"세상의 소리는 하나의 덩어리가 아니라, 우리가 원하는 대로 조절할 수 있는 악기들이다"**는 것입니다.

• 기존: "소음이 싫으면 다 끄고, 사람 목소리가 들리면 다 켜라." (흑백 논리)
• 오케스트라: "차 소리는 작게, 새 소리는 크게, 대화는 또렷하게." (나만의 사운드 믹싱)

이 기술이 상용화되면, 우리는 소음에 시달리거나 중요한 소리를 놓치는 대신, 매 순간의 청각 환경을 내가 원하는 대로 '디자인'할 수 있게 될 것입니다. 마치 내가 내 인생의 사운드트랙을 직접 믹싱하는 작곡가가 되는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

현재의 가청 장치 (Hearables, 예: 이어폰, 보청기) 는 소음 제어 기능이 매우 단순합니다. 사용자는 전역적인 소음 제거 (모든 소음 차단) 또는 단일 목표 음원 (예: 사람 목소리만) 에 집중하는 이분법적인 선택만 가능합니다. 그러나 실제 생활 환경은 동시에 발생하는 다양한 소리 (교통소음, 대화, 새소리, 경적 등) 가 섞인 복잡한 음향 장면 (Soundscape) 입니다. 사용자는 특정 소리는 증폭하고, 다른 소리는 억제하며, 나머지는 유지하는 등 세밀한 (Fine-grained) 소음 제어를 원하지만, 기존 기술은 이를 지원하지 못합니다.

2. 제안 시스템: Aurchestra (Methodology)

저자들은 자원 제약이 있는 가청 장치에서 실시간으로 작동하는 최초의 **세밀한 음향 장면 제어 시스템인 'Aurchestra'**를 제안합니다. 이 시스템은 사용자가 마치 오디오 엔지니어가 믹싱 콘솔을 조작하듯, 환경 소리를 실시간으로 믹싱할 수 있게 합니다.

핵심 구성 요소 및 기술적 접근

• 실시간 다중 출력 타겟 음원 추출 (Real-time Multi-output Extraction):

  • 문제: 기존 모델은 하나의 출력만 생성하거나, 모든 클래스에 대한 출력을 생성하여 비효율적입니다.
  • 해결: 사용자가 선택한 클래스 (최대 5 개) 에만 해당하는 독립적인 오디오 스트림을 생성하는 다중 출력 네트워크를 설계했습니다.
  • 아키텍처:
    • Dual-path Time-Frequency Model: 주의 (Attention) 메커니즘 대신, 사용자 선택 클래스의 멀티-핫 (Multi-hot) 인코딩을 조건으로 하는 듀얼 경로 (Dual-path) 시계열 - 주파수 모델을 사용합니다. 이는 저전력 장치에 적합하며 성능이 뛰어납니다.
    • 동적 매핑: 고정된 20 개 클래스 대신, 선택된 클래스 수 (예: 5 개) 에 맞춰 출력 스트림을 동적으로 할당하여 계산 오버헤드를 줄이고 학습 효율성을 높였습니다.
    • 지연 시간 최적화: 6ms 오디오 청크를 처리하며, 알고리즘 지연 시간을 10ms 미만으로 유지하여 실시간 청취 경험을 보장합니다.

• 하드웨어 특화 모델 최적화 (Hardware-Specific Optimizations):

  • 다양한 하드웨어 (Orange Pi 5B, Raspberry Pi 4B, NeuralAids/GAP9 AI 가속기) 에 맞춰 아키텍처를 변형했습니다.
  • NeuralAids 모델: 병렬 처리가 가능한 MLP-Mixer 를 사용하여 LSTM 의 순차적 처리 한계를 극복하고, GreenWaves GAP9 칩의 8/16 비트 고정 소수점 연산 특성을 활용하여 전력 효율을 극대화했습니다 (56mW 소비).

• 동적 인터페이스 (Dynamic Interface):

  • 소리 이벤트 감지 (SED): 스마트폰의 경량화된 SED 모델 (Audio Spectrogram Transformer, AST 기반) 이 실시간으로 환경 소리를 분석합니다.
  • 맥락 인식: 사용자가 모든 20 개 카테고리 목록을 스크롤할 필요 없이, 현재 환경에서 감지된 활성화된 소리 클래스만 인터페이스에 표시하여 선택 부담을 줄입니다.
  • 지연 시간 감소: 알고리즘 지연 시간을 숨기기 위해 이전 청크의 결과를 미리 로드하는 스태거드 버퍼링 (Staggered buffering) 전략을 사용합니다.

• 학습 방법론:

  • 20 개의 타겟 클래스 (경보, 아기 울음, 새소리 등) 와 141 개의 간섭 클래스를 포함한 대규모 데이터셋 (FSD50K, ESC-50 등) 으로 학습했습니다.
  • 중첩된 소리 (Overlapping sounds) 환경에서 정확도를 높이기 위해 AST 모델을 미세 조정 (Fine-tuning) 하여, 5 개의 중첩 소리가 있는 상황에서도 93.2% 의 정확도를 달성했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 세밀한 음향 제어 시스템: 가청 장치에서 실시간으로 여러 소리 클래스를 독립적으로 조절 (볼륨 증감/감쇄) 할 수 있는 첫 번째 시스템입니다.
2. 효율적인 다중 출력 추출 네트워크: 주의 메커니즘을 제거하고 듀얼 경로 모델을 도입하여, 저전력 장치에서도 5 개 이상의 중첩 소리를 실시간으로 분리 및 추출할 수 있음을 입증했습니다.
3. 하드웨어 최적화: 다양한 엣지 디바이스 (Orange Pi, Raspberry Pi, GAP9) 에서 6ms 청크를 실시간으로 처리할 수 있는 최적화된 모델 변형을 개발했습니다.
4. 동적 사용자 인터페이스: 환경에 따라 변하는 소리만 자동으로 표시하여 사용자 상호작용 시간을 67.9% 단축시켰습니다.

4. 실험 결과 (Results)

• 음질 향상: 기존 단일 타겟 추출 시스템 (Waveformer) 대비 SNRi 11.99 dB (기존 7.29 dB) 를 달성했으며, 파라미터 수는 절반 (0.5M vs 1.2M) 이하로 줄였습니다.
• 실시간 성능: Orange Pi, Raspberry Pi, GAP9 에서 각각 4.47ms ~ 5.23ms의 추론 시간을 기록하여 6ms 청크 처리를 실시간으로 수행했습니다. NeuralAids 플랫폼에서는 56mW 의 저전력으로 구동되었습니다.
• 다중 소음 분리: 5 개의 중첩 타겟 소리를 동시에 추출할 때에도 안정적인 성능을 유지했습니다.
• 사용자 연구 (Subjective Study):
  • 배경 소음 억제 (+1.54 점) 와 전체 청취 경험 (+0.95 점) 에서 기존 방식 대비 유의미한 개선을 보였습니다.
  • 동적 인터페이스는 소리 선택 시간을 기존 정적 인터페이스 대비 67.9% 단축시켰습니다.
  • 왜곡은 거의 없으며, 경보음, 망치 소리 등 임펄스 특성이 뚜렷한 소리는 4.5 점 이상의 높은 선명도를 기록했습니다.

5. 의의 및 결론 (Significance)

Aurchestra 는 가청 장치를 단순한 '소음 필터'에서 사용자가 자신의 청각 환경을 능동적으로 조각 (Sculpt) 할 수 있는 프로그래밍 가능한 스튜디오로 변모시켰습니다. 이 연구는 다음과 같은 의미를 가집니다:

• 접근성 및 편의성: 청각 장애인뿐만 아니라 일반 사용자도 복잡한 환경에서 필요한 소리만 선별하여 들을 수 있게 합니다.
• 기술적 진보: 제한된 컴퓨팅 자원에서도 고도화된 멀티태스킹 오디오 처리가 가능함을 입증하여, 향후 지능형 이어폰 및 보청기 개발의 새로운 기준을 제시합니다.
• 미래 비전: 단순한 소리 분리를 넘어 사용자의 선호도를 학습하고 의도를 예측하는 차세대 지능형 청각 보조 시스템의 토대를 마련했습니다.

이 논문은 "세상의 소리를 하나의 뭉개진 스트림으로 듣는 것이 아니라, 각 소리를 독립적으로 제어하여 현실을 믹싱할 수 있다"는 새로운 패러다임을 제시합니다.