QASTAnet: A DNN-based Quality Metric for Spatial Audio

기술 요약: QASTANet – 공간 오디오를 위한 DNN 기반 품질 지표

문제 정의
증강 및 가상 현실과 같은 몰입형 애플리케이션을 위한 공간 오디오 기술의 발전에는 신뢰할 수 있는 품질 평가 방법이 필요합니다. 청취 테스트(DCR 및 MUSHRA 등)가 여전히 골드 표준으로 남아 있지만, 이는 비용이 많이 들고 시간이 오래 걸립니다. 기존의 공간 오디오용 객관적 지표들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 일반화 문제: 제안된 많은 모델들이 실제 신호, 특히 현실적인 잔향이나 특정 코덱 아티팩트가 포함된 신호에 대해 일반화하는 데 실패합니다.
• 데이터 부족: 딥러닝 접근 방식은 대규모 데이터셋(예: 67,000개 샘로)을 요구하는 경우가 많으나, 공간 오디오 분야에서는 이러한 데이터를 확보하기 어려워 과적합(overfitting) 또는 재현성 문제를 야기합니다.
• 현재 지표들의 구체적인 한계:
  • Ambiqual: 파노그램(phaseogram) 비교에 의존하기 때문에, 파라메트릭 코덱이 구조를 깨뜨릴 수 있는 공간적으로 확산된 성분(잔향)을 포함하는 신호에서 어려움을 겪습니다.
• eMoBi-Q: 저수준 특징 추출에는 효과적이지만, 품질 판단을 위한 핸드크래프트(handcrafted) 함수가 특정 신호 유형(음성)에 국한되어 있으며 비선형 코덱 아티팩트를 반영하지 못합니다.
  • GML: 실용적이지 않을 정도로 많은 양의 훈련 데이터를 요구하며 공개적인 구현체가 없습니다.

방법론
저자들은 지식 기반 접근 방식과 엔드 투 엔드(end-to-end) 딥러닝 사이의 간극을 메우기 위해 설계된 하이브리드 지표인 QASTAnet(Quality Assessment for SpaTial Audio network)을 제안합니다. 이 아키텍처는 저수준 특징을 위한 전문가 모델링을 활용하고 고수준 인지 모델링을 위한 심층 신경망(DNN)을 결합함으로써, 적은 양의 데이터로도 훈련이 가능하도록 최적화되었습니다.

• 아키텍처:

  • 특징 추출(Feature Extraction): 모델은 신경망 상류에서 전문가 특징(expert features)을 사용하여 학습 가능한 파라미터 수를 제한합니다. 이는 eMoBi-Q의 시간-주파수(T-F) 특징(모노럴 엔벨로프, 양이 레벨 차이(ILD), 양이 일관성)과 Ambisonic 도메인(HOA)에서 직접 유도된 새로운 확산성(diffuseness) 특징을 결합합니다.
  • 전처리(Preprocessing): Ambisonic 신호는 머리 전달 함수(HRTF)를 사용하여 바이노럴화됩니다. 저자들은 코딩 아티팩트를 더 잘 포착하기 위해 eMoBi-Q의 400ms 대신 40ms의 시간 해상도를 채택했습니다.
  • 신경망(Neural Network): 소규모 DNN이 참조 신호와 열화된 신호 간의 특징 차이를 처리합니다. 이 네트워크는 세 개의 포인트 와이즈(point-wise) T-F 컨볼루션 레이어(필터 16, 16, 6개)와 주파수 및 시간 풀링, 그리고 밀집층(dense layers)으로 구성됩니다.
  • 출력: 네트워크는 추정된 MUSHRA 점수를 나타내는 0과 1 사이의 값을 출력합니다.
  • 강건성(Robustness): 바이노럴 필터의 변동성을 완화하기 위해, 최종 점수는 서로 다른 HRTF 세트를 사용하는 20개의 모델 인스턴스의 예측 평균값입니다.

• 데이터셋 및 훈련:

  • 음성, 음악, 앰비언스를 무향(anechoic) 및 잔향 조건 모두에서 다루는 546개의 사례(훈련용 364개)를 포함하는 MUSHRA 테스트를 통해 커스텀 데이터셋을 구축했습니다.
  • 열화 요소로는 IVAS 코덱(SBA 모드)의 아티팩트, Ambisonic 채널에 적용된 EVS, 그리고 로우 패스 필터링이 포함되었습니다.
  • 모델은 Adam 옵티마이저와 평균 제곱 오차(MSE) 손실 함수를 사용하여 훈련되었으며, 검증 세트에서의 피어슨 상관계수를 기준으로 조기 종료되었습니다.

핵심 기여

1. 하이브리드 아키텍처: QASTAnet은 전문가 특징 추출(저수준 청각 모델링)과 소규모 DNN(고수준 인지 모델링)을 결합하여, 제한된 데이터(학습 가능한 파라미터 730개)로도 효과적인 훈련이 가능하게 합니다.
2. 새로운 특징: Ambisonic 도메인에서의 확산성 특징 도입과 더 미세한 40ms 시간 해상도는 코덱 아티팩트와 복잡한 음향 장면의 탐지를 구체적으로 목표로 합니다.
3. 오픈 소스 구현: 저자들은 Python/PyTorch 기반의 완전 미분 가능한 구현을 제공하여, 이 지표를 공간 오디오 프로세싱의 훈련 목적 함수로 사용하고 GPU 가속을 활용할 수 있도록 합니다.

결과
평가는 다양한 콘텐츠 유형과 코덱 열화에 대해 QASTAnet을 Ambiqual 및 eMoBi-Q와 비교하였습니다.

• 상관 성능: QASTAnet은 모든 테스트 서브셋에서 주관적 MUSHRA 점수와 가장 높은 상관관계를 보였습니다.
  • 피어슨 상관계수 ($r$): QASTAnet은 모든 신호에 대해 0.90에 도달하여, eMoBi-Q(0.72)와 Ambiqual LA(0.61)를 크게 앞질렀습니다.
  • 공간 잔향: Ambiqual LQ가 0.40으로 떨어진 반면, QASTAnet은 현실적인 공간 잔향이 포함된 신호에서도 강력한 성능($r=0.89$)을 유지했습니다.
• 오차 지표: QASTAnet은 eMoBi-Q(18.4 vs. 17.3)보다 높은 RMSE를 보였으나, 저자들은 이를 예측력의 부족이 아닌 기울기 편향(systematic under-scoring) 때문이라고 설명합니다. 스피어만 상관계수($\rho=0.92$)는 강력한 순위 상관관계를 나타냅니다.
• 절제 연구(Ablation Study):
  • 시간 해상도를 40ms에서 400ms로 줄이면 상관계수가 0.90에서 0.85로 떨어졌습니다.
  • 확산성 특징이나 사전 가중치(pre-weighting) 레이어를 제거하면 상관계수가 감소했습니다.

의의 및 주장
본 논문은 QASTAnet이 특히 현실적인 잔향 및 코덱 아티팩트가 포함된 신호를 평가하는 데 있어 기존 방법들의 한계를 극복한다고 주장합니다. 주관적 점수와 지표 예측 간의 강력한 상관관계는 이 지표가 개발 과정 중 코덱을 비교하는 데 유효한 후보임을 입증합니다.

저자들은 지도 학습된 신경망이 제한된 데이터와 노이즈가 있는 레이블을 가지고도 품질 판단의 인지 기능을 근사할 수 있다는 가정에 모델의 성능이 의존한다는 점을 겸허히 언급했습니다. 또한 현재 연구가 3차 Ambisonics 및 특정 코덱에 초점을 맞추고 있지만, 도구의 오픈 소스 특성이 다른 공간 형식(예: 5.1, 7.1.4) 및 열화 유형으로의 향후 확장을 용이하게 한다고 강조했습니다. 이 지표는 청취 테스트의 완벽한 대체제가 아니라, 공간 오디오 프로세싱의 개발 및 최적화를 위한 매우 효과적인 미분 가능한 도구로서 제시되었습니다.