Evaluation of Audio Compression Codecs

이 논문은 오디오 압축 코덱 선택 시 단순한 압축 효율뿐만 아니라 청각적 정확도와 청취자가 인지하는 음질 특성도 고려해야 함을 주장하며, 다양한 코덱의 성능 측정, 시각화 및 PEAQ 점수를 통해 압축 기술이 지각적 음질에 미치는 영향을 평가하고 있습니다.

핵심

1. 연구의 배경: "저장 공간 vs. 소리 맛"

음악 파일을 디지털로 저장할 때, 우리는 보통 파일 크기를 줄이기 위해 압축을 합니다.

• 손실 압축 (Lossy): 사진의 일부를 잘라내거나 흐리게 만들어 파일 크기를 크게 줄이는 방식 (MP3, AAC 등).
• 무손실 압축 (Lossless): 사진의 모든 픽셀을 그대로 두되, 중복된 정보를만 정리해서 크기를 조금 줄이는 방식 (FLAC 등).

저자들은 "단순히 파일이 얼마나 작아지느냐 (압축 효율) 만 보면 안 되고, 압축된 소리가 얼마나 '맛있고' 선명하게 들리느냐 (음질)"도 중요하다고 주장합니다.

2. 실험 방법: "귀로 듣는 것보다 '현미경'으로 보기"

사람들이 직접 귀로 들어보는 것 (주관적 평가) 은 시간이 많이 걸리고 편견이 생길 수 있습니다. 그래서 저자들은 컴퓨터가 소리를 분석하는 도구들을 사용했습니다.

• 스펙트로그램 (Spectrogram): 소리를 무지개 빛깔의 지도처럼 보여줍니다. 어떤 소리가 얼마나 크게 들리는지, 고음은 잘 살아있는지 색깔로 확인할 수 있습니다.
• PEAQ 점수: 소리의 질을 0 점부터 100 점까지 채점하는 자동 감별사입니다. "들리지 않음 (0 점)"부터 "매우 귀찮음 (-4 점)"까지 등급을 매깁니다.

3. 주요 발견: 각 코덱의 성격 분석

🏆 FLAC (무손실 압축): "완벽한 원본"

• 비유: 원본 사진을 그대로 보관하는 유리 진열장입니다.
• 결과: 파일 크기는 크지만, 소리는 원본과 100% 똑같습니다. 압축 효율은 낮지만 음질은 최고입니다.

🥈 Vorbis (손실 압축): "가장 똑똑한 압축기"

• 비유: 마법 같은 압축기입니다. 불필요한 쓰레기만 아주 정교하게 골라내서 파일 크기는 크게 줄이면서, 소리는 원본과 거의 구별이 안 될 정도로 깨끗하게 유지합니다.
• 결과: 이 연구에서 가장 놀라운 주인공입니다. 파일 크기는 작으면서도 음질 점수가 FLAC 와 거의 비슷했습니다. "손실 압축인데 왜 이렇게 좋은가?"라는 의문을 해결해 준 영웅입니다.

🥉 MP3 & AAC (기존의 유명 코덱): "편리하지만 손이 가는"

• 비유: 사진을 자르는 가위입니다. 파일 크기는 잘 줄여주지만, 고음 부분 (고주파수) 이 잘려나가거나 소리가 약간 뭉개지는 경우가 많습니다.
• 결과: 특히 MP3 는 파일 크기를 많이 줄일수록 (128kbps) 고음이 사라지고 소리가 "뻑뻑"해졌습니다. 320kbps 로 설정하면 나아지지만, 여전히 Vorbis 나 FLAC 에 비하면 미세한 결함이 남습니다.

🤖 RVQGAN (AI 기반 코덱): "미래의 희망, 하지만 아직 미숙함"

• 비유: 초고속으로 사진을 재그림하는 AI입니다.
• 결과: 파일 크기를 98% 이상이나 줄여서 압축 효율은 압도적이었습니다! 하지만 문제는 소리의 질입니다. AI 가 소리를 재구성하는 과정에서 소리가 흐릿해지거나 (Smearing), 고음이 잘려 나가는 등 음질이 매우 나빴습니다. 마치 AI 가 그림을 그렸는데 얼굴이 뭉개진 것과 같습니다. 또한, 처리 속도도 매우 느려서 지금 당장 쓰기엔 무리가 있습니다.

4. 결론: 무엇을 선택해야 할까요?

이 논문은 우리에게 다음과 같은 교훈을 줍니다:

1. 단순히 파일 크기가 작다고 좋은 게 아닙니다. 압축 효율만 보고 코덱을 고르면, 귀에 거슬리는 나쁜 소리를 듣게 될 수 있습니다.
2. Vorbis 가 현재 최고의 '밸런스'를 잡았습니다. 파일 크기도 작고 음질도 거의 원본 수준이라, 일상적인 음악 감상에는 가장 추천합니다.
3. 최고의 음질을 원한다면 FLAC 를 쓰세요. 저장 공간이 부족하지 않다면, 원본 소리를 그대로 즐기는 것이 가장 좋습니다.
4. AI 코덱은 아직 갈 길이 멉니다. 압축 기술은 놀라울 정도로 발전했지만, 사람의 귀를 만족시키는 '소리의 맛'을 재현하는 데는 아직 시간이 더 필요합니다.

한 줄 요약:

"음악을 압축할 때는 파일 크기만 보지 말고, 소리가 얼마나 살아있는지도 꼭 확인하세요. 특히 Vorbis는 작으면서도 맛있는 소리를 주는 최고의 선택지입니다!"

기술 요약

논문 개요

이 논문은 오디오 압축 코덱을 선택할 때 단순히 압축 효율성 (파일 크기) 만 고려하는 것이 아니라, 청각적 지각 품질 (Sonic Perceptual Quality) 을 함께 평가해야 함을 주장합니다. 저자들은 전통적인 코덱 (FLAC, MP3, AAC, Vorbis) 과 최신 AI 기반 코덱 (RVQGAN) 을 비교 분석하여, 압축 기술이 신호 재구성의 지각적 품질에 미치는 영향을 시각화 및 객관적 점수화를 통해 규명했습니다.

1. 연구 문제 (Problem)

• 현재의 한계: 오디오 코덱 선택 시 사용자는 주로 압축률 (파일 크기 감소) 과 인코딩/디코딩 속도에 집중합니다.
• 필요성: 고음질 (Hi-Fi) 오디오의 핵심은 신호의 정확성과 왜곡 없는 재현입니다. 손실 압축 (Lossy) 기술은 인간의 가청 한계를 벗어난 데이터를 제거하지만, 이 과정에서 고주파수 대역의 세부 정보나 스테레오 이미지가 손상될 수 있습니다.
• 목표: 다양한 코덱의 압축 성능과 지각적 품질을 정량적, 정성적으로 평가하여 사용자가 더 나은 선택을 할 수 있도록 통찰을 제공하는 것입니다.

2. 방법론 (Methodology)

저자들은 주관적 청취 테스트 (Gold Standard) 대신 객관적 평가 모델과 시각화 기법을 결합한 재현 가능한 평가 체계를 구축했습니다.

• 실험 환경:
  • 하드웨어: AMD Ryzen 5 5600X, 32GB RAM, Sennheiser HD600 헤드폰 등.
  • 소프트웨어: fmedia (인코딩/디코딩 및 성능 측정), Audacity, Spek, iZotope Insight 2.
  • 데이터셋: 다양한 장르 (록, 클래식, 디스코 등) 와 시대의 고품질 원본 오디오 파일 50 개 이상.
• 평가 대상 코덱:
  • 무손실 (Lossless): FLAC (레벨 6).
  • 손실 (Lossy): MP3 (CBR 128/320kbps), AAC (CBR 256kbps, VBR 레벨 5), Vorbis (VBR 레벨 7).
  • AI 기반: RVQGAN (Residual Vector Quantized Generative Adversarial Networks).
• 평가 지표 및 도구:
  1. 성능 지표: 압축률 (Compression Ratio), 인코딩/디코딩 속도 (samples per microsecond).
  2. 시각화 (Visual Analytics):
     • 스펙트럼 (Spectrum): 주파수 대역별 음량 변화 분석.
     • 스펙트로그램 (Spectrogram): 시간 - 주파수 - 음량의 3 차원 분석.
     • 사운드 필드 (Sound-field): 스테레오 이미지와 공간감 (Width, Depth, Height) 시각화.
  3. 객관적 지각 점수 (Objective Scoring):
     • PEAQ (Perceptual Evaluation of Audio Quality): ITU 표준 알고리즘.
       • 기본 PEAQ (BPEAQ) 및 고급 PEAQ (APEAQ) 의 ODG (Objective Difference Grade) 점수.
       • MOV (Model Output Variable) 중 totalNMR (Noise-to-Mask Ratio) 분석.
     • 2f 모델: BPEAQ 의 MOV 를 활용하여 MUSHRA (주관적 청취 테스트) 점수를 추정하는 모델.

3. 주요 결과 (Key Results)

A. 성능 (Performance)

• 압축률: 손실 코덱이 무손실 코덱 (FLAC) 보다 압축률이 훨씬 높았습니다. 특히 RVQGAN은 원본 크기의 약 1~2% 만 차지하여 압축률 면에서 압도적이었습니다.
• 속도:
  • MP3는 디코딩 속도가 가장 빨라 저전력 장치에 적합했으나, 인코딩 속도는 느렸습니다.
  • Vorbis는 인코딩 속도가 가장 빨랐습니다.
  • RVQGAN은 압축률은 좋았으나, 인코딩/디코딩 속도가 기존 코덱보다 1~2 차수 (orders of magnitude) 느려 실용성이 떨어졌습니다.

B. 지각적 품질 (Perceptual Quality)

• 시각화 분석:
  • FLAC: 원본과 완전히 일치하는 스펙트럼과 사운드 필드를 보였습니다.
  • 손실 코덱 (MP3, AAC): 고주파수 대역 (15kHz 이상) 에서 음량이 급격히 감소하거나 잘리는 현상 (Cutoff) 이 관찰되었습니다. 특히 MP3 128kbps 와 AAC 256kbps 는 스테레오 이미지가 흐릿해지거나 중앙으로 뭉치는 왜곡이 있었습니다.
  • Vorbis: 다른 손실 코덱과 달리 고주파수 감소가 부드럽게 이루어졌으며, 스테레오 이미지가 원본과 매우 유사하게 유지되었습니다.
  • RVQGAN: 고주파수 컷오프가 발생하고 사운드 필드가 번져 (smeared) 위치 정확도가 떨어지는 등 지각적 품질이 가장 낮았습니다.
• PEAQ 점수 분석:
  • FLAC: 모든 지표에서 완벽한 점수 (ODG 0, 2f 점수 100) 를 기록했습니다.
  • Vorbis: 손실 코덱 중 유일하게 BPEAQ ODG(0.0), APEAQ ODG(-0.1), 2f 점수 (99) 에서 무손실 코덱에 버금가는 결과를 보였습니다. 잡음 비율 (totalNMR) 도 다른 코덱보다 현저히 낮았습니다.
  • MP3/AAC: BPEAQ ODG 점수가 -3.7 ~ -3.9 로 "매우 성가심 (Very annoying)" 수준으로 평가되었으나, APEAQ 는 이를 "지각 불가능 (Imperceptible)"으로 평가하는 등 모델 간 편차가 있었습니다. 이는 기본 PEAQ 가 현대 코덱의 아티팩트를 과대평가할 수 있음을 시사합니다.
  • RVQGAN: 평균 ODG 점수 -2.7, 2f 점수 37 로 전통적인 코덱들보다 품질이 낮았습니다.

4. 주요 기여 (Key Contributions)

1. 종합적 평가 프레임워크 제시: 압축 효율성뿐만 아니라 시각화 (스펙트럼, 사운드 필드) 와 다양한 PEAQ 변형 모델 (BPEAQ, APEAQ, 2f, totalNMR) 을 결합하여 코덱의 지각적 품질을 다각도로 평가하는 방법을 제시했습니다.
2. Vorbis 의 우수성 입증: 기존 손실 코덱 중 Vorbis 가 압축 효율과 지각적 품질 (FLAC 에 근접) 을 동시에 만족하는 가장 균형 잡힌 코덱임을 데이터로 증명했습니다.
3. AI 코덱의 현재 한계 규명: RVQGAN 과 같은 AI 기반 코덱은 압축률 면에서 혁신적이지만, 현재 기술 수준에서는 지각적 품질과 처리 속도 면에서 실용적인 Hi-Fi 오디오 솔루션으로 부족함을 밝혔습니다.
4. 객관적 평가의 신뢰성 강화: 주관적 청취 테스트 없이도 객관적 지표 (특히 2f 모델과 totalNMR) 를 통해 코덱 성능을 재현 가능하게 평가할 수 있음을 보였습니다.

5. 의의 및 결론 (Significance)

• 사용자 가이드: 사용자는 단순히 파일 크기나 속도만 보고 코덱을 선택하지 말고, Vorbis와 같은 고품질 손실 코덱이나 FLAC과 같은 무손실 코덱을 고려해야 함을 강조합니다.
• 모델 비교의 중요성: 기본 PEAQ 와 고급 PEAQ 간의 점수 차이는 코덱의 아티팩트 특성을 이해하는 데 중요한 지표가 될 수 있음을 지적했습니다.
• 미래 전망: AI 기반 오디오 코덱 개발 시 심리음향학 (Psychoacoustics) 원리를 신경망에 통합하여 압축률과 지각적 품질을 동시에 개선해야 함을 제언합니다. 또한, 스트리밍 서비스의 압축 방식 평가와 AI 코덱의 품질 향상을 향후 연구 과제로 제시했습니다.

이 논문은 오디오 코덱 선택의 기준을 '압축 효율'에서 '지각적 충실도'로 확장해야 함을 강조하며, 이를 위한 객관적이고 재현 가능한 평가 체계를 확립했다는 점에서 의의가 큽니다.