Evaluation of Audio Compression Codecs

Dit artikel bepleit dat gebruikers bij het kiezen van een audiocompressiecodec niet alleen naar compressie-efficiëntie moeten kijken, maar ook de perceptuele geluidskwaliteit moeten evalueren via metingen, visualisaties en PEAQ-scores.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van alledaagse vergelijkingen.

De Kern: Kwaliteit versus Ruimte

Stel je voor dat je een enorme bibliotheek met muziek wilt meenemen op vakantie. Je hebt twee opties:

1. De onbeperkte koffer: Je neemt elke CD, elk vinyl en elke cassette in zijn originele, onaangetaste vorm mee. Dit is perfect, maar je koffer is gigantisch en zwaar.
2. De compacte koffer: Je plakt de boeken in elkaar, snijdt de randen af en verwijdert pagina's die "niet belangrijk" lijken. De koffer is nu klein, maar is de inhoud nog wel hetzelfde?

Dit onderzoek van Thien Duong en Jan Springer gaat precies hierover: Hoe goed klinkt muziek als we hem kleiner maken (comprimeren) om ruimte te besparen, en welke methode doet dit het minst pijn aan je oren?

De Drie Kampioenen in de Ring

De auteurs hebben verschillende "mappenmakers" (codecs) getest. Hier zijn de resultaten, vertaald naar een race:

1. FLAC: De Perfecte Fotograaf (Verliesvrij)

• Wat doet het? FLAC is als het maken van een digitale kopie van een origineel schilderij. Je haalt niets weg, je vouwt het alleen netjes op.
• Het resultaat: Het klinkt 100% hetzelfde als het origineel. Geen enkel detail gaat verloren.
• De prijs: De bestanden zijn groot. Het is als het vervoeren van een hele bibliotheek in plaats van een samenvatting.
• Conclusie: Als je ruimte niet erg vindt, is dit de beste keuze voor pure geluidskwaliteit.

2. MP3, AAC en Vorbis: De Slimme Redacteuren (Verliesbehalend)

Deze methoden proberen ruimte te besparen door "onbelangrijke" geluiden weg te gooien. Ze vertrouwen op de psychologie van het menselijk oor: als je een hard geluid hoort, hoor je een zacht geluid ernaast misschien niet. Die zachte geluiden gooien ze eruit.

• MP3 (De Oude Vriend):
  • Vergelijking: Een oude, vertrouwde bezorgman die snel is, maar soms wat rommel achterlaat.
  • Resultaat: Het is heel snel om te decoderen (afspelen), wat goed is voor oude apparaten. Maar bij het comprimeren gaat het wat langzaam, en het geluid verliest veel van zijn hoge tonen (zoals de glans van een belletje). Het klinkt vaak wat "dof".
• AAC (De Moderne Concurrent):
  • Vergelijking: Iets slimmer dan MP3, maar soms te agressief.
  • Resultaat: Het is goed, maar in dit onderzoek bleek dat AAC soms te veel van de hoge tonen wegsnijdt, waardoor de muziek minder ruimtelijk klinkt.
• Vorbis (De Verassende Winnaar):
  • Vergelijking: Een slimme redacteur die precies weet wat hij kan weggooien zonder dat het gemist wordt.
  • Resultaat:* Dit was de grote verrassing! Vorbis comprimeert net zo goed als MP3 en AAC, maar het geluid blijft bijna perfect. De onderzoekers ontdekten dat je met Vorbis nauwelijks verschil hoort met het origineel. Het is de beste balans tussen kleine bestandsmaat en hoge kwaliteit.

3. RVQGAN: De AI-Experiment (De Nieuwe Speler)

• Wat is het? Dit is een kunstmatige intelligentie (AI) die probeert geluid te comprimeren door te "leren" hoe geluid werkt.
• Het resultaat: Het is een wonder op papier! Het maakt bestanden ongelooflijk klein (slechts 1% van de originele grootte).
• Het probleem: Het klinkt als een droom die je probeert te onthouden. Het geluid is vaag, wazig en mist de scherpte. De AI probeert het geluid te "reconstrueren", maar het resultaat is vaak slechter dan de oude MP3-methode.
• Snelheid: Het is ook extreem traag. Het duurt lang om de muziek in te delen en nog langer om het weer af te spelen.
• Conclusie: Geweldige technologie voor de toekomst, maar nog niet klaar voor de echte luisteraar die van goed geluid houdt.

Hoe hebben ze dit gemeten? (De "Oren" van de Computer)

In plaats van alleen maar te vragen aan mensen: "Klinkt dit goed?", gebruikten de onderzoekers slimme computerprogramma's (zoals PEAQ) en visuele hulpmiddelen:

1. De Spectrogram (Het Geluidslandschap):
   Stel je een berg voor waar de hoogte de toonhoogte is en de kleur de luidheid.
   • Bij FLAC zie je dezelfde berg als bij het origineel.
   • Bij MP3 en AAC zie je dat de top van de berg (de hoge tonen) is afgezaagd. De berg is korter geworden.
   • Bij Vorbis is de berg bijna identiek aan het origineel.
2. De Ruimtelijke Kaart (Sound-field):
   Stel je een orkest voor op een podium. Waar staan de violen? Links of rechts?
   • Bij slechte compressie (zoals MP3) verdwijnen de muzikanten soms uit het midden of worden ze vaag. De "ruimte" in de muziek is weg.
   • Bij Vorbis staat het orkest nog steeds precies waar het hoort.

Wat is de boodschap voor jou?

De onderzoekers willen zeggen: Kijk niet alleen naar de grootte van het bestand.

• Als je wilt besparen op ruimte, maar wel van goed geluid wilt houden, kies dan voor Vorbis. Het is de "gouden middenweg".
• Als je de allerbeste kwaliteit wilt en je hebt genoeg opslagruimte, kies dan voor FLAC.
• Wees voorzichtig met AI-codecs zoals RVQGAN; ze zijn indrukwekkend in grootte, maar nog niet goed genoeg in geluidskwaliteit.
• MP3 is nog steeds handig voor oude apparaten, maar er zijn betere opties voor vandaag.

Kortom: De beste manier om muziek op te slaan is niet altijd de kleinste manier. Soms is het beter om een beetje meer ruimte te gebruiken voor een geluid dat je echt kunt genieten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Evaluation of Audio Compression Codecs" van Thien T. Duong en Jan P. Springer, geschreven in het Nederlands.

Probleemstelling

De perceptuele kwaliteit van audio wordt gedefinieerd als de combinatie van akoestische nauwkeurigheid en de door de luisteraar waargenomen geluidstrouw. Hoewel de keuze van een audiocodec vaak wordt bepaald op basis van compressie-efficiëntie (opslagruimte en snelheid), wordt de invloed op de sonische perceptuele kwaliteit vaak over het hoofd gezien. Bestaande evaluatiemethoden zijn vaak subjectief (luistertests zoals MUSHRA), wat leidt tot bias, hoge kosten en gebrek aan reproduceerbaarheid. Er is een behoefte aan een robuuste, objectieve methode om te bepalen hoe verschillende compressietechnieken (zowel traditioneel als AI-gebaseerd) de reconstructie van het audiosignaal en de daaruit voortvloeiende luisterervaring beïnvloeden.

Methodologie

De auteurs hebben een uitgebreide evaluatie uitgevoerd van zowel traditionele als AI-gebaseerde audiocodecs. De methode combineert kwantitatieve prestatiemetingen met visuele analyse en objectieve perceptuele scoring.

1. Testopstelling:

   • Hardware/Software: Experimenten uitgevoerd op een workstation met een AMD Ryzen 5 CPU. Encoding/decoding gebeurde via de fmedia tool.
   • Datasets: Meer dan 50 digitale audiolijnen uit diverse genres (pop, klassiek, rock, disco) en bronnen (CD, vinyl, cassette).
   • Codecs:
     • Verliesloos: FLAC.
     • Verliesbeperkt (Lossy): MP3 (CBR 128/320 kbps), AAC (CBR 256 kbps, VBR level 5), Vorbis (VBR level 7).
     • AI-gebaseerd: RVQGAN (Residual Vector Quantized Generative Adversarial Networks).
   • Instellingen: Gebruik van standaard presets om ecologische validiteit te waarborgen in plaats van geoptimaliseerde parameters.

2. Analysemethoden:

   • Prestatiemetingen: Compressieverhouding, coderingssnelheid en decoderingssnelheid (in samples per microseconde).
   • Visuele Analyse: Gebruik van spectrogrammen, spectrumgrafieken en "sound-field" visualisaties (stereo-image en geluidsbeeld) om artefacten en frequentieverlies zichtbaar te maken.
   • Objectieve Perceptuele Scoring (PEAQ):
     • Gebruik van Basic PEAQ (BPEAQ) en Advanced PEAQ (APEAQ) volgens ITU-standaarden.
     • Berekening van de Objective Difference Grade (ODG) (schalen van 0 tot -4).
     • Analyse van Model Output Variables (MOV), specifiek totalNMR (noise-to-mask ratio).
     • Toepassing van het 2f-model om een geschatte MUSHRA-score (0-100) te genereren, wat beter correleert met menselijke luistertests dan de standaard ODG.

Belangrijkste Bijdragen

• Integrale Evaluatieframework: Een combinatie van visuele analytics en meerdere PEAQ-varianten om een vollediger beeld te krijgen van de perceptuele kwaliteit dan alleen een enkele score.
• Vergelijking AI vs. Traditioneel: Eerste gedetailleerde technische analyse van een AI-codec (RVQGAN) in vergelijking met gevestigde standaarden zoals MP3, AAC en Vorbis.
• Validatie van Objectieve Modellen: Demonstration dat de combinatie van BPEAQ, APEAQ, totalNMR en het 2f-model een betrouwbare, reproduceerbare proxy kan zijn voor subjectieve luistertests, zonder de noodzaak van grote panels van getrainde luisteraars.
• Open Database: De auteurs hebben een database met prestatiegegevens openbaar gemaakt voor de gemeenschap.

Resultaten

1. Prestaties (Snelheid & Compressie):

   • FLAC: Biedt verliesloze kwaliteit maar de laagste compressie (gemiddeld ~39% van origineel bestand) en een gemiddelde coderingssnelheid.
   • MP3: Heeft de beste decoderingssnelheid (ideaal voor low-power apparaten) en de hoogste compressie (tot 92%), maar de langste coderingstijd door een verouderd algoritme.
   • Vorbis: Biedt een uitstekende balans met snelle codering en goede compressie.
   • RVQGAN (AI): Bereikt een extreme compressie (ongeveer 98% reductie, bestandsgrootte ~1-2% van origineel), maar is 100 tot 1000 keer trager in coderen en decoderen dan traditionele codecs.

2. Perceptuele Kwaliteit:

   • FLAC: Perfecte scores (ODG ~0, 2f-score 100), identiek aan het origineel.
   • Vorbis: De verrassende winnaar onder de verliesbeperkte codecs. Het behaalde een ODG van 0 en een 2f-score van 99, wat aangeeft dat de kwaliteit voor luisteraars niet waarneembaar verschilt van verliesloos audio. De ruisniveaus (totalNMR) zijn zeer laag.
   • MP3 & AAC: Toonden aanzienlijke degradatie.
     • BPEAQ: Scores rond -3.7 tot -3.9 ("zeer irritant").
     • APEAQ: Scores dichter bij 0 ("niet waarneembaar"), wat een discrepantie toont tussen de modellen.
     • Visueel: Duidelijk verlies van hoge frequenties (cut-off boven 15-20 kHz) en een verslechterd stereo-beeld (sound-field).
   • RVQGAN: Ondanks de extreme compressie is de perceptuele kwaliteit slecht. De 2f-score was rond de 37 en de APEAQ ODG was -3.7 ("zeer irritant"). Visueel toonde het signaal een "gesmeerde" textuur, een scherpe cut-off bij 21 kHz en een onnauwkeurig stereo-beeld.

3. Discrepantie in PEAQ-modellen:

   • Er is een significante kloof tussen de scores van Basic PEAQ en Advanced PEAQ voor MP3 en AAC. Basic PEAQ beoordeelt deze als zeer irritant, terwijl Advanced PEAQ ze als onwaarneembaar beoordeelt. De auteurs concluderen dat Basic PEAQ te rigide is voor moderne codecs en dat het 2f-model en totalNMR essentieel zijn voor een correcte interpretatie.

Betekenis en Conclusie

Het paper bevestigt dat gebruikers bij het kiezen van een codec niet alleen naar compressie-efficiëntie moeten kijken, maar ook naar de perceptuele kwaliteit.

• Voor kwaliteit: FLAC is de beste keuze als opslagruimte geen probleem is.
• Voor verliesbeperkte compressie: Vorbis komt naar voren als de superieure keuze, omdat het bijna verliesloze kwaliteit biedt met een hoge compressie en snelle verwerking, in tegenstelling tot MP3 en AAC die waarneembare artefacten introduceren.
• Voor AI-codecs: Hoewel AI (RVQGAN) belooft in termen van compressie-ratio, is de huidige perceptuele kwaliteit nog onvoldoende voor high-fidelity luistervoorzieningen. De technologie vereist verdere verfijning, waarschijnlijk door psychoakoestische principes direct in het neurale netwerk te integreren.

De studie onderstreept dat objectieve modellen, wanneer ze correct worden gecombineerd (BPEAQ, APEAQ, 2f, totalNMR), een robuust fundament vormen voor codec-evaluatie en kunnen dienen als vervanging of aanvulling op kostbare subjectieve luistertests.