Technische Samenvatting: EntangleCodec

Probleemstelling

Audio Language Models (ALMs) hebben een discrete interface nodig om continue audiosignalen te overbruggen met grote taalmodellen. Bestaande audio-tokenizers kampen met een fundamentele afruil:

1. Reconstructie-georiënteerde codecs (bijv. EnCodec, DAC) behouden een fijne akoestische getrouwheid, maar missen rijke semantische informatie, wat hun nut voor redeneer- en begripstaken beperkt.
2. Semantisch-bewuste tokenizers vertrouwen vaak op aparte semantische en akoestische stromen. Deze dual-stream aanpak introduceert redundantie, vereist complexe late-fusie mechanismen en beperkt de semantische supervisie vaak tot ASR-transcripten, waarbij niet-tekstuele cues zoals sprekersidentiteit, emotie, prosodie en akoestische scènes worden genegeerd.

De kernuitdaging is het ontwikkelen van een verenigde discrete tokenizer die tegelijkertijd hoge-getrouwheid reconstructie en rijk semantisch begrip ondersteunt, zonder te vertrouwen op aparte stromen of taakspecifieke architecturale wijzigingen.

Methodologie

EntangleCodec stelt een verenigde discrete audio-tokenizer voor die caption-gealigneerde semantisch-akoestische representaties leert voordat kwantisatie plaatsvindt. De architectuur bestaat uit drie kerncomponenten:

1. Verenigde Encoder

In tegenstelling tot dual-encoder benaderingen, gebruikt EntangleCodec een enkele gedeelde Transformer-gebaseerde encoder.

• Inputverwerking: Het input Mel-spectrogram wordt geprojecteerd in een sequentie en voorafgegaan met een leerbaar [CLS] token.
• Verenigde Representatie: De encoder brengt de audio direct in kaart naar een verenigde semantisch-akoestische feature-sequentie, waardoor expliciete late-fusie modules worden vermeden.
• Semantische Alignment: In plaats van te aligneren met ASR-transcripten, wordt de encoder getraind om te aligneren met rijke audio-captions gegenereerd door een Large Language Model (LLM). Deze captions beschrijven sprekersattributen, emotie, prosodie, akoestische scènes en geluidsevenementen.
• Contrastief Leren: Een CLIP-stijl contrastieve loss aligneert de globale audio-embedding (van het [CLS] token) met de tekst-embedding van de rijke caption, wat de encoder stimuleert om multimodale semantiek te vangen die verder gaat dan louter linguïstische inhoud.

2. Discrete Kwantisatie

De verenigde representatie wordt geprojecteerd via een MLP, L2-genormaliseerd, en gediscretiseerd met een enkele codebook Vector Quantizer (VQ). Dit produceert een compacte tokenstroom die inherent zowel akoestische als semantische informatie bevat.

3. Diffusie-gebaseerde Decoder

Een flow-matching diffusie-decoder reconstrueert hoogwaardige audio vanuit de discrete tokens.

• Architectuur: Geïmplementeerd als een Llama-stijl Transformer flow-predictor.
• Proces: Het neemt de gekwantiseerde tokens ($Z_q$) als conditionele prefix en voorspelt het snelheidveld om het Mel-spectrogram uit ruis te reconstrueren met behulp van Rectified Flow.
• Flexibiliteit: Dezelfde decoder ondersteunt reconstructie, Text-to-Speech (TTS) en Text-to-Audio (TTA) generatie zonder architecturale wijzigingen.

Trainingsstrategie

Het model maakt gebruik van een tweestaps trainingsproces:

• Fase 1 (Joint Optimalisatie): De encoder, text encoder, quantizer en decoder worden gezamenlijk getraind. Het doel combineert Flow Matching loss (voor reconstructie), Contrastive loss (voor semantische alignment) en VQ commitment loss.
• Fase 2 (Decoder Verfijning): De encoder en quantizer worden bevroren. De decoder wordt verder getraind met een adversarial loss om de perceptuele reconstructiekwaliteit te verfijnen terwijl de geleerde semantisch-akoestische representatie behouden blijft.

Belangrijkste Bijdragen

1. Verenigde Semantisch-Akoestische Representatie: EntangleCodec integreert semantische en akoestische cues binnen een enkele pre-kwantisatie representatie, waardoor de noodzaak voor dual-stream scheiding en late fusie wordt geëlimineerd.
2. Caption-gealigneerd Discreet Leren: Door rijke, door LLM's gegenereerde captions te gebruiken in plaats van ASR-transcripten voor contrastieve alignment, legt de tokenizer sprekersidentiteit, emotie, prosodie en contextuele omgeving vast, wat leidt tot meer expressieve discrete tokens.
3. Verenigd Framework voor Begrip en Generatie: Dezelfde tokenizer ondersteunt audio-begrip (QA, redeneren) en generatie (TTS, TTA) binnen één enkel framework, zonder dat er taakspecifieke tokenizers nodig zijn.

Experimentele Resultaten

Reconstructiekwaliteit

EntangleCodec bereikt een reconstructiekwaliteit die concurrerend is met gespecialiseerde codecs:

• Spraak: Behaalt een UTMOS van 3.96, vergelijkbaar met XCodec2 (4.02) en presteert significant beter dan andere baselines zoals EnCodec (1.57) en WavTokenizer (3.79).
• Geluid & Muziek: Staat op de tweede plaats in AudioBoxScore voor beide domeinen, direct na XCodec (dat geen semantische alignment heeft). Het is de enige tokenizer die consistent in de topklasse scoort over spraak, geluid en muziek heen.

Audio Begrip

Onder een codec-gecontroleerde setting (gebruikmakend van een identieke Qwen3-0.6B backbone), presteert EntangleCodec significant beter dan alle discrete-tokenizer baselines:

• MMAR: +7.4% verbetering ten opzichte van de op één na beste baseline.
• MMAU-mini: +1.5% verbetering.
• MMAU: +2.5% verbetering.
• Scaling: Een model gebaseerd op EntangleCodec met 0.6B parameters overtreft gespecialiseerde continue-representatie LLM's met meer dan 13B parameters (zoals SALMONN) op drie benchmarks, met 22× minder parameters. Schalen naar 8B parameters vestigt nieuwe state-of-the-art resultaten op MMAR (42.6%).

Audio Generatie

• TTS: Behaalt een WER van 9.8% en een UTMOS van 3.89, waarmee het alle codec-gecontroleerde baselines overtreft.
• TTA: Behaalt een CLAP Score van 0.17, een >4× verbetering ten opzichte van de op één na beste baseline (XY-Tokenizer), wat een superieure semantische alignment demonstreert voor tekst-geconditioneerde generatie.

Betekenis en Claims

Het paper stelt dat representatiekwaliteit even kritisch is als model schaal. EntangleCodec demonstreert dat een goed ontworpen discrete codec de traditionele bottleneck kan overwinnen waarbij discrete tokens werden gezien als inferieur aan continue representaties voor begripstaken.

Door semantisch en akoestisch leren te verenigen via rijke caption alignment, stelt EntangleCodec kleine modellen (0.6B) in staat om veel grotere gespecialiseerde modellen te overtreffen, wat suggereert dat de kwaliteit van de token-interface een primaire drijfveer is voor prestaties in ALMs. Het werk benadrukt dat semantisch-akoestische verstrengeling en reconstructiegetrouwheid complementaire in plaats van conflicterende doelstellingen zijn.

Beperkingen

De auteurs erkennen dat:

• Semantische Granulariteit: De rijkdom van de geleerde semantiek wordt beperkt door de kwaliteit van de gegenereerde captions; subtiele kenmerken zoals genuanceerde emotionele verschuivingen of complexe harmonieën worden mogelijk niet volledig gevangen.
• Scaling: Experimenten zijn momenteel beperkt tot 8B parameters vanwege computationele beperkingen. De optimale balans tussen reconstructie- en begripstaken bij grotere schalen (bijv. 30B of 70B) blijft onverkend.