Toward Complex-Valued Neural Networks for Waveform Generation

Dit paper introduceert ComVo, een complexwaardige neurale vocoder die native complexe aritmetiek, fasekwantisatie en een efficiënt blok-matrixrekenstelsel combineert om de synthesekwaliteit te verbeteren en de trainingstijd met 25% te verkorten ten opzichte van bestaande reëelwaardige iSTFT-gebaseerde benaderingen.

De kern

ComVo: De "Twee-Oogige" Stem van de Toekomst

Stel je voor dat je een zanger wilt nabootsen. In de wereld van kunstmatige intelligentie is dit een beetje zoals het proberen te tekenen van een complex schilderij. Tot nu toe hebben computers dit schilderij op een wat rare manier aangepakt: ze keken naar de rode verf (de reële kant van het geluid) en de blauwe verf (de imaginaire kant) alsof het twee volledig losse schilderijen waren. Ze schilderden de rode kant en de blauwe kant apart, en hoopten dat het later wel goed zou samenkomen.

Dit is wat de meeste bestaande stemmen-synthesizers deden. Het werkt, maar het voelt vaak net niet helemaal "natuurlijk", alsof er een klein stukje magie ontbreekt.

De onderzoekers van deze paper (ComVo) hebben een nieuw idee bedacht: "Waarom kijken we niet met twee ogen tegelijk?"

Hier is hoe hun nieuwe uitvinding, ComVo, werkt, vertaald in alledaags taal:

1. De Magie van het Complexe Getal (De Twee-Oogige Blik)

In de wiskunde en natuurkunde worden geluidsgolven vaak beschreven als "complexe getallen". Een compleet getal heeft twee delen: een reëel deel en een imaginaire deel.

• De oude manier (RVNN): Het computermodel kijkt naar het reële deel en het imaginaire deel alsof het twee verschillende mensen zijn die elk een kant van het schilderij doen. Ze praten niet met elkaar.
• De nieuwe manier (ComVo): ComVo kijkt naar het geluid alsof het één enkel, levend wezen is. Het begrijpt dat het reële en imaginaire deel onlosmakelijk met elkaar verbonden zijn, net zoals de lengte en de richting van een pijl die je afschiet. Als je de richting verandert, verandert de lengte ook. ComVo ziet deze verbinding direct, waardoor het geluid veel natuurlijker en "ronder" klinkt.

2. De Strijd tussen de Kunstenaar en de Criticus (GANs)

ComVo gebruikt een techniek die een GAN (Generatieve Adversarial Network) heet. Je kunt dit zien als een duel tussen twee personen:

• De Kunstenaar (De Generator): Deze probeert een perfecte geluidsopname te maken.
• De Criticus (De Discriminator): Deze probeert te ontdekken of het geluid echt is of nep.

Bij de oude systemen keek de Criticus naar het geluid alsof hij een zwart-witfoto beoordeelde. ComVo laat de Criticus echter in kleur kijken. Omdat de Criticus ook "complexe ogen" heeft (hij begrijpt de verbinding tussen de twee delen van het geluid), kan hij de Kunstenaar veel scherpere feedback geven. "Nee, die toon klinkt niet goed, want de richting en de kracht kloppen niet samen," zegt hij. Hierdoor leert de Kunstenaar sneller en beter.

3. De "Aanwijzing" voor de Fase (Fase-Quantisatie)

Geluid heeft niet alleen een volume (hoe hard), maar ook een fase (wanneer de golf piekt). Dit is heel lastig voor computers om te begrijpen; het is alsof je probeert te raden op welk exacte moment een danser zijn been optilt.

ComVo gebruikt een slim trucje: Fase-Quantisatie.
Stel je voor dat je een kompas hebt. In plaats van dat de naald overal kan wijzen (elke hoek is mogelijk), dwingen we de naald om alleen op de 8 hoofdpunten te wijzen (Noord, Noord-Oost, Oost, etc.).

• Dit klinkt alsof je precisie verliest, maar in werkelijkheid helpt het de computer om niet in de war te raken door te veel kleine, onbelangrijke variaties.
• Het is alsof je een leerling vertelt: "Probeer niet elke hoek perfect te raken, maar focus op de belangrijkste richtingen." Hierdoor wordt het leerproces stabieler en het eindresultaat schoner.

4. De Snellere Werkbank (Blok-Matrix Berekening)

Het werken met deze "twee-oogige" systemen is normaal gesproken zwaar voor de computer. Het is alsof je twee aparte rekenmachines hebt die allebei dezelfde som moeten doen, en je moet de antwoorden later zelf samenvoegen. Dat kost tijd.

ComVo heeft een nieuwe werkbank bedacht (de blok-matrix methode).

• In plaats van twee aparte rekenmachines, hebben ze één super-rekenmachine gebouwd die alle berekeningen in één keer doet.
• Het resultaat? De computer is 25% sneller in het trainen van het model. Het is alsof je van een fiets op een snelle scooter bent gestapt, zonder dat je de route hoeft te veranderen.

Wat betekent dit voor jou?

Kort samengevat:

1. Beter geluid: Omdat ComVo de natuurlijke verbindingen in geluidsgolven beter begrijpt, klinkt de gegenereerde stem natuurlijker en minder robotachtig.
2. Sneller leren: Dankzij de slimme rekenmethode kan het model sneller worden getraind.
3. Toekomstbestendig: Dit is een stap in de richting van AI die niet alleen "rekenen" doet, maar echt "voelt" hoe geluid in elkaar zit.

ComVo bewijst dat als je een computer laat denken in de taal van de natuur (complexe golven) in plaats van in simpele lijnen, je veel mooiere resultaten krijgt. Het is de volgende stap in het maken van digitale stemmen die zo echt klinken, dat je ze niet meer van echte mensen kunt onderscheiden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Toward Complex-Valued Neural Networks for Waveform Generation" (ComVo), gepresenteerd op ICLR 2026.

1. Het Probleem

Neurale vocoders hebben de kwaliteit van gegenereerde spraak aanzienlijk verbeterd. Een recente benadering, gebaseerd op de inverse Short-Time Fourier Transform (iSTFT), synthetiseert golfformen direct vanuit complexe spectrogrammen. Dit vermijdt de noodzaak voor geleerde upsample-stadia, wat de rekentijd en latentie verlaagt.

Echter, bestaande iSTFT-gebaseerde vocoders gebruiken over het algemeen real-valued neural networks (RVNNs). Deze netwerken behandelen het reële en imaginaire deel van een complex spectrogram als twee onafhankelijke kanalen. Deze scheiding is een fundamenteel beperking omdat het de inherente algebraïsche structuur en de koppeling tussen amplitude en fase van complexe getallen negeert. Dit leidt tot een suboptimale modellering van de complexe spectrale structuur, wat de synthesekwaliteit kan beperken.

2. Methodologie: ComVo

De auteurs stellen ComVo (Complex-valued neural Vocoder) voor, een vocoder die de volledige synthese-pijplijn (generator en discriminator) uitvoert in het complexe domein.

Kerncomponenten:

• Complex-Valued Generator: De generator is gebaseerd op de Vocos-architectuur maar vervangt alle real-valued lagen door Complex-Valued Neural Network (CVNN) lagen. Hierdoor worden het reële en imaginaire deel van de spectrogram-coëfficiënten gezamenlijk verwerkt, wat de algebraïsche relaties tussen deze componenten behoudt.
• Complex Multi-Resolution Discriminator (cMRD): In plaats van een real-valued discriminator die reële en imaginaire kanalen apart bekijkt, gebruikt ComVo een discriminator die direct werkt op complexe spectrogrammen. Dit zorgt voor een "adversarial training framework" dat feedback geeft die de structuur van het complexe domein respecteert.
• Fase-Quantisatie (Phase Quantization): Om de training te stabiliseren en fase-transformaties gestructureerd te leiden, wordt een niet-lineaire transformatie toegevoegd die fasehoeken discretiseert naar een vast aantal niveaus. Dit fungeert als een inductieve bias die "fase-drift" tijdens training tegengaat. De differentieerbaarheid wordt behouden via de Straight-Through Estimator (STE).
• Block-Matrix Berekeningsschema: Om de inefficiëntie van complexe bewerkingen in standaard autodifferentiatie-systemen (die vaak reële en imaginaire delen als aparte tensors behandelen) op te lossen, stellen de auteurs een geoptimaliseerd schema voor. Ze vertalen complexe vermenigvuldigingen naar block-matrix vermenigvuldigingen met reële getallen. Dit reduceert redundantie en verbetert de parallelle verwerking op GPU's.

3. Belangrijkste Bijdragen

1. Eerste iSTFT-vocoder met CVNN: ComVo is, voor zover bekend, de eerste iSTFT-gebaseerde vocoder die complexe neurale netwerken gebruikt in zowel de generator als de discriminator.
2. Gestructureerde Niet-Lineaire Transformatie: De introductie van phase quantization als een specifieke niet-lineaire operatie om fase-instabiliteit te regulariseren.
3. Efficiënte Implementatie: Een block-matrix berekeningsschema dat de trainingstijd met 25% verkort door redundante operaties te elimineren, zonder de modelkwaliteit te verliezen.
4. Verbeterde Synthesekwaliteit: Experimentele resultaten tonen aan dat het gezamenlijk modelleren van reële en imaginaire componenten leidt tot superieure audio-kwaliteit vergeleken met state-of-the-art real-valued baselines.

4. Resultaten

De auteurs evalueren ComVo op het LibriTTS corpus (spraak) en het MUSDB18-HQ dataset (muziek/scheiding).

• Objectieve Metrieken: ComVo behaalt de hoogste scores op alle objectieve metrieken, waaronder UTMOS (voor natuurlijke spraak), PESQ (perceptuele kwaliteit), MR-STFT (spectrale vervorming) en V/UV F1-score. Op LibriTTS scoort ComVo bijvoorbeeld een UTMOS van 3.69 en een PESQ van 3.82, wat hoger is dan concurrenten zoals HiFi-GAN, iSTFTNet, BigVGAN en Vocos.
• Subjectieve Metrieken: In MOS (Mean Opinion Score) en CMOS (Comparison MOS) tests scoort ComVo consistent hoog, vaak gelijk aan of beter dan de beste baselines.
• Ablatie Studies:
  • Het gebruik van een complexe discriminator (cMRD) in plaats van een real-valued variant levert significante verbeteringen op in MR-STFT en PESQ.
  • De combinatie van een complexe generator en discriminator (GCDC) presteert het beste, wat aantoont dat het complexe domein-modeling effectief is voor beide componenten.
  • Fase-quantisatie met 128 niveaus ($N_q=128$) biedt de beste balans tussen perceptuele kwaliteit en reconstructie-accuraatheid.
• Efficiëntie: De block-matrix implementatie reduceert het aantal knooppunten in de backward computation graph met meer dan 55% voor de generator en bijna 67% voor de discriminator, wat leidt tot een 25% kortere trainingstijd.

5. Betekenis en Conclusie

ComVo demonstreert dat het verlaten van de traditionele scheiding tussen reële en imaginaire kanalen in spraaksynthese een cruciale stap is voor kwaliteitsverbetering. Door complexe getallen als eenheid te behandelen, kunnen neurale netwerken de inherente afhankelijkheden tussen amplitude en fase beter modelleren.

De paper is significant omdat het:

1. Een nieuw paradigma introduceert voor iSTFT-vocoders dat volledig in het complexe domein opereert.
2. Laat zien dat complexe netwerken niet alleen theoretisch interessanter zijn, maar ook praktisch superieure resultaten leveren in audio-synthese.
3. Een praktische oplossing biedt voor de computatiekosten van complexe netwerken via block-matrix optimalisatie, waardoor deze techniek schaalbaar wordt.

De auteurs concluderen dat ComVo een robuust fundament legt voor toekomstig onderzoek naar complexe domein-generatieve modellen, niet alleen voor GANs, maar ook voor andere paradigmata zoals diffusiemodellen.