Technische Samenvatting: Post-training van Spraakverbeteringsmodellen met Perceptuele Beloningen

Probleemstelling

Autoregressieve spraakverbeteringsmodellen (Speech Enhancement, SE), die opereren op discrete audio-tokens, hebben state-of-the-art resultaten bereikt door gebruik te maken van grootschalige pre-training en supervised fine-tuning (SFT). Echter, een aanzienlijke "train-eval gap" blijft bestaan. Deze modellen worden geoptimaliseerd met behulp van token-niveau cross-entropy loss, terwijl hun prestaties worden geëvalueerd met niet-differentieerbare perceptuele metrieken zoals DNSMOS (algemene kwaliteit), WER (verstaanbaarheid) en UTMOS (naturaliteit). Een lagere cross-entropy garandeert geen hogere perceptuele scores.

Eerdere pogingen om deze kloof te overbruggen, vertrouwden op geleerde surrogaten (bijv. MetricGAN) of offline voorkeursparen (bijv. GSEPF). Deze benaderingen lijden aan benaderingsfouten, trainingsinstabiliteit of de noodzaak voor complexe dataconstructie. Bovendien leidt het optimaliseren voor een enkele metriek vaak tot "reward hacking", waarbij het model artefacten exploiteert om een specifieke score op te blazen terwijl andere kwaliteitsdimensies verslechteren.

Methodologie

De auteurs stellen voor om de standaard NLP-trainingspipeline (Pretraining $\rightarrow$ SFT $\rightarrow$ Post-training) te voltooien voor SE-modellen door een post-training fase te introduceren met behulp van Group Sequence Policy Optimization (GSPO).

1. Basismodellen

De methode wordt toegepast op twee bestaande autoregressieve SE-modellen:

• UniSE: Een decoder-only model dat gebruik maakt van neurale audio-codec tokens op 16 kHz.
• GenSE: Een hiërarchisch tweestaps generatiemodel (semantische dan akoestische tokens) met een enkele-quantizer codec.

2. GSPO-framework

In tegen tegenstelling tot token-niveau reinforcement learning methoden (bijv. GRPO), opereert GSPO op het sequentie-niveau:

• Sampling: Voor elke ruisige input $x$ genereert de policy $\pi_\theta$ $G$ volledige output-sequenties $\{y_1, \dots, y_G\}$.
• Beloningsberekening: Elke volledige sequentie wordt gedecodeerd naar een golfvorm en gescoord met een beloningsfunctie $R(x, y)$.
• Advantage Estimatie: Groep-relatieve advantages worden berekend door beloningen binnen de groep te normaliseren:
  $$A_i^j = \frac{R(x_i, y_i^j) - \mu_i}{\sigma_i}$$
  waarbij $\mu_i$ en $\sigma_i$ het gemiddelde en de standaarddeviatie van de beloningen voor de groep zijn.
• Doelstelling: De loss-functie past sequentie-niveau clipping toe op de importance ratio $\rho = \pi_\theta(y|x) / \pi_{old}(y|x)$:
  $$L = \mathbb{E} [\min (\rho \cdot A, \text{clip}(\rho, 1-\epsilon, 1+\epsilon) \cdot A)] - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})$$
  Deze formulering elimineert de noodzaak voor een geleerd critic-netwerk, wat de geheugenvereisten vermindert en de stabiliteit verbetert.

3. Composiet Beloningsontwerp

Om reward hacking te voorkomen, ontwerpen de auteurs een composiet beloning die drie niet-differentieerbare metrieken combineert:
$$R(x, y) = \text{DNSMOS} + (1 - \text{WER}) + \text{UTMOS}$$

• DNSMOS: Voorspelt de algemene spraakkwaliteit.
• WER: Gemeten via Whisper-Large-V3 om inhoudelijke preservatie te waarborgen (geïnverteerd zodat hoger beter is).
• UTMOS: Voorspelt naturaliteit.
  De metrieken worden gelijk gewogen. Deze multi-metriek benadering beoogt gelijktijdig de perceptuele kwaliteit, verstaanbaarheid en naturaliteit te balanceren.

Belangrijkste Bijdragen

1. Voltooiing van de Pipeline: Het paper introduceert de eerste post-training fase voor autoregressieve SE-taalmodellen met GSPO, waardoor ze in lijn worden gebracht met de driestaps-pipeline die in NLP is gevestigd.
2. Directe Metriek Optimalisatie: De aanpak optimaliseert direct niet-differentieerbare evaluatiemetrieken (DNSMOS, WER, UTMOS) als online beloningssignalen zonder geleerde surrogaten of offline voorkeurspaar-constructie.
3. Validatie van Multi-Metriek Beloningen: Door middel van menselijke evaluatie-ablatie tonen de auteurs aan dat een composiet beloning strikt wordt verkozen boven single-metric varianten, wat bevestigt dat multi-reward optimalisatie de reward hacking voorkomt die wordt waargenomen bij single-metric training.
4. State-of-the-Art Prestaties: De methode bereikt nieuwe state-of-the-art resultaten op de DNS2020 en DNS5 benchmarks wanneer deze wordt toegepast op UniSE en GenSE.

Experimentele Resultaten

DNS2020 Benchmark

Op de DNS2020 blind test set (synthetisch met/zonder reverb en echte opnames), verbeterde GSPO post-training consequent alle DNSMOS metrieken (SIG, BAK, OVRL) voor beide basismodellen:

• GenSE + GSPO: Behaalde de beste resultaten onder synthetische condities (bijv. OVRL 3.53 met reverb, 3.55 zonder reverb).
• UniSE + GSPO: Behaalde de beste resultaten op echte opnames (OVRL 3.37).
• Beide verbeterde modellen presteerden beter dan traditionele SE-modellen, diffusie-gebaseerde modellen en andere LM-gebaseerde benaderingen (bijv. AnyEnhance, LLaSE-G1).

DNS5 Benchmark

Op de DNS5 blind test set met behulp van gepersonaliseerde DNSMOS (pDNSMOS):

• GenSE + GSPO liet substantiële winst zien, met een verbetering van pOVRL met +1.04 (Track 1) en +1.40 (Track 2), waarmee het alle baselines met ruime marges overtrof.
• UniSE + GSPO behaalde de beste algemene scores op Track 1 (pOVRL 4.63).
• De resultaten geven aan dat GSPO goed generaliseert naar gepersonaliseerde metrieken die niet expliciet in de beloningsfunctie zijn opgenomen.

Menselijke Evaluatie Ablatie

Een pairwise preference test met 21 raters vergeleek de SFT baseline met GSPO varianten met single metrics (DNSMOS, UTMOS, WER) en de composiet beloning:

• Composiet Beloning: Rangschikte als eerste met een Elo-rating van 1571 en een winrate van 71,4% tegenover de baseline.
• Single-Metric Falen: DNSMOS-only optimalisatie resulteerde in de laagste Elo (1335) en een 0% winrate tegenover de composiet, met een 33,3% winrate tegenover de baseline. Dit bevestigt dat het optimaliseren voor een enkele metriek de waargenomen kwaliteit kan degraderen tot onder de gesuperviseerde baseline (reward hacking).
• Asymmetrie: UTMOS-only bleef nabij pariteit met de baseline, terwijl DNSMOS-only de kwaliteit actief degradeerde, wat suggereert dat DNSMOS gevoeliger is voor oppervlakkige exploitatie.

Betekenis en Claims

Het paper claimt dat post-training met multi-metrische perceptuele beloningen een cruciale derde as is voor het verbeteren van SE-taalmodellen, als aanvulling op architectuurontwerp en data scaling. Door direct niet-differentieerbare metrieken te optimaliseren via GSPO, sluit de methode de train-eval gap zonder de instabiliteit van geleerde surrogaten. De auteurs benadrukken dat multi-reward optimalisatie essentieel is om het fenomeen van reward hacking te voorkomen, waardoor wordt gegarandeerd dat verbeteringen in de ene metriek niet ten koste gaan van de algemene spraakkwaliteit. Het werk vestigt een nieuwe standaard voor het trainen van SE-modellen die direct in lijn is met menselijke perceptuele voorkeuren.