Sintesi Tecnica: Post-Training di Modelli di Linguaggio per il Miglioramento del Parlato con Ricompense Percettive

Definizione del Problema

I modelli di linguaggio autoregressivi per il miglioramento del parlato (Speech Enhancement, SE), che operano su token audio discreti, hanno ottenuto risultati allo stato dell'arte sfruttando il pre-addestramento su larga scala e il fine-tuning supervisionato (SFT). Tuttavia, persiste un significativo "gap tra addestramento e valutazione" (train-eval gap). Questi modelli sono ottimizzati utilizzando una perdita di cross-entropy a livello di token, mentre le loro prestazioni vengono valutate tramite metriche percettive non differenziabili come DNSMOS (qualità complessiva), WER (intelligibilità) e UTMOS (naturalezza). Una cross-entropy inferiore non garantisce necessariamente punteggi percettivi più elevati.

I tentativi precedenti di colmare questo gap si sono affidati a surrogati appresi (es. MetricGAN) o coppie di preferenza offline (es. GSEPF). Questi approcci soffrono di errori di approssimazione, instabilità nell'addestramento o necessità di una complessa costruzione dei dati. Inoltre, l'ottimizzazione per una singola metrica porta spesso al "reward hacking", in cui il modello sfrutta artefatti per gonfiare un punteggio specifico a scapito di altre dimensioni qualitative.

Metodologia

Gli autori propongono di completare la pipeline standard di addestramento NLP (Pre-training $\rightarrow$ SFT $\rightarrow$ Post-training) per i modelli SE introducendo una fase di post-training utilizzando la Group Sequence Policy Optimization (GSPO).

1. Modelli Base

Il metodo è applicato a due modelli SE autoregressivi esistenti:

• UniSE: Un modello decoder-only che utilizza token di codec audio neurale a 16 kHz.
• GenSE: Un modello di generazione gerarchica a due stadi (semantico poi token acustici) che utilizza un codec a singolo quantizzatore.

2. Framework GSPO

A differenza dei metodi di reinforcement learning a livello di token (es. GRPO), GSPO opera a livello di sequenza:

• Campionamento: Per ogni input rumoroso $x$, la policy $\pi_\theta$ genera $G$ sequenze di output complete $\{y_1, \dots, y_G\}$.
• Calcolo della Ricompensa: Ogni sequenza completa viene decodificata in un'onda sonora e valutata tramite una funzione di ricompensa $R(x, y)$.
• Stima del Vantaggio: I vantaggi relativi al gruppo sono calcolati normalizzando le ricompense all'interno del gruppo:
  $$A_i^j = \frac{R(x_i, y_i^j) - \mu_i}{\sigma_i}$$
  dove $\mu_i$ e $\sigma_i$ sono la media e la deviazione standard delle ricompense per il gruppo.
• Obiettivo: La funzione di perdita applica il clipping a livello di sequenza al rapporto di importanza $\rho = \pi_\theta(y|x) / \pi_{old}(y|x)$:
  $$L = \mathbb{E} [\min (\rho \cdot A, \text{clip}(\rho, 1-\epsilon, 1+\epsilon) \cdot A)] - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})$$
  Questa formulazione elimina la necessità di una rete critic appresa, riducendo i requisiti di memoria e migliorando la stabilità.

3. Progettazione della Ricompensa Composta

Per evitare il reward hacking, gli autori progettano una ricompensa composta che combina tre metriche non differenziabili:
$$R(x, y) = \text{DNSMOS} + (1 - \text{WER}) + \text{UTMOS}$$

• DNSMOS: Predice la qualità complessiva del parlato.
• WER: Misurato tramite Whisper-Large-V3 per garantire la preservazione del contenuto (invertito affinché un valore maggiore sia migliore).
• UTMOS: Predice la naturalezza.
  Le metriche sono pesate equamente. Questo approccio multi-metrica mira a bilanciare simultaneamente qualità percettiva, intelligibilità e naturalezza.

Contributi Chiave

1. Completamento della Pipeline: Il documento introduce la prima fase di post-training per i modelli di linguaggio SE autoregressivi utilizzando GSPO, allineandoli alla pipeline a tre stadi stabilita nel NLP.
2. Ottimizzazione Diretta delle Metriche: L'approccio ottimizza direttamente metriche di valutazione non differenziabili (DNSMOS, WER, UTMos) come segnali di ricompensa online, senza l'uso di surrogati appresi o costruzione di coppie di preferenza offline.
3. Validazione delle Ricompese Multi-Metrica: Attraverso l'ablation test basata sulla valutazione umana, gli autori dimostrano che una ricompensa composta è strettamente preferita rispetto alle varianti a singola metrica, confermando che l'ottimizzazione multi-ricompensa previene il reward hacking osservato nell'addestramento a singola metrica.
4. Prestazioni allo Stato dell'Arte: Il metodo raggiunge nuovi risultati allo stato dell'arte sui benchmark DNS2020 e DNS5 quando applicato a UniSE e GenSE.

Risultati Sperimentali

Benchmark DNS2020

Sul set di test cieco DNS2020 (sintetico con/senza riverbero e registrazioni reali), il post-training GSPO ha migliorato costantemente tutte le metriche DNSMOS (SIG, BAK, OVRL) per entrambi i modelli base:

• GenSE + GSPO: Ha ottenuto i migliori risultati nelle condizioni sintetiche (es. OVRL 3.53 con riverbero, 3.55 senza riverbero).
• UniSE + GSPO: Ha ottenuto i migliori risultati sulle registrazioni reali (OVRL 3.37).
  Entrambi i modelli potenziati hanno superato i modelli SE tradizionali, i modelli basati su diffusione e altri approcci basati su LM (es. AnyEnhance, LLaSE-G1).

Benchmark DNS5

Sul set di test cieco DNS5 utilizzando il DNSMOS personalizzato (pDNSMOS):

• GenSE + GSPO ha mostrato guadagni sostanziali, migliorando il pOVRL di +1.04 (Track 1) e +1.40 (Track 2), superando tutti i baseline con ampio margine.
• UniSE + GSPO ha ottenuto i migliori punteggi complessivi su Track 1 (pOVRL 4.63).
  I risultati indicano che GSPO generalizza bene alle metriche personalizzate non esplicitamente incluse nella funzione di ricompensa.

Ablation della Valutazione Umana

Un test di preferenza a coppie con 21 valutatori ha confrontato il baseline SFT con le varianti GSPO utilizzando singole metriche (DNSMOS, UTMOS, WER) e la ricompensa composta:

• Ricompensa Composta: È stata classificata al primo posto con un rating Elo di 1571 e un tasso di vittoria del 71.4% contro il baseline.
• Fallimento della Singola Metrica: L'ottimizzazione basata solo su DNSMOS ha prodotto l'Elo più basso (1335) e un tasso di vittoria dello 0% contro la ricompensa composta, con un tasso di vittoria del 33.3% contro il baseline. Ciò conferma che l'ottimizzazione per una singola metrica può degradare la qualità percepita al di sotto del baseline supervisionato (reward hacking).
• Asimmetria: L'ottimizzazione basata solo su UTMOS è rimasta vicina alla parità con il baseline, mentre quella basata solo su DNSMOS ha attivamente degradato la qualità, suggerendo che DNSMOS sia più suscettibile allo sfruttamento superficiale.

Significato e Rivendicazioni

Il documento sostiene che il post-training con ricompense percettive multi-metrica è un terzo asse critico per migliorare i modelli di linguaggio SE, completando il design dell'architettura e la scalabilità dei dati. Ottimizzando direttamente le metriche non differenziabili tramite GSPO, il metodo chiude il gap tra addestramento e valutazione senza l'instabilità dei surrogati appresi. Gli autori sottolineano che l'ottimizzazione multi-ricompensa è essenziale per evitare il fenomeno del reward hacking, garantendo che i miglioramenti in una metrica non avvengano a spese della qualità complessiva del parlato. Il lavoro stabilisce un nuovo standard per l'addestramento di modelli SE che si allinea direttamente alle preferenze percettive umane.