OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL

Riepilogo Tecnico: OLIVE - Previsione Latente con Augmentazione di Vista e Ricostruzione della Forma d'Onda

Definizione del Problema

I recenti progressi nell'apprendimento auto-supervisionato (SSL) nel campo del parlato sono stati guidati da modelli come wav2vec 2.0, HuBERT e data2vec, che eccellono nell'estrarre rappresentazioni contestuali per compiti discriminativi a valle (ad es., riconoscimento automatico del parlato, identificazione del parlatore). Tuttavia, questi metodi si concentrano prevalentemente sull'analisi, scartando spesso le informazioni a livello di segnale critiche per la generazione e la sintesi del parlato. Sebbene la comunicazione vocale implichi fondamentalmente sia la percezione (ascolto) che la produzione (parlare), i moderni sistemi SSL trattano la sintesi come un processo periferico piuttosto che come una parte integrante dell'apprendimento delle rappresentazioni. I tentativi esistenti di accoppiare analisi e sintesi spesso scartano il decoder dopo il pre-addestramento o operano su caratteristiche acustiche intermedie invece che su forme d'onda grezze, fallendo nel preservare la forza discriminativa dell'SSL pur consentendo una ricostruzione ad alta fedeltà.

Metodologia

Il documento propone OLIVE (Online Latent prediction with Invariant Views and rEconstruction), un framework che ottimizza congiuntamente gli obiettivi di analisi e sintesi all'interno di uno stadio di pre-addestramento singolo. L'architettura impiega una separazione funzionale tra le caratteristiche dell'encoder precoce e tardivo, illustrata nella Figura 1 del documento.

1. Branch di Analisi: Distillazione Mascherata con Augmentazione di Vista

Questo branch segue il paradigma insegnante-studente di data2vec 2.0 ma introduce l'augmentazione di vista (view augmentation).

• Processo: Vengono generate due viste indipendentemente aumentate della forma d'onda in ingresso ($x'$ e $x''$). Lo studente elabora una versione mascherata di una vista, mentre l'insegnante elabora la versione non mascherata dell'altra.
• Obiettivo: Lo studente predice i target latenti contestuali forniti dall'insegnante nelle posizioni mascherate.
• Invarianza: La famiglia di augmentazione (ad es., mixup, perturbazione del guadagno) definisce la variabilità rispetto alla quale la rappresentazione deve diventare invariante. Questo modella le successive rappresentazioni contestuali affinché siano robuste per i compiti discriminativi a valle.
• Target: I target dell'insegnante sono costruiti normalizzando istanza per istanza e mediando i top $K$ layer dell'encoder dell'insegnante.

2. Branch di Sintesi: Ricostruzione della Forma d'Onda

Questo branch agisce sulle caratteristiche dell'encoder precoce (caratteristiche locali) piuttosto che sulle rappresentazioni contestuali finali.

• Processo: Un vocoder neurale (basato su HiFi-GAN) è condizionato sulle caratteristiche dell'encoder locale dello studente ($r'_{1:T}$) per ricostruire la forma d'onda originale.
• Obiettivo: Il branch di sintesi utilizza una perdita composita che include la ricostruzione dello spettrogramma Mel ($L_{mel}$), l'addestramento avversario ($L_{gen}, L_{disc}$) e il matching delle caratteristiche ($L_{fm}$).
• Vincolo: Obbligando le caratteristiche dell'encoder precoce a trattenere informazioni sufficienti per la ricostruzione della forma d'onda, il modello evita lo scarto dei dettagli acustici fini che i modelli puramente discriminativi potrebbero perdere.

3. Ottimizzazione Congiunta

La funzione obiettivo finale bilancia i due obiettivi:
$$L_{OLIVE} = L_{analysis} + \lambda_{synthesis} L_{G}^{synthesis}$$
Dove $\lambda_{synthesis}$ controlla il compromesso. L'encoder dello studente, la testa di predizione e il generatore vengono aggiornati congiuntamente, mentre l'insegnante viene aggiornato tramite Media Mobile Esponenziale (EMA). Fondamentalmente, il decoder (vocoder) viene mantenuto come parte del modello pre-addestrato, a differenza degli approcci che lo scartano post-addestramento.

Contributi Chiave

1. Framework Unificato: Introduzione di OLIVE, che ottimizza congiuntamente l'analisi (apprendimento di rappresentazioni invarianti) e la sintesi (ricostruzione della forma d'onda) in un unico stadio di pre-addestramento.
2. Design di Separazione Funzionale: Un'architettura innovativa in cui la ricostruzione della forma d'onda vincola le caratteristiche dell'encoder precoce per preservare il dettaglio acustico, mentre le rappresentazioni contestuali tardive sono modellate principalmente dalla predizione mascherata con augmentazione di vista per garantire l'invarianza per una robusta analisi discriminativa.
3. Validazione delle Prestazioni: Dimostrazione del fatto che questo design migliora la ricostruzione della forma d'onda e le prestazioni a valle sui compiti generativi e relativi al parlatore, mantenendo risultati competitivi sui compiti di riconoscimento e semantici.

Risultati Sperimentali

Gli autori hanno valutato OLIVE sul benchmark SUPERB (che copre compiti di contenuto, parlatore, paralinguistica, semantica e generazione) e direttamente sulla qualità della ricostruzione della forma d'onda utilizzando il dataset LibriSpeech 960h.

Compiti a Valle (SUPERB)

• Compiti Generativi e del Parlatore: OLIVE ha mostrato miglioramenti significativi. Nello specifico, OLIVE-J (il modello congiunto) ha ottenuto i punteggi migliori nelle categorie Speaker e Generation (ad es., 83,1% di accuratezza nell'identificazione del parlatore, 12,3 SI-SDRi nella separazione della sorgente).
• Compiti di Riconoscimento e Semantici: OLIVE ha mantenuto prestazioni competitive con basi solide come wav2vec 2.0, HuBERT e data2vec 2.0 su compiti come ASR, PR e similitudine testuale semantica.
• Punteggi Aggregati: OLIVE-A (Mix+Gain) ha ottenuto il punteggio SUPERBs più alto, mentre OLIVE-J ha ottenuto il punteggio WavLMs più alto, indicando un forte equilibrio tra capacità discriminative e generative.

Ricostruzione della Forma d'Onda

• Ricostruzione Diretta: Il vocoder integrato di OLIVE-J ha superato i baselines SSL standard nelle metriche percettive (PESQ: 2.88, STOI: 0.921) e nelle metriche a livello di segnale (SI-SDR: 2.50).
• Qualità della Rappresentazione: Utilizzando le caratteristiche congelate di OLIVE-J con un vocoder addestrato separatamente, il modello ha ottenuto i migliori risultati in tutte le metriche (PESi: 3.06, SI-SDR: 2.94), suggerendo che la rappresentazione appresa tratti più dettagli acustici rispetto ai modelli orientati solo all'analisi.
• Confronto: OLIVE ha migliorato sostanzialmente la ricostruibilità rispetto ai baselines di sola analisi, confermando che l'obiettivo di sintesi preserva informazioni acustiche fini.

Significato e Rivendicazioni

Il documento sostiene che OLIVE riesce a colmare il divario tra l'apprendimento del parlato discriminativo e quello generativo. Bilanciando esplicitamente i due obiettivi:

1. Impedisce la perdita di informazioni critiche a livello di segnale necessarie per una generazione ad alta fedeltà, che spesso avviene nei modelli SSL puramente discriminativi.
2. Mantiene la forte potenza discriminativa necessaria per compiti come l'ASR e la verifica del parlatore.
3. Produce un singolo modello pre-addestrato che include un decoder funzionale, consentendo la ricostruzione diretta della forma d'onda senza la necessità di riaddestrare un percorso separato.

Gli autori segnalano limitazioni, specificamente che lo studio è limitato al parlato inglese e a modelli di dimensioni "Base" addestrati su LibriSpeech. Suggeriscono che il lavoro futuro dovrebbe esplorare dati di pre-addestramento più diversificati, diverse dimensioni dei modelli e compiti di generazione specifici come il text-to-speech.