Learning task-specific subspaces via interventional post-training of speech foundation models

Sintesi Tecnica: Apprendimento di Sottospazi Specifici per Compito tramite il Post-Training Interventistico di Modelli Fondativi del Parlato

Definizione del Problema
I modelli fondativi del parlato, pre-addestrati su vasti corpora di dati non etichettati, generano rappresentazioni general-purpose che esibiscono una forte capacità di generalizzazione per diversi compiti. Tuttavia, queste rappresentazioni codificano informazioni relative a varie variabili del parlato (ad esempio, identità del parlatore, contenuto, condizioni del canale) in modo distribuito ed entangled (intrecciato). Compiti a valle, come il Riconoscimento Automatico del Parlato (ASR) o l'Identificazione del Parlatore (SID), tipicamente si affidano solo a una frazione di questa variabilità. Ad esempio, un sistema ASR dovrebbe essere invariante rispetto al parlatore, mentre un sistema di verifica del parlatore dovrebbe essere invariante rispetto al contenuto parlato. Gli approcci esistenti per l'apprendimento di rappresentazioni disentangled (disaccoppiate) spesso si basano su assunzioni di indipendenza statistica o gaussianità, che si sono dimostrate insufficienti per garantire un vero disaccoppiamento. Inoltre, il tipico apprendimento contrastivo ottimizza solitamente un singolo spazio di embedding invariante rispetto alle variabili di disturbo, piuttosto che separare esplicitamente molteplici fonti di variabilità in distinti sottospazi.

Metodologia
Gli autori propongono un framework di raffinamento post-addestramento denominato Interventional Contrastive Learning (Apprendimento Contrastivo Interventistico). Questo approccio mira a trasformare lo spazio delle rappresentazioni entangled di un modello fondativo del parlato congelato in separati sottospazi specifici per il compito (nello specifico, contenuto e parlatore) utilizzando una perdita contrastiva multi-parte.

• Dataset Interventistico: Per fornire la supervisione necessaria al disaccoppiamento, gli autori sintetizzano un dataset utilizzando un sistema di Text-to-Speech (TTS) zero-shot allo stato dell'arte (F5-TTS). Questo dataset permette "interventi densi" dove ogni parlatore è accoppiato con ogni testo di l'enunciato. Questa configurazione sintetica consente un controllo preciso sulle variabili causali: il contenuto (testo) e il parlatore (audio di riferimento).
• Architettura: Il modello consiste in un backbone pre-addestrato e congelato (ad esempio, wav2vec 2.0, HuBERT o WavLM) che estrae le caratteristiche dall'input audio. Queste caratteristiche vengono aggregate tramite mean pooling in un singolo embedding dell'enunciato. Una Subspace Network addestra-bile (una MLP a 3 strati senza bottleneck) proietta questo embedding in uno spazio ad alta dimensionalità partizionato in due sottospazi di uguali dimensioni: un sottospazio del contenuto ($z_c$) e un sottospazio del parlatore ($z_s$).
• Funzione di Perdita (Loss Function): L'obiettivo di addestramento combina due componenti:
  1. Multi-Positive Contrastive Loss: Estesa per gestire molteplici sottospazi, questa perdita incoraggia gli embedding all'interno dello stesso sottospazio a essere vicini se condividono la stessa variabile causale (ad esempio, stesso parlatore per il sottospazio del parlatore) e lontani se differiscono. Utilizza etichette interventistiche per definire coppie positive e negative in base al fatto che la variabile causale sia stata oggetto di intervento o meno.
  2. Perdita di Ortogonalità: Un termine di regolarizzazione basato sulla norma di Frobenius della covarianza incrociata tra i sottospazi, che penalizza la somiglianza tra le rappresentazioni di contenuto e parlatore per imporre il disaccoppiamento.

Contributi Chiave

1. Nuova Perdita Contrastiva: Il paper introduce una funzione di perdita capace di apprendere simultaneamente molteplici spazi di embedding associati a distinte variabili causali, andando oltre l'invarianza a singolo spazio.
2. Dataset Interventistico Sintetico: Gli autori costruiscono un dataset con combinazioni esaustive di parlatori e testi, facilitando interventi densi sulle variabili causali che sono difficili da ottenere da dati del parlato naturali.
3. Validazione Empirica: L'approccio è valutato sui compiti di Verifica del Parlatore (SV) e Keyword Spotting (KS), dimostrando la separazione delle informazioni attraverso i sottospazi appresi.

Risultati
Gli esperimenti sono stati condotti su tre modelli backbone (wav2vec 2.0, HuBERT, WavLM) utilizzando il dataset sintetico.

• Verifica del Parlatore (Out-of-Domain): Il modello completo, che apprende entrambi i sottospazi congiuntamente, ha ottenuto un Equal Error Rate (EER) significativamente più basso sul test set VoxCeleb1 rispetto al baseline (backbone con mean-pooling) e alle varianti a singolo sottospazio. In particolare, i migliori modelli hanno raggiunto un ERE di circa il 24,7% (WavLM) e il 27,2% (HuBERT), superando i baseline umani non esperti (26,51%) nonostante siano stati addestrati su soli 32 parlatori e parlato letto pulito, pur essendo testati su parlato spontaneo "wild".
• Keyword Spotting: Il sottospazio del contenuto appreso ha mostrato prestazioni comparabili, sebbene leggermente inferiori, rispetto alle rappresentazioni baseline aggregate. Gli autori attribuiscono ciò a un mismatch tra la somiglianza a livello di frase imposta dal compito di pre-test contrastivo e i requisiti a livello di parola del keyword spotting.
• Evidenza del Disaccoppiamento: Il divario nelle prestazioni tra il sottospazio "corrispondente" (ad esempio, il sottospazio del parlatore per la SV) e quello "non corrispondente" (ad esempio, il sottospazio del parlatore per il KS) fornisce l'evidenza che l'intervento ha separato con successo le informazioni di parlatore e contenuto. Tuttavia, il divario era meno pronunciato per il compito KS, suggerendo una possibile fuga di informazioni (information leakage) o che il KS richieda meno informazioni di contenuto del previsto.
• Apprendimento Congiunto vs Separato: I risultati hanno indicato che non vi è un vantaggio significativo nell'apprendere congiuntamente i sottospazi rispetto all'apprenderli separatamente, sebbene il modello congiunto utilizzi i parametri in modo più efficiente.

Significatività e Affermazioni
Il paper sostiene che l'apprendimento contrastivo interventistico sia una strategia valida per il post-training di modelli fondativi del parlato per separare le informazioni rilevanti per il compito dalle variabili di disturbo. La principale significatività risiede nella capacità di apprendere una trasformazione agnostica rispetto ai dati che migliora le prestazioni di Verifica del Parlatore Out-of-Domain utilizzando un piccolo dataset sintetico, senza richiedere estesi dati etichettati per il compito a valle. Gli autori notano con modestia che, sebbene l'approccio separi con successo le informazioni del parlatore, la separazione delle informazioni di contenuto per il keyword spotting rimane imperfetta, probabilmente a causa del mismatch di granularità tra il compito di pre-test e il compito a valle. Concludono che è necessario ulteriore lavoro per scalare l'approccio su dataset più grandi e reali e per raffinare le funzioni di perdita per penalizzare meglio la fuga di informazioni.