Self-Supervised Speech Models Encode Phonetic Context via Position-dependent Orthogonal Subspaces

Titolo: Modelli di Parlato Auto-Supervisionati Codificano il Contesto Fonico tramite Sottospazi Ortogonali Dipendenti dalla Posizione

1. Il Problema

I modelli di parlato auto-supervisionati (S3M) basati su Transformer, come wav2vec 2.0, HuBERT e WavLM, sono diventati lo standard per l'apprendimento di rappresentazioni vocali generiche. Sebbene sia noto che questi modelli sono "contestualizzati", il meccanismo interno con cui una singola rappresentazione a livello di frame codifica non solo il fonema corrente, ma anche il contesto fonetico circostante (fonemi precedenti e successivi), rimane poco chiaro.
La ricerca precedente ha dimostrato che gli S3M rappresentano i fonemi in modo compositivo (es. vettori di vocalità, labialità, nasalità sovrapposti), ma si è concentrata principalmente su rappresentazioni medie (mean-pooled) di interi segmenti fonetici, ignorando come il contesto venga integrato all'interno di un singolo frame temporale.

2. Metodologia

Gli autori propongono l'ipotesi che una singola rappresentazione a livello di frame codifichi una sequenza di fonemi (corrente, precedente e successivo) attraverso una combinazione lineare di vettori fonologici. Per verificare questo, hanno analizzato tre modelli S3M (wav2vec 2.0, HuBERT, WavLM) addestrati su inglese, utilizzando i dataset TIMIT e VoxAngeles.

La metodologia si basa su quattro previsioni principali verificate sperimentalmente:

1. Composizionalità a livello di frame: Verifica se le analogie fonologiche (es. $[b] - [d] + [t] \approx [p]$) funzionano su singoli frame centrali (center pooling) rispetto alla media temporale.
2. Vettori fonologici contestuali: Test se una singola rappresentazione di un frame centrale ($p_0$) contiene informazioni fonologiche sui fonemi vicini ($p_{-1}, p_{+1}$) attraverso operazioni vettoriali.
3. Ortogonalità posizionale: Verifica se i vettori fonologici associati a diverse posizioni relative (passato, presente, futuro) occupano sottospazi ortogonali tra loro, permettendo al modello di distinguere la fonte dell'informazione senza ambiguità.
4. Segmentazione fonetica: Analisi di come le similarità coseno tra i frame e i vettori fonologici cambiano attorno ai confini fonetici reali, per determinare se il modello segmenta implicitamente il segnale in base ai confini fonetici o utilizza finestre temporali fisse.

Gli esperimenti hanno utilizzato metriche di "tasso di successo" per le analogie fonologiche, calcoli di similarità coseno tra vettori estratti tramite differenza di medie, e analisi della norma L2 dei vettori in funzione della distanza dal fonema centrale.

3. Contributi Chiave

Il lavoro introduce una nuova prospettiva sulla struttura interna degli S3M, evidenziando che:

• Codifica Compositiva Contestuale: Le rappresentazioni a livello di singolo frame non sono solo istanze del fonema corrente, ma contengono informazioni sovrapposte sui fonemi adiacenti.
• Sottospazi Ortogonali Dipendenti dalla Posizione: Il modello risolve l'ambiguità di avere informazioni multiple in un singolo vettore assegnando a ogni posizione relativa (es. "fonema precedente", "fonema corrente") un sottospazio vettoriale ortogonale. Questo permette di separare le informazioni contestuali senza interferenze.
• Emergenza di Confini Fonetici: La struttura posizionale non è basata su finestre temporali fisse, ma si allinea dinamicamente ai confini fonetici reali del parlato.

4. Risultati

• Composizionalità: Le rappresentazioni ottenute tramite center pooling (un singolo frame centrale) mostrano tassi di successo nelle analogie fonologiche paragonabili o superiori rispetto al mean pooling, confermando che l'informazione fonologica è presente a livello di singolo frame.
• Informazione Contestuale: I frame centrali codificano efficacemente le proprietà fonologiche dei fonemi immediati vicini ($\pm 1$), con un decadimento per i fonemi più distanti ($\pm 2$). Modelli come WavLM mostrano finestre contestuali più ampie e chiare.
• Ortogonalità: I vettori fonologici estratti per posizioni diverse (es. vettore di vocalità per $p_0$ vs $p_{-1}$) mostrano una similarità coseno vicina allo zero, confermando l'ortogonalità dei sottospazi. La struttura di similarità interna ai sottospazi (es. tra caratteristiche vocaliche) è preservata indipendentemente dalla posizione.
• Segmentazione: L'analisi attorno ai confini fonetici rivela che le similarità coseno con i vettori "correnti" e "prossimi" si incrociano esattamente nel momento del confine fonetico annotato. Questo dimostra che il modello segmenta implicitamente il flusso temporale in base ai confini fonetici piuttosto che a finestre temporali rigide.
• Norma dei Vettori: La norma L2 dei vettori fonologici contestuali diminuisce all'aumentare della distanza dal fonema centrale ($0 > \pm 1 > \pm 2$), suggerendo che l'informazione contestuale è più forte per i fonemi adiacenti.

5. Significato e Implicazioni

Questi risultati avanzano significativamente la comprensione dell'interpretabilità degli S3M:

• Unificazione Teorica: Forniscono una spiegazione unificata su come gli S3M codifichino sia l'identità del fonema che il suo contesto (allofoni), collegando le osservazioni sulle unità discrete apprese senza supervisione alla struttura fonetica sottostante.
• Segmentazione Non Supervisionata: La scoperta che i sottospazi dipendenti dalla posizione si allineano ai confini fonetici offre un segnale concreto e robusto per migliorare le tecniche di segmentazione del parlato non supervisionata (a livello di fonema e sillaba).
• Progettazione di Modelli: Suggerisce che le architetture future potrebbero beneficiare di meccanismi espliciti che modellano questi sottospazi ortogonali o che disaccoppiano rappresentazioni indipendenti dal contesto da quelle dipendenti dal contesto.
• Interpretabilità Linguistica: Conferma che gli S3M, pur addestrati senza etichette, ricostruiscono una struttura linguistica profonda (simile ai modelli HMM tri-fonemici del passato) attraverso l'organizzazione geometrica dei vettori nello spazio latente.

In sintesi, il paper dimostra che la "contestualizzazione" negli S3M non è un processo sfocato, ma una struttura geometrica precisa e organizzata, dove il contesto fonetico viene codificato in sottospazi ortogonali che rispettano i confini naturali del parlato.