Using embeddings to predict spoken word duration and pitch in Mandarin monosyllabic words

Sintesi Tecnica: Utilizzo degli Embedding per Predire la Durata e il Pitch delle Parole Monosillabiche Parlate in Mandarino

Enunciato del Problema
Le proprietà prosodiche, come la durata della parola parlata e i contorni della frequenza fondamentale ($f_0$), sono influenzate da un complesso insieme di fattori, tra cui le parole vicine, il ritmo del parlato e l'emozione del parlante. Ricerche precedenti hanno stabilito che i significati delle parole, operazionalizzati tramite embedding di semantica distribuzionale, possono predire la durata degli omofoni inglesi e la forma dei contorni di $f_0$ nel mandarino. Tuttavia, rimaneva poco chiaro se gli embedding contestualizzati (CE) — che approssimano il significato di specifici token lessicali all'interno di un contesto di enunciazione — potessero predire la durata della parola parlata nel mandarino, e se tali predizioni fossero abbastanza precise da ricostruire i contorni di $f_0$ in tempo reale (millisecondi) piuttosto che solo in tempo normalizzato.

Metodologia
Lo studio ha utilizzato il Taiwan Mandarin Spontaneous Speech Corpus, concentrandosi su 7.470 token di 102 parole monosillabiche CV (vocali /a, i, u, @/ senza coda o glide) per controllare gli effetti segmentali.

1. Preparazione dei Dati:

   • Gli embedding contestualizzati sono stati generati utilizzando GPT-2 (specificamente il modello base cinese ckip-transformers) applicato alle enunciazioni del corpus, risultando in una matrice $7.476 \times 768$ ($S$).
   • Le variabili target sono state estratte: durata della vocale ($C_v$), durata della parola ($C_w$) e contorni di $f_0$ normalizzati nel tempo ($C_p$).
   • Un sottoinsieme di 6.118 token (93 tipi di parole) è stato utilizzato per l'analisi del contorno del pitch dopo aver rimosso i token con durate estremamente brevi o salti di ottava.

2. Approccio di Modellazione:

   • Lo studio ha impiegato il framework del Modello Lessicale Discriminativo (DLM). Le mappature lineari ($W$) sono state stimate risolvendo le equazioni $SW_v = C_v$, $SW_w = C_w$ e $SW_p = C_p$ per predire durate e contorni dagli embedding.
   • Validazione: È stata utilizzata una validazione incrociata a 10 pieghe (10-fold cross-validation).
   • Baseline: Per garantire che le predizioni non fossero dovute al caso, sono state implementate due baseline di permutazione:
     • Baseline Globale: Identificatori di parole permutati casualmente attraverso tutti i token, rompendo completamente il legame tra forma e significato.
     • Baseline per Tipo: Embedding permutati casualmente all'interno di ogni tipo di parola. Questo testa se gli embedding specifici del token predicono le durate specifiche del token meglio di altri token dello stesso tipo.

3. Ricostruzione in Tempo Reale:

   • I contorni di $f_0$ predetti nel tempo normalizzato sono stati retro-trasformati in tempo reale (ms) moltiplicando i punti temporali normalizzati per la durata della parola predetta.
   • L'accuratezza è stata valutata utilizzando il Dynamic Time Warping (DTW) per misurare la distanza tra i contorni osservati e quelli predetti.

Risultati Chiave

• Predizione della Durata: Gli embedding contestualizzati hanno predetto significativamente sia la durata della vocale che quella della parola al di sopra dei livelli del caso.
  • Dati di Training: Le correlazioni empiriche erano 0,535 (vocale) e 0,557 (parola), superando significativamente entrambe le baseline di permutazione globale e per tipo ($p < 0,0001$).
  • Dati Held-out: Le correlazioni empiriche sono rimaste significative (0,366 per la vocale, 0,399 per la parola) e superiori alle baseline.
  • Significatività a livello di Token: Fondamentalmente, i risultati empirici hanno superato la baseline di permutazione per tipo. Ciò indica che il significato e la realizzazione fonetica sono intrecciati anche a livello di singoli token, non solo a livello di tipi di parole.
• Predizione del Contorno del Pitch:
  • Gli embedding hanno predetto la forma dei contorni di $f_0$ nel tempo normalizzato significativamente meglio della baseline globale.
  • Tuttavia, la baseline per tipo è stata leggermente migliore o uguale ai risultati empirici per la forma del pitch, suggerendo che il significato specifico del token non aggiunge potere predittivo significativo per la forma del pitch oltre il livello del tipo di parola.
• Contorni in Tempo Reale: Combinando la forma predetta e la durata per generare contorni di $f_0$ in tempo reale, le predizioni empiriche sono state significativamente più accurate (distanza DTW più breve) rispetto alle predizioni basate sulla permutazione. Tuttavia, gli autori osservano che queste predizioni rimangono imprecise a causa di fattori prosodici non modellati (es. identità del parlante, ritmo locale del parlato).

Significatività e Rivendicazioni
Il documento sostiene di estendere i risultati precedenti sugli omofoni inglesi e sul pitch del mandarino dimostrando che gli embedding contestualizzati predicono la durata della parola parlata nel mandarino a livello di token.

• Novità: Il contributo primario è la prova che, per la durata, il significato semantico e la realizzazione fonetica sono intrecciati a livello di singoli token. Questo contrasta con i contorni del pitch, dove il segnale appare più forte a livello di tipo di parola.
• Fattibilità: Lo studio dimostra che le predizioni della durata derivate dagli embedding sono sufficientemente precise da retro-trasformare i contorni del pitch normalizzati in contorni in tempo reale che approssimano i dati empirici meglio delle baseline casuali.
• Limiti e Ambito: Gli autori riconoscono con modestia che gli embedding catturano una stima "media e indipendente dal parlante". Fattori come l'identità del parlante, lo stato emotivo e il ritmo locale del parlato non sono fortemente rappresentati negli embedding, limitando la precisione delle predizioni in tempo reale. Lo studio non pretende di sostituire i modelli che incorporano questi fattori prosodici, ma piuttosto di stabilire la baseline del potere predittivo del solo contesto semantico.
• Implicazione Teorica: I risultati supportano la visione secondo cui i dettagli semantici e fonetici sono più profondamente intrecciati nel lessico mentale di quanto precedentemente assunto, sfidando l'idea che la prosodia sia governata esclusivamente da fattori non semantici.