Using embeddings to predict spoken word duration and pitch in Mandarin monosyllabic words

Resumo Técnico: Uso de Embeddings para Predizer a Duração e o Tom de Palavras Monossilábicas em Mandarim

Problema
As propriedades prosódicas, como a duração da palavra falada e os contornos da frequência fundamental ($f_0$), são influenciadas por um conjunto complexo de fatores, incluindo palavras vizinhas, taxa de fala e emoção do falante. Pesquisas anteriores estabeleceram que os significados das palavras, operacionalizados via embeddings de semântica distributiva, podem predizer a duração de homófonos em inglês e a forma dos contornos de $f_0$ em mandarim. No entanto, permanecia incerto se os embeddings contextualizados (CEs) — que aproximam o significado de tokens de palavras específicos dentro de um contexto de enunciação — poderiam predizer a duração da palavra falada em mandarim, e se essas predições seriam precisas o suficiente para reconstruir contornos de $f_0$ em tempo real (milissegundos), em vez de apenas em tempo normalizado.

Metodologia
O estudo utilizou o Corpus de Fala Espontânea de Mandarim de Taiwan, focando em 7.470 tokens de 102 palavras monossilábicas CV (vogais /a, i, u, @/ sem codas ou glides) para controlar efeitos segmentais.

1. Preparação dos Dados:

   • Os embeddings contextualizados foram gerados usando GPT-2 (especificamente o modelo de base chinês ckip-transformers) aplicado às enunciações do corpus, resultando em uma matriz $7.476 \times 768$ ($S$).
   • As variáveis alvo foram extraídas: duração da vogal ($C_v$), duração da palavra ($C_w$) e contornos de $f_0$ normalizados pelo tempo ($C_p$).
   • Um subconjunto de 6.118 tokens (93 tipos de palavras) foi utilizado para a análise do contorno de tom após a remoção de tokens com durações extremamente curtas ou saltos de oitava.

2. Abordagem de Modelagem:

   • O estudo empregou a estrutura do Modelo de Léxico Discriminativo (DLM). Mapeamentos lineares ($W$) foram estimados resolvendo as equações $SW_v = C_v$, $SW_w = C_w$ e $SW_p = C_p$ para predizer durações e contornos a partir dos embeddings.
   • Validação: Foi utilizada uma validação cruzada de 10 dobras (10-fold cross-validation).
   • Baselines: Para garantir que as predições não fossem fruto do acaso, duas baselines de permutação foram implementadas:
     • Baseline Global: Permutou aleatoriamente os identificadores de palavras entre todos os tokens, quebrando totalmente o vínculo entre forma e significado.
     • Baseline por Tipo: Permutou aleatoriamente os embeddings dentro de cada tipo de palavra. Isso testa se embeddings específicos de tokens predizem durações específicas de tokens melhor do que outros tokens do mesmo tipo.

3. Reconstrução em Tempo Real:

   • Os contornos de $f_0$ preditos em tempo normalizado foram retrotransformados para o tempo real (ms) multiplicando os pontos de tempo normalizado pela duração da palavra predita.
   • A precisão foi avaliada usando Dynamic Time Warping (DTK) para medir a distância entre os contornos observados e preditos.

Resultados Principais

• Predição de Duração: Os embeddings contextualizados predisseram significativamente tanto a duração da vogal quanto a da palavra acima dos níveis do acaso.
  • Dados de Treinamento: As correlações empíricas foram 0,535 (vogal) e 0,557 (palavra), superando significativamente ambas as baselines de permutação global e por tipo ($p < 0,0001$).
  • Dados de Teste (Held-out): As correlações empíricas permaneceram significativas (0,366 para vogal, 0,399 para palavra) e superiores às baselines.
  • Significância ao Nível de Token: Crucialmente, os resultados empíricos superaram a baseline de permutação por tipo. Isso indica que o significado e a realização fonética estão emaranhados mesmo ao nível de tokens individuais, não apenas de tipos de palavras.
• Predição de Contorno de Tom:
  • Os embeddings predisseram a forma dos contornos de $f_0$ em tempo normalizado significativamente melhor do que a baseline global.
  • No entanto, a baseline por tipo teve um desempenho ligeiramente superior ou igual aos resultados empíricos para a forma do tom, sugerindo que o significado específico do token não adiciona poder preditivo significativo para a forma do tom além do nível do tipo de palavra.
• Contornos em Tempo Real: Ao combinar a forma predita e a duração para gerar contornos de $f_0$ em tempo real, as predições empíricas foram significativamente mais precisas (menor distância DTK) do que as predições baseadas em permutação. Contudo, os autores observam que essas predições permanecem imprecisas devido a fatores prosódicos não modelados (ex: identidade do falante, taxa de fala local).

Significância e Alegações
O artigo afirma estender os achados anteriores sobre homófonos em inglês e o tom em mandarim ao demonstrar que os embeddings contextualizados predizem a duração da palavra falada em mandarim ao nível do token.

• Novidade: A principal contribuição é a evidência de que, para a duração, o significado semântico e a realização fonética estão emaranhados ao nível de tokens individuais. Isso contrasta com os contornos de tom, onde o sinal parece ser mais forte no nível do tipo de palavra.
• Viabilidade: O estudo demonstra que as predições de duração derivadas de embeddings são suficientemente precisas para retrotransformar contornos de tom normalizados em contornos de tempo real que se aproximam dos dados empíricos melhor do que as baselines aleatórias.
• Limitações e Escopo: Os autores reconhecem modestamente que os embeddings capturam uma estimativa "média e independente de falante". Fatores como identidade do falante, estado emocional e taxa de fala local não estão fortemente representados nos embeddings, limitando a precisão das predições em tempo real. O estudo não pretende substituir modelos que incorporam esses fatores prosódicos, mas sim estabelecer o poder preditivo basal do contexto semântico isolado.
• Implicação Teórica: Os resultados apoiam a visão de que detalhes semânticos e fonéticos estão mais profundamente emaranhados no léxico mental do que anteriormente assumido, desafiando a noção de que a prosódia é governada exclusivamente por fatores não semânticos.