Prosodic ABX: A Language-Agnostic Method for Measuring Prosodic Contrast in Speech Representations

1. O Problema

As representações de fala derivadas de modelos de fala auto-supervisionados (S3Ms), como wav2vec 2.0 e HuBERT, são amplamente reconhecidas por sua sensibilidade a contrastes fonêmicos. No entanto, a sensibilidade dessas representações a contrastes prosódicos (como acento tônico, acento de altura/pitch accent e tons lexicais) não foi diretamente medida de forma sistemática.

Embora estudos de "probing" (investigação) tenham mostrado que informações prosódicas existem nessas representações, eles não demonstram se essas informações são prominentes no espaço de representação. Isso é crucial para aplicações baseadas em distância, como agrupamento (clustering) e comparação de enunciados, onde contrastes significativos devem ser refletidos diretamente na geometria do espaço vetorial. Além disso, os métodos existentes de probing exigem conjuntos de dados rotulados e treinamento de classificadores, o que é difícil para línguas com padrões prosódicos complexos.

2. Metodologia: Prosodic ABX

Os autores propõem o Prosodic ABX, uma extensão da tarefa de discriminação ABX (originalmente usada para fonemas) para avaliar contrastes prosódicos.

• Conceito Básico: A tarefa utiliza trios de amostras de fala (A, B, X).
  • A e B: Compartilham a mesma sequência fonêmica e o mesmo falante, mas possuem padrões prosódicos diferentes que geram contraste semântico (pares mínimos prosódicos). Exemplo: permit (substantivo) vs. permit (verbo).
  • X: Uma amostra de um falante diferente, com o mesmo conteúdo fonêmico e o mesmo padrão prosódico de A.
• Mecanismo de Avaliação:
  1. As amostras são processadas pelo modelo S3M para obter sequências de representações ($R_A, R_B, R_X$).
  2. Utiliza-se a Distância de Warping Temporal Dinâmico (DTW) para alinhar as sequências. Diferente do pooling médio usado em métodos de probing, o DTW preserva a estrutura temporal e permite variações locais, sendo ideal para comparar contornos prosódicos.
  3. Calcula-se a distância normalizada $d(R, R_X)$. Se $d(R_A, R_X) < d(R_B, R_X)$, o modelo distingue corretamente o par mínimo.
  4. O resultado é reportado como uma taxa de erro (1 - pontuação ABX).
• Vantagens: O método é livre de treinamento (não requer classificadores), não depende de rótulos explícitos para o modelo e utiliza todo o conjunto de dados.

3. Contribuições Principais

1. Framework Prosodic ABX: Uma metodologia nova e agnóstica à língua para medir a sensibilidade de representações de fala a contrastes prosódicos lexicais.
2. Novos Conjuntos de Dados:
   • Criação e liberação de pares mínimos de Inglês (acentuação lexical) e Japonês (acentuação de altura/pitch accent) gravados por falantes nativos.
   • Uso de um corpus existente para Mandarim (tons lexicais).
   • Inclusão de dados sintetizados (TTS) para avaliar a viabilidade de proxies sintéticos.
3. Análise Comparativa: Avaliação de 17 modelos S3M (incluindo wav2vec 2.0, HuBERT, XLSR, WavLM) em três línguas distintas, comparando-os com baselines acústicas e com o desempenho humano.

4. Resultados Chave

• Desempenho vs. Humanos:
  • Os S3Ms superam significativamente as baselines acústicas (espectrogramas mel, MFCC) e o acaso, confirmando que contrastes prosódicos são proeminentes nas representações.
  • Inglês (Acento): Os modelos S3M superaram os ouvintes nativos em alguns casos (erro de 26% vs. 29% para humanos), sugerindo que os modelos podem capturar pistas prosódicas complexas melhor que humanos em certas condições.
  • Japonês e Mandarim: Os ouvintes nativos superaram os melhores modelos (ex: 9% de erro para humanos vs. 19% para o melhor modelo em acento japonês), indicando que a prosódia nessas línguas ainda é um desafio para os modelos atuais.
  • Existe uma forte correlação ($r=0.94$) entre as taxas de erro de humanos e modelos no inglês, sugerindo que os pares difíceis para humanos também são difíceis para os modelos.
• Uso de Fala Sintetizada (TTS) como Proxy:
  • Para tarefas de Tono (Mandarim) e Acento de Altura (Japonês), a fala sintetizada é um proxy excelente para a seleção de camadas e modelos, com alta correlação com dados naturais.
  • Para Acento Tônico (Inglês), a correlação é menor, possivelmente devido à complexidade e inconsistência das pistas prosódicas no inglês.
• Contexto (In-context vs. Out-of-context):
  • O desempenho é melhor quando as palavras são analisadas dentro do contexto da frase completa (in-context) em comparação com palavras isoladas (out-of-context).
  • No entanto, as classificações de camadas e modelos obtidas em cenários out-of-context são altamente correlacionadas com as de in-context, validando o uso de pares mínimos isolados para avaliação quando dados contínuos não estão disponíveis.
• Correlação entre Tarefas: Modelos sensíveis a um tipo de contraste prosódico tendem a ter bom desempenho em outros, sugerindo que eles compartilham correlatos acústicos (como a frequência fundamental F0).

5. Significância e Impacto

O trabalho estabelece o Prosodic ABX como uma ferramenta prática e robusta para analisar a prosódia em modelos de aprendizado auto-supervisionado.

• Agnóstico à Língua: Permite a avaliação de prosódia em línguas com poucos recursos, desde que existam pares mínimos.
• Guia para Seleção de Modelos: Ajuda a identificar quais camadas e modelos são mais adequados para tarefas downstream sensíveis à prosódia, como agrupamento de tokens prosódicos ou feedback de pronúncia para aprendizes de línguas.
• Eficiência: Elimina a necessidade de rotulagem manual extensiva e treinamento de classificadores, simplificando a análise de representações de fala.

Em suma, o artigo demonstra que, embora os S3Ms ainda não superem humanos em todas as tarefas prosódicas (especialmente em tons e acentos de altura), eles capturam informações prosódicas de forma significativa e estruturada, e o framework proposto oferece um método padronizado para medir e comparar essa capacidade.