How Far Do SSL Speech Models Listen for Tone? Temporal Focus of Tone Representation under Low-resource Transfer

Resumo Técnico: Foco Temporal da Representação de Tom sob Transferência de Baixo Recurso

Declaração do Problema
O tom lexical é uma característica linguística crítica que distingue significados de palavras em aproximadamente 40% das línguas do mundo, mas permanece subexplorado em modelos de fala de aprendizado autossupervisionado (SSL), particularmente além do Mandarim. Embora os modelos SSL tenham demonstrado fortes capacidades de codificação de informações segmentais (fonemas) e alcançado sucesso no reconhecimento automático de fala (ASR) multilíngue, seu tratamento de características suprassegmentais como o tom é menos compreendido. As análises existentes frequentemente carecem de um estudo sistemático de línguas do Sudeste Asiático, que possuem sistemas tonais complexos e diversos com movimentos de altura (pitch) dinâmicos. Um desafio fundamental é determinar o quão longe esses modelos "ouvem" para o tom — especificamente, o intervalo temporal dos sinais de tom — e como o aprendizado por transferência opera em condições de baixo recurso, onde a escassez de dados é prevalente.

Metodologia
O estudo foca em quatro línguas do Sudeste Asiático com sistemas tonais distintos: Birmanês, Tailandês, Lao e Vietnamita. A pesquisa emprega uma abordagem de três frentes:

1. Estimativa de Linha de Base Acústica: Antes de analisar os modelos SSL, os autores estabelecem o intervalo temporal ideal para o reconhecimento de tom usando espectrogramas log-Mel e classificadores de regressão logística. Eles testam janelas fixas variando de 20 ms a 300 ms para determinar a duração mínima necessária para a distinção confiável de tons em cada língua.
2. Arquitetura de Modelo e Ajuste Fino (Fine-tuning): O estudo analisa vários codificadores SSL representativos, primariamente wav2vec 2.0 large e sua extensão multilíngue XLS-R 300M, juntamente com MMS 300M e mHuBERT-147. Para investigar como a adaptação downstream molda as representações de tom, os autores realizam o ajuste fino desses modelos em várias tarefas:
   • ASR: Ajustado nas línguas alvo (Birmanês, Tailandês, Lao, Vietnamita), bem como em Inglês e Mandarim.
   • Tarefas de Prosódia/Voz: Ajustado para reconhecimento de emoção, classificação de gênero e verificação de locutor.
   • Baseline: Modelos vanilla (pré-treinados) são usados para comparação.
3. Sondagem e Análise de Gradiente:
   • Sondagem por Camada (Layer-wise Probing): Sondas lineares simples são treinadas em camadas SSL congeladas para prever rótulos de tom a partir de estados ocultos, avaliando o desempenho via pontuações macro-F1.
   • Sensibilidade Baseada em Gradiente: Os autores computam gradientes de entrada em relação ao logit da classe ouro em cada camada. Ao elevar esses gradientes ao quadrado e alinhá-los a deslocamentos temporais relativos ao centro do tom, eles derivam um "raio de centro de massa" ($r_{com}$). Esta métrica quantifica o foco temporal da sensibilidade do modelo, indicando o quão concentrada é a energia do gradiente em torno do centro do tom.

Principais Resultados

• Intervalos Temporais Específicos por Língua: A análise de linha de base acústica revela que o intervalo temporal ideal para o reconhecimento de tom varia por língua. O Birmanês e o Tailandês requerem intervalos mais curtos de aproximadamente 100 ms, enquanto o Lao e o Vietnamita requerem intervalos mais longos de aproximadamente 180 ms.
• Impacto de Tarefas Downstream no Foco Temporal:
  • Ajuste Fino de ASR: Modelos ajustados para ASR na língua alvo exibem intervalos de sensibilidade de gradiente que se alinham estreitamente com as linhas de base acústicas específicas da língua. Modelos de Birmanês/Tailandês mostram uma concentração aguda em torno dos centros de tom, enquanto modelos de Lao/Vietnamita exibem dispersões mais amplas, espelhando os requisitos acústicos.
  • Transferência Cross-Lingual: O ajuste fino de ASR em Mandarim (que envolve tom lexical) produz os segundos melhores resultados, enquanto o ajuste fino de ASR em Inglês ainda melhora o desempenho em relação aos modelos vanilla, embora de forma menos eficaz.
  • Tarefas Não Tonais: O ajuste fino para tarefas relacionadas a prosódia ou voz (emoção, gênero, verificação de locutor) falha em separar efetivamente a informação de tom. Esses modelos exibem intervalos temporais excessivamente longos e desempenho de sondagem quase indistinguível dos modelos pré-treinados vanilla.
• Localização por Camada: A informação de tom é capturada principalmente nas camadas intermediárias e superiores dos codificadores SSL. As camadas inferiores (0–11) carecem de concentração temporal suficiente, enquanto as camadas superiores (12–24) nos modelos de ASR de línguas alvo alcançam uma localização estável correspondente às linhas de base acústicas.
• Consistência do Modelo: Esses padrões sustentam-se através de diferentes arquiteturas, incluindo MMS e mHuBERT-147, confirmando que o ajuste fino de ASR para a língua alvo é a estratégia mais eficaz para alinhar as representações de tom com as pistas linguísticas específicas.

Significância e Alegações
O artigo afirma que as representações de tom em modelos SSL são transferíveis, mas essa transferência depende fortemente do alinhamento entre a tarefa de ajuste fino downstream e as características temporais específicas do sistema de tom da língua alvo. Os autores demonstram que:

1. Dependência de Tarefa: O foco temporal da modelagem de tom não é estático; ele é moldado pela tarefa de ajuste fino downstream. O ajuste fino de ASR alinha o campo receptivo do modelo com as pistas de tom necessárias, enquanto tarefas relacionadas à prosódia enviesam o modelo para intervalos excessivamente longos.
2. Orientação para Baixo Recurso: Para línguas tonais de baixo recurso, selecionar um modelo semente e uma estratégia de ajuste fino que se alinhe com o intervalo de tom específico da língua (por exemplo, usando ASR da língua alvo) é crucial para o aprendizado de representação eficaz.
3. Contribuição Metodológica: O estudo fornece uma análise sistemática dos intervalos temporais necessários para o reconhecimento de tom e introduz uma sonda baseada em gradiente por camada para examinar como os modelos SSL capturam esses intervalos, oferecendo uma nova ferramenta para analisar características suprassegmentais em modelos de fala.

As descobertas destacam que a modelagem de tom bem-sucedida em SSL requer não apenas a presença de tom nos dados de treinamento, mas um alinhamento específico do objetivo de aprendizado com a dinâmica temporal da característica linguística.