Resumo Técnico: SITA – Aprendizado de Representações de Fala Invariantes ao Locutor e Sensíveis ao Tom para Línguas Tonais de Baixo Recurso

1. Declaração do Problema

As línguas tonais, que constituem mais da metade das línguas do mundo, permanecem significativamente desatendidas pela tecnologia de fala moderna. Um desafio primário na adaptação de codificadores de fala pré-treinados (ex: wav2vec 2.0, XLS-R) para estas línguas é o "colapso de incorporação de fala tonal". Em cenários de baixos recursos, o ajuste fino (fine-tuning) padrão frequentemente falha em equilibrar dois requisitos conflitantes:

1. Invariância ao Locutor: Representações do mesmo item lexical falados por diferentes locutores (ex: gêneros diferentes) devem ser semelhantes.
2. Sensibilidade ao Tom: Representações da mesma palavra base carregando diferentes tons lexicais (que codificam significados distintos) devem permanecer distintas.

Codificadores multilingues existentes frequentemente exibem viés demográfico (falhando em agrupar mesmas palavras entre locutores) e insensibilidade ao tom (colapsando diferentes tons da mesma palavra em clusters sobrepostos). Esta degradação é particularmente aguda em línguas severamente sub-recursos como o Hmong, onde modelos prontos para uso falham em representar distinções lexicais com precisão.

2. Metodologia: SITA

Os autores propõem o SITA (Speaker-Invariant and Tone-Aware), uma receita de adaptação leve de dois estágios projetada para aprender representações robustas a partir de um codificador multilingue pré-treinado (especificamente o XLS-R). O método emprega uma abordagem de treinamento multi-objetivo em estágios:

Estágio 1: Aprendizado de Representação Invariante ao Locutor e Sensível ao Tom

Neste estágio, o modelo aprende a estruturar o espaço de incorporação (embedding) congelando as camadas inferiores e atualizando blocos intermediários. O objetivo combina duas funções de perda complementares:

• Perda de Invariância ao Locutor (InfoNCE): Um objetivo contrastivo cross-gender. Para uma determinada palavra âncora, uma amostra positiva é uma gravação do mesmo item lexical por um locutor do gênero oposto. Amostras negativas são itens lexicais diferentes. Esta perda incentiva a consistência lexical entre locutores enquanto afasta diferentes palavras.
• Perda de Sensibilidade ao Tom: Este componente evita o "colapso de tom" através de dois mecanismos:
  1. Perda de Repulsão de Tom: Uma perda contrastiva que separa explicitamente "negativos difíceis" (mesma palavra base, tons diferentes) de positivos (mesma palavra, mesmo tom).
  2. Cabeça de Classificação de Tom: Um classificador auxiliar prevê o rótulo do tom a partir da incorporação, usando perda de entropia cruzada para direcionar a representação para uma estrutura discriminativa de tom.
• Aumento de Dados: Para aumentar a diversidade de locutores sem nova coleta de dados, os autores utilizam o FreeVC (um modelo de conversão de voz one-shot livre de texto) para gerar variantes de locutores cruzados de tokens de treinamento. Eles também aplicam perturbações acústicas (ruído, estiramento temporal) enquanto excluem o deslocamento de tom (pitch shifting) durante os objetivos relacionados ao tom para preservar o significado lexical.

Estágio 2: Ajuste Fino de ASR com Destilação de Conhecimento

Para garantir que as representações aprendidas permaneçam úteis para o Reconhecimento Automático de Fala (ASR) a jusante, o modelo passa por um segundo estágio de ajuste fino:

• Ajuste Fino de CTC: As camadas superiores e a cabeça de projeção CTC são treinadas usando a perda de Classificação Temporal Conectiva (CTC) em transcrições de nível de palavra.
• Destilação de Conhecimento (KD): Para evitar que o codificador se afaste de estruturas favoráveis ao reconhecimento, o modelo estudante é regularizado por um modelo professor de ASR mais forte (um XLS-R adaptado para ASR). O estudante minimiza a divergência KL entre seus posteriors de nível de quadro e os posteriors suavizados do professor.
• Eficiência de Parâmetros: As camadas inferiores (aprendidas no Estágio 1) são congeladas durante o Estágio 2 para preservar a geometria invariante ao locutor e sensível ao tom estabelecida anteriormente.

3. Principais Contribuições

O artigo apresenta três contribuições principais:

1. Identificação de Modos de Falha: Os autores identificam o "colapso de incorporação de fala tonal" como um modo de falha crítico em línguas tonais de baixos recursos, onde o ajuste fino padrão falha em manter a tensão entre invariância ao locutor e sensibilidade ao tom.
2. Framework SITA: Eles propõem um método de adaptação em estágios e eficiente em parâmetros que combina aprendizado contrastivo, repulsão de tom explícita e destilação de ASR para aprender representações que são simultaneamente invariantes ao locutor e sensíveis ao tom.
3. Validação Empírica: O método é validado no Hmong (uma língua severamente sub-recurso) e transferido para o Mandarim, demonstrando que a abordagem se generaliza através de diferentes sistemas tonais sem exigir mudanças na arquitetura.

4. Resultados Experimentais

Os autores avaliaram o SITA em três tarefas: recuperação de palavras cross-gender, análise de geometria de tom e desempenho de ASR.

Avaliação em Hmong

• Recuperação Cross-Gender: O SITA superou significativamente os baselines (incluindo XLS-R congelado, adaptação ingênua, Whisper e métodos adversariais). No corpus de palavras Hmong, o SITA alcançou uma acurácia de recuperação Top-1 de 0,6286 (F→M) e 0,5929 (M→F), comparado ao desempenho próximo ao acaso (0,07–0,10) para o XLS-R congelado e ~0,37 para o melhor baseline adversarial (GRL).
• Geometria de Tom: O SITA reduziu efetivamente o colapso de tom. Enquanto os métodos de baseline mostraram distâncias de cosseno de negativos difíceis (mesma palavra, tom diferente) de apenas 0,01–0,08, o SITA aumentou essa separação para 0,675, mantendo simultaneamente alta similaridade intra-tom (~0,80).
• Desempenho de ASR: Embora o desempenho de ASR do Estágio 2 do SITA (WER: 0,5115) tenha sido ligeiramente inferior ao de um professor XLS-R totalmente adaptado para ASR (WER: 0,4610), ele preservou uma estrutura de reconhecimento utilizável enquanto alcançava ganhos massivos em robustez de representação.
• Generalização: Em avaliações de locutores não vistos, o SITA manteve um desempenho robusto (Top-1: 0,6870), superando todos os baselines.

Transferência para Mandarim

Quando aplicado a um corpus de Mandarim (Tone Perfect) com a mesma arquitetura e hiperparâmetros, o SITA alcançou um desempenho de recuperação próximo ao teto (Top-1: 0,9927), confirmando que a receita se generaliza além do Hmong para outras línguas tonais.

5. Significância e Alegações

O artigo alega que o SITA oferece uma abordagem geral de plug-in para adaptar codificadores de fala multilingues para línguas tonais. Sua significância reside em abordar o trade-off específico entre invariância ao locutor e sensibilidade ao tom, que é frequentemente negligenciado na adaptação genérica de baixos recursos.

Os autores enfatizam que:

• O treinamento em estágios é crucial: A otimização de estágio único produz uma boa recuperação, mas degrada o ASR; a abordagem de dois estágios equilibra ambos com sucesso.
• A adaptação leve é eficaz: Congelar as camadas inferiores e atualizar apenas blocos específicos permite uma adaptação robusta sem os requisitos de dados de um ajuste fino total.
• A separação de tom é alcançável: Modelar explicitamente a repulsão de tom e usar aumento por conversão de voz pode superar as limitações de modelos multilingues prontos para uso em contextos tonais.

O artigo conclui com limitações modestas, observando que a avaliação está atualmente restrita a corpora curados de nível de palavra e que o peso ideal da perda pode variar dependendo se a prioridade a jusante é a recuperação ou o reconhecimento. Considerações éticas relativas ao potencial das incorporações codificarem atributos demográficos sensíveis também são reconhecidas.