Learning task-specific subspaces via interventional post-training of speech foundation models

Resumo Técnico: Aprendizado de Subespaços Específicos de Tarefa via Pós-Treinamento Intervencionista de Modelos de Fundação de Fala

Definição do Problema
Modelos de fundação de fala, pré-treinados em vastos corpora de dados não rotulados, geram representações de propósito geral que exibem uma forte generalização de tarefas. No entanto, essas representações codificam informações sobre várias variáveis de fala (ex: identidade do falante, conteúdo, condições de canal) de maneira distribuída e emaranhada. Tarefas subsequentes, como o Reconhecimento Automático de Fala (ASR) ou Identificação de Falante (SID), tipicamente dependem de apenas uma fração dessa variabilidade. Por exemplo, um sistema de ASR deve ser invariante ao falante, enquanto um sistema de verificação de falante deve ser invariante ao conteúdo falado. As abordagens existentes para aprender representações desentranhadas frequentemente dependem de suposições de independência estatística ou gaussianidade, que se provaram insuficientes para garantir um desentranhamento real. Além disso, o aprendizado contrastivo padrão normalmente otimiza para um único espaço de embedding invariante a variáveis de incômodo, em vez de separar explicitamente múltiplas fontes de variabilidade em subespaços distintos.

Metodologia
Os autores propõem um framework de refinamento de pós-treinamento denominado Aprendizado Contrastivo Intervencionista. Esta abordagem visa transformar o espaço de representação emaranhado de um modelo de fundação de fala congelado em subespaços separados e específicos para a tarefa (especificamente conteúdo e falante) usando uma perda contrastiva de múltiplas partes.

• Dataset Intervencionista: Para fornecer a supervisão necessária para o desentranhamento, os autores sintetizam um dataset usando um sistema de Text-to-Speech (TTS) zero-shot de última geração (F5-TTS). Este dataset permite "intervenções densas" onde cada falante é pareado com todo o texto de uma emissão. Esta configuração sintética permite o controle preciso sobre as variáveis causais: o conteúdo (texto) e o falante (áudio de referência).
• Arquitetura: O modelo consiste em um backbone pré-treinado congelado (ex: wav2vec 2.0, HuBERT ou WavLM) que extrai características da fala de entrada. Essas características são agregadas via pooling de média em um único embedding de emissão. Uma Rede de Subespaço treinável (um MLP de 3 camadas sem gargalo) então projeta este embedding para um espaço de maior dimensão particionado em dois subespaços de tamanhos iguais: um subespaço de conteúdo ($z_c$) e um subespaço de falante ($z_s$).
• Função de Perda: O objetivo de treinamento combina dois componentes:
  1. Perda Contrastiva Multi-Positiva: Estendida para lidar com múltiplos subespaços, esta perda incentiva embeddings dentro do mesmo subespaço a serem próximos se compartilharem a mesma variável causal (ex: mesmo falante para o subespaço de falante) e distantes se diferirem. Ela utiliza rótulos intervencionistas para definir pares positivos e negativos com base em se a variável causal foi alvo de intervenção.
  2. Perda de Ortogonalidade: Um termo de regularização baseado na norma de Frobenius da covariância cruzada entre os subespaços, penalizando a similaridade entre as representações de conteúdo e falante para impor o desentranhamento.

Principais Contribuições

1. Nova Perda Contrastiva: O artigo introduz uma função de perda capaz de aprender múltiplos espaços de embedding associados a distintas variáveis causais simultaneamente, indo além da invariância de espaço único.
2. Dataset Intervencionista Sintético: Os autores constroem um dataset com combinações exaustivas de falantes e textos, facilitando intervenções densas em variáveis causais que são difíceis de obter a partir de dados de fala naturais.
3. Validação Empírica: A abordagem é avaliada em tarefas de Verificação de Falante (SV) e Detecção de Palavras-Chave (KS), demonstrando a separação de informação através dos subespaços aprendidos.

Resultos
Os experimentos foram conduzidos em três modelos de backbone (wav2vec 2.0, HuBERT, WavLM) utilizando o dataset sintético.

• Verificação de Falante (Fora do Domínio): O modelo completo, aprendendo ambos os subespaços conjuntamente, alcançou taxas de Erro Igual (EER) significativamente menores no conjunto de teste VoxCeleb1 em comparação ao baseline (backbone com pooling de média) e variantes de subespaço único. Notavelmente, os melhores modelos atingiram um EER de aproximadamente 24,7% (WavLM) e 27,2% (HuBERT), superando baselines humanos não especialistas (26,51%) apesar de terem sido treinados com apenas 32 falantes e fala de leitura limpa, sendo testados em fala espontânea selvagem.
• Detecção de Palavras-Chave (Keyword Spotting): O subespaço de conteúdo aprendido mostrou desempenho comparável, embora ligeiramente inferior, às representações de baseline agrupadas. Os autores atribuem isso a um descompasso entre a similaridade ao nível de sentença imposta pela tarefa pretextual contrastiva e os requisitos ao nível de palavra da detecção de palavras-chave.
• Evidência de Desentranhamento: A lacuna de desempenho entre o subespaço "correspondente" (ex: subespaço de falante em SV) e o subespaço "não correspondente" (ex: subespaço de falante em KS) fornece evidência de que a intervenção separou com sucesso a informação de falante e conteúdo. No entanto, a lacuna foi menos pronunciada para a tarefa de KS, sugerindo potencial vazamento de informação ou que a KS requer menos informação de conteúdo do que o antecipado.
• Aprendizado Conjunto vs. Separado: Os resultados indicaram que não houve vantagem significativa de desempenho no aprendizado conjunto dos subespaços em comparação ao aprendizado separado, embora o modelo conjunto utilize os parâmetros de forma mais eficiente.

Significância e Alegações
O artigo afirma que o aprendizado contrastivo intervencionista é uma estratégia viável para o pós-treinamento de modelos de fundação de fala para separar informações relevantes para a tarefa de variáveis de incômodo. A principal significância reside na capacidade de aprender uma transformação agnóstica aos dados que melhora o desempenho de Verificação de Falante Fora do Domínio usando um pequeno dataset sintético, sem exigir extensos dados rotulados para a tarefa subsequente. Os autores observam modestamente que, embora a abordagem consiga separar a informação de falante, a separação da informação de conteúdo para detecção de palavras-chave permanece imperfeita, provavelmente devido ao descompasso de granularidade entre a tarefa pretextual e a tarefa subsequente. Eles concluem que mais trabalho é necessário para escalar a abordagem para datasets maiores e reais, e para refinar as funções de perda para melhor penalizar o vazamento de informação.