Debiased Automatic Speech Recognition for Dysarthric Speech via Sample Reweighting with Sample Affinity Test

Resumo Técnico: Reconhecimento Automático de Fala Desenviesado para Fala Disártrica via Re-ponderação de Amostras com Teste de Afinidade de Amostra

Definição do Problema
Sistemas de Reconhecimento Automático de Fala (ASR) baseados em aprendizagem profunda são tipicamente treinados sob Minimização de Risco Empírico (ERM), que otimiza o desempenho médio em todas as amostras de dados. Essa abordagem frequentemente falha em considerar as disparidades de desempenho entre diferentes grupos, como falantes saudáveis versus aqueles com disartria (um distúrbio do controle motor da fala). Consequentemente, os sistemas de ASR exibem um viés severo, apresentando um desempenho significativamente inferior em falas disártricas devido à sua baixa inteligibilidade e à tendência dos modelos de aprendizagem profunda de se ajustarem a "atalhos" em vez de características robustas. Embora pesquisas anteriores tenham focado em melhorar o reconhecimento de fala disártrica de forma geral, poucas investigações abordaram a questão sob uma perspectiva de desenviesamento para garantir a robustez do grupo sem degradar o desempenho da fala saudável. Além disso, métodos de desenviesamento existentes frequentemente dependem da premissa de que amostras com alto erro (amostras em conflito com o viés) são inerentemente úteis para o desenviesamento, uma premissa que falha em cenários do mundo real onde outliers ou amostras inúteis também podem apresentar alto erro.

Metodologia: Re-SAT
Os autores propõem uma abordagem inovadora chamada Re-ponderação de Amostras com Teste de Afinidade de Amostra (Re-SAT) para mitigar o viés no reconhecimento de fala disártica. O Re-SAT opera em um ambiente livre de rótulos de grupo e consiste em quatro componentes sequenciais:

1. Estimativa de Amostras em Conflito com o Viés: O método identifica inicialmente potenciais amostras em conflito com o viés dentro de um mini-lote selecionando as $K$ amostras com os maiores valores de perda (loss). Diferente de métodos estáticos, o Re-SAT reestima essas amostras dinamicamente ao longo do processo de treinamento para refletir o estado atual do modelo.
2. Teste de Afinidade de Amostra (SAT): Para distinguir entre amostras que genuinamente ajudam no desenviesamento e aquelas que meramente possuem alto erro, os autores introduzem o SAT, inspirado na afinidade de tarefa. O SAT mede a "afinidade de amostra", definida como o efeito de treinamento de uma determinada amostra no erro das amostras estimadas em conflito com o viés.
   • O método realiza uma atualização de um passo de antecipação (single-step lookahead update) em uma amostra $x_i$ para obter um modelo temporário $\theta^{LA}_{x_i}$.
   • Em seguida, calcula o deslocamento do erro (loss shift) no conjunto de conflito com o viés $\{\hat{b}_1, ..., \hat{b}_K\}$ entre o modelo original e o modelo de antecipação.
   • A pontuação de afinidade é computada como a redução média do erro no conjunto de conflito com o viés. Isso permite que o sistema identifique amostras de bloqueio de viés (que mitigam o viés) versus amostras de aceleração de viés (que pioram o viesso), mesmo que estas últimas possuam um erro inicial elevado.
3. Re-ponderação Normalizada: Em vez de mapear diretamente as pontuações de afinidade para pesos, o Re-SAT as normaliza classificando as amostras dentro do lote em ordem decrescente de afinidade. Uma função baseada em softmax atribui pesos com base nessas classificações, estabilizando a taxa de aprendizado e evitando mudanças indesejadas.
4. Treinamento: O modelo é treinado usando as amostras re-ponderadas, onde o erro total é uma média ponderada que favorece as amostras de bloqueio de viés e penaliza as amostras de aceleração de viés.

Principais Contribuições

• Primeiro Trabalho de Desenviesamento para ASR Disártrico: Tanto quanto aos autores sabem, este é o primeiro estudo que aborda o reconhecimento de fala disártica especificamente através da lente do desenviesamento para melhorar a robustez do grupo entre falantes saudáveis e disártricos.
• Teste de Afinidade de Amostra (SAT): O artigo introduz uma métrica inovadora para medir diretamente a "utilidade de desenviesamento" de uma amostra. Isso aborda a limitação de métodos baseados em erro ao filtrar amostras de aceleração de viés que seriam de outra forma aumentadas devido ao alto erro.
• Estrutura Re-SAT: Um pipeline completo de re-ponderação de amostras que opera sem exigir anotações explícitas de grupo durante o treinamento, tornando-o adequado para aplicações do mundo real onde os rótulos de grupo podem estar indisponíveis.

Resultados Experimentais
O método foi avaliado no corpus UASpeech, utilizando o modelo Whisper-tiny como base. O conjunto de dados incluiu 15 falantes disártricos (categorizados por níveis de inteligibilidade: Muito Baixa, Baixa, Média, Alta) e 13 falantes de controle saudáveis.

• Desempenho na Fala Disártica: O Re-SAT reduziu significativamente a Taxa de Erro de Palavras (WER) em todos os grupos de inteligibilidade em comparação com a linha de base ERM. Especificamente, alcançou reduções relativas de WER de 12,02% (Muito Baixa), 11,10% (Baixa), 7,22% (Média) e 13,06% (Alta).
• Desempenho na Fala Saudável: Crucialmente, o Re-SAT também melhorou o desempenho nos falantes saudáveis (reduzindo o WER de 3,81% para 3,40%), demonstrando que o processo de desenviesamento não ocorreu às custas do desempenho geral.
• Comparação com Baselines: O Re-SAT superou tanto o ERM quanto o método de desenviesamento "Just Train Twice" (JTT). Enquanto o JTT melhorou os resultados para o grupo "Muito Baixa", ele degradou o desempenho para outros grupos e para os falantes saudáveis. O Re-SAT proporcionou melhorias consistentes em todos os grupos.
• Estudo de Ablação: Uma variante chamada "Re-Loss", que utilizou re-ponderação baseada em erro em vez de SAT, teve um desempenho melhor que o ERM e o JTT, mas ainda foi superada pelo Re-SAT. Isso confirma a importância do Teste de Afinidade de Amostra para identificar com precisão as amostras úteis.
• Sensibilidade de Hiperparâmetros: O método mostrou melhorias estáveis para valores de $K$ (número de amostras em conflito com o viés) de 2, 4 e 8. No entanto, definir $K=16$ degradou o desempenho, sugerindo que um conjunto menor e dinamicamente atualizado de amostras em conflito é mais eficaz para uma estimativa precisa.

Significância e Alegações
O artigo afirma que o Re-SAT oferece uma solução robusta para criar sistemas de ASR justos e inclusivos para falantes disártricos. Ao ir além da simples re-ponderação baseada em erro para um mecanismo que mede diretamente a utilidade de desenviesamento das amostras, o método consegue reduzir com sucesso a lacuna de desempenho entre falantes saudáveis e disártricos sem sacrificar a precisão geral. Os autores posicionam este trabalho como um passo fundamental em direção ao ASR de robustez de grupo, destacando que sua abordagem é a primeira a aplicar técnicas de desenviesamento especificamente ao domínio da fala disártrica. Eles sugerem que trabalhos futuros possam integrar o Re-SAT com outros sistemas de reconhecimento de fala disártica, aproveitando sua estrutura versátil.