PathBench: Speech Intelligibility Benchmark for Automatic Pathological Speech Assessment

O artigo apresenta o PathBench, um benchmark unificado para avaliação automática da inteligibilidade da fala patológica que utiliza conjuntos de dados públicos para comparar diferentes métodos e estabelecer baselines sistemáticas, introduzindo também a métrica DArtP que alcança a maior correlação média entre os métodos sem referência.

O essencial

Imagine que você é um médico tentando avaliar a voz de um paciente que teve um acidente vascular cerebral ou um câncer na garganta. O objetivo é saber: "Quão bem as outras pessoas conseguem entender o que ele está dizendo?"

Antes deste trabalho, era como tentar comparar notas de alunos de escolas diferentes que usavam provas diferentes, com professores diferentes e até com regras de cálculo distintas. Era um caos. Alguns pesquisadores usavam dados secretos (que ninguém mais podia ver), outros usavam apenas palavras soltas, e outros frases inteiras. Ninguém sabia qual método era realmente o melhor.

Os autores deste artigo, o PathBench, decidiram organizar essa bagunça. Eles criaram um "Campeonato Universal de Avaliação de Voz".

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Torre de Babel da Pesquisa

Antes, cada cientificista construía sua própria "torre" com seus próprios dados. Se um cientista dizia "meu método é o melhor", ninguém podia acreditar, porque ele estava usando uma régua diferente da do vizinho.

• A Solução do PathBench: Eles pegaram 6 bancos de dados públicos (como livros abertos para todos) e criaram regras padronizadas. Agora, todos os métodos são testados na mesma "pista de corrida", com o mesmo cronômetro.

2. Os Três Tipos de "Juízes" (Métodos)

O benchmark testou três formas diferentes de avaliar a voz, como se fossem três tipos de juízes de um concurso de canto:

• O Juiz "Sem Ajuda" (Reference-Free): Ele ouve apenas a voz do paciente. Não tem o texto escrito nem uma gravação de uma pessoa saudável para comparar. É como tentar adivinhar a nota de um cantor apenas ouvindo-o, sem ter a partitura.
  • A Inovação: Eles criaram um novo juiz chamado DArtP. Ele é como um detetive que usa duas "inteligências artificiais" ao mesmo tempo: uma tenta entender a ideia do que foi dito (semântica) e a outra analisa os sons (fonética). Se os sons não batem com a ideia provável, ele sabe que a articulação está ruim. Foi o melhor juiz "sem ajuda" do campeonato.
• O Juiz "Com Texto" (Reference-Text): Ele tem a gravação do paciente e o texto escrito do que ele deveria ter dito. Ele compara o que foi dito com o papel. É como um professor corrigindo uma redação.
• O Juiz "Com Gravação de Referência" (Reference-Audio): Ele tem a gravação do paciente e uma gravação de uma pessoa saudável dizendo a mesma coisa. É como comparar a voz do paciente com a de um cantor profissional fazendo a mesma música.

3. As Perguntas que Eles Queriam Responder

O estudo fez quatro perguntas importantes, como se fosse um teste de lógica:

• Pergunta 1: Qual é o melhor método se eu não tiver nada?
  • Resposta: Se você não tem texto nem gravação de referência, o novo método DArtP é o campeão. Ele consegue prever a inteligibilidade muito bem apenas ouvindo.
• Pergunta 2: A idade ou o barulho da sala estragam a nota?
  • Resposta: Felizmente, não muito. A idade do paciente e o ruído de fundo não são os principais culpados pelas notas ruins. O que realmente conta é a condição patológica (a doença). Isso valida que o teste está medindo o que deve medir.
• Pergunta 3: É melhor testar com as mesmas palavras para todos ou usar tudo o que temos?
  • Resposta: Para a maioria dos métodos (especialmente os que usam texto ou gravação de referência), quanto mais dados, melhor. Usar todas as frases disponíveis (mesmo que sejam diferentes) dá uma nota mais precisa do que forçar todos a dizerem a mesma frase exata. É como avaliar um atleta: ver ele correr 100 metros em várias condições diferentes diz mais sobre ele do que apenas uma corrida perfeita.
• Pergunta 4: É melhor testar com palavras soltas ou frases completas?
  • Resposta: Depende do juiz. Se o juiz precisa comparar com uma gravação de referência (como o P-ESTOI), frases completas são muito melhores. Palavras soltas são curtas demais e o alinhamento do som falha fácil. Mas para os juízes que só ouvem (sem referência), não faz muita diferença.

4. O Grande Ganho: O "DArtP"

A maior novidade do artigo é o DArtP. Imagine que você está tentando entender alguém falando com a boca cheia. Um sistema antigo apenas tentaria "adivinhar" o que foi dito. O DArtP funciona como um tradutor duplo:

1. Primeiro, ele pensa: "O que essa pessoa provavelmente quis dizer?" (baseado no contexto).
2. Depois, ele olha para a voz e diz: "Ok, mas como ela realmente pronunciou isso?"
3. A diferença entre o que ela quis dizer e como ela falou é a medida da "precisão articulatória".

Isso é incrível porque não precisa de nenhum dado de treinamento rotulado (não precisa de milhares de exemplos de "voz doente com nota X" para aprender). Ele funciona "de fábrica" e é muito transparente (você sabe exatamente onde o erro aconteceu).

Resumo Final

O PathBench é como criar um padrão ouro para medir a voz de pacientes.

• Ele mostrou que, para a maioria dos métodos modernos, mais dados (frases variadas) são melhores do que dados controlados.
• Ele provou que frases completas ajudam a medir melhor do que palavras soltas (para certos métodos).
• E ele apresentou o DArtP, uma ferramenta nova, gratuita e inteligente que consegue avaliar a clareza da fala de um paciente apenas ouvindo, sem precisar de textos ou gravações de comparação, sendo a melhor opção quando você está "no escuro".

Isso permite que médicos e pesquisadores do mundo todo usem a mesma régua para medir o progresso de tratamentos e o desenvolvimento de novas tecnologias de voz.

Resumo técnico

Título: PathBench: Benchmark de Inteligibilidade de Fala para Avaliação Patológica Automática

1. Problema e Motivação

A avaliação automática da inteligibilidade da fala é fundamental para monitorar distúrbios de fala (como disartria decorrente de condições neurológicas ou cirurgias de cabeça e pescoço) e a eficácia de terapias. No entanto, o campo enfrenta barreiras significativas:

• Falta de Comparabilidade: A pesquisa está fragmentada em conjuntos de dados privados devido a preocupações com a privacidade do paciente, dificultando a replicação independente.
• Protocolos Inconsistentes: Mesmo quando os dados são públicos, os estudos utilizam protocolos de avaliação diferentes (subconjuntos de áudio, escalas de classificação, seleção de falantes), tornando difícil distinguir se resultados conflitantes são devidos a diferenças metodológicas ou apenas aos dados.
• Objetivos de Avaliação Diversos: Estudos medem inteligibilidade, gravidade da lesão ou precisão articulatória de forma isolada, embora essas métricas sejam altamente correlacionadas em populações de pacientes.
• Requisitos de Entrada Variados: Os métodos existentes exigem diferentes tipos de referência (texto transcrito, áudio de controle saudável ou são livres de referência), o que complica a comparação direta.

O objetivo do PathBench é estabelecer um benchmark unificado, utilizando conjuntos de dados públicos e protocolos padronizados, para permitir uma comparação sistemática e reprodutível de métodos de avaliação de inteligibilidade.

2. Metodologia

2.1. O Benchmark PathBench
O benchmark foi construído sobre seis conjuntos de dados públicos (UASpeech, NeuroVoz, TORGO, EasyCall, YouTube, COPAS) cobrindo quatro idiomas (Inglês, Espanhol, Italiano, Holandês) e diversas patologias.

Foram definidos três protocolos de avaliação para simular diferentes abordagens de especialistas:

1. Conteúdo Casado (Matched Content - MC): Seleciona apenas os mesmos estímulos (texto idêntico) falados por todos os participantes. Foca na estabilidade da comparação linguística (abordagem do linguista).
2. Estendido (Extended - EX): Utiliza todas as gravações disponíveis dos mesmos falantes do protocolo MC. Maximiza o volume de dados e a diversidade linguística (abordagem do especialista em ML).
3. Completo (Full): Remove filtros, usando todas as gravações disponíveis (exceto COPAS, onde o protocolo EX já cobre tudo).

2.2. Métricas de Avaliação
O desempenho é medido pela Correlação de Pearson (PCC) entre as estimativas automáticas e as pontuações de inteligibilidade humanas (ground truth). O foco principal é a avaliação no nível do falante (agregada).

2.3. Métodos Comparados
Os métodos foram categorizados em três grupos:

• Livres de Referência (Reference-Free): Não exigem transcrição nem áudio de controle.
  • Baseados em Sinal: Taxa de fala, Prominência do Pico Cepstral (CPP), Variação de Frequência Fundamental ($\sigma_{F0}$), Área do Espaço Vocálico (VSA).
  • Baseados em Modelo: Confiança do ASR, Inconsistência ASR (ASRIC) e o método proposto DArtP.
• Com Referência de Texto (Reference-Text): Exigem a transcrição do áudio. Incluem taxas de erro (PER) e precisão articulatória (ArtP).
• Com Referência de Áudio (Reference-Audio): Exigem gravações paralelas de falantes saudáveis. Incluem P-ESTOI e Distância Acústica Neural (NAD).

2.4. Método Proposto: DArtP (Dual-ASR Articulatory Precision)
O DArtP é um método livre de referência projetado para ser explicável. Ele utiliza um sistema de reconhecimento de fala (ASR) dual:

1. Modelo Semântico ($M_{sem}$): Gera uma hipótese linguisticamente corrigida ($W_{ref}$) do que o falante pretendia dizer, utilizando um modelo de linguagem e busca em feixe (beam-search).
2. Modelo Fonético ($M_{phone}$): Alinha os fonemas derivados de $W_{ref}$ com o áudio original usando CTC (Connectionist Temporal Classification).
3. Cálculo: A "Precisão Articulatória" é a probabilidade posterior média dos fonemas alinhados durante os segmentos de fala ativa. Isso mede quão bem o sinal acústico corresponde à mensagem intencional, sem precisar de uma transcrição prévia.

3. Resultados Principais

3.1. Desempenho Geral (RQ1)

• Os melhores métodos gerais foram ArtP (com referência de texto) e NAD (com referência de áudio), ambos atingindo uma correlação média de $r = 0.71$.
• Entre os métodos livres de referência, o DArtP obteve o melhor desempenho, com uma correlação média de $r = 0.66$, superando métodos baseados apenas em sinais físicos.
• Métodos baseados em modelos (como DArtP e ASRIC) oferecem alta interpretabilidade, localizando erros no tempo e no espaço fonético.

3.2. Fatores de Confusão (RQ2)

• Idade: A correlação entre a idade do paciente e a inteligibilidade foi geralmente fraca ($|r| < 0.4$), exceto no conjunto NeuroVoz. Isso indica que a redução da inteligibilidade não é apenas um efeito do envelhecimento natural.
• Ruído (SNR): Em geral, o ruído de fundo teve baixa correlação com as pontuações humanas ($|r| < 0.3$), sugerindo que as avaliações subjetivas não são fortemente enviesadas pelo ruído nos dados atuais. Uma exceção foi o conjunto COPAS, onde o ruído afetou mais as tarefas de palavras isoladas.

3.3. Protocolos de Dados (RQ3)

• O protocolo Estendido (EX) (mais dados, maior diversidade) superou consistentemente o protocolo Conteúdo Casado (MC) para métodos que utilizam referências explícitas (texto ou áudio) ou modelos fortes.
• Métodos baseados em sinais puros (Reference-Free Signal) não mostraram diferença significativa entre MC e EX, pois a consistência do conteúdo no MC compensa a falta de volume de dados.

3.4. Tipo de Estímulo (RQ4)

• Frases vs. Palavras: Para métodos baseados em referência de áudio (como P-ESTOI e NAD), a avaliação em nível de frase foi significativamente melhor que em nível de palavra.
• Motivo: Métricas baseadas em alinhamento são sensíveis aos limites do sinal. Em palavras isoladas, erros de corte de silêncio podem quebrar o alinhamento. Frases fornecem contornos prosódicos mais longos e distintos, servindo como âncoras melhores para o alinhamento.

4. Contribuições e Significância

1. Benchmark Unificado: O PathBench é o primeiro benchmark de larga escala que compara sistematicamente estimadores de inteligibilidade patológica em seis conjuntos de dados públicos, quatro idiomas e 19 protocolos diferentes, sob condições reprodutíveis.
2. Código Aberto: Disponibilização de uma base de código com protocolos de avaliação padronizados e scripts de pontuação, facilitando a comparação futura de novos métodos.
3. Novo Método (DArtP): Introdução de uma métrica livre de referência, explicável e de alto desempenho, que alcança correlações robustas sem a necessidade de dados de treinamento rotulados com inteligibilidade.
4. Validação de Robustez: A análise de fatores de confusão valida que o benchmark foca em características patológicas reais, e não em artefatos demográficos ou de gravação.

Conclusão:
O PathBench estabelece uma nova base para a avaliação de distúrbios de fala, demonstrando que, embora métodos com referência (texto/áudio) se beneficiem de grandes volumes de dados, métodos livres de referência como o DArtP podem alcançar desempenho competitivo e explicável. O trabalho destaca a importância de usar protocolos padronizados e estimar a robustez de modelos em cenários clínicos reais, onde transcrições e áudios de controle podem não estar disponíveis.