Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment

O artigo apresenta o Harf-Speech, um sistema modular que avalia a pronúncia de fonemas em árabe em escala clínica, alcançando uma forte correlação com avaliações de fonoaudiólogos certificados e superando frameworks existentes.

O essencial

Imagine que você está aprendendo a tocar um instrumento musical muito complexo, como o violão. Para aprender, você precisa de um professor que escute cada nota que você toca, veja se você apertou a corda certa e se a nota saiu limpa. Se você errar, o professor diz: "Não foi essa corda, foi a de cima" ou "Você tocou rápido demais".

No mundo da fala, especialmente no Árabe, fazer isso para milhões de pessoas é um desafio gigante. O Árabe tem sons muito específicos (como sons vindos da garganta ou letras que parecem iguais, mas não são) que os computadores, até hoje, tinham muita dificuldade em entender.

Aqui está a história do Harf-Speech, explicado de forma simples:

1. O Problema: O "Tradutor" que não entendia o sotaque

Existem programas de computador (como o do Microsoft Azure) que tentam corrigir a pronúncia. Mas eles funcionam como um tradutor genérico: eles são feitos para falar de um jeito geral, sem entender as nuances específicas do Árabe. É como tentar ensinar alguém a tocar um samba usando um manual de música clássica europeia. Eles não conseguem pegar os detalhes finos que um terapeuta de fala (o "mestre de música") perceberia.

Além disso, na terapia de fala, não basta saber se a frase inteira está "ok". É preciso saber se a pessoa errou uma única letra (um fonema). Se você errar uma letra, a palavra muda de significado ou fica sem sentido.

2. A Solução: O "Harf-Speech" (O Treinador Especialista)

Os autores criaram o Harf-Speech. Pense nele como um treinador de elite que foi especialmente treinado para o Árabe.

• Como ele funciona?
  1. O Aluno Fala: A pessoa lê uma frase em Árabe.
  2. O Ouvido Digital: O sistema ouve o áudio e o transforma em uma lista de "blocos de som" (fonemas), como se estivesse quebrando a palavra em suas peças de Lego.
  3. A Comparação: Ele compara os blocos que a pessoa falou com os blocos que deveriam ter sido falados.
  4. A Correção: Ele usa uma matemática inteligente (como medir a distância entre duas palavras) para ver exatamente onde você errou: você trocou uma letra? Esqueceu uma? Ou adicionou uma que não existia?

3. A "Prova de Fogo": Os Professores Humanos

Para saber se o computador estava realmente bom, os criadores não confiaram apenas em testes de máquina. Eles chamaram três especialistas humanos (terapeutas de fala certificados, com anos de experiência) para ouvir as mesmas gravações.

Imagine que você tem um aluno novo. Você pede para três mestres avaliarem a performance dele.

• Se os três mestres concordam entre si, sabemos que a avaliação é justa.
• Depois, eles compararam a nota do computador com a média das notas dos três mestres.

O Resultado: O computador (Harf-Speech) ficou muito próximo da opinião dos mestres humanos! Ele conseguiu acertar tanto que sua avaliação foi quase tão confiável quanto a de um terapeuta real. Em comparação, os sistemas comerciais (como o da Microsoft) ficaram mais distantes, como se fosse um aluno mediano tentando corrigir um professor.

4. Por que isso é importante? (A Analogia do Mapa)

Antes, quem precisava de ajuda com a fala em Árabe tinha que depender de poucos especialistas humanos, o que é caro e difícil de escalar (como ter apenas um médico para uma cidade inteira).

O Harf-Speech é como criar um GPS de alta precisão para a fala.

• Aberto e Transparente: Diferente dos sistemas secretos das grandes empresas, este é feito com peças que qualquer um pode ver e melhorar.
• Específico: Ele foi treinado especificamente para os "desafios" do Árabe (aqueles sons difíceis).
• Escalável: Agora, é possível ter um "terapeuta digital" disponível para milhões de pessoas, ajudando crianças com dificuldades de fala ou adultos aprendendo o idioma, com a mesma precisão que um especialista humano daria.

Resumo em uma frase

O Harf-Speech é um novo sistema de inteligência artificial que aprendeu a "ouvir" o Árabe com a mesma precisão de um terapeuta de fala humano, oferecendo uma correção detalhada e justa para quem precisa aprender ou recuperar a fala, algo que os computadores comuns ainda não conseguiam fazer tão bem.

Resumo técnico

1. Problema e Motivação

A avaliação automatizada da pronúncia em nível de fonema é crucial para a terapia da fala em escala e para o aprendizado de idiomas. No entanto, existem ferramentas validadas clinicamente para o árabe extremamente escassas.

• Desafios Específicos do Árabe: O Árabe Padrão Moderno (MSA) apresenta um inventário consonantal rico, fonemas enfáticos e faríngeos, e um papel funcional dos vogais curtos e diacríticos, o que exige sensibilidade ao nível de fonema.
• Limitações das Soluções Atuais: Sistemas proprietários existentes (como o Microsoft Azure) operam como "caixas pretas", não são otimizados para as características fonológicas do árabe e carecem de validação contra julgamentos de fonoaudiólogos (SLPs) certificados.
• Necessidade: Há uma lacuna crítica por um sistema aberto, modular e clinicamente alinhado que possa fornecer feedback interpretável e escalável para a terapia da fala em árabe.

2. Metodologia (Arquitetura do Harf-Speech)

O Harf-Speech é um sistema modular que integra modelagem de fala para fonemas, geração de referência fonética e pontuação automatizada. A arquitetura consiste em quatro etapas principais:

1. Geração de Fonemas de Referência:

   • Utiliza um fonetizador baseado em MSA para converter o texto de referência em uma sequência de fonemas canônicos.
   • A saída é normalizada para o alfabeto fonético "Harf" (removendo sufixos posicionais, marcadores de silêncio e resolvendo geminação).

2. Predição de Fala para Fonemas (Speech-to-Phoneme):

   • O áudio do participante é convertido diretamente em rótulos de fonemas.
   • O sistema é agnóstico ao modelo, mas os autores afinaram (fine-tuned) três arquiteturas de ASR de última geração em dados de fonemas árabes: Wav2Vec2-LV-60, Qwen3-ASR-1.7B e OmniASR-CTC-1B-v2.
   • O modelo OmniASR-CTC-1B-v2 foi selecionado como o melhor, alcançando a menor taxa de erro de fonema (PER).

3. Segmentação e Alinhamento:

   • Uma LLM (Large Language Model) segmenta as sequências de fonemas de referência e preditas em grupos alinhados por palavra.
   • O alinhamento ao nível de fonema é calculado usando a Distância de Levenshtein, gerando mapeamentos de substituição, inserção e exclusão.

4. Algoritmo de Pontuação:

   • O sistema calcula uma pontuação composta por duas métricas complementares:
     • Razão LCS (Longest Common Subsequence): Mede a fidelidade da ordem dos fonemas.
     • Pontuação de Pronúncia: Baseada na precisão (Accuracy) e completude (Completeness) derivadas do alinhamento de Levenshtein.
   • A pontuação final é uma média ponderada (60% LCS, 40% Pontuação de Pronúncia), mapeada linearmente para uma escala clínica de 0 a 5.

3. Contribuições Principais

• Framework Validado Clinicamente: Apresentação de um sistema completo para avaliação de pronúncia em nível de fonema em árabe, superando as limitações de sistemas proprietários genéricos.
• Otimização de Modelos ASR: Ajuste fino e benchmark de múltiplas arquiteturas ASR para previsão de fonemas árabes, demonstrando melhorias substanciais sobre modelos multimodais "zero-shot" e bases comerciais.
• Alinhamento com Especialistas: Estabelecimento de uma avaliação alinhada a especialistas através da comparação direta com julgamentos de fonoaudiólogos certificados, fornecendo fundamentação clínica e reprodutibilidade.

4. Resultados Experimentais

O estudo foi validado com 40 amostras de fala avaliadas independentemente por três fonoaudiólogos certificados (com 8-10 anos de experiência).

• Desempenho de Reconhecimento de Fonemas:

  • O modelo OmniASR-CTC-1B-v2 (afinado) alcançou uma Taxa de Erro de Fonema (PER) de 8,92%, superando significativamente os modelos zero-shot (como o Gemini-3-pro com 15,07% e o Qwen3-ASR com 16,79%).
  • O modelo afinado também foi o mais rápido (Fator de Tempo Real de 0,004).

• Alinhamento Clínico e Concordância:

  • O Harf-Speech atingiu uma correlação de Pearson de 0,791 e um ICC(2,1) de 0,659 em relação à média das pontuações dos especialistas.
  • A taxa de concordância dentro de ±1 ponto na escala de 0-5 foi de 76,9%.
  • Comparação com o Azure: O Harf-Speech superou o Microsoft Azure Pronunciation Assessment, que obteve uma correlação de Pearson de apenas 0,635 e um erro médio absoluto (MAE) maior (0,94 vs 0,79 do Harf-Speech).
  • A concordância entre os fonoaudiólogos humanos (Inter-rater) foi forte (PCC entre 0,858 e 0,927), estabelecendo que o Harf-Speech se aproxima da consistência humana.

5. Significado e Conclusão

O Harf-Speech demonstra que a modelagem localizada e aberta, otimizada para as características fonológicas específicas do árabe, pode superar sistemas proprietários genéricos.

• Impacto Clínico: O sistema fornece pontuações interpretáveis e alinhadas com a prática clínica, permitindo escalabilidade na terapia da fala e no aprendizado de idiomas para mais de 400 milhões de falantes de árabe.
• Reprodutibilidade: Por ser construído com componentes abertos e modular, o framework serve como um modelo replicável para o desenvolvimento de ferramentas de avaliação de pronúncia em outras línguas sub-representadas.
• Validação: A validação rigorosa contra especialistas humanos garante que a tecnologia não é apenas tecnicamente precisa, mas clinicamente relevante.