Bridging communication between hearing and visually impaired individuals via speech recognition and synthesis

Resumo Técnico: Ponte de Comunicação entre Indivíduos Surdos e Cegos via Reconhecimento e Síntese de Voz

Definição do Problema
Indivíduos com deficiências sensoriais, particularmente aqueles que são simultaneamente surdos (deficiência auditiva) e cegos (deficiência visual), enfrentam barreiras profundas para a comunicação direta. As tecnologias assistivas tradicionais frequentemente dependem de hardware especializado e caro ou exigem mediação humana, tornando-as inacessíveis em contextos de baixa renda. Embora as tecnologias de comunicação modernas tenham avançado, permanece uma lacuna específica no fornecimento de um framework puramente baseado em software e de baixo custo que facilite a comunicação bidirecional entre esses dois grupos distintos de usuários sem intervenção externa. As soluções existentes frequentemente falham ao não abordar a necessidade única de converter fala em texto para o surdo e texto em fala para o cego dentro de um único sistema unificado.

Metodologia
O estudo propõe uma Ferramenta de Reconhecimento e Síntese de Voz (SRST) implementada inteiramente em um ambiente MATLAB. O sistema opera como uma Interface Gráfica de Usuário (GUI) de duas janelas, projetada para colmatar a lacuna de comunicação sem exigir hardware externo especializado além de um microfone e alto-falante de computador padrão.

• Arquitetura do Sistema: O framework consiste em dois subsistemas primários:

  1. Síntese de Voz (TTS): Projetado para usuários com deficiência visual, este módulo converte entrada de texto em fala sintetizada. Emprega uma abordagem baseada em regras e dicionário. O pipeline inclui normalização de texto (expansão de números e abreviações), análise fonética usando um dicionário derivado do Banco de Dados de Pronúncia da Carnegie Mellon University (44 fonemas) e síntese acústica. O mecanismo de síntese utiliza um modelo de concatenação de difones, recuperando fragmentos de difones humanos naturais pré-gravados. Para garantir a naturalidade, o sistema aplica Pitch-Synchronous Overlap and Add (PSOLA) para controle de duração, modificação da frequência fundamental (F0) para o tom e escalonamento de amplitude. Janelas de Hamming são aplicadas nas fronteiras para suavizar transições de fase e eliminar cliques robóticos.
  2. Reconhecimento de Voz (ASR): Projetado para usuários com deficiência auditiva, este módulo converte entrada acústica em texto digital. O sistema utiliza uma abordagem Acústico-Fonética baseada em reconhecimento de padrões, em vez de aprendizado profundo (deep learning) ou análise semântica complexa. O pipeline envolve:
     • Pré-processamento: Digitalização de sinal, enquadramento (256 amostras, janela de 30ms) e janelamento de Hamming.
     • Extração de Características: O sistema utiliza exclusivamente Coeficientes Cepstrais de Frequência Mel (MFCC) para mimetizar a percepção auditiva humana, evitando as limitações do Código Preditivo Linear (LPC) em relação a ramos laterais e fontes mistas.
     • Modelagem: Os modelos acústicos são construídos usando Quantização de Vetores (VQ) via algoritmo de Linde-Buzo-Gray (LBG) para criar um código, seguido por Modelos de Mistura Gaussiana (GMM) para definir as funções de densidade de probabilidade das classes acústicas.
     • Classificação: Um classificador de máxima verossimilhança combina vetores MFCC de entrada com modelos de palavras armazenados para determinar a string de texto mais provável.
     • Tratamento de Ruído: Um algoritmo de Detecção de Atividade de Voz (VAD) baseado em energia de curto tempo e taxas de cruzamento de zero (ZCR) filtra silêncio e ruído de fundo durante a inferência em tempo real.

• Coleta de Dados: O banco de dados de treinamento foi compilado a partir de 20 falantes (15 homens, 5 mulheres) em Aksum, Etiópia. As gravações foram realizadas em ambientes de laboratório com ruído ambiente intencional para garantir a robustez do modelo. O vocabulário foi restrito a palavras isoladas e frases conversacionais curtas.

Principais Contribuições

• Solução Baseada Apenas em Software: O artigo apresenta um framework de custo zero e independente de hardware que elimina a necessidade de dispositivos assistivos proprietários, tornando-o altamente acessível para ambientes de baixos recursos.
• Ponte de Comunicação Bidirecional: O sistema estabelece com sucesso um loop de comunicação direta onde um usuário com deficiência auditiva pode ler o texto gerado pela fala de um usuário cego, e um usuário cego pode ouvir o texto gerado pela entrada de um usuário com deficiência auditiva.
• Concatenação de Difone Otimizada: A implementação detalha um método específico para suavizar as fronteiras de difone usando janelas de Hamming e PSOLA para melhorar a inteligibilidade e reduzir artefatos robóticos na saída sintetizada.
• Independência Linguística: A arquitetura de reconhecimento de padrões é projetada para ser insensível a gramática ou sintaxe específicas, permitindo a expansão potencial para diferentes vocabulários e línguas (demonstrada com um teste trilíngue envolvendo Tigrigna, Amárico e Inglês).

Resultos
A validação experimental foi conduzida através de testes de corpus offline e inferência online ao vivo.

• Precisão: O sistema alcançou uma eficiência operacional média de aproximadamente 90%.
  • Validação offline (palavras isoladas): 91,2% de precisão.
  • Inferência online (sala silenciosa): 89,5% de precisão.
  • Inferência online (ruído ambiente): 84,1% de precisão.
• Gargalos de Desempenho: A principal fonte de erro foi a classificação fonética incorreta entre palavras com perfis acústicos semelhantes. O estudo observou que o processamento sequencial no MATLAB introduzia latência, criando "janelas de blackout" onde entradas sucessivas rápidas poderiam ser cortadas.
• Mitigação: Para lidar com a latência e loops de feedback, a arquitetura do sistema foi adaptada para usar um loop de controle assimétrico, onde o usuário com deficiência auditiva aciona manualmente a transição entre os modos de reconhecimento e síntese, e as threads são estruturalmente isoladas para evitar que a saída do TTS reative o microfone do ASR.

Significância e Alegações
Os autores afirmam que o protótipo atende com sucesso aos seus objetivos de design ao fornecer um framework funcional e escalável de processamento de voz independente de linguagem. O estudo enfatiza que o sistema serve como uma arquitetura fundamental para interfaces mais avançadas baseadas em voz. A significância deste trabalho reside na demonstração de que a comunicação bidirecional eficaz entre indivíduos surdos e cegos pode ser alcançada usando recursos computacionais padrão e técnicas estabelecidas de processamento de sinais (MFCC, GMM, VQ) sem depender de modelos complexos de deep learning ou hardware caro.

O artigo posiciona modestamente o sistema como uma ferramenta pedagógica e um framework de base. Reconhece limitações quanto à suscetibilidade ao ruído ambiente e latência computacional, sugerindo que iterações futuras poderiam se beneficiar de matrizes de microfones direcionais e unidades de computação de borda (edge computing). Os autores recomendam que trabalhos futuros possam integrar camadas de tradução automática para permitir a comunicação translinguística e aproveitar as capacidades de modelagem de locutor para segurança biométrica de voz, mas não alegam que essas funcionalidades estão implementadas atualmente.