Bridging communication between hearing and visually impaired individuals via speech recognition and synthesis

Resumen Técnico: Puente de Comunicación entre Personas con Discapacidad Auditiva y Visual mediante el Reconocimiento y la Síntesis de Voz

Planteamiento del Problema
Las personas con discapacidades sensoriales, particularmente aquellas que presentan tanto discapacidad auditiva (sordera) como discapacidad visual (ceguera), enfrentan barreras profundas para la comunicación directa. Las tecnologías de asistencia tradicionales suelen depender de hardware especializado y costoso o requieren la mediación humana, lo que las hace inaccesibles en contextos de bajos ingresos. Si bien las tecnologías de comunicación modernas han avanzado, persiste una brecha específica al proporcionar un marco de trabajo basado únicamente en software y de bajo costo que facilite la comunicación bidireccional entre estos dos grupos distintos de usuarios sin intervención externa. Las soluciones existentes frecuentemente no logran abordar la necesidad única de convertir el habla en texto para los sordos y el texto en habla para los ciegos dentro de un único sistema unificado.

Metodología
El estudio propone una Herramienta de Reconocimiento y Síntesis de Voz (SRST, por sus siglas en inglés) implementada íntegramente dentro de un entorno MATLAB. El sistema opera como una Interfaz Gráfica de Usuario (GUI) de doble ventana diseñada para cerrar la brecha de comunicación sin requerir hardware externo especializado más allá de un micrófono y un altavoz de computadora estándar.

• Arquitectura del Sistema: El marco consta de dos subsistemas primarios:

  1. Síntesis de Voz (TTS): Diseñado para usuarios con discapacidad visual, este módulo convierte la entrada de texto en habla sintetizada. Emplea un enfoque basado en reglas y en diccionarios. El proceso incluye la normalización de texto (expansión de números y abreviaturas), análisis fonético utilizando un diccionario derivado de la Base de Datos de Pronunciación de la Universidad Carnegie Mellon (44 fonemas) y síntesis acústica. El motor de síntesis utiliza un modelo de concatenación de difones, recuperando fragmentos de difones naturales grabados. Para asegurar la naturalidad, el sistema aplica la técnica de Solapamiento y Adición Sincronizada con el Pitch (PSOLA) para el control de la duración, modificación de la frecuencia fundamental (F0) para el tono y escalado de amplitud. Se aplican ventanas de Hamming en los límites para suavizar las transiciones de fase y eliminar clics robóticos.
  2. Reconocimiento de Voz (ASR): Diseñado para usuarios con discapacidad auditiva, este módulo convierte la entrada acústica en texto digital. El sistema utiliza un enfoque Acústico-Fonético basado en el reconocimiento de patrones en lugar de aprendizaje profundo o análisis semántico complejo. El proceso implica:
     • Preprocesamiento: Digitalización de la señal, encuadre (256 muestras, ventana de 30 ms) y ventana de Hamming.
     • Extracción de Características: El sistema utiliza exclusivamente Coeficientes Cepstrales en la Escala Mel (MFCC) para imitar la percepción auditiva humana, evitando las limitaciones de la Codificación Predictiva Lineal (LPC) respecto a las ramas laterales y fuentes mixtas.
     • Modelado: Los modelos acústicos se construyen utilizando Cuantización de Vectores (VQ) mediante el algoritmo Linde-Buzo-Gray (LBG) para crear un libro de códigos, seguido de Modelos de Mezcla Gaussiana (GMM) para definir las funciones de densidad de probabilidad de las clases acústicas.
     • Clasificación: Un clasificador de máxima verosimilitud coteja los vectores MFCC de entrada contra los modelos de palabras almacenados para determinar la cadena de texto más probable.
     • Manección de Ruido: Un algoritmo de Detección de Actividad de Voz (VAD) basado en la energía de corto tiempo y las tasas de cruce por cero (ZCR) filtra el silencio y el ruido de fondo durante la inferencia en tiempo real.

• Recolección de Datos: La base de datos de entrenamiento se compiló a partir de 20 hablantes (15 hombres, 5 mujeres) en Aksum, Etiopía. Las grabaciones se realizaron en entornos de laboratorio con ruido ambiental intencional para asegurar la robustez del modelo. El vocabulario se limitó a palabras aisladas y frases conversacionales cortas.

Contribuciones Clave

• Solución Basada Únicamente en Software: El artículo presenta un marco de trabajo de costo cero e independiente del hardware que elimina la necesidad de dispositivos de asistencia patentados, haciéndolo altamente accesible para entornos de bajos recursos.
• Puente de Comunicación Bidireccional: El sistema establece con éxito un bucle de comunicación directa donde un usuario con discapacidad auditiva puede leer el texto generado a partir del habla de un usuario ciego, y un usuario ciego puede escuchar el texto generado a partir de la entrada de un usuario con discapacidad auditiva.
• Optimización de la Concatenación de Difones: La implementación detalla un método específico para suavizar los límites de los difones utilizando ventanas de Hamming y PSOLA para mejorar la inteligibilidad y reducir los artefactos robóticos en la salida sintetizada.
• Independencia del Lenguaje: La arquitectura de reconocimiento de patrones está diseñada para ser insensible a la gramática o sintaxis específicas, lo que permite la expansión potencial hacia diferentes vocabularios e idiomas (demostrado con una prueba trilingüe que involucró Tigrigna, Amhárico e Inglés).

Resultados
La validación experimental se llevó a cabo mediante pruebas de corpus fuera de línea e inferencia en vivo en línea.

• Precisión: El sistema logró una eficiencia operativa promedio de aproximadamente el 90%.
  • Validación fuera de línea (palabras aisladas): 91.2% de precisión.
  • Inferencia en línea (habitación silenciosa): 89.5% de precisión.
  • Inferencia en línea (ruido ambiental): 84.1% de precisión.
• Cuellos de Botella de Rendimiento: La principal fuente de error fue la clasificación fonética errónea entre palabras con perfiles acústicos similares. El estudio señaló que el procesamiento secuencial en MATLAB introdujo latencia, creando "ventanas de apagado" donde las entradas sucesivas rápidas podrían ser recortadas.
• Mitigación: Para abordar la latencia y los bucles de retroalimentación, la arquitectura del sistema se adaptó para utilizar un bucle de control asimétrico donde el usuario con discapacidad auditiva activa manualmente la transición entre los modos de reconocimiento y síntesis, y los hilos están estructurados de forma aislada para evitar que la salida de TTS vuelva a activar el micrófono del ASR.

Significancia y Reivindicaciones
Los autores afirman que el prototipo cumple con éxito sus objetivos de diseño al proporcionar un marco de trabajo funcional, escalable y de base para el procesamiento de voz independiente del lenguaje. El estudio enfatiza que el sistema sirve como una arquitectura fundacional para interfaces más avanzadas impulsadas por la voz. La importancia del trabajo radica en su demostración de que la comunicación bidireccional efectiva entre personas sordas y ciegas puede lograrse utilizando recursos informáticos estándar y técnicas establecidas de procesamiento de señales (MFCC, GMM, VQ) sin depender de modelos complejos de aprendizaje profundo o hardware costoso.

El artículo posiciona modestamente el sistema como una herramienta pedagógica y un marco de referencia. Reconoce las limitaciones respecto a la susceptibilidad al ruido ambiental y la latencia computacional, sugiriendo que las iteraciones futuras podrían beneficiarse de matrices de micrófonos direccionales y unidades de computación en el borde (edge computing). Los autores recomiendan que los trabajos futuros podrían integrar capas de traducción automática para permitir la comunicación multilingüe y aprovechar las capacidades de modelado de hablantes para la seguridad biométrica de voz, pero no afirman que estas características estén implementadas actualmente.