BanglaVowelDataset: True AC and Synthetic BC Bangla Vowel Datasets in Speech Information System

En el mundo de la tecnología del habla, las computadoras aprenden constantemente a escuchar. Son entrenadas con vastas bibliotecas de voces grabadas para reconocer palabras, identificar hablantes o comprender comandos. La mayoría de estas bibliotecas, sin embargo, están construidas a partir de sonidos capturados en el aire. Cuando hablamos, las ondas sonoras viajan a través del aire, golpean un micrófono y se convierten en datos digitales. Este método, conocido como conducción aérea, es el estándar para casi todos los asistentes de voz y servicios de transcripción. Pero hay otra forma en que el sonido llega a nuestros oídos y dispositivos de grabación: a través de los huesos de nuestro cráneo. Cuando hablamos, nuestras cuerdas vocales hacen vibrar los huesos de nuestro cráneo, y estas vibraciones viajan directamente al oído interno y pueden ser captadas por sensores colocados en la piel. Esto es la conducción ósea. Mientras que el sonido conducido por el aire es fácilmente ahogado por el zumbido del tráfico o el parloteo de una multitud, el sonido conducido por el hueso permanece notablemente claro porque evita el aire ruidoso. Durante décadas, los investigadores han luchado por construir computadoras que puedan entender este habla basada en los huesos, debido principalmente a que los datos necesarios simplemente no existían para muchos idiomas.

Un equipo de investigadores de universidades de Bangladesh y Japón ha llenado ahora un vacío significativo en este campo al crear la primera colección dedicada de sonidos vocálicos en el idioma bengalí, capturados tanto por aire como por hueso. El alfabeto bengalí contiene doce sonidos vocálicos distintos, una complejidad que hace que el idioma sea rico pero difícil de analizar para las máquinas, especialmente cuando el ruido de fondo interfiere. Hasta este trabajo, no existía ningún conjunto de datos que ofreciera tanto las versiones tradicionales de estos sonidos grabadas por aire como sus contrapartes conducidas por hueso para su comparación. Los investigadores se propusieron grabar estos sonidos de diez hablantes nativos —cinco hombres y cinco mujeres— en una sala silenciosa y aislada acústicamente. Utilizaron micrófonos de alta calidad para capturar las vocales conducidas por el aire, asegurándose de que cada grabación fuera lo suficientemente larga para ser analizada, variando entre 600 y 780 milisegundos. Para asegurar que los datos fueran limpios, recortaron cuidadosamente los inicios y finales silenciosos de cada grabación, dejando solo la parte pura y sonora del sonido.

El desafío consistió entonces en cómo obtener los datos conducidos por el hueso sin requerir que cada participante usara micrófonos especializados de conducción ósea, los cuales son difíciles de encontrar y de usar en entornos de investigación estándar. En lugar de grabar las vibraciones óseas directamente, el equipo utilizó un sofisticado modelo computacional para simularlas. Tomaron las vocales limpias grabadas por aire y las pasaron a través de un filtro digital que imita cómo el cráneo humano altera el sonido. Este proceso efectivamente eliminó los detalles de alta frecuencia que el aire transporta pero que los huesos filtran, creando una versión sintética de cómo se habría visto el sonido si hubiera sido grabado a través del cráneo. El resultado fue un conjunto de datos emparejados: 120 vocales reales conducidas por aire y 120 vocales sintéticas conducidas por hueso, perfectamente combinadas con los mismos hablantes y los mismos doce sonidos vocálicos.

Los investigadores luego organizaron esta enorme colección en una biblioteca estructurada, separando los datos en diferentes etapas de procesamiento para ayudar a otros científicos a probar sus propias teorías. Proporcionaron las grabaciones originales, las versiones recortadas y los sonidos óseos simulados por computadora, todos etiquetados con detalles precisos sobre el género del hablante y la vocal específica que se estaba pronunciando. Para demostrar que su simulación era precisa, compararon las propiedades matemáticas de los sonidos reales por aire frente a los sonidos sintéticos por hueso. Encontraron que los sonidos sintéticos por hueso se comportaban exactamente como se esperaba: mostraban un rango más amplio de frecuencias y una firma matemática específica que los distingue de los sonidos por aire. Esto confirmó que su modelo computacional recreó con éxito el perfil acústico único del habla conducida por el hueso.

Este conjunto de datos está ahora disponible para la comunidad de investigación global. Ofrece una oportunidad única para probar qué tan bien los sistemas de reconocimiento de voz pueden manejar el ruido. Debido a que el habla conducida por aire es fácilmente corrompida por el ruido de fondo mientras que el habla conducida por el hueso no lo es, los investigadores pueden usar estos datos emparejados para construir sistemas que cambien entre ambos o los combinen para entender el habla en entornos caóticos como calles concurridas o habitaciones llenas de gente. El equipo también ha hecho público el código computacional que utilizó para generar estos sonidos, permitiendo que otros verifiquen sus métodos o apliquen las mismas técnicas a otros idiomas. Al proporcionar la primera mirada integral de las vocales del bengalí tanto por aire como por hueso, este trabajo abre la puerta a una tecnología de reconocimiento de voz más robusta y resistente al ruido que pueda funcionar de manera confiable en cualquier lugar, no solo en un estudio silencioso.