Automatic Identification of Maxaatiri and Maay Somali Dialects from Speech Using Mel-Spectrogram-Based Convolutional Neural Networks

Imagina que tienes una biblioteca gigante de grabaciones de audio, pero en lugar de libros, son voces hablando diferentes versiones de la lengua somalí. El objetivo de este estudio era construir un "oído" digital que pueda escuchar un breve clip de habla e instantáneamente decirte: "¿Es este el dialecto Maxaatiri (a menudo llamado somalí estándar) o el dialecto Maay?".

Aquí es como el investigador, Mohamed Mohamud Ali, construyó este sistema, explicado en términos sencillos:

1. El Problema: Un Traductor Ausente

El somalí es hablado por millones de personas, pero no es una sola voz única. Tiene dialectos importantes, como el Maxaatiri y el Maay. Piensa en esto como la diferencia entre un acento británico y uno americano, pero con diferencias más grandes en cómo se construyen y pronuncian las palabras.

Actualmente, la mayoría de los programas informáticos que entienden el habla están entrenados en lenguas "estándar". A menudo se confunden cuando escuchan un dialecto diferente, de forma muy similar a como una persona que solo sabe leer libros de texto formales podría tener dificultades para entender el argot local de un amigo. Este estudio quería ver si una computadora podía aprender a distinguir estos dos dialectos somalíes solo con escuchar.

2. La Receta: Cómo se Recopilaron los Datos

Dado que no había un "Conjunto de Datos de Dialectos del Somalí" prefabricado disponible en una caja, el investigador tuvo que cocinar sus propios ingredientes.

• La Fuente: Fueron a YouTube y descargaron videos de transmisiones públicas.
  • Para el Maxaatiri, utilizaron clips de Somali National Television.
  • Para el Maay, utilizaron clips de Arlaadi TV.
• La Tabla de Cortar: Cortaron estos videos largos en pequeñas rebanadas de 10 segundos de habla pura.
• La Limpieza: Eliminaron el silencio y el ruido de fondo, convirtiendo todo en un formato de audio limpio y estándar (como convertir todos los archivos a la misma calidad de MP3).

Al final, tuvieron una "comida de entrenamiento" de 180 clips de audio: 90 de cada dialecto. Fue una comida pequeña y equilibrada, pero suficiente para empezar a probar el sabor.

3. Las Gafas Mágicas: Convirtiendo el Sonido en Imágenes

Las computadoras son excelentes mirando imágenes, pero son malas escuchando ondas de sonido puras. Para solucionar esto, el investigador utilizó un truco llamado Espectrograma de Mel.

Imagina tomar una onda de sonido y pasarla a través de un prisma. En lugar de ver un arcoíris de colores, obtienes un mapa de calor o una huella digital sónica.

• El eje X es el tiempo (cuánto dura el sonido).
• El eje Y es el tono (qué tan agudo o grave es el sonido).
• Los colores muestran qué tan fuerte son diferentes tonos.

Ahora, en lugar de un archivo de sonido, la computadora tiene una pequeña imagen del sonido. Esto hace que sea mucho más fácil para la computadora "ver" las diferencias entre los dos dialectos.

4. El Detective: La Red Neuronal

El investigador construyó una Red Neuronal Convolucional (CNN). Piensa en esto como un detective digital entrenado para mirar esas "imágenes de sonido".

• Entrenamiento: Al detective se le mostraron 18ó imágenes. Algunas estaban etiquetadas como "Maxaatiri" y otras como "Maay".
• Aprendizaje: El detective buscó patrones. Tal vez los sonidos de Maxaatiri tienen más "rojo" en el área de tono alto, mientras que los sonidos de Maay tienen más "azul" en el área de tono bajo.
• La Prueba: Después de estudiar, al detective se le dio un nuevo conjunto de imágenes que nunca había visto antes (el conjunto de prueba) y se le pidió que adivinara el dialecto.

5. Los Resultados: ¿Qué tan bueno fue el Detective?

El detective hizo un trabajo bastante bueno, pero no fue perfecto.

• Precisión: Obtuvo la respuesta correcta aproximadamente el 81.5% de las veces.
• Los Errores: De los clips de prueba, identificó correctamente 12 de 14 clips de Maxaatiri y 10 de 13 clips de Maay.
• La Confusión: A veces los confundía. Pensó que algunos clips de Maxaatiri eran Maay, y algunos clips de Maay eran Maxaatiri.

6. El Gran "Pero": Por Qué Debemos Tener Cuidado

El artículo es muy honesto sobre sus limitaciones. Es importante entender por qué el detective podría ser bueno en esta prueba específica pero no está listo para el mundo real todavía.

• El Sesgo de la "Estación de TV": Este es el mayor inconveniente. El investigador utilizó una estación de TV para Maxaatiri y una estación de TV diferente para Maay.

  • Analogía: Imagina que estás tratando de enseñarle a un niño a distinguir entre "Manzanas" y "Naranjas". Pero solo le muestras Manzanas Delicious Rojas de una tienda de comestibles específica y Naranjas Verdes de una tienda de comestibles diferente.
  • El niño podría no estar aprendiendo la diferencia entre la fruta; podría estar aprendiendo la diferencia entre los logotipos de las tiendas de comestibles o la iluminación en la tienda.
  • Del mismo modo, la computadora podría haber aprendido a reconocer la calidad del sonido de la Televisión Nacional de Somalia frente a la de Arlaadi TV, en lugar del dialecto real. Si reprodujeras un hablante de Maay en la Televisión Nacional de Somalia, la computadora podría confundirse.

• Tamaño de la Muestra Pequeño: El conjunto de datos era diminuto (solo 180 clips). Es como intentar aprender un idioma entero leyendo solo dos historias cortas.

• Faltan Detalles: El investigador no sabía quiénes eran los hablantes (su edad, género o región). Si los hablantes de Maxaatiri eran todos hombres y los de Maay eran todas mujeres, la computadora podría estar simplemente adivinando "Hombre vs. Mujer" en lugar de "Dialecto A vs. Dialecto B".

La Conclusión

Este artículo es un primer paso. Demuestra que es posible usar el aprendizaje profundo para distinguir estos dos dialectos somalíes usando imágenes de sonido. Es como construir el prototipo del motor de un coche que corre en una pista de pruebas.

Sin embargo, el artículo no afirma que este motor esté listo para la autopista todavía. Debido a que los datos provinieron de fuentes de TV limitadas y fueron pequeños, los resultados son solo una "línea base preliminar". Para que esta tecnología sea útil para personas reales, necesitaríamos una biblioteca mucho más grande de voces de muchos hablantes diferentes, grabadas en muchos lugares diferentes, para que la computadora aprenda el dialecto y no solo la estación de TV.