Low Resource Multimodal Translation of Nepali Spoken Words into Emotion-Conditioned Sign Language Avatars

Resumen Técnico: Traducción Multimodal de Recursos Escasos de Palabras Parladas en Nepal hacia Avatares de Lengua de Señas Condicionados por Emoción

Declaración del Problema
Los sistemas actuales de habla a lengua de señas a menudo no logran capturar el contexto emocional del habla, lo que resulta en interacciones robóticas, con precisión léxica pero emocionalmente planas. Esta limitación es particularmente aguda para lenguas de recursos escasos como el nepalí y su correspondiente lengua de señas (Lengua de Señas de Nepal, NSL, por sus siglas en inglés), donde la investigación y los conjuntos de datos son escasos. Las soluciones existentes frecuentemente descuidan la integración de la expresión emocional, la cual es esencial para una comunicación natural y centrada en el ser humano. Además, muchos de los sistemas actuales carecen de la eficiencia computacional requerida para su despliegue en dispositivos de borde (edge devices), lo que limita su accesibilidad en entornos con recursos limitados.

Metodología
Los autores proponen NEST-V1 (Nepali Emotion and Speech Transformer – Versión 1), un marco multimodal ligero diseñado para traducir el habla nepalí en animaciones de avatares de NSL condicionados por la emoción. El sistema opera a través de una arquitectura de codificador acústico compartido y unificado que realiza simultáneamente el Reconocimiento Automático del Habla (ASR) y la clasificación de emociones.

• Creación del Conjunto de Datos: El estudio utiliza un conjunto de datos piloto que comprende 600 muestras de audio etiquetadas de 50 hablantes (de 15 a 45 años). El conjunto de datos cubre cuatro palabras comunes en nepalí ("gracias", "hola", "casa", "yo") a través de tres estados emocionales (feliz, neutral, triste). Las palabras fueron seleccionadas para incluir tanto gestos dinámicos (que involucran movimiento continuo) como gestos estáticos (poses fijas). Para abordar la escasez de datos, los autores emplearon técnicas de aumentación, incluyendo el desplazamiento de semitonos, la Perturbación de la Longitud del Tracto Vocal (VTLP) y variaciones de velocidad, expandiendo el conjunto de datos a más de 4,400 muestras.
• Preprocesamiento de Audio: Los archivos de audio originales se estandarizaron a 16kHz, se recortaron o se rellenaron (padded) a duraciones de 2 segundos, y se convirtieron en espectrogramas de Mel (128 bandas de frecuencia × 200 fotogramas de tiempo). Estos se redimensionaron a imágenes en escala de grises de 128×128 para servir como entrada para el modelo transformer.
• Arquitectura del Modelo: NEST-V1 adapta un Vision Transformer (ViT) para espectrogramas de audio. La arquitectura trata los espectrogramas como imágenes 2D, dividiéndolos en parches de 16×16. Emplea un codificador compartido que consta de tres capas Transformer con 12 cabezales de atención y una dimensión de incrustación (embedding) de 768. El modelo utiliza un único token [CLS] para la clasificación, alimentando dos cabezales paralelos: uno para el reconocimiento de palabras clave (4 clases) y otro para la clasificación de emociones (3 clases). Este diseño de codificador compartido reduce la redundancia de parámetros.
• Generación de Avatar: Tras la clasificación, el sistema recupera fotogramas de avatares pre-renderizados. Un flujo de trabajo de mezcla de fotogramas mediante interpolación lineal (mezcla alfa) genera animaciones suaves al realizar una transición (morphing) entre una pose neutral base y una variante emocionalmente expresiva. El resultado es un GIF animado en bucle, asegurando que el sistema sea ligero y desplegable en navegadores web y dispositivos móviles sin necesidad de renderizado gráfico de alto nivel.

Contribuciones Clave

1. Primer Conjunto de Datos Emocional de NSL: El artículo presenta el primer conjunto de datos de habla basado en NSL anotado con contexto emocional, abordando una brecha crítica en la investigación de lenguas de señas de recursos escasos.
2. Flujo de Trabajo Modular y Ligero: El sistema cuenta con una arquitectura modular con componentes independientes para ASR y reconocimiento de emociones, lo que facilita la escalabilidad. Está diseñado específicamente para despliegues de bajos recursos, soportando aplicaciones de borde.
3. Eficiencia de Parámetros: Al compartir el codificador acústico entre las tareas, el modelo logra una reducción del 37% en parámetros en comparación con arquitecturas de modelos separados, manteniendo una huella de solo 22.1 millones de parámetros.

Resultados Experimentales
El modelo fue evaluado utilizando una división del conjunto de datos aumentado (entrenamiento, validación y prueba).

• Desempeño: El sistema logró una precisión de ASR del 81.1% y una precisión de reconocimiento de emociones del 79.21% en el conjunto de prueba. Las precisiones de validación alcanzaron el 79.6% para ASR y el 76.54% para reconocimiento de emociones.
• Eficiencia: El modelo NEST-V1 requiere aproximadamente 22.1M de parámetros y de 2.189M de FLOPs (para el incrustamiento de parches) a 473.4M de FLOPs (total), con una huella de memoria de aproximadamente 89 MB durante la inferencia. Esto es significativamente más eficiente que los modelos ViT estándar (86.6M de parámetros) y comparable o superior a los híbridos CNN-LSTM en términos de recuento de parámetros, manteniendo una precisión competitiva.
• Métricas de Clasificación: Los F1-scores para las cuatro clases de gestos oscilaron entre 0.69 y 0.78, mientras que las clases de emoción alcanzaron F1-scores entre 0.70 y 0.83.

Significancia y Reivindicaciones
Los autores posicionan este trabajo como un estudio piloto de prueba de concepto que demuestra la viabilidad técnica de generar avatares de lengua de señas condicionados por la emoción a partir de la entrada de voz en entornos de recursos escasos. La significancia radica en establecer una base escalable para sistemas de comunicación emocionalmente expresivos y en tiempo real para la comunidad de personas con discapacidad auditiva.

El artículo afirma que NEST-V1 cierra con éxito la brecha entre la traducción léxica y el contexto emocional, yendo más allá de la imitación de gestos robóticos hacia una interacción humana más auténtica. Aunque el alcance actual está limitado a un vocabulario pequeño y tres emociones, los autores sostienen que el marco proporciona un camino claro para la expansión futura hacia vocabularios más amplios, diversas expresiones emocionales y aplicaciones de asistencia en el mundo real. El trabajo enfatiza que tales sistemas pueden desplegarse en dispositivos de borde, haciendo que la tecnología de asistencia avanzada sea más accesible.