Low Resource Multimodal Translation of Nepali Spoken Words into Emotion-Conditioned Sign Language Avatars

Resumo Técnico: Tradução Multimodal de Baixo Recurso de Palavras Faladas em Nepali para Avatares de Língua de Sinais Condicionados por Emoção

Declaração do Problema
Os sistemas atuais de fala para língua de sinais frequentemente falham em capturar o contexto emocional da fala, resultando em interações roboticamente precisas lexicalmente, mas emocionalmente planas. Esta limitação é particularmente aguda para línguas de baixo recurso, como o Nepali, e sua correspondente língua de sinais (Língua de Sinais do Nepal, NSL), onde a pesquisa e os conjuntos de dados são escassos. As soluções existentes frequentemente negligenciam a integração da expressão emocional, que é essencial para uma comunicação natural e centrada no ser humano. Além disso, muitos sistemas atuais carecem da eficiência computacional necessária para implantação em dispositivos de borda (edge devices), limitando sua acessibilidade em ambientes com restrição de recursos.

Metodologia
Os autores propõem o NEST-V1 (Nepali Emotion and Speech Transformer – Versão 1), um framework multimodal leve, projetado para traduzir o Nepali falado em animações de avatares de NSL condicionados por emoção. O sistema opera através de uma arquitetura de codificador acústico compartilhado e unificado que realiza simultaneamente o Reconhecimento Automático de Fala (ASR) e a classificação de emoção.

• Criação de Conjunto de Dados: O estudo utiliza um conjunto de dados piloto composto por 600 amostras de áudio rotuladas de 50 falantes (idades entre 15 e 45 anos). O conjunto de dados cobre quatro palavras comuns em Nepali ("obrigado", "olá", "casa", "eu") através de três estados emocionais (feliz, neutro, triste). As palavras foram selecionadas para incluir tanto gestos dinâmicos (envolvendo movimento contínuo) quanto gestos estáticos (poses fixas). Para lidar com a escassez de dados, os autores empregaram técnicas de aumento de dados, incluindo deslocamento de semitom, Perturbação do Comprimento do Trato Vocal (VTLP) e variações de velocidade, expandindo o conjunto de dados para mais de 4.400 amostras.
• Pré-processamento de Áudio: Os arquivos de áudio brutos foram padronizados para 16kHz, cortados ou preenchidos para durações de 2 segundos e convertidos em espectrogramas de Mel (128 bandas de frequência × 200 quadros temporais). Estes foram redimensionados para imagens em tons de cinza de 128×128 para servirem como entrada para o modelo transformer.
• Arquitetura do Modelo: O NEST-V1 adapta um Vision Transformer (ViT) para espectrogramas de áudio. A arquitetura trata os espectrogramas como imagens 2D, dividindo-os em patches de 16×16. Emprega um codificador compartilhado consistindo em três camadas Transformer com 12 cabeças de atenção e uma dimensão de incorporação (embedding) de 768. O modelo utiliza um único token [CLS] para classificação, alimentando duas cabeças paralelas: uma para reconhecimento de palavras-chave (4 classes) e outra para classificação de emoção (3 classes). Este design de codificador compartilhado reduz a redundância de parâmetros.
• Geração de Avatar: Após a classificação, o sistema recupera quadros de avatar pré-renderizados. Um pipeline de mistura de quadros (frame-blending) usando interpolação linear (alpha blending) gera animações suaves, realizando a transição (morphing) entre uma pose neutra base e uma variante emocionalmente expressiva. A saída é um GIF animado em loop, garantindo que o sistema permaneça leve e implantável em navegadores web e dispositivos móveis sem necessidade de renderização gráfica de alto desempenho.

Principais Contribuições

1. Primeiro Conjunto de Dados Emocional de NSL: O artigo apresenta o primeiro conjunto de dados de fala baseado em NSL anotado com contexto emocional, abordando uma lacuna crítica na pesquisa de línguas de sinais de baixo recurso.
2. Pipeline Modular e Leve: O sistema apresenta uma arquitetura modular com componentes independentes para ASR e reconhecimento de emoção, facilitando a escalabilidade. É especificamente projetado para implantação de baixo recurso, suportando aplicações de borda.
3. Eficiência de Parâmetros: Ao compartilhar o codificador acústico entre as tarefas, o modelo alcança uma redução de 37% nos parâmetros em comparação com arquiteturas de modelos separados, mantendo uma pegada de apenas 22,1 milhões de parâmetros.

Resultos Experimentais
O modelo foi avaliado em uma divisão do conjunto de dados aumentado (treino, validação e teste).

• Desempenho: O sistema alcançou uma precisão de ASR de 81,1% e uma precisão de reconhecimento de emoção de 79,21% no conjunto de teste. As precisões de validação atingiram 79,6% para ASR e 76,54% para reconhecimento de emoção.
• Eficiência: O modelo NEST-V1 requer aproximadamente 22,1M de parâmetros e de 2,189M de FLOPs (para o patch embedding) a 473,4M de FLOPs (total), com uma pegada de memória de cerca de 89 MB durante a inferência. Isto é significativamente mais eficiente do que os modelos ViT padrão (86,6M de parâmetros) e comparável ou superior aos híbridos CNN-LSTM em termos de contagem de parâmetros, mantendo uma precisão competitiva.
• Métricas de Classificação: Os F1-scores para as quatro classes de gestos variaram de 0,69 a 0,78, enquanto as classes de emoção alcançaram F1-scores entre 0,70 e 0,83.

Significância e Alegações
Os autores posicionam este trabalho como um estudo piloto de prova de conceito, demonstrando a viabilidade técnica de gerar avatares de língua de sinais condicionados por emoção a partir de entrada de fala em configurações de baixo recurso. A significância reside em estabelecer uma base escalável para sistemas de comunicação emocionalmente expressivos e em tempo real para a comunidade de pessoas com deficiência auditiva.

O artigo alega que o NEST-V1 consegue preencher a lacuna entre a tradução lexical e o contexto emocional, indo além da mímica robótica de gestos em direção a uma interação humana mais autêntica. Embora o escopo atual seja limitado a um pequeno vocabulário e três emoções, os autores afirmam que o framework fornece um caminho claro para a expansão futura para vocabulários maiores, expressões emocionais diversas e aplicações assistivas do mundo real. O trabalho enfatiza que tais sistemas podem ser implantados em dispositivos de borda, tornando a tecnologia assistiva avançada mais acessível.