Low Resource Multimodal Translation of Nepali Spoken Words into Emotion-Conditioned Sign Language Avatars

Sintesi Tecnica: Traduzione Multimodale a Risorse Scarse di Parole Parlate Nepali in Avatar di Lingua dei Segni Condizionati dalle Emozioni

Definizione del Problema
Gli attuali sistemi di traduzione da parlato a lingua dei segni spesso non riescono a catturare il contesto emotivo del parlato, risultando in interazioni robotiche, accuratamente lessicali ma emotivamente piatte. Questa limitazione è particolarmente acuta per le lingue a basse risorse come il nepalese e la corrispondente lingua dei segni (Nepali Sign Language, NSL), dove la ricerca e i dataset sono scarsi. Le soluzioni esistenti trascurano frequentemente l'integrazione dell'espressione emotiva, che è essenziale per una comunicazione naturale e incentrata sull'uomo. Inoltre, molti sistemi attuali mancano dell'efficienza computazionale necessaria per l'implementazione su dispositivi edge, limitandone l'accessibilità in ambienti con scarse risorse.

Metodologia
Gli autori propongono NEST-V1 (Nepali Emotion and Speech Transformer – Versione 1), un framework multimodale leggero, progettato per tradurre il parlato nepalese in animazioni di avatar NSL condizionate dalle emozioni. Il sistema opera attraverso un'architettura di encoder acustico condiviso e unificato che esegue simultaneamente il riconoscimento automatico del parlato (ASR) e la classificazione delle emozioni.

• Creazione del Dataset: Lo studio utilizza un dataset pilota composto da 600 campioni audio etichettati provenienti da 50 speaker (età 15–45). Il dataset copre quattro parole comuni in nepalese ("grazie", "ciao", "casa", "io") attraverso tre stati emotivi (felice, neutro, triste). Le parole sono state selezionate per includere sia gesti dinamici (che coinvolgono un movimento continuo) che gesti statici (pose fisse). Per affrontare la scarsità di dati, gli autori hanno impiegato tecniche di aumento, tra cui lo spostamento del semitono, la perturbazione della lunghezza del tratto vocale (VTLP) e variazioni di velocità, espandendo il dataset a oltre 4.400 campioni.
• Pre-elaborazione dell'Audio: I file audio grezzi sono stati standardizzati a 16kHz, ritagliati o riempiti (padded) a durate di 2 secondi, e convertiti in spettrogrammi Mel (128 bande di frequenza × 200 frame temporali). Questi sono stati ridimensionati in immagini in scala di grigi 128×128 per servire come input per il modello transformer.
• Architettura del Modello: NEST-V1 adatta un Vision Transformer (ViT) per gli spettrogrammi audio. L'architettura tratta gli spettrogrammi come immagini 2D, dividendoli in patch 16×16. Impiega un encoder condiviso composto da tre strati Transformer con 12 teste di attenzione e una dimensione di embedding di 768. Il modello utilizza un singolo token [CLS] per la classificazione, che alimenta due teste parallele: una per il riconoscimento delle parole chiave (4 classi) e una per la classificazione delle emozioni (3 classi). Questo design dell'encoder condiviso riduce la ridondanza dei parametri.
• Generazione dell'Avatar: Dopo la classificazione, il sistema recupera i frame dell'avatar pre-renderizzati. Una pipeline di blending dei frame tramite interpolazione lineare (alpha blending) genera animazioni fluide morfizzando tra una posa neutra di base e una variante espressiva dal punto di vista emotivo. L'output è un GIF animata in loop, garantendo che il sistema rimanga leggero e implementabile su browser web e dispositivi mobili senza necessità di rendering grafico ad alte prestazioni.

Contributi Chiave

1. Primo Dataset Emotivo NSL: Il documento presenta il primo dataset di lingua dei segni basato sul NSL annotato con contesto emotivo, affrontando una lacuna critica nella ricerca sulle lingue dei segni a basse risorse.
2. Pipeline Modulare e Leggera: Il sistema presenta un'architettura modulare con componenti indipendenti per l'ASR e il riconoscimento delle emozioni, facilitando la scalabilità. È progettato specificamente per l'implementazione a basse risorse, supportando applicazioni edge.
3. Efficienza dei Parametri: Condividendo l'encoder acustico tra i compiti, il modello ottiene una riduzione del 37% dei parametri rispetto alle architetture di modelli separati, mantenendo un'impronta di soli 22,1 milioni di parametri.

Risultati Sperimentali
Il modello è stato valutato su una suddivisione del dataset aumentato (set di addestramento, validazione e test).

• Prestazioni: Il sistema ha raggiunto un'accuratezza ASR dell'81,1% e un'accuratezza di riconoscimento delle emozioni del 79,21% sul set di test. Le accuratezze di validazione hanno raggiunto il 79,6% per l'ASR e il 76,54% per le emozioni.
• Efficienza: Il modello NEST-V1 richiede circa 22,1M di parametri e da 2,189M FLOPs (per l'embedding delle patch) a 473,4M FLOPs (totali), con un'impronta di memoria di circa 89 MB durante l'inferenza. Questo è significativamente più efficiente dei modelli ViT standard (86,6M parametri) ed è comparabile o superiore agli ibridi CNN-LSTM in termini di numero di parametri, mantenendo al contempo un'accuratezza competitiva.
• Metriche di Classificazione: Gli F-score per le quattro classi di gesti sono variati da 0,69 a 0,78, mentre le classi emotive hanno ottenuto F-score compresi tra 0,70 e 0,83.

Significatività e Rivendicazioni
Gli autori posizionano questo lavoro come uno studio pilota di prova di concetto che dimostra la fattibilità tecnica della generazione di avatar di lingua dei segni condizionati dalle emozioni a partire dall'input vocale in contesti a basse risorse. La significatività risiede nell'aver stabilito una base scalabile per sistemi di comunicazione in tempo reale ed emotivamente espressivi per la comunità dei non udenti.

Il documento afferma che NEST-V1 riesce a colmare il divario tra traduzione lessicale e contesto emotivo, andando oltre la semplice imitazione robotica dei gesti verso un'interazione umana più autentica. Sebbene l'attuale ambito sia limitato a un piccolo vocabolario e a tre emozioni, gli autori asseriscono che il framework fornisce un percorso chiaro per l'espansione futura verso vocabolari più ampi, diverse espressioni emotive e applicazioni assistive nel mondo reale. Il lavoro sottolinea che tali sistemi possono essere distribuiti su dispositivi edge, rendendo la tecnologia assistiva avanzata più accessibile.