Low Resource Multimodal Translation of Nepali Spoken Words into Emotion-Conditioned Sign Language Avatars

Technische Samenvatting: Laag-resource Multimodale Vertaling van Nepalese Gesproken Woorden naar Emotie-geconditioneerde Gebarentaal-avatars

Probleemstelling
Huidige systemen voor vertaling van spraak naar gebarentaal schieten vaak tekort in het vastleggen van de emotionele context van spraak, wat resulteert in robotachtige, lexicaal accurate maar emotioneel vlakke interacties. Deze beperking is bijzonder acuut voor laag-resource talen zoals het Nepalees en de bijbehorende gebarentaal (Nepalese Gebarentaal, NSL), waar onderzoek en datasets schaars zijn. Bestaande oplossingen verwaarlozen vaak de integratie van emotionele expressie, wat essentieel is voor natuurlijke, mensgerichte communicatie. Bovendien missen veel huidige systemen de computationele efficiëntie die vereist is voor implementatie op edge-apparaten, wat de toegankelijkheid in omgevingen met beperkte middelen beperkt.

Methodologie
De auteurs stellen NEST-V1 voor (Nepali Emotion and Speech Transformer – Versie 1), een lichtgewicht, multimodale framework ontworpen om gesproken Nepalees te vertalen naar emotie-geconditioneerde NSL-avataranimaties. Het systeem werkt via een unieke, gedeelde akoestische encoder-architectuur die simultaan automatische spraakherkenning (ASR) en emotieclassificatie uitvoert.

• Dataset Creatie: De studie maakt gebruik van een pilot-dataset bestaande uit 6 deels gelabelde audiofragmenten van 50 sprekers (leeftijd 15–45). De dataset beslaat vier veelvoorkomende Nepalese woorden ("bedankt", "hallo", "huis", "ik") over drie emotionele staten (blij, neutraal, verdrietig). De woorden werden geselecteerd om zowel dynamische gebaren (met continue beweging) als statische gebaren (vaste houdingen) te bevatten. Om gegevensschaarste aan te pakken, hebben de auteurs augmentatietechnieken toegepast, waaronder semitoonverschuiving, Vocal Tract Length Perturbation (VTLP) en snelheidvariaties, waardoor de dataset werd uitgebreid naar meer dan 4.400 samples.
• Audio Preprocessing: Ruwe audiobestanden werden gestandaardiseerd naar 16kHz, afgeknipt of aangevuld tot 2-seconden durende fragmenten, en omgezet in Mel-spectrogrammen (128 frequentiebins × 200 tijdframes). Deze werden herverkleind naar 128×128 grayscale afbeeldingen om als input te dienen voor het transformer-model.
• Model Architectuur: NEST-V1 past een Vision Transformer (ViT) aan voor audio-spectrogrammen. De architectuur behandelt spectrogrammen als 2D-afbeeldingen en verdeelt ze in 16×16 patches. Het maakt gebruik van een gedeelde encoder bestaande uit drie Transformer-lagen met 12 attention heads en een embedding-dimensie van 768. Het model gebruikt een enkele [CLS] token voor classificatie, die wordt doorgevoerd naar twee parallelle heads: één voor trefwoordherkenning (4 klassen) en één voor emotieclassificatie (3 klassen). Dit gedeelde encoder-ontwerp vermindert redundantie in parameters.
• Avatar Generatie: Na classificatie haalt het systeem vooraf gerenderde 2D-avatarframes op. Een frame-blending pipeline via lineaire interpolatie (alpha blending) genereert vloeiende animaties door te morphen tussen een basis neutrale pose en een emotioneel expressieve variant. De output is een lussen GIF-animatie, wat ervoor zorgt dat het systeem lichtgewicht blijft en kan worden geïmplementeerd op webbrowsers en mobiele apparaten zonder hoogwaardige graphics-rendering.

Belangrijkste Bijdragen

1. Eerste NSL Emotionele Dataset: Het artikel presenteert de eerste NSL-gebaseerde spraakdataset geannoteerd met emotionele context, waarmee een kritiek gat in laag-resource gebarentaalonderzoek wordt gedicht.
2. Modulaire, Lichtgewicht Pipeline: Het systeem heeft een modulaire architectuur met onafhankelijke componenten voor ASR en emotieherkenning, wat schaalbaarheid vergemakkelijkt. Het is specifiek ontworpen voor laag-resource implementatie, met ondersteuning voor edge-applicaties.
3. Parameter Efficiëntie: Door de akoestische encoder te delen tussen taken, bereikt het model een reductie van 37% in parameters vergeleken met aparte modelarchitecturen, met een footprint van slechts 22,1 miljoen parameters.

Experimentele Resultaten
Het model werd geëvalueerd op een gesplitste versie van de geaugmenteerde dataset (trainings-, validatie- en testsets).

• Prestaties: Het systeem behaalde een ASR-nauwkeurigheid van 81,1% en een emotieherkenningsnauwkeurigheid van 79,21% op de testset. Validatienauwkeurigheden bereikten 79,6% voor ASR en 76,54% voor emotieherkenning.
• Efficiëntie: Het NEST-V1 model vereist ongeveer 22,1M parameters en 2,189M FLOPs (voor de patch embedding) tot 473,4M FLOPs (totaal), met een geheugenvoetafdruk van ongeveer 89 MB tijdens inferentie. Dit is aanzienlijk efficiënter dan standaard ViT-modellen (86,6M parameters) en vergelijkbaar of superieur aan CNN-LSTM hybriden in termen van aantal parameters, terwijl het concurrerende nauwkeurigheid behoudt.
• Classificatie Metrieken: De F1-scores voor de vier gebarenklassen varieerden van 0,69 tot 0,78, terwijl de emotieklassen F1-scores behaalden tussen 0,70 en 0,83.

Betekenis en Claims
De auteurs positioneren dit werk als een proof-of-concept pilotstudie die de technische haalbaarheid demonstreert van het genereren van emotie-geconditioneerde gebarentaal-avatars vanuit gesproken input in laag-resource settings. De betekenis ligt in het leggen van een schaalbare basis voor real-time, emotioneel expressieve communicatiesystemen voor de slechthorende gemeenschap.

Het artikel claimt dat NEST-V1 er succesvol in slaagt de kloof tussen lexicale vertaling en emotionele context te overbruggen, waarbij het verder gaat dan robotachtige gebarenimitatie richting meer authentieke menselijke interactie. Hoewel de huidige reikwijdte beperkt is tot een kleine woordenschat en drie emoties, stellen de auteurs dat het framework een duidelijk pad biedt voor toekomstige expansie naar grotere vocabulaire, diverse emotionele expressies en real-world assistieve toepassingen. Het werk benadrukt dat dergelijke systemen op edge-apparaten kunnen worden ingezet, waardoor geavanceerde assistieve technologie toegankelijker wordt.