🤖 AI

Deep Learning-Based Sign Language Recognition from Videos and Cross-Lingual Translation to Indian Vernaculars

Dit artikel presenteert een tweestaps deep learning-pipeline die een gefinetunede VideoMAE-transformer gebruikt om geïsoleerde gebaren van de Indiase Gebarentaal uit video te herkennen en de resulterende Engelse labels vertaalt naar het Hindi, Telugu en Bengaals met behulp van het NLLB-200-model, terwijl het ook een Streamlit-demo biedt en de prestatiebeperkingen op een kleinschalige dataset analyseert.

Oorspronkelijke auteurs: Chandranath Adak, Ramesh Nandipalli

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chandranath Adak, Ramesh Nandipalli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren een geheime taal te begrijpen die met handen en gezichten wordt gesproken in plaats van met woorden. Dat is in essentie wat dit artikel doet, maar dan met een specifieke twist: het helpt bij het vertalen van de Indiase Gebarentaal (ISL) naar drie belangrijke gesproken Indiase talen (Hindi, Telugu en Bengaals) door Engels als tussenpersoon te gebruiken.

Hier is een eenvoudige uitsplitsing van hoe ze dit systeem hebben gebouwd, gebruikmakend van alledaagse analogieën.

Het Grote Plaatje: Een Twee-fasen Estafette

De onderzoekers hebben niet geprobeerd de computer direct van "Handgebaren" naar "Hindi Woorden" te leren. Dat zou zijn alsof je een hond probeert te leren direct Frans te spreken. In plaats daarvan zetten ze een twee-fasen estafette op:

Fase 1 (De Vertaler): Een videocamera kijkt naar een persoon die gebarentalen gebruikt. Een slimme AI (genaamd VideoMAE) bekijkt de video en zegt: "Ah, dat gebaar betekent het Engelse woord 'Happy' (Blij)."
Fase 2 (De Tolk): Zodra de AI weet dat het woord "Happy" is, geeft deze het woord door aan een tweede AI (genaamd NLLB). Deze tweede AI werkt als een meertalige vertaler die het Engelse woord "Happy" direct omzet in "Khush" (Hindi), "Santosham" (Telugu) en "Sukhi" (Bengaals).

De Ingrediënten: Wat Ze Gebruikten

De Leraar (VideoMAE): Denk aan deze als een student die al miljoenen uren aan algemene video's heeft bekeken (zoals films en sport) en heeft geleerd hoe hij acties herkent. De onderzoekers namen deze "superstudent" en gaven hem een spoedcursus specifiek over gebarentaalvideo's.
Het Handboek (De Dataset): Ze hadden geen hele bibliotheek aan gebarentaalvideo's om mee te werken vanwege beperkingen in de computercapaciteit. In plaats daarvan gebruikten ze een kleine, samengestelde "studiehandleiding" van IIT Madras. Deze bevatte video's van slechts 13 specifieke gebaren (zoals "luid", "stil", "hoed", "jurk", "doof", "blind").
De Test: Ze verdeelden hun kleine studiehandleiding in een "oefentoets" (training) en een "eindexamen" (validatie).

Hoe het Presteerde: Het Rapportcijfer

De resultaten waren een mix van "A-plus" en "verbeterpuntjes", wat gebruikelijk is bij het leren van een nieuwe vaardigheid met beperkte oefening.

De Oefenronde (Training): De AI bestudeerde de 13 gebaren en behaalde een nauwkeurigheid van 99%. Het was alsof een student de flashcards perfect uit het hoofd had geleerd.
Het Eindexamen (Validatie): Bij het testen op nieuwe, onbekende video's daalde de nauwkeurigheid naar 78%. Dit is nog steeds een solide score, maar het laat zien dat de AI een beetje te veel gefocust was op het uit het hoofd leren van de oefenkaarten in plaats van het echt begrijpen van het concept.

Waar de AI Vastliep (De Foutjes):
Het artikel belicht twee specifieke soorten verwarring, zoals een student die vergelijkbare woorden door elkaar haalt:

De "Kleding" Verwarring: De AI verwardde soms gebaren voor kledingstukken. Het kon bijvoorbeeld een gebaar voor een "Hoed" verwarren met dat van een "Jurk" of een "Overhemd" met een "Pak". Dit is logisch omdat deze gebaren vaak vergelijkbare handbewegingen maken nabij het hoofd of de romp.
De "Gevoel" Verwarring: De AI had moeite met abstracte concepten zoals "Mooi", "Lelijk", "Doof" en "Blind". Het verwarde deze vaak met elkaar of met het woord "Verdrietig". De onderzoekers vermoeden dat dit komt omdat deze gebaren sterk leunen op gezichtsuitdrukkingen, en de AI niet genoeg voorbeelden had om de subtiele verschillen te leren.

De Demo: Een Gebruiksvriendelijke Tool

Het team is niet gestopt bij de wiskunde; ze hebben een Streamlit app gebouwd (een eenvoudige webinterface).

Hoe het werkt: Een gebruiker uploadt een korte video van iemand die gebarentalen gebruikt.
Wat er gebeurt: De app extraheert 16 frames (alsof je 16 snelle snapshots maakt), haalt ze door de AI en toont het resultaat.
De Output: Het toont het Engelse woord (bijv. "Happy") en vertaalt dit onmiddellijk naar de Hindi, Telugu en Bengaalse schriften.

De Beperkingen: Wat Dit Systeem Nog Niet Kan

De auteurs zijn zeer eerlijk over de grenzen van hun werk. Dit is geen toverstaf die op dit moment een heel gesprek kan vertalen.

Eén Woord per Keer: Het systeem begrijpt alleen geïsoleerde woorden (zoals "Hoed"). Het kan geen volledige zin begrijpen zoals "Ik draag een hoed". Het is als een woordenboek dat wel woorden kent, maar geen grammatica.
Kleine Vocabulaire: Het kent slechts 13 specifieke woorden. Als je iets anders gebaart, weet de computer niet wat hij moet doen.
Geen Real-time Snelheid: Het is ontworig om geüploade video's te verwerken, niet om een live gebarentaalgebruiker direct te volgen en te vertalen.
Contextproblemen: Omdat het losse woorden vertaalt, kan het in de war raken. Bijvoorbeeld: het woord "Suit" kan een kledingstuk betekenen of de zin "iemand te zeggen te passen". Zonder een volledige zin moet de computer gokken.

De Kernboodschap

Dit artikel is een proof-of-concept. Het bewijst dat je een krachtige video-AI kunt nemen, deze kunt leren een paar gebarentaalwoorden, en het vervolgens kunt koppelen aan een vertaal-AI om de kloof tussen gebarentaal en regionale Indiase talen te overbruggen. Hoewel het nog niet klaar is om een menselijke tolk in een rechtszaal of ziekenhuis te vervangen, is het een werkend prototype dat de weg wijst naar het toegankelijker maken van technologie voor de doven en slechthorenden in India.

Technische Samenvatting: Deep Learning-gebaseerde Gebarentaalherkenning uit Video's en Cross-Linguale Vertaling naar Indiase Vernacularen

Probleemdefinitie
Gebarentaal dient als de primaire communicatiemodus voor de wereldwijde doven- en slechthorende gemeenschap, maar geautomatiseerde systemen die in staat zijn om gebaren te herkennen uit video en deze te vertalen naar natuurlijke taal blijven beperkt, met name voor minder ondersteunde Indiase talen. Bestaande oplossingen vertrouwen vaak op statische beeldclassificatie of behandelen slechts een beperkt vocabulaire, waardoor ze niet in staat zijn de temporele, volledige lichaamsaard van gebaren te vatten. Bovendien belemmert een tekort aan parallelle corpora die de Indiase Gebarentaal (ISL) direct koppelen aan regionale talen (zoals Hindi, Telugu en Bengalees) de ontwikkeling van end-to-end vertalingssystemen. Dit werk adresseert twee gekoppelde subproblemen: (1) het voorspellen van het Engelse woordlabel uit een korte ISL-videoclip, en (2) het vertalen van dat Engelse label naar Hindi, Telugu en Bengalees.

Methodologie
De auteurs stellen een tweestaps deep learning-pipeline voor die is ontworpen om het gebrek aan directe sign-naar-regionale-taaldata te omzeilen door Engels als een hoogwaardige pivot-taal te gebruiken.

Video-naar-Engelse Classificatie:
- Architectuur: Het systeem maakt gebruik van een gefinetunede VideoMAE (Masked Autoencoder for Video) transformer, specifiek het MCG-NJU/videomae-base checkpoint van Hugging Face.
- Inputverwerking: Invoer-video's worden gedecodeerd en 16 frames worden uniform gesampled. Deze frames worden geresize naar 224×224 en genormaliseerd met behulp van ImageNet-statistieken.
- Training: Het model wordt gefinetuned op een subset van 13 klassen van de AI4Bharat Indian Sign Language corpus (gepubliceerd door IIT Madras). De dataset bestaat uit ongeveer 197 clips die bijvoeglijke naamwoorden bevatten (bijv. loud, quiet, happy, sad, beautiful, ugly, deaf, blind) en kledingzelfstandige naamwoorden (bijv. hat, dress, suit, skirt, shirt).
- Configuratie: De classificatiekop wordt vervangen door een 13-eenheden lineaire laag. De training maakt gebruik van de AdamW-optimizer (leersnelheid $1 \times 10^{-5}$ ), cross-entropy loss, mixed-precision (FP16) en een batchgrootte van 2 gedurende 15 epochs. De trainingsset wordt 80/20 (gestratificeerd) gesplitst vanuit de beschikbare clips.
Engels-naar-Regionale Vertaling:
- Architectuur: Het voorspelde Engelse label wordt doorgegeven aan Meta AI's NLLB-200 (No Language Left Behind) meertalige vertalingsmodel (facebook/nllb-200-distilled-600M).
- Proces: Het model vertaalt het geïsoleerde Engelse woord onafhankelijk naar drie doeltalen: Hindi (hin_Deva), Telugu (tel_Telu) en Bengalees (ben_Beng). De vertaling wordt uitgevoerd door het begin-van-de-sequentie-token van de decoder te forceren naar de specifieke doeltaalcode.
Inference Systeem:
- De pipeline is verpakt in een interactieve Streamlit applicatie. Gebruikers uploaden videobestanden, waarna het systeem het voorspelde Engelse label samen met de vertalingen in de drie vernacularen weergeeft.

Belangrijkste Resultaten
Geëvalueerd op een validatieset van 40 clips (20% van de 197 totaal), behaalde het systeem het volgende:

Nauwkeurigheid: Het model bereikte een training-nauwkeurigheid van 99,4% en een validatie-nauwkeurigheid van 77,5% na 15 epochs.
Prestaties per klasse:
- Hoge Prestaties: Klassen zoals loud, quiet, happy, Suit en Skirt behaalden een perfecte recall (100%).
- Matige Prestaties: Hat, Dress en Shirt behaalden een recall van 75%.
- Foutmodi: Het model faalde volledig (0% recall) op Beautiful, Deaf en Blind, en presteerde op het niveau van toeval bij Ugly.
Foutanalyse: Verwarring trad primair op in twee clusters:
1. Visueel/Posturaal: Kledingstukken (Hat, Dress, Shirt, Suit) werden verward vanwege overlappende handplaatsingen nabij de romp en het hoofd.
2. Semantisch/Affectief: Beautiful, Ugly, Deaf en Blind werden onderling verward, waarschijnlijk door overlappende gezichtsuitdrukkingen en handgebaren, verergerd door extreem kleine steekproeven (1–2 validatieclips per klasse).
Overfitting: De significante kloof tussen de training (>99%) en de validatie-nauwkeurigheid (~78%) duidt op overfitting, toegeschreven aan de kleine datasetgrootte en beperkte intra-klasse diversiteit.

Betekenis en Omvang
Het artikel positioneert dit werk als een initiële, kleinschalige haalbaarheidsstudie in plaats van een productie-klaar systeem. De belangrijkste bijdragen zijn:

Demonstreren van een Tweestaps-pipeline: Het valideren dat een vooraf getrainde VideoMAE-encoder, wanneer gefinetuned op een kleine ISL-subset, effectief geïsoleerde gebaren kan classificeren, en dat een Engels-pivot-aanpak met NLLB-200 de kloof naar minder ondersteunde Indiase talen kan overbruggen zonder dat er directe sign-naar-regionale corpora nodig zijn.
Identificeren van Beperkingen: De studie benadrukt expliciet de uitdagingen van geïsoleerde-woord classificatie, de gevoeligheid voor de stijl van de gebarentolk en de opnamecondities, en de ambiguïteit die inherent is aan het vertalen van enkelvoudige woorden zonder context op zinsniveau (bijv. het onderscheid tussen "suit" als kledingstuk versus een werkwoord).
Reproduceerbaarheid: De auteurs hebben de code voor datalading, model fine-tuning en de Streamlit inference demo vrijgegeven om extensie door de community te ondersteunen.

Toekomstige Richtingen
De auteurs schetsen specifieke paden voor toekomstig werk, waaronder het opschalen naar de volledige AI4Bharat vocabulaire, de overgang van geïsoleerde-woord classificatie naar continue gebarentaalvertaling (het genereren van volledige zinnen), het uitbreiden naar aanvullende door NLLB ondersteunde Indiase talen, en het optimaliseren van de modellatentie voor edge/mobiele deployment.