Visual Hand Gesture Recognition with Deep Learning: A Comprehensive Review of Methods, Datasets, Challenges and Future Research Directions

Technische Samenvatting: Visuele Handgebarenherkenning met Deep Learning

Probleemstelling
Visuele Handgebarenherkenning (VHGR) is een kritiek subveld van computer vision dat natuurlijke Mens-Computer Interactie (HCI), Mens-Roboter Interactie (HRI) en Gebarentaalherkenning (SLR) mogelijk maakt. Hoewel deep learning (DL) het veld aanzienlijk heeft gevorderd, blijft het onderzoekslandschap gefragmenteerd. Bestaande surveys richten zich vaak op traditionele machine learning-technieken, behandelen verouderde methodologieën (pre-2021) of beperken hun scope tot specifieke domeinen zoals Gebarentaal, waardoor er een gat bestaat in uitgebreide, actuele reviews van DL-gebaseerde VHGR. Onderzoekers missen een gestructureerd overzicht om de honderden recente papers te navigeren, State-of-the-Art (SOTA) methoden te identificeren en de vergelijkende prestaties over verschillende taken en modaliteiten te begrijpen.

Methodologie
Deze survey hanteert een systematische literatuurstudie-methodologie om het evoluerende landschap van VHGR in kaart te brengen.

• Scope en Selectie: De review richt zich uitsluitend op visie-gebaseerde methoden (RGB, diepte, IR, pose, optische stroom) die voornamelijk tussen 2021 en 2025 zijn gepubliceerd. Sensor-gebaseerde benaderingen zijn uitgesloten om een gefocuste scope op visuele modaliteiten te behouden.
• Zoekstrategie: Queries werden uitgevoerd in Scopus, Web of Science, Google Scholar en arXiv met specifieke Booleaanse operatoren en zoektermen gerelateerd aan gebaar- en gebarentaalherkenning.
• Categorisatie: Uit een initiële pool van meer dan 900 publicaties werden 278 relevante werken geselecteerd (185 methoden, 72 datasets, 21 surveys). Deze werden georganiseerd in een gestructureerde taxonomie op basis van acht criteria: Toepassingsdomein, Taak, Invoermodaliteit, Informatietype, Camera-zichtpunt, Architectuur, Leerstrategie en Verwerkingsmodus (Online vs. Offline).
• Analyse: Het artikel analyseert methoden over drie primaire taken: Static VHGR (SHGR), Isolated Dynamic VHGR (IDHGR) en Continuous Dynamic VHGR (CDHGR). Het evalueert SOTA-technieken, vergelijkt prestaties op standaard benchmarks en synthetiseert uitdagingen en toekomstige richtingen.

Belangrijkste Bijdragen

1. Gestructureerde Taxonomie: Het artikel introduceert een uitgebreide taxonomie die VHGR-methoden classificeert op invoertype, taakcomplexiteit, architectuur (ruimtelijk, temporale, ruimtelijk-temporeel) en leerstrategieën (bijv. transfer learning, contrastive learning, weak supervision).
2. Taakgerichte SOTA-Review:
   • Static VHGR (SHGR): Reviewt methoden voor single-frame herkenning, waarbij de dominantie van 2DCNN's (bijv. VGG, DenseNet-varianten) en lichtgewicht architecturen voor HCI en HRI wordt benadrukt. Er wordt opgemerkt dat hoewel de nauwkeurigheid hoog is, datasets klein blijven en diversiteit missen.
   • Isolated Dynamic VHGR (IDHGR): Analyseert benaderingen voor korte, vooraf gesegmenteerde sequenties. Het contrasteert unimodale, op uiterlijk gebaseerde methoden (met 3DCNN's, Transformers) met op pose gebaseerde methoden (met Graph Convolutional Networks - GCN's) en multimodale fusiestrategieën.
   • Continuous Dynamic VHGR (CDHGR): Richt zich op niet-gesegmenteerde videostreams, voornamelijk voor Continuous Sign Language Recognition (CSLR). Het beschrijft de heersende drie-traps-pijplijn (Ruimtelijke Encoder + Korte-termijn Temporaal Model + Lange-termijn Context Model) en opkomende end-to-end benaderingen met Diffusion Models en Large Language Models (LLM's).
3. Dataset- en Metrieke Synthese: Het artikel catalogiseert 72 datasets, waarbij onderscheid wordt gemaakt tussen die voor SLR (bijv. PHOENIX, WLASL, MSASL) en semaforische gebaren (bijv. HaGRID, Jester). Het verduidelijkt evaluatiemetrieën, met onderscheid tussen classificatiemetrieën (Nauwkeurigheid, F1-Score) voor statische/isolatie taken en sequence-to-sequence metrieën (Woordfoutpercentage - WER) voor continue taken.
4. Kritische Analyse van Uitdagingen: De survey identificeert vijf grote knelpunten:
   • Gebaar-irrelevante Factoren: Achtergrondrommel, lichtvariaties en occlusies.
   • Rekenkosten: Hoge FLOPs en parameteraantallen in SOTA-modellen (bijv. Uni-Sign met 592M parameters) belemmeren real-time implementatie.
   • Datatekort: Gebrek aan diverse, grootschalige, 'in-the-wild' datasets, vooral voor zeldzame gebarentalen.
   • Optimalisatie-moeilijkheden: Problemen zoals gradiëntverzwakking en CTC-pieken in diepe CSLR-pijplijnen.
   • Architectuurbeperkingen: Suboptimale vaste-topologie grafen in GCN's en inefficiënte late-fusiestrategieën in multimodale systemen.

Resultaten en Vergelijkende Inzichten

• Statische Herkenning: SHGR wordt beschouwd als grotendeels opgeloste probleem met hoge nauwkeurigheid (>95%) op gecontroleerde datasets met behulp van lichtgewicht 2DCNN's. Echter, prestaties verslechteren in ongecontroleerde omgevingen door datasetbeperkingen.
• Isolatie Dynamische Herkenning: Multimodale benaderingen (combinatie van RGB en Skelet) leveren over het algemeen de hoogste nauwkeurigheid op, maar tegen aanzienlijke rekenkosten. Op pose gebaseerde methoden (GCN's) bieden een balans tussen efficiëntie en prestaties, hoewel ze sterk afhankelijk zijn van de nauwkeurigheid van de onderliggende pose-schatter.
• Continue Herkenning: CDHGR blijft de meest uitdagende taak. Hoewel de standaard 2DCNN+1DCNN+BiLSTM-pijplijn dominant is, tonen nieuwere methoden met Diffusion Models voor gloss-generatie en foundation-modellen (CLIP, LLM's) superieure prestaties (lagere WER), maar vereisen enorme rekenbronnen en extra trainingsdata.
• Modaliteitstrends: RGB blijft de dominante modaliteit. Diepte- en pose-gegevens worden vaak gebruikt in multimodale fusie, maar presteren zelden beter dan RGB alleen in isolatie zonder significante fusiecomplexiteit.

Betekenis en Toekomstige Richtingen
Het artikel positioneert zichzelf als een fundamentele leidraad voor onderzoekers die VHGR willen vooruitbrengen. Het betoogt dat hoewel DL de prestaties heeft aangedreven, het veld geconfronteerd wordt met "onopgeloste" uitdagingen wat betreft generalisatie naar real-world omstandigheden en rekenefficiëntie.

• Toekomstige Onderzoeksrichtingen: De auteurs stellen voor om zich te richten op:
  • Datadiversiteit: Het verzamelen van 'in-the-wild' datasets en het benutten van meertalige aggregatie.
  • Efficiëntie: Het adopteren van modelcompressie, niet-parametrische lagen en lichtgewicht architecturen voor edge-implementatie.
  • Optimalisatie: Het ontwikkelen van betere trainingsstrategieën (bijv. auxiliary supervision) om gradiëntproblemen in diepe netwerken te mitigeren.
  • Geavanceerde Fusie: Het overstappen van late fusie naar intermediate en multi-level fusie voor multimodale systemen.
  • Foundation Modellen: Het efficiënt integreren van grote vooraf getrainde modellen voor zero-shot herkenning en open-vocabulary interactie, in plaats van alleen closed-set classificatie.

De survey concludeert dat hoewel aanzienlijke vooruitgang is geboekt, het overbruggen van de kloof tussen hoge-nauwkeurigheid lab-benchmarks en robuuste, real-world implementatie vereist dat er wordt ingespeeld op datatekorten, rekenbeperkingen en architecturale optimalisatie.