Dynamic LIBRAS Gesture Recognition via CNN over Spatiotemporal Matrix Representation

Titel

Dynamische herkenning van LIBRAS-gesten via CNN over een spatiotemporale matrixrepresentatie.

1. Probleemstelling

Automatische herkenning van handgebaren is een fundamenteel onderdeel van visuele mens-machine interfaces, met toepassingen variërend van apparaatbesturing tot gebarentaalinterpretatie. Hoewel er recente vooruitgang is geboekt in deep learning, blijft de precieze herkenning van dynamische gebaren (gebaren die beweging over de tijd omvatten) een uitdaging.

• Complexiteit: De menselijke handanatomie is complex en varieert per individu (gewrichten, pezen, verhoudingen), wat het moeilijk maakt om modellen te bouwen die goed generaliseren naar meerdere gebruikers.
• Beperkingen van bestaande methoden: Benaderingen die werken met ruwe beeldpixels hebben te maken met hoge dimensionaliteit en zijn gevoelig voor factoren zoals verlichting en huidskleur.
• Specifiek doel: Het ontwikkelen van een robuust systeem voor de herkenning van gebaren in de Braziliaanse Gebarentaal (LIBRAS) voor de besturing van apparaten in een domoticasysteem, dat zowel statische als dynamische gebaren kan verwerken zonder complexe recurrente netwerken.

2. Methodologie

Het voorgestelde systeem bestaat uit een combinatie van twee modellen en een unieke data-organisatiestrategie:

A. Key-point Extractie (MediaPipe)

• Er wordt gebruikgemaakt van de MediaPipe Hand Landmarker, een vooringesteld model dat 21 skeletachtige key-points (gewrichten) van de hand detecteert en lokaliseert in elke video-frame.
• De output omvat de coördinaten (x, y, z) van deze punten, evenals de handoriëntatie (links/rechts) en een betrouwbaarheidsniveau.

B. Spatiotemporale Matrixrepresentatie

• In plaats van het gebruik van recurrente netwerken (zoals LSTM) om tijdsreeksen te verwerken, worden de key-points georganiseerd in een 2D-matrix van 90x21.
  • 21 kolommen: Corresponderen met de 21 handgewrichten.
  • 90 rijen: Corresponderen met de tijdreeks van 30 frames, waarbij elke frame wordt verticaal samengevoegd voor de drie assen (rijen 1-30 voor X, 31-60 voor Y, 61-90 voor Z).
• Deze matrix wordt genormaliseerd (min-max schaling naar [0, 255]) en omgezet in een grijstintenafbeelding. Hierdoor kan een standaard 2D Convolutional Neural Network (CNN) de spatiotemporale patronen van statische en dynamische gebaren herkennen als visuele texturen.

C. Sliding Window met Temporele Triplicatie

• Voor real-time inferentie wordt een sliding window-strategie gebruikt om continuïteit te garanderen zonder recurrente netwerken.
• Triplicatie: Elke nieuwe frame die door de camera wordt opgevangen, wordt 3 keer in een buffer ingevoegd (n=3). Een venster van 30 entries in de buffer komt dus overeen met ongeveer 10 echte frames.
• Dit zorgt ervoor dat gebaren vloeiender en sneller kunnen worden uitgevoerd zonder dat het model gebroken gebaren ziet.
• Alleen voorspellingen met een betrouwbaarheid boven de 98% worden als geldig beschouwd.

D. Model Architectuur

• Een lichtgewicht CNN met ongeveer 25.000 parameters.
• Bestaat uit drie convolutielagen (met respectievelijk 33, 64 en 64 filters) en twee dense lagen.
• Gebruikt ReLU-activatie en Softmax voor de output. L1-regularisatie wordt toegepast om overfitting te voorkomen en stabiliteit te vergroten.

3. Belangrijkste Bijdragen

1. Nieuwe Representatie: Een spatiotemporale matrix (90x21) van MediaPipe-keypoints die als een 2D-afbeelding wordt behandeld, waardoor een standaard CNN dynamische gebaren kan classificeren zonder complexe tijdsafhankelijke lagen.
2. Efficiënte Inferentiestrategie: Een sliding-window-methode met temporele frame-triplicatie die continue real-time herkenning mogelijk maakt op algemene hardware, zonder de noodzaak van recurrente netwerken (RNN/LSTM).
3. Validatie in Domoticasysteem: Succesvolle implementatie en validatie in een realistisch scenario voor de besturing van thuisapparatuur (airconditioning, gordijnen, ramen, verlichting) met 11 gebarenklassen (inclusief statische en dynamische LIBRAS-gesten).

4. Resultaten

Het systeem werd getest op een PC met een Intel Core i7 processor, 16 GB RAM en een Logitech Brio-camera (zonder dedicated GPU voor inferentie).

• Nauwkeurigheid:
  • 95% onder omstandigheden met zwak licht.
  • 92% onder normale verlichting.
• Testomgeving: De tests omvatten 100 opeenvolgende herkenningen per conditie. De fouten waren voornamelijk gerelateerd aan verwarring tussen het gebaar 'C' en ontspannen handposities.
• Vergelijking: De resultaten zijn vergelijkbaar met of beter dan bestaande literatuur (bijv. 92,57% voor Alabdullah et al. en 93% voor Alves et al. op vergelijkbare datasets).
• Beperkingen: De tests werden uitgevoerd met één gebruiker. Hoewel de training- en validatie-accuraatheid bijna 100% bereikte, is er nog behoefte aan testen met een diverse groep gebruikers om de generalisatie te bewijzen.

5. Betekenis en Toekomstperspectief

• Efficiëntie: De aanpak demonstreert dat dynamische gebarenherkenning zeer effectief kan worden uitgevoerd met een eenvoudige 2D CNN-architectuur, wat de implementatiecomplexiteit en rekentijd aanzienlijk verlaagt ten opzichte van methoden met state machines of recurrente netwerken.
• Toepasbaarheid: Het systeem is geschikt voor draagbare of embedded apparaten vanwege het lage aantal parameters en de afwezigheid van zware recurrente lagen.
• Aanbevelingen voor toekomstig werk:
  • Uitbreiding van de dataset met gebaren van meerdere gebruikers met verschillende anatomische kenmerken.
  • Integratie van variabele verlichting als een expliciete trainingsvariabele.
  • Evaluatie van de draagbaarheid op low-cost embedded hardware.
  • Uitbreiding van het gebarenvocabulaire voor bredere praktische toepasbaarheid.

Samenvattend biedt dit artikel een efficiënte, lichtgewicht en effectieve oplossing voor dynamische gebarenherkenning die goed presteert in realistische thuisomgevingen, met name voor de integratie van LIBRAS in domoticasystemen.