Novel Human-Machine Interface via a Robust Hand Gesture Recognition System Using a Channel-Pruned You Only Look Once Version 5 Model
Dit artikel presenteert een robuust, real-time handgebaarherkenningssysteem voor mens-machine-interfaces dat gebruikmaakt van een via channel pruning verfijnd en gefinetuned YOLOv5s-model om hoge detectiesnelheden van meer dan 60 FPS en superieure nauwkeurigheid te bereiken, wat naadloze besturing van multimedia-applicaties zoals VLC en Spotify mogelijk maakt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Mensen hebben altijd gezocht naar manieren om met machines te communiceren die natuurlijk aanvoelen, waarbij ze verder gaan dan de rigide beperkingen van toetsenborden en muizen. Decennialang hebben wetenschappers het idee verkend om mensen computers te laten aansturen met hun handen, een vakgebied dat bekend staat als handgebaarherkenning. Deze technologie vertrouwt op camera's om afbeeldingen van iemands hand vast te leggen, gevolgd door software die de vorm en positie van de vingers identificeert om te begrijpen wat de gebruiker wil zeggen. Hoewel dit eenvoudig klinkt, is de echte wereld rommelig. Veranderende lichtomstandigheden, drukke achtergronden en handen die gedeeltelijk verborgen zijn, zorgen er allemaal voor dat het computervisie-systeem in de war raakt. Bovendien moeten deze systemen, om echt responsief aan te voelen, informatie bijna onmiddellijk verwerken, een taak die vaak krachtige, energieverslindende computers vereist die moeilijk te installeren zijn in alledaagse apparaten. De uitdaging ligt in het creëren van een systeem dat zowel slim genoeg is om duidelijk te zien in moeilijke omstandigheden als licht genoeg om snel te draaien op standaard hardware.
Een team onderzoekers van instellingen in India heeft deze uitdaging aangepakt door een nieuwe manier te ontwikkelen om gebarenbesturing sneller en betrouwbaarder te maken. Ze richtten zich op een specifiek type kunstmatige intelligentie-model genaamd YOLO, wat staat voor "You Only Look Once". Dit model is ontworpen om objecten in afbeeldingen zeer snel te detecteren. De onderzoekers begonnen met een kleine, efficiënte versie van dit model en pasten vervolgens een techniek toe die kanaalverwijdering (channel pruning) wordt genoemd. Stel je een groot netwerk van wegen voor waarbij sommige rijstroken zelden worden gebruikt; kanaalverwijdering is als het sluiten van die lege rijstroken om verkeersopstoppingen te verminderen en de reistijd te verkorten, zonder de bestemming te veranderen. Door systematisch onnodige delen van de interne structuur van het computermodel te verwijderen, creëerde het team een gestroomlijnde versie die veel kleiner en sneller is dan het origineel. Vervolgens trainden ze dit vereenvoudigde model zorgvuldig opnieuw om ervoor te zorgen dat het niet zijn vermogen verloor om gebaren nauwkeurig te herkennen, zelfs na de vermindering in omvang.
De resultaten van dit werk laten zien dat het vereenvoudigde model uitzonderlijk goed presteert. Bij tests op een collectie afbeeldingen van handgebaren bereikte het nieuwe systeem een detectiesnelheid van meer dan 60 frames per seconde. Dit betekent dat de computer elke seconde meer dan 60 verschillende afbeeldingen van een hand kan analyseren, een snelheid die snel genoeg is om de interactie voor een menselijke gebruiker onmiddellijk te laten aanvoelen. Het systeem was in staat om dertien verschillende handvormen te identificeren, zoals een open handpalm, een vuist of specifieke vingeraantallen, met een hoge mate van nauwkeurigheid. Hoewel het proces van het verwijderen van onderdelen van het model voor een zeer kleine daling in de ruwe nauwkeurigheid zorgde, herstelde het hertrainingsproces het grootste deel van deze prestatie, wat resulteerde in een systeem dat de beste balans biedt tussen snelheid en precisie. De onderzoekers vonden dat deze aanpak veel andere bestaande methoden overtrof, inclusief grotere en complexere modellen die langer nodig hebben om dezelfde afbeeldingen te verwerken.
Om te bewijzen dat deze technologie werkt in een werkelijke omgeving, bouwde het team een werkende interface waarmee gebruikers mediaspelers kunnen besturen met alleen hun handen. Ze verbonden hun gebarenherkenningssysteem met VLC, een populaire videospeler, en Spotify, een muziekstreamingdienst. In hun demonstratie kon een gebruiker een specifieke handvorm omhoog houden om de computer te vertellen een nummer af te spelen, een video te pauzeren, naar het volgende nummer te springen of het volume aan te passen. Het systeem reageerde in enkele milliseconden, waardoor de besturing naadloos aanvoelde. De onderzoekers stuitten echter ook op een praktisch obstakel: omdat de computer zo snel was, registreerde hij soms een enkel gebaar meerdere keren in snelle opeenvolging, waardoor de muziek meerdere nummers oversprong of het volume te snel omhoog sprong. Om dit op te lossen, introduceerden ze een piepkleine, bewuste pauze in de reactietijd van de software. Deze kleine vertraging zorgde ervoor dat elke handbeweging als een enkele, afzonderlijke opdracht werd behandeld, wat voorkwam dat het systeem overreageerde op de natuurlijke bewegingen van de gebruiker.
De studie bevestigt dat het mogelijk is om robuuste, real-time gebarenbesturingssystemen te bouwen zonder dat daar enorme rekenkracht voor nodig is. Door de interne structuur van het kunstmatige intelligentie-model te verfijnen, hebben de onderzoekers een hulpmiddel gecreëerd dat zowel lichtgewicht als zeer effectief is. Dit werk suggereert dat gebruikers in de nabije toekomst hun entertainmentmedia, smart home-apparaten of andere toepassingen kunnen besturen met eenvoudige handbewegingen, zelfs in kamers met variërende lichtinval of drukke achtergronden. De onderzoekers zijn van plan dit werk in de toekomst uit te breiden naar dynamische gebaren, waarbij de beweging van de hand even belangrijk is als de vorm, en om handsignalen te combineren met andere inputs zoals oogtracking. Voor nu hebben zij een duidelijk pad gedemonstreerd om de mens-machine-interactie intuïtiever en responsiever te maken, waarbij de complexe taak van computer vision wordt omgezet in een eenvoudige, betrouwbare ervaring voor dagelijkse gebruikers.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.