UniCon-Former: Unified Convolution Transformer is All You Need for Hand Gesture Recognition

Stel je voor dat je een robot probeert te leren menselijke handgebaren te begrijpen, zoals zwaaien om hallo te zeggen of "stop" tekenen. Dit is een lastige klus voor een computer, omdat de robot twee dingen tegelijkertijd moet zien: de minuscule, specifieke details van je vingers (de lokale kenmerken) en het grote plaatje van hoe je hele arm door de tijd beweegt (de globale context). Lange tijd gebruikten computers twee verschillende instrumenten om dit op te lossen. Eén instrument, een Convolutioneel Neuraal Netwerk (CNN), was als een super nauwkeurige detective die een enkele vingerafdruk kon opsporen, maar de weg kwijtraakte als er gevraagd werd naar een heel verhaal. Het andere instrument, een Transformer, was als een grootse verhalenverteller die elk plotpunt in een roman kon verbinden, maar overweldigd en traag werd wanneer hij probeerde naar elke afzonderlijke letter in het boek te kijken. Onderzoekers hebben geprobeerd een robot te bouwen die zowel een scherpe detective als een briljante verhalenverteller is, maar het combineren van hen heeft er vaak toe geleid dat de robot te zwaar en te traag werd om nuttig te zijn.

Hier begint het verhaal van "UniCon-Former". De auteurs, Mallika Garg, Debashis Ghosh en Pyari Mohan Pradhan, wilden een slimmere, lichtere robot bouwen die dynamische handgebaren kan herkennen—bewegingen die in de loop van de tijd plaatsvinden—zonder te verdrinken in te veel wiskunde. Ze hebben de twee instrumenten niet simpelweg aan elkaar gekoppeld; ze hebben een nieuwe manier uitgevonden om ze als één verenigd team te laten samenwerken. Door een slimme "piramide"-structuur te gebruiken, hebben ze een systeem gecreëerd dat kan inzoomen op details en kan uitzoomen om het grote plaatje te zien, terwijl het minder middelen gebruikt dan eerdere modellen. Hun werk suggereert dat deze nieuwe aanpak de gebargecontroleerde games, virtuele realiteit en gebarentaalvertaling veel sneller en nauwkeuriger kan maken, wat bewijst dat je geen gigantisch brein nodig hebt om een simpele zwaai te begrijpen.

Het Probleem: De Detective versus de Verhalenverteller

Om te begrijpen waarom de auteurs UniCon-Former hebben gebouwd, moeten we kijken naar de twee belangrijkste personages in de wereld van computer vision.

Ten eerste is er het CNN (Convolutioneel Neuraal Netwerk). Denk hierbij aan een detective met een vergrootglas. Het is geweldig in het bekijken van een klein stukje van een afbeelding en te zeggen: "Ik zie hier een duim, daar een knokkel." Het is goed in het opsporen van lokale details. Echter, de reikwijdte van het vergrootglas is beperkt. Het heeft moeite om te begrijpen hoe je hand over het hele scherm beweegt of hoe het gebaar gedurende enkele seconden verandert. Het is als een detective die de schoen van een verdachte kan identificeren, maar je niet kan vertellen waar de verdachte een uur geleden was.

Dan is er de Transformer. Dit is de grootse verhalenverteller. Het gebruikt een mechanisme genaamd "self-attention" om naar elk deel van de invoerreeks te kijken (zoals elke frame van een video) en te begrijpen hoe ze allemaal met elkaar samenhangen. Het kan gemakkelijk begrijpen dat je hand die in frame één omhoog beweegt, verbonden is met je hand die in frame tien omlaag beweegt. Maar, er is een addertje onder het gras: een verhalenverteller zijn is kostbaar. Om elk enkel stukje informatie met elk ander stukje te verbinden, moet het een enorme hoeveelheid wiskunde uitvoeren. Het is als proberen elke persoon in een stadion aan elke andere persoon voor te stellen; de inspanning wordt zo groot dat de computer traag wordt en te veel energie verbruikt.

De auteurs stellen dat hoewel Transformers krachtig zijn, ze lijden aan "hoge redundantie". Ze vergelijken te veel zaken die niet met elkaar vergeleken hoeven te worden, wat tijd en kracht verspilt. Aan de andere kant zijn CNN's efficiënt, maar missen ze het grote plaatje. Het doel was om een model te bouwen dat het beste van beide werelden krijgt zonder de nadelen.

De Oplossing: De Piramide van Focus

De auteurs stellen een nieuw model voor genaamd UniCon-Former (Unified Convolution Transformer). In plaats van de Transformer de hele video tegelijk te laten worstelen, introduceren ze een "piramide"-structuur.

Stel je voor dat je naar een berg kijkt. Als je vanaf de top elke rots op de berg probeert te zien, is dat overweldigend. Maar als je onderaan begint en naar boven klimt, kun je je concentreren op de details van de rotsen bij je, dan een stap terug doen om de vorm van de klif te zien, en uiteindelijk de top bereiken om het hele bergmassief te zien. UniCon-Former doet precies dit met videoframes.

Zo werkt de magie:

1. De Opzet: De video van een handgebaar wordt eerst verwerkt door een standaard CNN (ResNet-18) om basiskenmerken te verkrijgen.
2. De Piramide: Het model is verdeeld in stadia. Aan het begin van elk stadium gebruikt het model een speciale "Convolution Block" (C-Block) om de data te verkleinen. Het is alsof je een foto met een hoge resolutie neemt en deze iets comprimeert voordat je deze naar het volgende niveau doorstuurt. Dit creëert een piramidevorm waarbij de data kleiner en meer gefocust wordt naarmate het dieper in het netwerk gaat.
3. De Mix: Voordat de data het "attention"-gedeelte van de Transformer binnengaat (waar het naar verbindingen zoekt), gaat het door deze C-Block. Deze blok gebruikt "depthwise separable convolution", een chique manier om te zeggen dat het de afbeelding efficiënt verwerkt door eerst naar lokale details te kijken.
4. Het Resultaat: Door de data in elk stadium te verkleinen, leert het model kenmerken op verschillende schalen. Het leert de kleine details van de vingers in een vroeg stadium, en de bredere beweging van de arm later. Dit stelt de Transformer in staat om zijn taak van het leggen van verbanden te volbrengen zonder overweldigd te worden door te veel data.

De auteurs leggen uit dat deze aanpak het model helpt om "multiscale features" te leren. Omdat handen verschillende maten en vormen hebben, en gebaren snel of langzaam kunnen zijn, is het vermogen om het beeld op verschillende zoomniveaus te zien cruciaal. De piramide-structuur vermindert ook de rekenkosten, waardoor het model lichter en sneller is dan een standaard Transformer.

Het Experiment: De Handen Testen

Om te zien of hun idee werkte, testte het team UniCon-Former op twee beroemde datasets: NVGesture en Briareo. Deze datasets bevatten video's van mensen die handgebaren maken, vastgelegd met verschillende soorten camera's. Sommige camera's zien alleen kleur (RGB), sommige zien diepte (hoe ver weg dingen zijn), sommige infrarood (warmte) en sommige "optical flow" (hoe pixels bewegen).

De onderzoekers trainden hun model op deze video's en vergeleken het met andere beroemde modellen, inclusocief de "vanilla" (standaard) Transformer en diverse op CNN gebaseerde modellen. Ze gebruikten een techniek genaamd "late fusion", wat betekent dat ze het model op elk type cameradata afzonderlijk trainden en vervolgens de uiteindelijke voorspellingen combineerden om het beste antwoord te krijgen.

Wat waren de resultaten?
De resultaten waren zeer veelbelovend. Op de NVGesture-dataset versloeg UniCon-Former de standaard Transformer in bijna elke categorie.

• Wanneer er alleen naar kleurafbeeldingen werd gekeken, behaalde het 81,67% nauwkeurigheid, waarmee het de standaard Transformer van 76,50% versloeg.
• Met diepteafbeeldingen bereikte het 85,27%, vergeleken met de 83,00% van de Transformer.
• Wanneer ze meerdere typen data combineerden (zoals kleur, diepte en infrarood), werd het model nog beter en bereikte het een nauwkeurigheid van 87,97%.

Op de Briareo-dataset waren de resultaten nog indrukwekkender.

• Bij het gebruik van alleen infraroodbeelden bereikte het model 97,92% nauwkeurigheid, terwijl de standaard Transformer op 95,10% bleef.
• Bij het combineren van kleur, infrarood en flow, bereikte het 98,61%, wat de hoogste score was die ze hebben geregistreerd.

De auteurs merkten op dat het model bijzonder goed presteerde bij het gebruik van meerdere typen data (multimodaal). Ze observeerden dat het toevoegen van meer typen input (zoals het toevoegen van "normals" of "optical flow" aan de mix) de nauwkeurigheid over het algemeen verbeterde, wat suggereert dat het model effectief alle beschikbare informatie kan gebruiken om het gebaar te begrijpen.

Efficiëntie: Meer Doen met Minder

Een van de belangrijkste bevindingen was niet alleen de nauwkeurigheid, maar ook de efficiëntie. De auteurs vergeleken hun model met anderen op basis van het aantal "parameters" (de hersencellen van de AI) en "MACs" (wiskundige operaties) dat het nodig had.

• UniCon-Former heeft 19,58 miljoen parameters en vereist 60,25 Giga MACs.
• De standaard Transformer die voor de vergelijking werd gebruikt, heeft 24,30 miljoen parameters en 62,92 Giga MACs.
• Andere zwaargewichten zoals NAS1 hebben 93,90 miljoen parameters.

Dit betekent dat UniCon-Former niet alleen nauwkeuriger is, maar ook kleiner en minder rekenintensief. Het is alsoك een auto bouwen die een betere brandstofverbruik heeft en sneller gaat dan de concurrentie. De auteurs suggereren dat deze efficiëntie het model flexibel en geschikt maakt voor real-world toepassingen waar de rekenkracht beperkt kan zijn.

De Conclusie

Het artikel concludeert dat UniCon-Former een succesvolle poging is om de sterke punten van CNN's en Transformers te verenigen. Door een piramide-structuur te creëren die data op verschillende schalen verwerkt, kan het model zowel lokale details als de globale context efficiënt leren. De experimenten suggereren dat deze aanpak leidt tot state-of-the-art resultaten in handgebaarherkenning, waarbij bestaande methoden met minder middelen worden overtroffen.

Hoewel de auteurs vertrouwen hebben in hun resultaten op basis van de gegevens uit de NVGesture- en Briareo-datasets, presenteren ze dit als een sterke validatie van hun ontwerp, eerder dan als een definitieve, onveranderlijke oplossing. Ze benadrukken dat hun model een betere balans biedt tussen complexiteit en prestaties, wat wijst op een nieuwe weg voorwaarts om gebarenherkenning sneller, goedkoper en nauwkeuriger te maken voor iedereen.