UniCon-Former: Unified Convolution Transformer is All You Need for Hand Gesture Recognition

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, menschliche Handgesten zu verstehen, wie zum Beispiel ein Winken zur Begrüßung oder das Zeichen für „Stopp“. Dies ist eine schwierige Aufgabe für einen Computer, denn er muss zwei Dinge gleichzeitig sehen: die winzigen, spezifischen Details Ihrer Finger (die lokalen Merkmale) und das große Ganze, wie sich Ihr gesamter Arm im Zeitverlauf bewegt (den globalen Kontext). Lange Zeit nutzten Computer zwei verschiedene Werkzeuge, um dieses Problem zu lösen. Ein Werkzeug, genannt Convolutional Neural Network (CNN), war wie ein extrem akribischer Detektiv, der einen einzelnen Fingerabdruck erkennen konnte, sich aber verlor, wenn man ihn nach einer ganzen Geschichte fragte. Das andere Werkzeug, ein Transformer, war wie ein großer Geschichtenerzähler, der in der Lage war, jeden Handlungsstrang in einem Roman miteinander zu verknüpfen, aber überfordert und langsam wurde, wenn er versuchte, jedes einzelne Wort in dem Buch zu betrachten. Forscher haben versucht, einen Roboter zu bauen, der sowohl ein scharfer Detektiv als auch ein brillanter Geschichtenerzähler ist, aber die Kombination dieser beiden Werkzeuge bedeutete oft, dass der Roboter zu schwerfällig und langsam wurde, um nützlich zu sein.

Hier beginnt die Geschichte von „UniCon-Former“. Die Autoren Mallika Garg, Debashis Ghosh und Pyari Mohan Pradhan wollten einen intelligenteren, leichteren Roboter bauen, der dynamische Handgesten – Bewegungen, die über die Zeit stattfinden – erkennen kann, ohne durch zu viel Mathematik ausgebremst zu werden. Sie haben die beiden Werkzeuge nicht einfach nur zusammengestückelt; sie haben einen neuen Weg erfunden, wie diese als ein einziges, vereintes Team zusammenarbeiten können. Durch die Verwendung einer cleveren „Pyramiden“-Struktur haben sie ein System geschaffen, das hineinzoomen kann, um Details zu sehen, und herauszoomen kann, um das große Ganze zu erfassen, während es gleichzeitig weniger Ressourcen verbraucht als bisherige Modelle. Ihre Arbeit legt nahe, dass dieser neue Ansatz gesteuerte Spiele, Virtual Reality und Gebärdensprachübersetzung viel schneller und genauer machen könnte, was beweist, dass man kein riesiges Gehirn braucht, um ein einfaches Winken zu verstehen.

Das Problem: Der Detektiv gegen den Geschichtenerzähler

Um zu verstehen, warum die Autoren UniCon-Former entwickelt haben, müssen wir uns die zwei Hauptcharaktere in der Welt des Computer Vision ansehen.

Zuerst gibt es das CNN (Convolutional Neural Network). Stellen Sie sich dies als einen Detektiv mit einer Lupe vor. Es ist hervorragend darin, einen kleinen Ausschnitt eines Bildes zu betrachten und zu sagen: „Ich sehe hier einen Daumen, dort einen Knöchel.“ Es ist großartig darin, lokale Details zu entdecken. Seine Lupe hat jedoch eine begrenzte Reichweite. Es hat Schwierigkeiten zu verstehen, wie sich Ihre Hand über den ganzen Bildschirm bewegt oder wie sich die Geste über mehrere Sekunden verändert. Es ist wie ein Detektiv, der zwar den Schuh eines Verdächtigen identifizieren kann, aber nicht sagen kann, wo sich der Verdächtige vor einer Stunde befand.

Dann ist da der Transformer. Dies ist der große Geschichtenerzähler. Er nutzt einen Mechanismus namens „Self-Attention“ (Selbstaufmerksamkeit), um jeden Teil der Eingabesequenz (wie jeden Frame eines Videos) zu betrachten und herauszufinden, wie sie alle miteinander zusammenhängen. Er kann leicht verstehen, dass Ihre Hand in Frame eins, die sich nach oben bewegt, mit der Bewegung Ihrer Hand nach unten in Frame zehn verbunden ist. Aber es gibt einen Haken: Geschichtenerzählen ist teuer. Um jedes einzelne Stück Information mit jedem anderen Stück zu verbinden, muss er eine massive Menge an Mathematik betreiben. Es ist, als würde man versuchen, jeden Menschen in einem Stadion jedem anderen Menschen vorzustellen; der Aufwand wird so gewaltig, dass der Computer langsam wird und zu viel Energie verbraucht.

Die Autoren argumentieren, dass Transformer zwar leistungsstark sind, aber unter „hoher Redundanz“ leiden. Sie vergleichen zu viele Dinge, die gar nicht verglichen werden müssten, was Zeit und Energie verschwendet. CNNs hingegen sind effizient, übersehen aber das große Ganze. Das Ziel war es, ein Modell zu bauen, das das Beste aus beiden Welten erhält, ohne deren Nachteile mitzunehmen.

Die Lösung: Die Pyramide des Fokus

Die Autoren schlagen ein neues Modell namens UniCon-Former (Unified Convolution Transformer) vor. Anstatt den Transformer mit dem gesamten Video auf einmal kämpfen zu lassen, führen sie eine „Pyramiden“-Struktur ein.

Stellen Sie sich vor, Sie betrachten einen Berg. Wenn Sie versuchen, jeden Stein auf dem Berg von ganz oben aus zu sehen, ist das überwältigend. Aber wenn Sie am Fuß des Berges beginnen und nach oben steigen, können Sie sich auf die Details der Steine in Ihrer Nähe konzentrieren, dann einen Schritt zurücktreten, um die Form der Klippe zu sehen, und schließlich den Gipfel erreichen, um die gesamte Gebirgskette zu sehen. UniCon-Former macht genau das mit den Videoframes.

So geschieht die Magie:

1. Das Setup: Das Video einer Handgeste wird zuerst von einem Standard-CNN (ResNet-18) verarbeitet, um grundlegende Merkmale zu erhalten.
2. Die Pyramide: Das Modell wird in Stufen unterteilt. Zu Beginn jeder Stufe nutzt das Modell einen speziellen „Convolution Block“ (C-Block), um die Daten zu verkleinern. Es ist, als würde man ein hochauflösendes Foto nehmen und es vor der Weitergabe an die nächste Ebene leicht komprimieren. Dies erzeugt eine Pyramidenform, bei der die Daten kleiner und fokussierter werden, je tiefer sie in das Netzwerk eindringen.
3. Der Mix: Bevor die Daten in den „Attention“-Teil des Transformers gelangen (wo er nach Verbindungen sucht), passieren sie diesen C-Block. Dieser Block nutzt „Depthwise Separable Convolution“, eine schicke Art zu sagen, dass er das Bild effizient verarbeitet, indem er zuerst auf lokale Details achtet.
4. Das Ergebnis: Durch das Verkleinern der Daten in jeder Stufe lernt das Modell Merkmale auf unterschiedlichen Skalen. Es lernt frühzeitig die winzigen Details der Finger und später die breitere Bewegung des Arms. Dies ermöglicht es dem Transformer, seine Aufgabe – das Verknüpfen der Punkte – zu erfüllen, ohne von zu vielen Daten überwältigt zu werden.

Die Autoren erklären, dass dieser Ansatz dem Modell hilft, „Multiskala-Merkmale“ zu lernen. Da Hände unterschiedliche Größen und Formen haben und Gesten schnell oder langsam sein können, ist die Fähigkeit, das Bild auf verschiedenen Zoomstufen zu sehen, entscheidend. Die Pyramidenstruktur reduziert auch die Rechenkosten, was das Modell leichter und schneller als einen Standard-Transformer macht.

Das Experiment: Die Hände testen

Um zu sehen, ob ihre Idee funktionierte, testete das Team UniCon-Former an zwei berühmten Datensätzen: NVGesture und Briareo. Diese Datensätze enthalten Videos von Menschen, die Handgesten ausführen, aufgenommen mit verschiedenen Arten von Kameras. Einige Kameras sehen nur Farben (RGB), einige sehen Tiefe (wie weit entfernt Dinge sind), einige Infrarot (Wärme) und einige „Optical Flow“ (wie sich Pixel bewegen).

Die Forscher trainierten ihr Modell mit diesen Videos und verglichen es mit anderen berühmten Modellen, einschließlich des „Vanilla“-Transformers (Standard-Transformer) und verschiedener CNN-basierter Modelle. Sie verwendeten eine Technik namens „Late Fusion“, was bedeutet, dass sie das Modell für jede Art von Kameradaten separat trainierten und dann die endgültigen Vermutungen kombinierten, um die beste Antwort zu erhalten.

Was fanden sie heraus?
Die Ergebnisse waren sehr vielversprechend. Auf dem NVGesture-Datensatz schlug UniCon-Former den Standard-Transformer in fast jeder Kategorie.

• Bei der Betrachtung reiner Farbbilder erreichte es eine Genauigkeit von 81,67 % und übertraf damit die 76,50 % des Standard-Transformers.
• Mit Tiefenbildern erreichte es 85,27 %, verglichen mit den 83,00 % des Transformers.
• Als sie mehrere Arten von Daten kombinierten (wie Farbe, Tiefe und Infrarot), wurde das Modell noch besser und erreichte eine Genauigkeit von 87,97 %.

Auf dem Briareo-Datensatz waren die Ergebnisse sogar noch beeindruckender.

• Unter Verwendung reiner Infrarotbilder erreichte das Modell eine Genauigkeit von 97,92 %, während der Standard-Transformer 95,10 % erreichte.
• Durch die Kombination von Farbe, Infrarot und Flow erreichte es 98,61 %, was den höchsten gemessenen Wert war.

Die Autoren stellten fest, dass das Modell besonders gut funktionierte, wenn es mehrere Arten von Daten (multimodal) verwendete. Sie beobachteten, dass das Hinzufügen weiterer Eingabetypen (wie das Hinzufügen von „Normalen“ oder „Optical Flow“ zur Mischung) die Genauigkeit im Allgemeinen verbesserte, was darauf hindeutet, dass das Modell alle verfügbaren Informationen effektiv nutzen kann, um die Geste zu verstehen.

Effizienz: Mehr mit weniger erreichen

Eine der wichtigsten Erkenntnisse war nicht nur die Genauigkeit, sondern die Effizienz. Die Autoren verglichen ihr Modell mit anderen basierend auf der Anzahl der „Parameter“ (den Gehirnzellen der KI) und der „MACs“ (mathematischen Operationen), die es benötigte.

• UniCon-Former hat 19,58 Millionen Parameter und benötigt 60,25 Giga MACs.
• Der zum Vergleich herangezogene Standard-Transformer hatte 24,30 Millionen Parameter und 62,92 Giga MACs.
• Andere Schwergewichte wie NAS1 hatten 93,90 Millionen Parameter.

Das bedeutet, dass UniCon-Former nicht nur genauer, sondern auch kleiner und weniger rechenintensiv ist. Es ist, als würde man ein Auto bauen, das einen besseren Kraftstoffverbrauch hat und schneller fährt als die Konkurrenz. Die Autoren geben an, dass diese Effizienz das Modell flexibel und für reale Anwendungen geeignet macht, bei denen die Rechenleistung begrenzt sein kann.

Das Fazit

Das Paper kommt zu dem Schluss, dass UniCon-Former ein erfolgreicher Versuch ist, die Stärken von CNNs und Transformern zu vereinigen. Durch die Schaffung einer Pyramidenstruktur, die Daten auf unterschiedlichen Skalen verarbeitet, kann das Modell sowohl lokale Details als auch den globalen Kontext effizient lernen. Die Experimente legen nahe, dass dieser Ansatz zu Ergebnissen auf dem Stand der Technik führt und bestehende Methoden mit weniger Ressourcen übertrifft.

Obwohl die Autoren aufgrund der Daten aus den Datensätzen NVGesture und Briareo zuversichtlich über ihre Ergebnisse sind, präsentieren sie dies eher als eine starke Validierung ihres Designs denn als eine endgültige, unveränderliche Lösung. Sie heben hervor, dass ihr Modell ein besseres Gleichgewicht zwischen Komplexität und Leistung bietet, was einen neuen Weg aufzeigt, um die Gestenerkennung für alle schneller, günstiger und genauer zu machen.