A Low-Cost Hybrid Reservoir Computing Model for Isolated Sign Language Video Recognition
Dieses Paper schlägt ein leichtgewichtiges hybrides Reservoir-Computing-Modell vor, das die MediaPipe-Keypoint-Extraktion mit tiefen und bidirektionalen Reservoirs kombiniert, um eine wettbewerbsfähige Genauigkeit bei der isolierten Gebärdenspracherkennung auf dem WLASL100-Datensatz zu erreichen und gleichzeitig die Trainingszeit sowie die Rechenkosten für den Einsatz auf Edge-Geräten drastisch zu reduzieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Gebärdensprache zu verstehen. Es ist ein wenig so, als würde man einem Hund versuchen beizubringen, eine komplexe Tanzchoreografie zu verstehen; der Roboter muss Hände, Arme und Körper bewegen sehen, die in einem bestimmten Rhythmus agieren, um herauszufinden, welche Botschaft gesendet wird. Lange Zeit haben Wissenschaftler versucht, dies mithilfe von „Deep Learning“ zu lösen, was so etwas ist wie das Training eines superintelligenten, aber unglaublich schweren Gehirns. Dieses Gehirn ist so leistungsstark, dass es fast alles lernen kann, aber es ist auch so hungrig nach Strom und Rechenleistung, dass es normalerweise in einer riesigen, teuren Serverfarm leben muss und nicht auf einem kleinen, tragbaren Gerät, das man vielleicht in seiner Tasche trägt.
Um diese Technologie auf kleineren Geräten zum Laufen zu bringen, suchen Forscher nach einer anderen Art von Gehirn: einem, das leicht, schnell und nicht ständig von Grund auf neu „trainiert“ werden muss. Hier kommt „Reservoir Computing“ ins Spiel. Stellen Sie sich das wie eine komplexe, springende Ballmaschine vor. Sie werfen einen Ball (das Gebärdensprachvideo) in eine Box voller zufällig angeordneter Stifte (das Reservoir). Der Ball springt auf eine chaotische, aber vorhersehbare Weise umher und erzeugt dabei ein einzigartiges Bewegungsmuster, das den Input repräsentiert. Sie müssen die Stifte nicht lehren, wie sie sich bewegen sollen; sie tun das einfach ganz natürlich. Sie müssen nur einen einfachen „Leser“ am Ende trainieren, der darauf achtet, wo der Ball landet und sagt: „Ah, dieses Muster bedeutet ‚Hallo‘“. Diese Arbeit untersucht, ob dieser leichte, hüpfende Ansatz tatsächlich mit den schweren, hungrigen Deep-Learning-Giganten konkurrieren kann, wenn es um das Erkennen von Gebärdensprache geht.
Die Autoren dieser Arbeit, Nitin Kumar Singh und sein Team, beschlossen, eine „hybride“ Version dieser hüpfenden Ballmaschine zu bauen, um zu sehen, ob sie isolierte Gebärdensprachwörter besser und schneller erkennen kann als die üblichen schweren Methoden. Sie begannen damit, ein Werkzeug namens MediaPipe zu verwenden, das wie ein superschneller Kamerafilter wirkt. Anstatt dem Roboter die gesamte Videodatei zu füttern (die voller Hintergrundrauschen und Farben ist), reduziert MediaPipe das Video sofort auf die essenziellen „Skelett“-Punkte – die Gelenke der Hände, Handgelenke, Ellbogen und Schultern. Es ist, als würde man einen farbigen Film in eine einfache Strichmännchen-Animation verwandeln, die dennoch alle wichtigen Bewegungen einfängt.
Diese Koordinaten der Strichmännchen wurden dann in ihr neues Modell, das Hybrid Reservoir Computing (HRC)-System, eingespeist. Um dieses System wirklich gut darin zu machen, den zeitlichen Ablauf einer Gebärde zu verstehen, kombinierten sie zwei verschiedene Strategien. Erstens verwendeten sie einen „Deep“-Aufbau, bei dem die Informationen durch zwei aufeinanderfolgende Schichten von springenden Bällen fließen, was es dem System ermöglicht, sowohl schnelle, kurze Bewegungen als auch längere, langsamere Muster zu lernen. Zweitens fügten sie einen „bidirektionalen“ Kniff hinzu, der es dem System erlaubt, die Sequenz der Gebärde sowohl vorwärts als auch rückwärts zu betrachten, damit es den Kontext dessen versteht, was vor oder nach einer bestimmten Bewegung geschah. Schließlich betrachtete ein einfaches mathematisches Modell (Ridge-Regression) das abschließende chaotische Muster und ordnete ihm ein Label zu, wie etwa „Apfel“ oder „Danke“.
Als sie dieses neue System auf einem Datensatz namens WLASL100 testeten, der 100 verschiedene Gebärdensprachwörter verschiedener Personen enthält, waren die Ergebnisse sehr vielversprechend. Das Hybrid-Modell identifizierte die Gebärde in 61,12 % der Fälle korrekt beim ersten Versuch (Top-1 Genauigkeit). Wenn man es dem System erlaubte, bis zu fünf Mal zu raten, lag es in 86,05 % der Fälle richtig, und bei bis zu zehn Versuchen lag es in 92,56 % der Fälle richtig. Obwohl diese Zahlen etwas niedriger sind als die einiger massiver, schwerer Deep-Learning-Modelle, die etwa 65 % beim ersten Versuch erreichen können, war der Kompromiss in Bezug auf Geschwindigkeit und Effizienz gewaltig.
Der aufregendste Teil ihrer Entdeckung war die Geschwindigkeit des Trainings. Während ein Standard-Deep-Learning-Modell wie Bi-GRU fast 34 Minuten (33 Minuten und 54 Sekunden) benötigte, um die Gebärden auf einem Standard-Prozessor zu lernen, lernte das hybride Modell der Autoren die gesamte Aufgabe in nur 14,61 Sekunden. Es war auch wesentlich schneller bei der Vorhersage und benötigte nur 1,47 Sekunden, um eine Gebärde zu bestimmen, im Vergleich zu den 4 bis 12 Sekunden, die andere komplexe Modelle erforderten. Die Arbeit legt nahe, dass diese Methode, da sie nicht ständig Millionen interner Gewichte wie Deep Learning anpassen muss, viel leichter ist und potenziell auf kleineren, batteriebetriebenen Geräten wie Smartwatches oder Telefonen laufen könnte, was die Gebärdenspracherkennung für Menschen, die sie genau jetzt benötigen, zugänglicher macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.