Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies
Dieser Artikel schlägt eine Mamba-basierte, multimodale Architektur zur Erkennung egozentrischer Aktionen vor, die RGB-Videodaten und Hand-Skelettdaten fusioniert und zeigt, dass eine durchschnittliche CLS-Token-Mischstrategie auf dem H2O-Datensatz signifikant besser abschneidet als unimodale Baselines.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, zu verstehen, was eine Person tut, indem er nur ein Video betrachtet, das aus deren eigener Perspektive aufgenommen wurde (wie eine GoPro, die an der Stirn befestigt ist). Dies wird als egozentrische Videoerkennung bezeichnet.
Das Problem ist, dass diese Art von Video chaotisch ist. Die Kamera wackelt wild, Hände verdecken oft die Sicht, und manchmal schaut die Person von dem weg, was sie tut. Es ist wie ein Puzzle zu lösen, während jemand den Tisch wild schüttelt und die Hälfte der Teile mit den Händen verdeckt.
Um dies zu beheben, bauten die Forscher ein neues „Gehirn" für den Computer mit einer Technologie namens Mamba. Stellen Sie sich Mamba als einen super-effizienten Bibliothekar vor, der ein sehr langes Buch (ein langes Video) viel schneller lesen kann als ältere Methoden (wie Transformer), ohne müde zu werden oder den Faden der Geschichte zu verlieren.
Der Zwei-Stream-Ansatz: Augen und Hände
Die Forscher erkannten, dass der Computer, um die Handlung zu verstehen, zwei verschiedene Arten von Hinweisen benötigt, genau wie ein Detektiv sowohl eine Zeugenaussage als auch physische Beweise braucht:
- Die „Augen" (RGB-Video): Dies ist der Standard-Video-Feed. Er zeigt Farben und Formen, gerät aber in Verwirrung, wenn Hände die Sicht verdecken.
- Die „Hände" (Skelettdaten): Dies ist ein digitales Drahtgittermodell der Hände der Person. Selbst wenn die Hände hinter einer Tasse versteckt sind, weiß der Computer genau, wo die Finger sein sollten. Es ist wie ein geisterhafter Umriss der Hände, der niemals verdeckt wird.
Der Computer verarbeitet diese beiden Ströme zunächst separat und versucht dann, sie zu einem einzigen Verständnis zu kombinieren.
Das Geheimnis: Das „CLS-Token"
In der Mitte dieses Prozesses gibt es ein spezielles Datenelement namens CLS-Token. Sie können sich dieses Token als eine „Zusammenfassende Notiz" oder ein „Kapitänstagebuch" vorstellen.
Während der Computer das Video betrachtet und die Hände verfolgt, schreibt er eine zusammenfassende Notiz für den Video-Stream und eine separate zusammenfassende Notiz für den Hand-Stream. Am Ende muss er diese beiden Notizen zu einem einzigen Abschlussbericht zusammenführen, um zu entscheiden: „Gießt diese Person Kaffee oder schneidet sie ein Sandwich?"
Die Hauptentdeckung des Papiers ist wie diese beiden Notizen zusammengeführt werden. Die Forscher testeten vier verschiedene Möglichkeiten, sie zu mischen:
- Der „Naive" Ansatz (Die leere Tafel): Werfen Sie beide alten Notizen weg und schreiben Sie eine völlig neue von Grund auf neu.
- Ergebnis: Dies scheiterte. Es war, als würde man die Notizen des Detektivs ignorieren und versuchen, das Verbrechen ohne Hinweise zu erraten.
- Der „Gewichtete" Ansatz (Der Verhandlungsführer): Geben Sie der Video-Notiz einen bestimmten Prozentsatz an Bedeutung und der Hand-Notiz einen anderen Prozentsatz (z. B. 60 % Video, 40 % Hände). Der Computer lernt diese Prozentsätze während des Trainings.
- Ergebnis: Dies funktionierte gut, aber der Computer entschied schließlich, dass eine 50/50-Aufteilung am besten ist.
- Der „Kontextbasierte" Ansatz (Der dynamische Manager): Der Computer betrachtet die aktuelle Szene und entscheidet im laufenden Betrieb, wie sehr er dem Video im Vergleich zu den Händen vertrauen soll.
- Ergebnis: Überraschenderweise funktionierte diese komplexe Methode nicht besser als die einfachen. Es war, als würde man einen Manager einstellen, der jede Entscheidung überdenkt.
- Der „Durchschnittliche" Ansatz (Der gleichberechtigte Partner): Nehmen Sie einfach die Video-Notiz und die Hand-Notiz und mischen Sie sie gleichmäßig (50/50) zusammen.
- Ergebnis: Dies war der Gewinner. Es stellte sich heraus, dass die einfachste Methode – beiden Hinweisen einfach das gleiche Gewicht zu geben – die effektivste war.
Die Ergebnisse
Als sie dies an einem Datensatz namens H2O testeten (der Videos von Menschen enthält, die alltägliche Aufgaben wie Gießen, Schneiden und Zusammenbauen durchführen), war die „Durchschnittliche"-Strategie ein großer Erfolg.
- Beim kleineren Computermodell stieg die Genauigkeit um 10 %.
- Beim größeren Modell stieg die Genauigkeit um 25 %.
Dies bedeutet, dass der Computer durch die einfache gleichmäßige Kombination von „Augen" und „Händen" viel besser darin wurde zu verstehen, was vor sich ging, selbst wenn die Kamera wackelte oder Hände die Sicht verdeckten.
Was kommt als Nächstes?
Die Forscher untersuchen derzeit zwei Hauptideen für die Zukunft:
- Tests an größeren Datensätzen: Um zu sehen, ob die „kontextbasierte" Methode (der dynamische Manager) besser funktioniert, wenn der Computer mehr Daten zum Lernen hat.
- Der „Privilegierte Informationen"-Trick: Sie wollen den Computer sowohl mit dem Video als auch mit den Hand-Skeletten trainieren, ihm dann aber Tests nur mit dem Video bestehen lassen. Es ist wie mit einem Lehrbuch und einem Tutor zu lernen, aber die Prüfung nur mit dem Lehrbuch abzulegen. Dies würde das System im echten Leben nützlich machen, wo wir möglicherweise nicht immer die „Hand-Skelett"-Daten zur Verfügung haben.
Kurz gesagt zeigt das Papier, dass für das Verständnis von Videos aus der Ich-Perspektive die beste Strategie oft die einfachste ist: Hören Sie sowohl den Augen als auch den Händen gleichermaßen zu und lassen Sie das effiziente „Mamba"-Gehirn des Computers den Rest erledigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.