⚡ electrical engineering

Hand Trajectory Fusion for Egocentric Natural Language Query Grounding

Dieses Paper schlägt einen neuartigen Ansatz für das Grounding von egozentrischen natürlicher Sprachabfragen vor, der die zeitliche Lokalisierung in langen First-Person-Videos durch die Fusion von vortrainierten Video-Text-Merkmalen mit einem spezialisierten Handtrajektorien-Encoder verbessert und dadurch die Leistung bei Abfragen, die Hand-Objekt-Interaktionen und Zustandsänderungen beinhalten, signifikant steigert.

Ursprüngliche Autoren: Enmin Zhong, Carlos R. del-Blanco, Fernando Jaureguizar, Narciso García

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Enmin Zhong, Carlos R. del-Blanco, Fernando Jaureguizar, Narciso García

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie tragen eine Kamera am Kopf und zeichnen Ihren gesamten Tag aus Ihrer eigenen Perspektive auf. Stellen Sie sich nun vor, jemand stellt Ihnen eine Frage zu diesem Video, wie zum Beispiel: „Was habe ich in den Müll geworfen?“ oder „Wo ist der rote Schraubendreher?“

Ihr Gehirn betrachtet nicht nur die Farben und Formen im Video; es erinnert sich an das Gefühl, wie Ihre Hand nach dem Objekt griff, es packte und bewegte. Dieses Papier handelt davon, einem Computer genau das Gleiche beizubringen.

Hier ist die Geschichte ihrer Lösung, unterteilt in einfache Teile:

Das Problem: Der Computer war „blind“ für Hände

Aktuelle KI-Modelle sind sehr gut darin, zu erkennen, wie Dinge aussehen. Wenn Sie fragen: „Wo ist das rote Auto?“, können sie die rote Farbe erkennen. Aber wenn es um Ego-Perspektive-Videos geht, drehen sich viele Fragen tatsächlich um Aktionen, nicht nur um Objekte.

Die Autoren fanden heraus, dass etwa 41 % der Fragen, die Menschen in diesen Videos stellen, etwas über Dinge betreffen, die passieren, wenn Hände Objekte berühren (wie das Etwas in einen Mülleimer werfen oder einen Zustand prüfen). Die besten KI-Modelle da draußen ignorierten jedoch die Hände völlig. Sie versuchten, das Rätsel nur anhand des „Bildes“ der Szene zu lösen, und übersahen dabei den wichtigsten Hinweis: die Bewegung der Hände.

Die Lösung: Ein „Hand-Tracker“-Detektiv

Die Forscher bauten ein neues System, das wie ein Detektiv fungiert, der zwei Dingen gleichzeitig Aufmerksamkeit schenkt:

Der Szene: Wie das Video aussieht (die Farben, die Objekte).
Der Hand-Geschichte: Eine Karte davon, wie sich die Hände bewegt haben.

Sie nennen dies den Hand-Trajectory Encoder. Denken Sie an ihn als einen spezialisierten Assistenten, der das Video beobachtet und ein „Skelett“ der Hände zeichnet. Selbst wenn die Hände für eine Sekunde verschwinden (weil sie sich zu schnell bewegen oder aus dem Bild geraten), ist dieser Assistent klug genug, die Lücken zu füllen und die Geschichte der Bewegung zu verstehen: Annähern -> Greifen -> Loslassen.

Der magische Klebstoff: „Adaptive Gating“

Der schwierige Teil ist die Kombination der „Hand-Geschichte“ mit der „Szene“. Manchmal sind die Hände sehr deutlich und hilfreich; manchmal sind sie verschwommen oder fehlen ganz. Wenn man den Computer zwingt, immer auf die Hände zu achten, könnte er verwirrt werden, wenn die Hände nicht da sind.

Um dies zu lösen, entwickelte das Team einen intelligenten Schalter namens Adaptive Gating.

Die Analogie: Stellen Sie sich vor, Sie hören ein Radioprogramm (das Video), während Ihnen jemand Hinweise zuflüstert (die Hand-Daten).
Wie es funktioniert: Das System besitzt einen Lautstärkeregler für das Flüstern. Wenn die Hände deutlich sichtbar und in Bewegung sind, dreht das System die Lautstärke der Hand-Hinweise hoch. Wenn die Hände verborgen oder verschwommen sind, dreht es die Lautstärke runter und verlässt sich stattdessen mehr auf das Videobild. Es lernt, von Moment zu Moment zu entscheiden, wie sehr es der Handbewegung vertrauen kann.

Die Ergebnisse: Bessere Antworten für Aktionsfragen

Sie testeten dies auf einem massiven Datensatz namens Ego4D, der Tausende von Ego-Perspektive-Videos und Fragen enthält.

Der große Gewinn: Wenn die Fragen sich auf Hand-Objekt-Interaktionen bezogen (wie „Was habe ich in X gelegt?“), verbesserte sich ihr neues System signifikant darin, den exakt richtigen Moment im Video zu finden.
Die Zahlen: Sie verbesserten die Genauigkeit um etwa 2,5 % bei Interaktionsfragen und um beachtliche 4,3 % bei Fragen über den „Zustand“ oder die „Menge“ von Objekten.
Warum das wichtig ist: Dies beweist, dass das Hinzufügen der Ebene der „Handbewegung“ der KI hilft zu verstehen, wann eine Aktion stattgefunden hat, nicht nur was passiert ist.

Die Einschränkung

Das System ist noch nicht perfekt. Die Hauptbeschränkung besteht darin, dass Hand-Erkennungssoftware nicht perfekt ist; sie übersieht Hände in etwa 59 % der Frames (aufgrund von Bewegungsunschärfe oder weil die Hände aus dem Sichtfeld geraten). Die Autoren merken an, dass das System automatisch noch intelligenter werden wird, falls die Handerkennung in der Zukunft besser wird, da es darauf ausgelegt ist, alle verfügbaren Hand-Daten zu nutzen.

Zusammenfassend lässt sich sagen: Sie haben einer KI beigebracht, Ego-Perspektive-Videos nicht nur zu „betrachten“, sondern die Handbewegungen zu „fühlen“, indem sie einen intelligenten Schalter verwendet, um zu entscheiden, wann diese Bewegungen der wichtigste Hinweis sind, um eine Frage zu beantworten.

Technische Zusammenfassung: Handtrajektorien-Fusion für egozentrische Grounding von natürlichen Sprachabfragen

Problemdefinition
Das egozentrische Grounding von natürlichen Sprachabfragen (Natural Language Query, NLQ) zielt darauf ab, das zeitliche Intervall $[t_s, t_e]$ innerhalb eines langen First-Person-Videos zu lokalisieren, das einer frei formulierten Textabfrage entspricht. Während aktuelle State-of-the-Art-Systeme (z. B. GroundNLQ) effektiv Video-Erscheinungsbilder mit Textsemantik unter Verwendung großer vortrainierter Encoder fusionieren, ignorieren sie häufig die Handbewegung. Dies ist ein erhebliches Versäumnis, da etwa 41 % der Abfragen im Ego4D NLQ-Datensatz während Momenten der Hand-Objekt-Manipulation oder deren unmittelbaren Ergebnissen beantwortet werden. Bestehende Hilfsmodalitäten wie Blickrichtung (Gaze) oder Objekterkennung wurden bereits untersucht, aber die Handtrajektorie als eigenständige Modalität für das NLQ-Grounding bleibt trotz ihrer Zentralität für egozentrische Aktivitäten unerforscht.

Methodik
Der vorgeschlagene Ansatz führt einen Hand-Trajektorien-Encoder und ein Trajektorien-Fusionsmodul ein, um spärliche Hand-Skelett-Daten mit Video-Text-Repräsentationen zu integrieren. Die Architektur besteht aus fünf Hauptkomponenten:

Encoder:
- Video-Encoder: Verwendet eingefrorene, vortrainierte Backbones (InternVideo und EgoVLP), um egozentrische Clips in Video-Token ( $E_v$ ) einzubetten.
- Text-Encoder: Verwendet ein eingefrorenes CLIP-Modell, um natürliche Sprachabfragen in Text-Token ( $E_t$ ) einzubetten.
- Trajektorien-Encoder: Ein trainierbares Modul, das eine zeitliche Sequenz von Handskeletten (extrahiert via MediaPipe) in dichte, video-ausgerichtete kinematische Merkmale ( $E_h$ $E_{h}$ ) verarbeitet. Es verwendet einen räumlich-zeitlichen Transformer, der in zwei Stufen faktorisiert ist:
  - Räumliche Aggregation: Nutzt Cross-Attention, um 21 anatomische Landmarken pro Hand in einen einzelnen Frame-basierten Deskriptor zu bündeln, wobei nicht detektierte Landmarken explizit maskiert werden.
  - Zeitliche Modellierung: Wendet Self-Attention an, um die Entwicklung dieser Deskriptoren über die Frames hinweg zu modellieren und Manipulationsdynamiken (Annäherung, Kontakt, Loslassen) zu erfassen. Nicht detektierte Frames werden maskiert, um Informationslecks zu verhindern.
Trajektorien-Fusion:
- Dieses Modul integriert $E_h$ und $E_t$ in die Video-Token $E_v$ mittels einer Cross-Attention mit adaptiver Gewichtung (Adaptive Gating).
- Zwei unabhängige Cross-Attention-Mechanismen ermöglichen es den Video-Token, die Trajektorien- und Textströme abzufragen, wodurch angereicherte Repräsentationen ( $E_{vh}$ und $E_{vt}$ ) erzeugt werden.
- Adaptive Gewichtung (Adaptive Gating): Anstatt einer gleichmäßigen Summation werden die Beiträge der Trajektorien- und Textzweige durch gelernte skalare Gates ( $g_h$ und $g_t$ ) skaliert. Diese Gates werden über leichte MLPs berechnet, die auf die zeitlichen Mittelwerte der jeweiligen Cross-Attention-Outputs angewendet werden. Dies ermöglicht es dem Netzwerk, das Trajektorien-Signal selektiv abzuschwächen, wenn die Handdetektion spärlich oder irrelevant ist.
- Ein Self-Attention-Verfeinerungsblock verarbeitet die zusammengeführte Repräsentation weiter, um die endgültige multimodale Ausgabe ( $E_o$ ) zu liefern.
Vorhersage:
- Ein Temporal Segment Prediction Head sagt das Antwortintervall $[t_s, t_e]$ aus der fusionierten Repräsentation $E_o$ voraus.

Wesentliche Beiträge

Neue Modalität: Die Arbeit ist die erste, die die Handtrajektorie als Hilfsmodalität für das egozentrische NLQ-Grounding untersucht und damit eine Lücke schließt, in der etwa 41 % der Abfragen auf manuelle Aktivitäten beruhen.
Robuste Trajektorien-Kodierung: Das Design geht explizit mit der Spärlichkeit der Handdetektion um (Hände sind im Durchschnitt nur in ~41 % der Ego4D-Frames sichtbar) durch Maskierungsmechanismen in beiden Stufen des räumlich-zeitlichen Transformers.
Adaptive Fusion: Die Einführung gelernter, inhaltsabhängiger Gating-Mechanismen ermöglicht es dem Modell, das Handtrajektorien-Signal dynamisch gegen Video- und Textmerkmale abzuwägen und so zu verhindern, dass Rauschen aus nicht detektierten Frames die Leistung verschlechtert.

Experimentelle Ergebnisse
Das System wurde auf dem Ego4D NLQ v2 Validierungs-Split (4.552 Abfrage-Clip-Paare) mit der Metrik $R_m@IoU=n$ evaluiert.

Kategoriespezifische Gewinne: Die signifikantesten Verbesserungen wurden in Kategorien beobachtet, die direkt mit Manipulationen zusammenhängen:
- Hand–Objekt-Interaktion (HOI): +2,54 Verbesserung in $R1@IoU=0,3$.
- Menge/Zustand (Quantity/State): +4,32 Verbesserung in $R1@IoU=0,3$.
- Innerhalb von HOI konzentrierten sich die Gewinne auf Aktions-Templates (z. B. „Was habe ich in X gelegt?“), was bestätigt, dass Trajektorien-Hinweise helfen, den spezifischen Moment der Aktion zu lokalisieren.
Gesamtleistung: Das vorgeschlagene Modell erreichte einen Gewinn von +0,77 in der Gesamt-$R1@IoU=0,3$ und +1,39 in $R1@IoU=0,5$. Der größere Gewinn beim strengeren IoU-Schwellenwert deutet darauf hin, dass die Handkinematik nicht nur hilft, die korrekte zeitliche Region abzurufen, sondern auch die Präzision der Lokalisierung schärft.
Effizienz: Der Trajektorien-Encoder fügt lediglich 195K Parameter hinzu (0,6 % des vollständigen Modells) und wird von Grund auf trainiert, während die schweren Video- und Text-Backbones eingefroren bleiben.

Bedeutung und Limitationen
Die Arbeit behauptet, dass die Handkinematik ein leichtgewichtiges, aber informatives Signal liefert, das das visuelle Erscheinungsbild ergänzt, insbesondere bei Abfragen, die Objektmanipulationen betreffen. Das Design zeigt, dass Hilfsmodalitäten effektiv integriert werden können, ohne die vortrainierten Backbones zu modifizieren.

Die Autoren räumen eine primäre Einschränkung bescheiden ein: Detektionsspärlichkeit. Da Hände nur in 41 % der Frames sichtbar sind, ist der Beitrag des Trajektorien-Zweigs inhärent begrenzt. Die Arbeit postuliert, dass zukünftige Verbesserungen in der egozentrischen Handdetektion sich direkt in einer stärkeren Grounding-Leistung niederschlagen würden. Zudem wird das Trajektorien-Fusionsmodul als modalitätsagnostisch beschrieben, was darauf hindeutet, dass es sich natürlich auf andere Signale wie Blickrichtung oder größere Trainingsszenarien erweitern lässt.