Hand Trajectory Fusion for Egocentric Natural Language Query Grounding

Technische Samenvatting: Handtrajectfusie voor Egocentrische Natuurlijke Taalquery-gronding

Probleemdefinitie
Egocentrische Natuurlijke Taalquery (NLQ) gronding heeft als doel het temporele interval $[t_s, t_e]$ te lokaliseren binnen een lange eerste-persoonsvideo die overeenkomt met een vrije tekstquery. Hoewel state-of-the-art systemen (bijv. GroundNLQ) effectief visuele verschijning fuseren met tekstsemantiek met behulp van grote vooraf getrainde encoders, negeren zij vaak de handbeweging. Dit is een aanzienlijke tekortkoming, aangezien ongeveer 41% van de queries in de Ego4D NLQ-dataset wordt beantwoord tijdens momenten van hand-object manipulatie of de directe resultaten daarvan. Bestaande hulpmodaliteiten, zoals oogbewegingen (gaze) of objectdetectie, zijn verkend, maar handtraject als een afzonderlijke modaliteit voor NLQ-gronding blijft onverkend, ondanks de centraliteit ervan voor egocentrische activiteiten.

Methodologie
De voorgestelde aanpak introduceert een Hand-Traject Encoder en een Traject Fusie module om schaarse hand-skeletgegevens te integreren met video-tekstrepresentaties. De architectuur bestaat uit vijf hoofdcomponenten:

1. Encoders:

   • Video Encoder: Gebruikt bevroren, vooraf getrainde backbones (InternVideo en EgoVLP) om egocentrische clips om te zetten in videotokens ($E_v$).
   • Text Encoder: Gebruikt een bevroren CLIP-model om natuurlijke taalqueries om te zetten in teksttokens ($E_t$).
   • Trajectory Encoder: Een trainbare module die een temporele sequentie van hand-skeletten (geëxtraheerd via MediaPipe) verwerkt tot dichte, op video uitgelijnde kinematische kenmerken ($E_h$). Het maakt gebruik van een spatio-temporele transformer die is gefactoreerd in twee stadia:
     • Spatiale Aggregatie: Gebruikt cross-attention om 21 anatomische landmerken per hand te poolen tot een enkel frame-niveau descriptor, waarbij niet-gedetecteerde landmerken expliciet worden gemaskeerd.
     • Temporele Modellering: Past self-attention toe om de evolutie van deze descriptors over frames te modelleren, waarbij manipulatiedynamiek (benadering, contact, loslaten) wordt vastgelegd. Niet-gedetecteerde frames worden gemaskeerd om informatielekkage te voorkomen.

2. Traject Fusie:

   • Deze module integreert $E_h$ en $E_t$ in de videotokens $E_v$ met behulp van een cross-attention met adaptieve gating strategie.
   • Twee onafhankelijke cross-attention mechanismen laten videotokens de traject- en tekststromen bevragen, wat resulteert in verrijkte representaties ($E_{vh}$ en $E_{vt}$).
   • Adaptive Gating: In plaats van uniforme sommatie worden de bijdragen van de traject- en teksttakken geschaald door geleerde scalaire gates ($g_h$ en $g_t$). Deze gates worden berekend via lichte MLP's toegepast op de temporele gemiddelden van de respectieve cross-attention outputs. Dit stelt het netwerk in staat om het traject-signaal selectief te dempen wanneer de handdetectie schaars of irrelevant is.
   • Een self-attention verfijningsblok verwerkt verder de samengevoegde representatie om de uiteindelijke multimodale output ($E_o$) te verkrijgen.

3. Voorspelling:

   • Een Temporal Segment Prediction head voorspelt het antwoordbereik $[t_s, t_e]$ vanuit de gefuseerde representatie $E_o$.

Belangrijkste Bijdragen

• Nieuwe Modaliteit: Dit werk is de eerste die handtraject bestudeert als een hulpmodaliteit voor egocentrische NLQ-gronding, waarmee een gat wordt gedicht waar ongeveer 41% van de queries afhankelijk is van handmatige activiteit.
• Robuuste Traject Encoding: Het ontwerp gaat expliciet om met de schaarste van handdetectie (handen zijn gemiddeld slechts in ~41% van de Ego4D frames zichtbaar) door middel van maskeringmechanismen in zowel de spatiale als de temporele transformerstadia.
• Adaptieve Fusie: De introductie van geleerde, inhoudsafhankelijke gating-mechanismen stelt het model in staat om dynamisch het gewicht van het handtraject-signaal af te stemmen tegenover video- en tekstkenmerken, waardoor ruis van niet-gedetecteerde frames de prestaties niet verslechtert.

Experimentele Resultaten
Het systeem werd geëvalueerd op de Ego4D NLQ v2 validatiesplit (4.552 query-clip paren) met de $R_m@IoU=n$ metriek.

• Categorie-specifieke Winsten: De meest significante verbeteringen werden waargenomen in categorieën die direct gerelateerd zijn aan manipulatie:
  • Hand–Object Interactie (HOI): +2,54 verbetering in $R1@IoU=0,3$.
  • Hoeveelheid/Toestand (Quantity/State): +4,32 verbetering in $R1@IoU=0,3$.
  • Binnen HOI waren de winsten geconcentreerd in actietemplates (bijv. "Wat heb ik in X gelegd?"), wat bevestigt dat traject-aanwijzingen helpen bij het lokaliseren van het specifieke moment van actie.
• Algemene Prestaties: Het voorgestelde model behaalde een +0,77 winst in algemene $R1@IoU=0,3$ en een +1,39 winst in $R1@IoU=0,5$. De grotere winst bij de strengere IoU-drempel suggereert dat handkinematica niet alleen helpen bij het ophalen van de juiste temporele regio, maar ook de lokalisatieprecisie verscherpen.
• Efficiëntie: De Trajectory Encoder voegt slechts 195K parameters toe (0,6% van het volledige model) en wordt vanaf nul getraind terwijl de zware video- en tekstbackbones bevroren blijven.

Betekenis en Beperkingen
Het artikel beweert dat handkinematica een lichtgewicht maar informatieve signaal bieden dat de visuele verschijning aanvult, met name voor queries die betrekking hebben op objectmanipulatie. Het ontwerp toont aan dat hulpmodaliteiten effectief geïntegreerd kunnen worden zonder de vooraf getrainde backbones aan te passen.

De auteurs erkennen bescheiden een primaire beperking: detectieschaarste. Omdat handen slechts in 41% van de frames zichtbaar zijn, is de bijdrage van de trajecttak inherent begrensd. Het artikel stelt dat toekomstige verbeteringen in egocentrische handdetectie direct zullen vertalen naar sterkere grondingsprestaties. Daarnaast wordt de Trajectory Fusion module beschreven als modaliteit-agnostisch, wat suggereert dat deze van nature kan worden uitgebreid naar andere signalen zoals gaze of grootschaligere trainingsscenario's.