Technische Samenvatting: Ego-Human Motion Prediction met 3D-Aware LLM (Ego3DLM)

Probleemstelling

Het anticiperen van menselijke beweging vanuit een egocentrisch perspectief is cruciaal voor proactieve ondersteuning in AR/VR, mens-robotcollaboratie en embodied AI. Het voorspellen vanuit dit gezichtspunt is echter inherent slecht gedefinieerd: de camera legt slechts een gedeeltelijk beeld van het lichaam vast, vertrouwend op schaarse draagbare signalen, en dezelfde gedeeltelijke observatie kan consistent zijn met vele plausibele toekomstige bewegingen. Het oplossen van deze ambiguïteit vereist het funderen van voorspellingen in de semantische context van de omgeving—het begrijpen van niet alleen kinematische staten, maar ook de onderliggende intentie en actiesemantiek die worden beheerst door fysieke beperkingen, vrije ruimte en objectaffordances.

Bestaande benaderingen behandelen beweging en taal vaak als afzonderlijke inferentiestromen of vertrouwen op een perspectief van de derde persoon en canonische motion capture. Hoewel sommige recente werken taal als een semantische prior incorporeren, verwaarlozen zij grotendeels expliciete 3D-ruimtelijke context of falen zij in het uitvoeren van holistische cross-modale voorspelling. Bovaleert voegen methoden die 3D-scènekenmerken direct in modellen injecteren vaak geen echte 3D-redeneerkracht toe, waarbij ze pose- en taalvoorspelling behandelen als onafhankelijke taken in plaats van het benutten van hun inherente semantische koppeling.

Methodologie: Ego3DLM

De auteurs stellen Ego3DLM voor, een uniform framework gebouwd op twee kernprincipes: (1) nauwkeurige bewegingsvoorspelling vereist expliciet ruimtelijk en semantisch begrip van de 3D-omgeving, en (2) pose en taal moeten holistisch in één enkele pass worden voorspeld om cross-modale en temporele consistentie af te dwingen.

Input en Output

Het model neemt drie inputs aan:

1. Driepunts-tracking: Hoofd- en handposities (6D rotatie en translatie).
2. Egocentrische video: 2D video-embeddings.
3. 3D Scènekenmerken: Expliciete 3D-scène-representaties (puntenwolken met semantische kenmerken).

In een enkele autoregressieve pass decodeert Ego3DLM simultaan vier outputs:

• Verleden pose-tokens ($x_{past}$)
• Toekomstige pose-tokens ($x_{fut}$)
• Verleden bewegingsnarratie ($y_{past}$)
• Toekomstige bewegingsbeschrijving ($y_{fut}$)

Architectuur en Trainingsschema

Het framework hanteert een driefasig trainingsproces:

Fase I: Spatial-Semantic Scene Awareness Pretraining
Voordat de bewegingsredenering wordt geïntroduceerd, wordt het taalmodel (LM) gegrond in de 3D-omgeving. De auteurs construeren een dataset van ruimtelijke en semantische Vraag-Antwoord (QA) paren uit 3D-scènes en egocentrische video's.

• Ruimtelijk bewustzijn: Het model leert om richtinggevende vrijheid (laag/midden/hoog), obstructiestaten en be navigable richtingen (voor/links/rechts) te voorspellen ten opzichte van de ego-agent.
• Semantisch bewustzijn: Het model leert objectidentiteit, attributen, plaatsrelaties en tellen.
  Deze fase installeert obstakelbewustzijn en objectniveau-semantiek, wat een prior vormt voor downstream gedragsredenering.

Fase II: Multi-Modal Multi-Task Instruction Tuning
Het scène-bewuste LM wordt via instruction tuning getraind om alle vier de outputs (verleden/toekomstige pose en tekst) in één enkele sequentie te genereren. Een cruciale ontwerpkeuze is het voorafvoegen van een expliciete ruimtelijke scène-redeneringsstap vóór elke beweging of taaloutput. Dit dwingt het model om ruimtelijke beperkingen (obstakels, vrije ruimte) te analyseren voordat het tot voorspellingen komt, waardoor een chain-of-thought structuur ontstaat waarbij ruimtelijke redenering de beweging informeert, wat op zijn beurt de semantische beschrijving informeert.

Fase III: Multi-Modal Reward GRPO Finetuning
Om de beperking van likelihood-gebaseerde training bij het afdwingen van cross-modale coherentie aan te pakken, passen de auteurs Group Relative Policy Optimization (GRPO) toe. Deze reinforcement learning fase optimaliseert het model met behulp van een samengestelde beloningsfunctie:

• Intra-modale beloningen: $R_{motion}$ (Joint Position Error) en $R_{text}$ (BLEU) om nauwkeurigheid binnen elke modaliteit te waarborgen.
• Inter-modale beloning ($R_{matching}$): Een nieuw signaal dat de afstand tussen de embedding van de voorspelde beweging en de voorspelde beschrijving (en hun grondwaarheid tegenhangers) meet. Dit optimaliseert direct de getrouwheid tussen de fysieke realisatie van een actie en de semantische beschrijving ervan, een signaal dat alleen via supervised training onbereikbaar zou blijven.

Feature Extractie

De 3D-scènekenmerk extractie-pipeline tilt dichte 2D semantische kenmerken uit egocentrische videoframes naar een 3D puntenwolk met behulp van camerapozen en een best-view selectiebeleid. Deze kenmerken worden gevoxeliseerd, gecodeerd met egocentrische positionele encodings, en gecomprimeerd tot query-embeddings via een Q-Former, die vervolgens worden gefuseerd met video-embeddings om het LM te conditioneren.

Belangrijkste Bijdragen

1. 3D Scène-bewuste Egocentrische Bewegingsvoorspelling: Een uniform framework dat gezamenlijk taal en 3D-pose voorspelt voor zowel het verleden als de toekomst, gebruikmakend van driepunts-kenmerken, egocentrische video en expliciete 3D-scènekenmerken.
2. Simultane Vier-Output Decodering: Een single-pass generatiemechanisme dat temporele en cross-modale coherentie afdwingt, wat de getrouwheid tussen de voorspelde beweging en de taalbeschrijving aanzienlijk verbetert.
3. Multi-Stage Training: Een progressief trainingsschema dat beweegt van 3D ruimtelijk-semantisch begrip naar holistische tracking/forecasting, culminerend in GRPO-gebaseerde reinforcement learning die expliciet de pose-taal consistentie optimaliseert.

Experimentele Resultaten

Experimenten werden uitgevoerd op de Nymeria benchmark, die gesynchroniseerde egocentrische video's, taalbeschrijvingen en gereconstrueerde 3D-scènes biedt.

• Prestaties: Ego3DLM bereikt state-of-the-art prestaties over alle metrieken voor toekomstige bewegingsvoorspelling, verleden bewegingstracking en de bijbehorende taalbeschrijvingen.
• Bewegingsnauwkeurigheid: Vergeleken met de sterkste baseline (UniEgoMotion) vermindert Ego3DLM de APE met 2,4%, JPE met 14,1% en FDE2s met 13,3%.
• Trackingnauwkeurigheid: De verbeteringen zijn nog prominenter in bewegingstracking, waarbij de APE met 36,7% is verminderd ten opzien van baselines.
• Taal en Alignment: Het model verbetert de toekomstige bewegingsbeschrijving BLEU-4 met 60,0% en de verleden narratie BLEU-4 met 70,4% ten opzichte van EgoLM. Cruciaal is dat de beweging-beschrijving embedding afstand ($x-y$ Align.) met 56,8% verbetert, wat aantoont dat de simultaan voorspelde bewegingen en beschrijvingen nauw op elkaar zijn afgestemd in een gedeelde semantische ruimte.
• Kwalitatieve Analyse: Visualisaties tonen aan dat zonder 3D-scène grounding, modellen vaak bewegingen voorspellen die botsen met muren of meubilair. Ego3DLM genereert, door te redeneren over de 3D-lay-out, fysiek plausibele trajecten die de ruimtelijke grenzen en affordances respecteren.

Betekenis en Claims

Het artikel claimt dat 3D scène grounding en holistische cross-modale voorspelling fysiek plausibele en semantisch coherente bewegingsvoorspellingen opleveren.

De auteurs betogen dat het behandelen van pose en taal als afzonderlijke stromen de kans mist om semantische redenering als een directe inductieve bias te benutten. Door een single-pass generatie af te dwingen waarbij ruimtelijke redenering voorafgaat aan bewegingsvoorspelling, en door reinforcement learning te gebruiken om de consistentie tussen beweging en tekst direct te optimaliseren, produceert het model outputs die niet alleen accuraat zijn, maar ook interpreteerbaar en gegrond in de fysieke omgeving.

Dit werk vertegenwoordigt een stap naar meer anticiperende, interpreteerbare en interactieve embodied AI-systemen. De auteurs merken een beperking op: de huidige aanpak gaat ervan uit dat een vooraf berekend 3D-scènekenmerk beschikbaar is. Zij suggereren dat toekomstig werk zich kan richten op taalmodellen die in staat zijn om de 3D-kennis van nieuw waargenomen scènes incrementeel en on-the-fly te registreren.