🤖 machine learning

VSMP-IMU: Video-Grounded Semantic Motion Programs for Sensor-Aware Synthetic IMU Generation

Het artikel introduceert VSMP-IMU, een video-gebaseerd framework dat controleerbare synthetische IMU-data genereert met behulp van gestructureerde Semantic Motion Programs om gegevensschaarste te overwinnen en de prestaties van draagbare menselijke activiteitsherkenning aanzienlijk te verbeteren in scenario's met lage middelen, onbalans en subject-generalisatie.

Oorspronkelijke auteurs: Lala Shakti Swarup Ray, Vitor Fortes Rey, Mengxi Liu, Paul Lukowicz, Bo Zhou

Gepubliceerd 2026-08-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lala Shakti Swarup Ray, Vitor Fortes Rey, Mengxi Liu, Paul Lukowicz, Bo Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren wanneer je danst, rent of yoga doet. Om dit te doen, moet de robot jouw bewegingen "voelen", meestal via een smartwatch of een sensor die om je lichaam is bevestigd die registreert hoe je schudt en draait. Dit vakgebied wordt Human Activity Recognition genoemd. Het probleem is dat het trainen van een robot duizenden voorbeelden nodig heeft van echte mensen die bewegen, en het verzamelen van die voorbeelden is een nachtmerrie. Je moet sensoren op echte mensen bevestigen, hen vragen om dezelfde beweging keer op keer te herhalen, en hopen dat ze niet moe worden of op een andere manier gaan bewegen. Het is duur, traag en zorgt er vaak voor dat de robot in de war raakt wanneer hij een nieuw persoon ontmoet die net iets anders beweegt.

Om dit op te lossen, hebben wetenschappers geprobeerd de sensordata te "faken". Sommigen proberen een video van een persoon te bekijken en te raden wat de sensor zou voelen (zoals naar een dansvideo kijken en het ritme raden). Anderen proberen een tekstuele beschrijving te schrijven zoals "spring op en neer" en laten een computer zich de beweging voorstellen. Maar deze methoden hebben gebreken: de videomethode raakt in de war als de camerahoek vreemd is, en de tekstmethode is te vaag; ze creëren bewegingen die weliswaar goed klinken, maar verkeerd aanvoelen voor een sensor. De grote vraag is: kunnen we fake sensordata creëren die zowel realistisch genoeg is om de robot te onderwijzen als flexibel genoeg om alle verschillende manieren af te dekken waarop mensen daadwerkelijk bewegen?

Maak kennis met VSMP-IMU, een nieuw systeem dat werkt als een superintelligente regisseur voor een film over beweging. In plaats van alleen te gokken vanaf een video of een tekstuele opdracht, gebruikt dit systeem een "Semantic Motion Program" (SMP). Denk aan een SMP als een gedetailleerde receptenkaart voor een beweging. Het zegt niet alleen "jumping jacks"; het breekt de beweging af in specifieke stappen: "staan, springen met de benen open, sluiten, herhalen," en merkt precies op welke lichaamsdelen betrokken zijn, hoe snel het moet gaan en hoe breed de armen moeten zwaaien.

Zo werkt de magie: het systeem bekijkt een video van een echt persoon die een activiteit uitvoert en haalt deze "receptenkaart" eruit. Vervolgens wordt het creatief. Het kan het recept aanpassen—misschien vragen om de jumping jacks supersnel te doen of met enorme armzwaaien—terwijl de kernidentiteit van de beweging behouden blijft (het is nog steeds een jumping jack). Zodra het recept is aangepast, genereert een computer een 3D-animatie van een persoon die precies dat doet. Ten slotte simuleert het systeem wat een sensor die aan het lichaam van die geanimeerde persoon is bevestigd, zou voelen, waardoor de 3D-beweging wordt omgezet in fake sensordata.

De onderzoekers testten dit door deze nieuwe, nepdata in het brein van een robot te voeren om te zien of hij beter werd in het herkennen van echte menselijke bewegingen. De resultaten waren indrukwekkend. Wanneer de robot alleen met echte data werd getraind, behaalde hij een score van ongeveer 68,6 op 100. Wanneer ze de VSMP-IMU fake data toevoegden, sprong de score naar 78,3. Dat is een enorme verbetering, vooral wanneer er weinig echte data beschikbaar is. In situaties waarin de robot zeer weinig echte data had om van te leren (zoals slechts 1% van de gebruikelijke hoeveelheid), hielp het systeem de robot zijn score met bijna 19 punten te verbeteren vergeleken met leren van alleen echte data.

Het systeem bewees ook dat het instructies kan opvolgen. Wanneer de onderzoekers het systeem vroegen om bewegingen met een specifieke snelheid te genereren, kwam de resulterende beweging in 92% van de gevallen overeen met de aanvraag. Wanneer ze vroegen om een specifiek aantal herhalingen, kreeg het systeem het in 90,6% van de gevallen correct binnen één tel. Het artikel merkt echter op dat hoewel het systeem geweldig is in grote, lichaamsbrede bewegingen zoals springen of squatten, het soms moeite heeft met kleine, precieze handbewegingen (zoals het vangen van een bal), omdat de onderliggende 3D-animatie niet elke enkele vingerbeweging laat zien.

Kortom, VSMP-IMU suggereert dat door een gestructureerd "recept" te gebruiken om de creatie van fake sensordata te sturen, we robots veel beter kunnen leren menselijke beweging te begrijpen dan voorheen. Het overbrugt de kloof tussen het kijken naar een video en het voelen van een trilling, en creëert een bibliotheek van synthetische bewegingen die divers, controleerbaar en verrassend realistisch zijn. Hoewel het niet perfect is voor elk klein detail van de menselijke beweging, biedt het een krachtige nieuwe manier om de volgende generatie draagbare technologie te trainen zonder de noodzaak om sensoren op duizenden echte mensen te bevestigen.

Technische Samenvatting: VSMP-IMU

1. Probleemstelling

Wearable Human Activity Recognition (HAR) wordt aanzienlijk gehinderd door het tekort aan gelabelde Inertial Measurement Unit (IMU) data, met name in scenario's met weinig middelen, klasse-imbalans en subject-generalisatie. Hoewel synthetische datageneratie een potentiële oplossing biedt om de afhankelijkheid van real-world collectie te verminderen, kampen bestaande methoden met een fundamentele afruil:

Video-gestuurde methoden (bijv. IMUTube) zijn visueel gegrond maar lijden onder gevoeligheid voor pose-estimatiefouten, occlusie en viewpoint-ambiguïteit. Ze missen vaak controle over label-behoudende executievariaties (bijv. tempo, amplitude).
Tekst-gestuurde methoden (bijv. IMUGPT 2.0) bieden een hoge controleerbaarheid maar zijn vaak zwak gegrond in de specifieke spatio-temporele patronen van hoe activiteiten daadwerkelijk worden uitgevoerd, wat potentieel bewegingen genereert die weliswa면 een label matchen maar een gebrek hebben aan wearable-relevante details.
Klassieke signaalaugmentatie (bijv. jittering, scaling) verbetert de robuustheid maar introduceert geen nieuwe semantische bewegingspatronen of fysiek plausibele variaties van een activiteit.

De kernuitdaging is het genereren van synthetische IMU-data die de activiteit-definierende invarianten behouden terwijl ze controleerbare, label-behoudende variaties mogelijk maken in de uitvoering van beweging en sensorrealisatie, zonder te vertrouwen op broze frame-niveau pose-schattingen of ongefundeerde tekstuele prompts.

2. Methodologie: VSMP-IMU

De auteurs stellen VSMP-IMU (Video-Grounded Semantic Motion Programs) voor, een framework dat een gestructureerde intermediaire representatie introduceert genaamd het Semantic Motion Program (SMP) om de brug te slaan tussen video-begrip en inertiële synthese.

2.1 Het Semantic Motion Program (SMP)

Het SMP is een gestructureerd schema dat de activiteit-definierende semantiek scheidt van de executie-attributen. Het wordt gedefinieerd als een set velden:
$S = \{y, P, D, B, T, A, O, C, U\}$
Waar:

Invarianten (Vast): Activiteitslabel ( $y$ ), primitieve sequentie ( $P$ ), betrokkenheid van lichaamsdelen ( $B$ ), en object/contactinformatie ( $O$ ). Deze definiëren de identiteit van de activiteit.
Varianten (Augmenteerbaar): Primitieve duur ( $D$ ), temporele organisatie ( $T$ ), executie-attributen ( $A$ ) zoals tempo, amplitude, dominante zijde en symmetrie. Deze maken gecontroleerde variatie mogelijk zonder het klasse-label te veranderen.
Constraints & Onzekerheid: Augmentatie-constraints ( $C$ ) en veld-niveau onzekerheid ( $U$ ) sturen veilige perturbaties aan.

2.2 De VSMP-IMU Pipeline

Het framework werkt via de volgende stadia:

Video-Gegronde SMP Extractie: Een vooraf getraind Vision-Language Model (VLM, specifiek GPT-5.3 in de implementatie) extraheert een initiële SMP uit een invoer-activiteitsvideo. Het VLM wordt gepromptt om gestructureerde velden (label, primitieven, lichaamsdelen, attributen, onzekerheid) te produceren in plaats van vrije tekst.
Semantische Verfijning: De geëxtraheerde SMP ondergaat consistentiecontroles (label-primitief compatibiliteit, lichaamsdeel-consistentie, temporele coherentie, object/contact-consistentie). Velden die de controles niet doorstaan, worden gecorrigeerd of gemarkeerd met een hoge onzekerheid.
Geconstrangeerde Augmentatie: De verfijnde SMP wordt geaugmenteerd om $K$ varianten te genereren. Augmentatie is onzekerheid-geconditioneerd: velden met een lage onzekerheid (hoge betrouwbaarheid) worden agressiever gepertebeerd, terwijl velden met een hoge onzekerheid minimaal worden veranderd of vast blijven staan. Cruciaal is dat invariante velden ongewijzigd blijven.
Verbalisering & Bewegingssynthese: Elke geaugmenteerde SMP wordt omgezet in een natuurlijke taalprompt compatibel met HY-Motion, een bevroren text-to-motion generator. HY-Motion synthetiseert een 3D menselijke bewegingssequentie ( $M$ ) op basis van de prompt.
IMU-Synthese: De 3D-beweging wordt omgezet in virtuele IMU-signalen met behulp van IMUSim. Virtuele sensoren worden bevestigd aan specifieke lichaamssegmenten met nominale configuraties (bias, ruis, montage).
Sensor-Bewuste Gronding: Om de kloof tussen synthetische en real-world wearable data te overbruggen, worden twee adaptatiestappen toegepast:
- Simulation-in-the-loop Optimalisatie: Begrensde fysieke residuen (bijv. montage-oriëntatie, bias, ruis-schaal) worden geoptimaliseerd om de temporele en multivariate statistieken ( $D_{stat}$ ) van de echte trainingsdata te matchen.
- Rank-Based Gronding: Het signaal wordt uitgelijnd met de conventies van de doeldataset (as-volgorde, teken, zwaartekracht, eenheden) en vervolgens in kaart gebracht naar de marginale distributies van de doel-domein via rank-gebaseerde kwantielmatching ( $D_{rank}$ ).
Kwaliteitsfiltering: Geegenereerde samples worden gefilterd op basis van bewegingsplausibiliteit, klasse-getrouwheid (met behulp van een lichtgewicht HAR-validator) en redundantie (embedding-gebaseerde nearest neighbor check).

3. Belangrijkste Bijdragen

Semantic Motion Programs (SMP): De introductie van een gestructureerde intermediaire representatie die expliciet de activiteit-definierende invarianten scheidt van de label-behoudende executie-attributen, wat gecontroleerde variatie mogelijk maakt.
VSMP-IMU Framework: Een volledige pipeline voor video-gegronde synthetische IMU-generatie die SMP-extractie, geconstrangeerde augmentatie, text-to-motion synthese en sensor-bewuste gronding integreert.
Uitgebreide Evaluatie: Uitgebreide evaluatie over vijf publieke datasets (MM-Fit, UTD-MHAD, MMAct, PAMAP2, HAD-AW) onder drie instellingen: Standaard LOPO (Leave-One-Person-Out), Low-Resource, en Long-Tail (klasse-imbalans).
Controleerbaarheidsanalyse: Een rigoureuze end-to-end studie die evalueert of gevraagde SMP-attributen (tempo, amplitude, herhalingsaantal, primitieve duur, symmetrie) gerealiseerd worden in de gegenereerde beweging en observeerbaar zijn in gegronde IMU-signalen.

4. Resultaten

4.1 Prestatieverbeteringen

Standaard LOPO: VSMP-IMU behaalde een gemiddelde Macro-F1 van 78,33%, waarmee het Real-only training (68,56%) met 9,77% en de sterkste eerdere synthetische baseline (IMUTube, 74,30%) met 4,04% versloeg.
Low-Resource: In settings met gereduceerde trainingsdata (bijv. 1% label budget), verbeterde VSMP-IMU met 18,54% ten opzichte van Real-only training en met 6,76% ten opzichte van de sterkste eerdere baseline.
Long-Tail: Voor ondervertegenwoordigde (tail) klassen verbeterde VSMP-IMU de Macro-F1 met 19,86% ten opzichte van Real-only training en met 4,76% ten opzichte van SOTA, wat een superieure dekking voor schaarse activiteiten aantoont.

4.2 Bevindingen over Controleerbaarheid

De studie evalueerde de realisatie van gevraagde controles door de pipeline heen ( $S \to M \to \text{Raw IMU} \to \text{Grounded IMU}$ ):

Tempo & Herhalingsaantal: Toonden een sterke overeenkomst op bewegingsniveau ( $\rho=0,92$ en $\rho=0,93$ ), maar ervoeren significante attenuatie na IMU-synthese en gronding ( $\rho=0,61$ ).
Amplitude: Toonde een matige controle op bewegingsniveau ( $\rho=0,86$ ), maar werd beter bewaard in gegronde IMU ( $\rho=0,75$ ) vergeleken met andere attributen.
Primitieve Duur: Vertoonde een toenemende fout door de pipeline heen (MAPE 9,8% in beweging $\to$ 14,1% in gegronde IMU).
Symmetrie: Geëvalueerd alleen op bewegingsniveau vanwege het ontbreken van bilaterale sensoren in de dataset; behaalde 86% nauwkeurigheid.
Label Retentie: Er werden hoge retentiegraad van 93,5%–97,1% waargenomen, wat aangeeft dat variaties de kernidentiteit van de activiteit zelden veranderden.

4.3 Ablatie-studies

Gestructureerd vs. Ongestructureerd: De gestructureerde SMP-representatie leverde een grotere prestatiewinst op (+2,90 Macro-F1) dan het simpelweg toevoegen van attribuutinstructies aan generieke captions.
Componentbijdragen: Sensor-domein adaptatie (simulation-in-the-loop + rank-based grounding) was de meest kritische component, waarbij de grootste prestatiedaling optrad wanneer deze werd verwijderd.

5. Betekenis en Claims

Het artikel beweert dat gestructureerde video-gegronde semantiek een praktisch fundament biedt voor het genereren van controleerbare, wearable-relevante synthetische sensordata. Door de activiteitsidentiteit te scheiden van de executie-variatie, adresseert VSMP-IMU de beperkingen van zowel puur visuele als puur tekstuele benaderingen.

De auteurs benadrukken dat:

Het framework het meest voordelig is in low-resource en long-tail settings, waar semantisch betekenisvolle diversiteit waardevoller is dan eenvoudige signaalperturbatie.
De aanpak succesvol wordt uitgebreid van periodieke oefeningen naar pols-dominante gebaren en niet-periodieke acties, hoewel de winsten kleiner zijn voor activiteiten die afhangen van fijne handarticulatie of objectcontact (bijv. vangen, kloppen) vanwege de beperkingen van de full-body motion backend.
De methode geen aanspraak maakt op het genereren van perfecte gearticuleerde vingerbewegingen of object-toestandsveranderingen, maar dient als een gestructureerde aanvulling voor lichaams- en pols-niveau wearable data.

Het werk suggereert dat het combineren van gestructureerde intermediaire representaties met gekalibreerde simulatiepipelines een veelbelovende richting is om het tekort aan data in wearable computing te overwinnen.