Encoder-Free Human Motion Understanding via Structured Motion Descriptions

Probleemstelling

Het begrijpen van menselijke beweging op basis van skeletdata (zoals het beantwoorden van vragen over beweging of het genereren van beschrijvingen) is een fundamenteel probleem in computer vision. Bestaande methoden die gebruikmaken van Large Language Models (LLMs) volgen doorgaans een encoder-gebaseerd paradigma. Hierbij wordt een leerbaar bewegingsencoder (bijv. via VQ-VAE of VAE) getraind om bewegingsdata (joint posities) te projecteren naar de embedding-ruimte van de LLM.

De beperkingen van deze aanpak zijn:

1. Complexiteit: Ze vereisen multi-stap trainingspijplijnen met gekoppelde beweging-tekst data.
2. Afhankelijkheid: Het systeem is vaak vastgeklonken aan een specifieke LLM-achtergrond (backbone).
3. Interpreteerbaarheid: De geleerde bewegingstokens zijn niet direct menselijk leesbaar.
4. Kruismodaliteit: Er is een lastige afstemming (alignment) nodig tussen numerieke bewegingsdata en taal.

Het paper stelt dat LLMs al rijke wereldkennis hebben over lichaamsdelen, ruimtelijke richtingen en bewegingssemantiek, maar dat de huidige methoden deze kennis niet optimaal benutten omdat ze de LLM niet in zijn "native modality" (tekst) benaderen.

Methodologie: Structured Motion Description (SMD)

De auteurs introduceren Structured Motion Description (SMD), een rule-based, deterministische aanpak die beweging omzet in gestructureerde natuurlijke taal, zonder gebruik te maken van geleerde encoders.

Het proces bestaat uit twee fasen:

Fase 1: Rule-based Conversie (Geen training)
De invoer is een sequentie van joint-positie data (bijv. SMPL-skelet). Deze wordt omgezet naar tekst via vier stappen:

1. Berekening van gewinkels: Op basis van biomechanische conventies worden hoeken berekend voor 26 gewrichten (bijv. heupflexie, kniebuiging) ten opzichte van anatomische referentievlakken.
2. Beschrijving van globale trajectorie: De positie van het bekken (centrum van massa) wordt gebruikt om globale verplaatsing (voor/achter, zijwaarts, hoogte) en rotatie te beschrijven. De data wordt gesegmenteerd in intervallen (bijv. "beweegt vooruit van 0.0m naar 1.2m [0.0s-2.5s]").
3. Beschrijving van gewinkels: De tijdreeksen van de gewinkels worden gesegmenteerd en gelabeld als toenemend, afnemend, vasthouden of herhalend (cyclisch), gebaseerd op drempelwaarden voor hoekverandering.
4. Tekst assemblage: Deze componenten worden samengevoegd tot een gestructureerde tekststring (SMD) met meta-informatie, een globaal traject-blok en een gewinkels-blok.

Fase 2: LLM Fine-tuning
De gegenereerde SMD-tekst wordt als prompt ingevoerd in een voorgeprogrammeerde LLM (bijv. Qwen2.5).

• Training: Er wordt alleen LoRA (Low-Rank Adaptation) gebruikt om de LLM aan te passen voor specifieke taken (Motion QA of Motion Captioning). De basis-LLM en de SMD-converter blijven bevroren.
• Voordeel: Er is geen bewegingsencoder of alignment-module nodig. Dezelfde tekstinput werkt voor elke LLM.

Kernbijdragen

1. Encoder-vrije Architectuur: Het vervangen van complexe, geleerde bewegingsemmbeddings door deterministische, regelgebaseerde tekst. Dit elimineert de noodzaak voor cross-modal alignment training.
2. LLM-agnostische Flexibiliteit: De methode werkt met elke LLM. De auteurs hebben dit gevalideerd op 8 verschillende modellen uit 6 model families (o.a. Qwen, LLaMA, Gemma) met slechts een lichte LoRA-adaptatie.
3. Interpreteerbaarheid: Omdat de invoer menselijk leesbare tekst is, kan men via attention-analyse direct zien op welke lichaamsdelen of traject-segmenten het model zich baseert voor zijn antwoord.
4. State-of-the-Art Prestaties: De methode overtreft bestaande methoden aanzienlijk, zelfs zonder de zware training van encoders.

Resultaten

De methode werd getest op drie benchmarks: BABEL-QA, HuMMan-QA (Motion QA) en HumanML3D (Motion Captioning).

• Motion Question Answering (QA):

  • BABEL-QA: 66.7% nauwkeurigheid (vs. 60.1% van de vorige SOTA, IMoRe).
  • HuMMan-QA: 90.1% nauwkeurigheid (vs. 75.2% van IMoRe).
  • Een gecontroleerde vergelijking met een VAE-gebaseerde versie van dezelfde LLM (MotionGPT3-Qwen) toonde een groot gat (90.1% vs 22.0% op HuMMan-QA), wat aantoont dat de rule-based SMD robuuster is dan geleerde latent spaces, vooral bij domeinverschillen.

• Motion Captioning:

  • Op HumanML3D behaalde SMD de beste resultaten op bijna alle metrics.
  • R@1: 0.584 (vs. 0.573 bij MotionGPT3).
  • CIDEr: 53.16 (een stijging van 31% relatief ten opzichte van MotionGPT3), wat aangeeft dat de gegenereerde beschrijvingen semantisch nauwkeuriger en beter gestructureerd zijn.

• Zero-shot vs. Fine-tuning:

  • Zelfs zonder fine-tuning (zero-shot) presteert de LLM aanzienlijk beter dan willekeurig gokken (35.6% op BABEL-QA), wat bewijst dat LLMs de biomechanische beschrijvingen kunnen interpreteren. Fine-tuning is echter nodig voor concisiteit en actie-niveau semantiek.

• Kosten en Efficiëntie:

  • Het trainen van een nieuwe backbone kost slechts 2-8 GPU-uren (voor QA) of 6-12 uur (voor captioning) voor slechts ~40M parameters (LoRA).
  • Bestaande methoden vereisen het opnieuw trainen van volledige pipelines met honderden miljoenen parameters.
  • De inferentie is iets trager door de langere token-sequentie (ca. 1000-4000 tokens vs. 256 tokens bij VAE-methodes), maar dit is een acceptabele trade-off voor de flexibiliteit en prestaties.

Betekenis en Conclusie

Dit paper markeert een paradigmaverschuiving in menselijke bewegingsanalyse. In plaats van te proberen beweging te "leren" vertalen naar taal via complexe neurale netwerken, gebruikt SMD de inherente kennis van LLMs door beweging direct in hun native taalformaat te presenteren.

De belangrijkste implicaties zijn:

• Vereenvoudiging: Het elimineert de noodzaak voor multi-stap training en specifieke encoders.
• Toekomstbestendigheid: Omdat de input standaard tekst is, kan de methode direct profiteren van toekomstige verbeteringen in LLM-architecturen zonder de bewegingsverwerking opnieuw te hoeven ontwerpen.
• Transparantie: Het biedt een nieuw niveau van inzicht in hoe modellen beweging "begrijpen" via attention-mechanismen op leesbare tekst.

Hoewel de inferentie-tijd iets hoger is door de lengte van de tekst, weegt dit niet op tegen de winst in prestaties, flexibiliteit en interpretatie. De auteurs merken op dat toekomstig werk zich kan richten op het uitbreiden van SMD naar bewegingsgeneratie en het verkleinen van de token-lengte.