Learning Quantised Structure-Preserving Motion Representations for Dance Fingerprinting

Dit paper introduceert DANCEMATCH, een end-to-end framework dat door middel van skeletbewegingsquantisatie en spatio-temporele transformers compacte, discrete bewegingshandafdrukken genereert voor efficiënte en schaalbare opslag en terugvinding van choreografieën op basis van ruwe video.

De kern

Stel je voor dat je een liedje op Spotify hoort en binnen een seconde weet: "Ah, dit is 'Blinding Lights' van The Weeknd!" Dankzij apps als Shazam kan dat met muziek. Maar wat als je een dans ziet op TikTok en je wilt weten: "Wie heeft dit choreografeerd?" of "Heeft iemand anders deze exacte bewegingen al gedaan?" Helaas bestaat er voor dans nog geen vergelijkbare "Shazam".

Dit paper introduceert DANCEMATCH, een slim systeem dat precies dat doet: het creëert een dansvingerafdruk.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: Dans is te complex om te zoeken

Tot nu toe waren computers niet goed in het begrijpen van dans. Ze zagen alleen een wirwar van bewegingen. Bestaande methoden proberen dans te vertalen naar een lang, wazig getal (een "embeddings"). Dat is alsof je een recept probeert te beschrijven door te zeggen: "Het smaakt naar iets wat op een blauwe wolk lijkt." Dat is moeilijk om te zoeken in een grote database.

2. De oplossing: Van dans naar LEGO-blokjes

De auteurs van dit paper hebben een manier bedacht om dans om te zetten in discrete, begrijpelijke blokken.

• De Analogie: Stel je voor dat elke beweging in een dans (een arm zwaaien, een sprong, een draai) een speciaal LEGO-blokje is.
• Het proces: Het systeem kijkt naar een video van een danser, haalt de botten (het skelet) eruit, en zet elke beweging om in een van deze LEGO-blokjes.
• Het resultaat: In plaats van een lange video, heb je nu een rij blokjes (een "dansvingerafdruk"). Bijvoorbeeld: Blokje A, Blokje B, Blokje C, Blokje A...

Dit maakt het zoeken veel makkelijker. In plaats van een hele video te vergelijken, vergelijkt de computer gewoon welke rij blokjes het meest op elkaar lijkt.

3. Hoe het systeem werkt (De Drie Stappen)

Stap 1: De Vertaler (DANCEMATCH)
Het systeem pakt de ruwe video en gebruikt een slimme "vertaler" (een AI genaamd Spatio-Temporal Transformer). Deze vertaler kijkt niet naar de kleding of het gezicht van de danser, maar puur naar de beweging. Hij zet de beweging om in onze reeks LEGO-blokjes.

• Belangrijk: Als twee mensen dezelfde dans doen, maar één is groter dan de ander, krijgt het systeem toch dezelfde blokjes. Het negeert de "ruis" en kijkt alleen naar de essentie.

Stap 2: De Snelle Zoeker (De Index)
Nu we duizenden dansen hebben omgezet in rijen blokjes, moeten we ze zoeken.

• De Analogie: Stel je hebt een enorme bibliotheek met boeken. Als je een boek zoekt, kijk je niet naar elke pagina. Je kijkt eerst naar de inhoudsopgave (de histogram-index).
• Het systeem telt eerst snel: "Hoe vaak komt Blokje A voor in deze dans?" Als de inhoudsopgave van je zoekopdracht lijkt op die van een boek in de bibliotheek, pak je dat boek eruit voor een tweede, nauwkeurigere check. Dit maakt het zoeken supersnel, zelfs bij miljoenen video's.

Stap 3: De Nauwkeurige Vergelijker (Re-ranking)
De snelle zoektocht geeft je een lijstje met "mogelijke kandidaten". Nu kijkt het systeem dieper.

• De Analogie: Het is alsof je twee liedjes naast elkaar zet. Je luistert niet alleen naar de nummers (de blokjes), maar ook naar het ritme.
• Het systeem gebruikt slimme wiskundige regels om te zien of de dansers op hetzelfde moment dezelfde beweging maakten, zelfs als de ene danser iets sneller of trager dan de ander. Dit zorgt ervoor dat je niet per ongeluk een andere dans krijgt die toevallig dezelfde bewegingen bevat, maar op een verkeerd moment.

4. Waarom is dit belangrijk?

• Schorsing van auteursrechten: Als een gamebedrijf een dans van een beroemde choreograaf kopieert, kan dit systeem dat direct opsporen.
• Cultuurbehoud: Het helpt om dansstijlen te analyseren en te bewaren, zelfs als ze op verschillende manieren worden uitgevoerd.
• Schaalbaarheid: Het werkt snel genoeg om de hele TikTok- of YouTube-bibliotheek te doorzoeken.

Samenvattend

Dit paper introduceert een systeem dat dansen omzet in een simpele, zoekbare code (zoals een barcode of een LEGO-rij). Hierdoor kunnen computers dansen vinden die op elkaar lijken, ongeacht wie ze dansen of hoe snel ze het doen. Het is de eerste echte "Shazam voor dans", die de wereld van beweging eindelijk vindbaar en meetbaar maakt.

Technische samenvatting

Titel: Learning Quantised Structure-Preserving Motion Representations for Dance Fingerprinting

Auteurs: Arina Kharlamova, Bowei He, Chen Ma, Xue Liu
Instituut: MBZUAI en City University of Hong Kong

---

1. Het Probleem: Dance Fingerprinting

Hoewel audio-vingerafdrukken (zoals Shazam) het mogelijk maken om muziek binnen seconden te identificeren, ontbreekt er een equivalent end-to-end framework voor het herkennen of terugzoeken van dansprestaties op basis van video.

• Huidige beperkingen: Bestaande methoden voor bewegingsanalyse en -retrieval vertrouwen vaak op continue embeddings (bijv. via Transformers zoals MotionBERT). Deze zijn hoogdimensionaal, moeilijk te indexeren, niet interpreteerbaar en schalen slecht voor grote datasets.
• De uitdaging: Er is een dringende behoefte aan een systeem dat semantisch vergelijkbare choreografieën direct uit ruwe video kan halen, onafhankelijk van de uitvoerder, camera-hoek of belichting. Dit is essentieel voor auteursrechtelijke disputes, content-modereatie en culturele analyse in een ecosysteem gedomineerd door korte video's (TikTok, Instagram Reels).
• Definitie: De auteurs introduceren de taak "Dance Fingerprinting": het creëren van compacte, discrete en interpreteerbare bewegingshandtekeningen die de ruimtelijk-temporale structuur van een dans vastleggen voor efficiënte, schaalbare zoekopdrachten.

2. Methodologie: DANCEMATCH Framework

Het voorgestelde systeem, DANCEMATCH, is een end-to-end framework dat ruwe video omzet in een gestructureerde bewegingsrepresentatie. Het bestaat uit twee hoofdfasen:

A. Bewegingskwalificatie via DANCEMATCH (Motion Quantisation)

Dit onderdeel converteert continue skeletbewegingen naar een discrete "woordenboek" van bewegingstokens.

1. Pose Extractie: Gebruikmakend van CoMotion (een Apple-gebaseerde estimator) worden 3D-skelettrajecten uit monochromatische RGB-video's gehaald. Dit zorgt voor betrouwbare multi-person tracking zonder extra kalibratie.
2. Spatio-Temporal Transformer (STT) Encoder: De 3D-skeletdata wordt verwerkt door een STT-encoder die zowel ruimtelijke (tussen gewrichten) als temporale (over tijd) afhankelijkheden modelleert via parallelle dual-branch attention.
3. Vector Quantisation (VQ): De continue latente representaties worden opgesplitst in tijdschijven (patches) en gekwantiseerd naar een learnable codebook. Dit resulteert in een discrete sequentie van bewegingstokens ($Q$).
   • Technische innovaties: Het gebruik van "immediate dead-code revival" (om te voorkomen dat codebook-items ongebruikt blijven) en EMA (Exponential Moving Average) updates voor stabiel training.
   • Doel: Het creëren van een compacte, discrete vocabulaire die de choreografische structuur behoudt maar oppervlakkige variaties (zoals uitvoerder-lichaamstype) negeert.

B. Schaalbare DANCE RETRIEVAL ENGINE (DRE)

Deze engine zoekt in grote databases naar vergelijkbare bewegingen. Het gebruikt een tweestaps-pijplijn voor sub-lineaire zoekprestaties:

1. Stap 1: Histogram-gebaseerde Indexering (Snelle filtering):
   • Elke danssequentie wordt omgezet in een "Bag-of-Words" histogram (frequentie van bewegingstokens), waarbij de tijdsorde tijdelijk wordt genegeerd.
   • Dit zorgt voor snelle, schaalbare kandidaat-selectie via Cosine Similariteit.
   • Optionele periodiciteitsdetectie wordt toegevoegd voor ritmische bewegingen.
2. Stap 2: Afstandsgedreven Her-ranking (Precieze matching):
   • De korte lijst van kandidaten wordt opnieuw gesorteerd met een gewogen ensemble van robuuste tijdsreeks-maatstaven.
   • Gebruikte metrics: TWED (Time Warp Edit Distance), LCSS (Longest Common Subsequence), EDR en ERP.
   • Deze combinatie compenseert voor discretisatie-artefacten en tijdsverschillen, waardoor semantische consistentie behouden blijft zelfs bij variabele snelheden.

3. Belangrijkste Bijdragen

1. Nieuwe Taakdefinitie: Introductie van Dance Fingerprinting als een nieuwe, formele taak voor bewegingsgebaseerde dansretrieval.
2. DANCEMATCH Framework: Een nieuw end-to-end systeem dat structuurbehoudende kwantisatie combineert met STT's om interpreteerbare bewegingstokens te genereren.
3. DRE (Retrieval Engine): Een schaalbare zoekengine die histogram-indexering combineert met geavanceerde tijdsreeks-algoritmen voor efficiënte zoekopdrachten in duizenden sequenties.
4. DANCETYPESBENCHMARK: De publicatie van het eerste dataset voor dansretrieval. Het bevat pose-gealigneerde skeletsequenties (afgeleid van Fortnite Emotes op TikTok/YouTube Shorts) die zijn geannoteerd met de gegenereerde kwantisatie-tokens. Dit dient als een reproduceerbaar benchmark voor evaluatie.

4. Resultaten

Experimenten zijn uitgevoerd op zowel het bestaande AIST-dataset als het nieuwe DANCETYPESBENCHMARK.

• Prestaties: Op het AIST-dataset bereikte de histogram-index 95,7% van de prestaties van een brute-force zoekopdracht, maar met aanzienlijk minder rekentijd.
  • Match Rate: 61,9% van de queries vonden een correcte dans binnen de top-3 kandidaten (tegenover 65,3% voor brute-force).
  • Rank-1 Accuratie: 38,1% voor de histogram-methode.
• Schaalbaarheid: Tests op een grotere dataset (100 categorieën, 5000 items) toonden een gemiddelde genormaliseerde score van $\ge 0.5$, wat aantoont dat het systeem goed generaliseert over verschillende dansers en tempo's, zelfs onder ruis.
• Generalisatie: Het systeem toonde sterke prestaties bij het vinden van semantisch vergelijkbare choreografieën over verschillende stijlen heen, zonder dat er supervisie op specifieke labels nodig was.

5. Betekenis en Toekomstperspectief

• Interpreteerbaarheid vs. Schaalbaarheid: Het paper bewijst dat het gebruik van discrete, symbolische bewegingsrepresentaties (in plaats van continue embeddings) de weg vrijmaakt voor schaalbare zoekopdrachten die toch interpreteerbaar blijven.
• Toepassingen: Dit systeem biedt een technische basis voor het oplossen van auteursrechtproblemen rond choreografie, het analyseren van culturele trends in sociale media, en het indexeren van bewegingscontent.
• Beperkingen & Toekomst: De huidige methode mist nog enige tijdsorde-informatie in de histogram-fase en is afhankelijk van vaste gewichten voor de metrics. Toekomstig werk richt zich op het leren van sequence-preserving embeddings en het uitbreiden van de zoekopdracht naar hiërarchische niveaus (van bewegingsfrases tot volledige choreografieën).

Kortom, DANCEMATCH stelt een fundamentele verschuiving voor in bewegingsanalyse: van continue, moeilijke te indexeren embeddings naar een robuust, discreet en schaalbaar "vingerafdruk"-systeem voor dans.