BigMaQ: A Big Macaque Motion and Animation Dataset Bridging Image and 3D Pose Representations

Dit paper introduceert BigMaQ, een groot dataset met 3D-bewegings- en animatiegegevens van rhesusapen die de kloof tussen beeld- en 3D-houdingsrepresentaties overbrugt en aanzienlijke verbeteringen mogelijk maakt in de automatische herkenning van dierlijk gedrag.

De kern

Stel je voor dat je een film maakt over apen, maar in plaats van dat je alleen kunt zien wat ze doen, kun je ook precies zien hoe hun spieren en botten bewegen, zelfs als ze zich verstoppen of in de schaduw zitten. Dat is precies wat dit nieuwe onderzoek, genaamd BigMaQ, voor ons mogelijk maakt.

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Stippen" vs. De "Pop"

Vroeger, als wetenschappers apen in video's wilden bestuderen, gebruikten ze een beetje zoals een tekenaar die alleen stippen op een foto plakt. Ze zetten een stip op de elleboog, een op de knie en een op de neus.

• Het nadeel: Dit is alsof je probeert te begrijpen hoe een danser beweegt door alleen naar drie stippen op zijn kleding te kijken. Je ziet niet hoe zijn buik spant, hoe zijn rug kromt of hoe zijn vingers krullen. Voor menselijke apen (zoals de rhesusapen) is dit een groot probleem, omdat hun gedrag heel complex en sociaal is.

2. De Oplossing: BigMaQ (De "Digitale Poppenkast")

De onderzoekers hebben een enorme database gemaakt, BigMaQ. In plaats van alleen stippen, hebben ze voor elke aap een 3D-digitaal poppetje (een 'avatar') gemaakt dat er precies uitziet als de echte aap.

• De Analogie: Stel je voor dat je voor elke aap een klei-model hebt gemaakt dat precies past bij zijn lichaam. Als de echte aap beweegt, beweegt dit klei-model mee, alsof het een marionet is die door onzichtbare draadjes wordt bestuurd.
• Ze hebben dit gedaan met 16 camera's die tegelijkertijd filmen. Het is alsof je in een kamer staat met spiegels aan alle kanten, zodat je de aap van elk mogelijk hoekje kunt zien.

3. Hoe werkt het? (De "Magische Kleding")

Het team heeft een heel slimme methode bedacht om deze digitale poppen aan de echte apen te koppelen:

1. Het Basismodel: Ze begonnen met een standaard "aap-patroon" (een sjabloon).
2. Aanpassen: Vervolgens hebben ze dit patroon op maat gemaakt voor elke individuele aap. Net zoals je een pak op maat laat maken, pasten ze de digitale botten en huid aan de lengte en vorm van de echte aap aan.
3. De Kleur: Ze hebben de digitale poppen ook de juiste huidskleur en vacht gegeven, zodat ze eruitzien als de echte dieren.
4. De Beweging: Door de video's van alle 16 camera's te combineren, kunnen ze precies berekenen hoe elke gewricht draait. Het resultaat is een dynamische animatie die je vanuit elk willekeurig perspectief kunt bekijken, zelfs als de echte aap zich op dat moment achter een boom verstopt.

4. Waarom is dit zo geweldig? (De "Superkracht")

De onderzoekers hebben getest of deze 3D-bewegingsdata helpt om te begrijpen wat de apen doen.

• De Vergelijking: Stel je voor dat je een film kijkt met de geluiden uitgeschakeld. Je ziet de apen bewegen, maar je snapt niet precies wat er gebeurt. BigMaQ geeft je de "geluidsspoor" van de beweging.
• Het Resultaat: Toen ze de computer leerden om gedrag te herkennen (zoals "vechten", "knuffelen" of "eten"), ging het veel beter als ze gebruik maakten van deze 3D-bewegingsdata, in plaats van alleen naar de video te kijken. Het is alsof je een detective bent die niet alleen naar de foto's kijkt, maar ook de vingerafdrukken heeft.

5. Wat levert het op?

Dit project is een enorme stap voor de wetenschap:

• Voor de biologie: We kunnen nu sociale interacties tussen apen veel beter bestuderen.
• Voor de neurologie: Omdat apen veel op mensen lijken, helpt dit ons om beter te begrijpen hoe onze eigen hersenen beweging en gedrag verwerken.
• Voor de toekomst: Het is een bron van inspiratie. Misschien kunnen we in de toekomst ook voor andere dieren (zoals honden of katten) zulke perfecte 3D-modellen maken.

Kortom: BigMaQ is als het bouwen van een digitale tijdreis voor apen. Het zet de "stippen" van vroeger om in levendige, 3D-animaties die ons laten zien wat er echt gebeurt onder de vacht, waardoor we de taal van de apen beter kunnen begrijpen.

Technische samenvatting

1. Het Probleem

De erkenning van dynamisch en sociaal gedrag bij dieren is cruciaal voor de levenswetenschappen (ethologie, ecologie, neurowetenschappen). Hoewel deep learning geautomatiseerde gedragherkenning uit videodata mogelijk heeft gemaakt, ontbreekt er vaak een nauwkeurige reconstructie van de 3D-pose en het lichaamsvorm (shape).

• Beperkingen van bestaande methoden: Voor niet-menselijke primaten (NHP's), zoals makaken, blijven tracking-inspanningen vaak beperkt tot spare 2D- of 3D-sleutelpunten (keypoints). Deze kunnen de rijkdom van bewegingsdynamiek en sociale interacties niet volledig vastleggen.
• Gebrek aan 3D-vormmodellen: Bestaande datasets gebruiken vaak generieke vormen (zoals SMAL voor viervoeters) of synthetische data. Er is geen dataset die nauwkeurige, op maat gemaakte 3D-vlakoppervlakmodellen (meshes) combineert met gedetailleerde bewegingsdata van echte dieren in interactie.
• Gevolg: Neurowetenschappelijke studies moeten vaak terugvallen op menselijke modellen om de vorm van apen te reconstrueren, wat suboptimaal is vanwege de anatomische verschillen.

2. Methodologie

De auteurs introduceren BigMaQ, een groot dataset-project dat gebruikmaakt van multi-view markerless motion capture om realistische 3D-reconstructies te genereren.

• Dataverzameling:

  • Onderwerpen: 8 mannelijke rhesusapen (Macaca mulatta) in een neurologisch laboratorium.
  • Setup: 16 gekalibreerde camera's (40 fps, 2464x2056 pixels) die het kooi-omgeving omringen.
  • Data: Meer dan 750 scènes met interacties (solitair en sociaal), resulterend in 12.208 video's.
  • Etogram: Gedrag is gelabeld volgens een gedetailleerd ethogram (locomotie, objectinteractie, sociale interactie, andere gedragingen).

• Verwerkingspijplijn:

  1. Detectie & 2D-schatting: Gebruik van YOLOv8 voor individuele detectie en HRNet-W48 voor het schatten van 20 2D-sleutelpunten (inclusief handen en voeten).
  2. Segmentatie: Gebruik van SAM 2 (Segment Anything Model 2) voor het genereren van silhouetmaskers.
  3. 3D-Mesh Tracking:
     • Een hoog-resolutie artistieke template mesh (10.632 vertices) wordt aangepast aan een low-poly versie (3.625 vertices) voor efficiëntie.
     • Subject-specifieke aanpassing: De mesh wordt aangepast aan elk individu door leerbare parameters te gebruiken:
       • Bone lengths ($\alpha$): Aanpassing van botlengtes.
       • Vertex offsets ($\xi$): Aanpassing van de vorm van het lichaam.
       • Texture: Kleurtoewijzing per vertex.
     • Optimalisatie: Een differentieerbare renderer wordt gebruikt om de mesh te fitten op de video. De loss-functie combineert:
       • Sleutelpunt-herprojectie (2D keypoints).
       • Silhouet-overlap (IoU).
       • Temporale consistentie: Een verliesfunctie gebaseerd op hoeksnelheid (angular velocity) en Euclidische translatieverschillen om trillende bewegingen te voorkomen.
  4. BigMaQ500 Benchmark: Een subset van de dataset (511 acties, ~8.000 video's) waarvoor complete 3D-pose reconstructies zijn gegarandeerd (>95% van de tijdstippen), gebruikt voor action recognition.

3. Belangrijkste Bijdragen

1. BigMaQ Dataset: De eerste dataset die dynamische 3D-vlakoppervlakrepresentaties (meshes) integreert met actieherkenning voor niet-menselijke primaten. Het bevat per frame pose-vectoren (gewrichtsrotaties) en subject-specifieke texturen.
2. Subject-specifieke Avatars: In plaats van een generiek model, worden unieke, getextureerde avatars voor elke aap gegenereerd, wat nauwkeurigere pose-beschrijvingen mogelijk maakt dan eerdere methoden.
3. BigMaQ500 Benchmark: Een nieuwe benchmark voor actieherkenning die 3D-pose-informatie koppelt aan videofeatures.
4. Openbaarheid: Code en data zijn publiek beschikbaar gesteld.

4. Resultaten

• Kwalitatieve en Kwantitatieve Verbetering:
  • Vergelijking met state-of-the-art methoden (zoals MAMMAL en AniMer+) toont aan dat BigMaQ aanzienlijk betere resultaten levert.
  • IoU (Intersection over Union): BigMaQ bereikt een gemiddelde IoU van 0.844 (single frame) versus 0.714 voor MAMMAL en 0.591 voor AniMer+.
  • MPJPE (Mean Per-Joint Position Error): BigMaQ scoort 26.9 mm versus 31.7 mm voor MAMMAL.
  • MPJTD (Temporale consistentie): BigMaQ toont soepelere bewegingen (8.46 mm/frame vs 13.36 mm/frame bij MAMMAL).
• Actieherkenning:
  • Het combineren van visuele features (uit modellen zoals ViT, DINOv2, VideoPrism) met de 3D-pose-vectoren leidt tot een substantiële verbetering in de Mean Average Precision (mAP).
  • De beste combinatie bereikt een mAP van 44.0%, vergeleken met ~34-40% voor visuele modellen alleen.
  • Pose-informatie is vooral cruciaal voor het onderscheiden van complexe sociale interacties.
  • De 3D-pose-vectoren (rotatiematrices) presteren beter dan 2D/3D-sleutelpunten of puur 3D-positiegegevens, wat suggereert dat de structuur van de pose belangrijker is dan alleen de posities.

5. Betekenis en Toekomstperspectief

• Wetenschappelijke Impact: BigMaQ biedt een uniek hulpmiddel voor ethologen en neurowetenschappers om gedrag en perceptie bij primaten te bestuderen met een detailniveau dat eerder alleen voor mensen beschikbaar was.
• Verschuiving in Methodologie: Het paper pleit voor een verschuiving in actieherkenning: van puur visuele features naar modellen die generatieve 3D-kennis (vorm en beweging) integreren.
• Toepassingen: Naast gedragsonderzoek kunnen deze data gebruikt worden voor realistische animatie en het trainen van modellen voor single-view reconstructie (door het gebruik van de dataset als prior).
• Beperkingen: De dataset is beperkt tot mannelijke rhesusapen in een laboratoriumomgeving. Uitbreiding naar wilde dieren of andere soorten vereist bredere consensus over gedragslabels en mogelijk verbeterde detectiemodellen voor complexe scènes.

Kortom, BigMaQ sluit een belangrijke kloof in de computervisie voor dieren door de overgang te maken van simpele sleutelpunten naar volledige, dynamische 3D-lichaamsmodellen, wat leidt tot zowel betere tracking als betere begrip van dierlijk gedrag.