A multimodal dataset for reconstructing common marmoset body-environment interactions in a 3D digital-twin framework

Stel je voor dat je probeert te begrijpen hoe een klein aapje met zijn wereld omgaat, maar je hebt alleen maar platte, tweedimensionale foto's of een simpele stokfiguur-tekening. Dat was tot nu toe de beperking bij het bestuderen van de gewone marmoset (een kleine primaat die vaak in de wetenschap wordt gebruikt). Dit artikel introduceert een enorme, nieuwe "digitale gereedschapskist" die de spelregels verandert door een volledige, 3D digitale tweeling van deze apen en hun omgeving te creëren.

Beschouw deze dataset niet alleen als een verzameling video's, maar als een supergedetailleerde video game asset pack voor wetenschappers. Hier is wat het bijzonder maakt, uitgelegd in alledaagse termen:

• Het "Gebeeldhouwde" Lichaam: In plaats van alleen maar te gokken hoe de aap er van binnen uitziet, gebruikten de onderzoekers medische CT-scans (zoals een high-tech 3D röntgenfoto) om een perfect, solide mesh van de werkelijke lichaamsvorm van de aap te bouwen. Het is alsof je een digitaal kleimodel hebt dat exact overeenkomt met de botten en spieren van het echte dier.
• De "Vacht" en "Huid": Ze stopten niet bij het skelet. Ze voegden de vacht en huidtextuur van de aap toe met behulp van echte foto's, zodat het digitale model eruitziet en aanvoelt als het echte ding, en niet als een glad plastic speeltje.
• Het "Poppenspeler"-systeem: Ze creëerden een "rigged" model, wat een digitaal marionet is met onzichtbare touwtjes. Dit stelt wetenschappers in staat om de ledematen van de aap te bewegen en hem te zien lopen, springen of klimmen in de 3D-ruimte, net zoals het animeren van een personage in een film.
• De "Surveillance"-opstelling: Om vast te leggen hoe deze apen zich daadwerkelijk bewegen, filmde het team drie verschillende apen gedurende ongeveer 90 uur in totaal. Ze gebruikten acht verschillende camera's tegelijkertijd, wat een 360-graden uitzicht creëerde. Het is alsof je een beveiligingssysteem hebt dat nooit knippert en elke hoek van het leven van de aap vastlegt.
• De "Virtuele Kamer": Ze hebben niet alleen de aap gefilmd; ze hebben ook een 3D digitale replica gebouwd van de kamer en de apparatuur waarin de aap zich bevond, met behulp van blauwdrukken. Dit betekent dat de digitale aap niet in een leegte zweeft; hij interageert met een virtuele versie van zijn echte kooi.
• Het "Eerstepersoons"-perspectief: Door de bewegingsgegevens van de aap te combineren met de 3D-modellen, genereerden ze "pseudo-egocentrische" weergaven. Stel je voor dat je de wereld precies ziet zoals de aap die ziet, maar dan gegenereerd door een computer op basis van de echte gegevens.

Werkte het?
Het team voerde een "kwaliteitscontrole" uit. Ze vergeleken het digitale kleimodel met de echte CT-scans om te controleren of de vormen overeenkwamen. Ze controleerden of de computer de ellebogen en knieën van de aap correct kon lokaliseren in de video's. Ze maten de virtuele kamer om te verzekeren dat deze de juiste grootte had, en ze vergeleken de door de computer gegenereerde afbeeldingen met echte foto's om te zien of ze er hetzelfde uitzagen. De resultaten lieten zien dat de digitale tweelingen nauwkeurig en betrouwbaar zijn.

Waarom is dit belangrijk?
Hiervoor volgden wetenschappers apen meestal alleen als simpele stippen die over een scherm bewogen. Deze dataset laat hen de gedragingen van de aap behandelen als een volledig driedimensionaal verhaal, waarbij de werkelijke lichaamsvorm en de interactie met de omgeving centraal staan. Het biedt de grondstoffen voor betere gedragsstudies, het creëren van realistische visualisaties, het genereren van nieuwe trainingsdata voor computers en het leggen van de fundering voor toekomstig "digital twin"-onderzoek, waarbij wetenschappers deze dieren kunnen simuleren en bestuderen in een virtuele wereld.