⚡ electrical engineering

MuPPet: Multi-person 2D-to-3D Pose Lifting

In dit artikel wordt MuPPet voorgesteld, een nieuw raamwerk voor het omzetten van 2D naar 3D pose van meerdere personen dat expliciet interpersoonlijke relaties modelleert via person encoding, permutatieaugmentatie en dynamische multi-person attention, waardoor het de bestaande methoden aanzienlijk overtreft in nauwkeurigheid en robuustheid bij sociale interacties.

Oorspronkelijke auteurs: Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

Gepubliceerd 2026-04-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

MuPPet: De 3D-Regisseur van Groepsdynamiek

Stel je voor dat je een film kijkt van een drukke groep vrienden die aan het praten en lachen zijn. Voor een computer is het heel lastig om te begrijpen wie wie is, vooral als ze elkaar blokkeren (occlusie) of als ze in een kring staan. Vaak kijken computers alleen naar één persoon per keer, alsof ze door een sleutelgat kijken. Ze zien de persoon voor zich, maar missen de context van de rest van de groep.

Dit is waar MuPPet (Multi-person 2D-to-3D Pose Lifting) in het spel komt. Het is een slimme nieuwe technologie die een platte 2D-video (zoals op je telefoon) omzet in een volledig 3D-beeld van een hele groep mensen, inclusief hoe ze met elkaar interageren.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Blinde" Camera

Stel je voor dat je een foto maakt van een groepje mensen. Als je iemand in de achtergrond deels ziet, maar zijn arm wordt bedekt door iemand voor hem, dan is het voor een slimme computer lastig om te raden waar die arm precies zit.

De oude manier: De computer probeert elke persoon apart te "rekenen". Als iemand wordt geblokkeerd, raakt de computer de draad kwijt. Het is alsof je probeert een puzzel te maken waarbij je alleen naar één stukje kijkt en de rest van de puzzel negeert.
De MuPPet-methode: MuPPet kijkt naar de hele groep tegelijk. Het begrijpt dat mensen in een groep vaak synchroon bewegen, elkaar imiteren of op elkaar reageren. Het gebruikt deze "sociale hints" om de geblokkeerde delen van het lichaam te raden.

2. De Drie Superkrachten van MuPPet

Om dit te doen, heeft MuPPet drie slimme trucjes in zijn achterzak:

De Naamkaartjes (Person Encoding):
In een oude computerprogramma wist de AI vaak niet wie bij wie hoorde. Het zag alleen "een arm" en "een been". MuPPet plakt virtuele "naamkaartjes" op elke persoon. Zo weet de computer: "Dit been hoort bij Jan, en dat been bij Piet." Hierdoor kan het de relatie tussen Jan en Piet echt begrijpen, in plaats van ze als losse onderdelen te zien.
De Dansles (Permutation Learning):
Stel je voor dat je een dansgroep traint. Als je ze altijd in dezelfde volgorde laat dansen, leren ze alleen die ene volgorde. MuPPet doet iets slim: tijdens het trainen wisselt het de volgorde van de mensen constant om (net als een dansleraar die de groep door elkaar haalt). Hierdoor leert het systeem dat de relatie tussen mensen belangrijk is, ongeacht wie links of rechts staat. Het maakt het systeem veel flexibeler en sterker.
De Magische Verf (Diffusion Process):
Dit is misschien wel het coolste deel. Stel je voor dat je een schilderij hebt dat een beetje vies is geworden (ruis). In plaats van direct een perfect schilderij te proberen te maken, begint MuPPet met een wazig, willekeurig beeld (alsof je alleen maar verfdruppels ziet). Stap voor stap "ontvilt" het beeld, alsof je het schilderij langzaam schoonmaakt, tot het een perfect 3D-beeld van de groep overblijft. Dit helpt enorm bij het raden van geblokkeerde delen, omdat het systeem meerdere mogelijke oplossingen kan "dromen" voordat het de beste kiest.

3. Waarom is dit belangrijk?

Vroeger waren robots of slimme camera's slecht in het begrijpen van sociale situaties. Als een robot een groep mensen zag, zag hij misschien alleen losse mensen. MuPPet verandert dit.

Voor robots: Een mensachtige robot kan nu beter begrijpen hoe hij zich moet gedragen in een groep (bijvoorbeeld: "Ik moet niet tussen die twee mensen in lopen die aan het praten zijn").
Voor analyse: Het helpt onderzoekers om sociale dynamiek te bestuderen, zoals hoe mensen afstand houden of hoe ze naar elkaar kijken.
Bij verstopping: Als iemand in de video wordt geblokkeerd door een ander, kan MuPPet de ontbrekende delen nog steeds nauwkeurig reconstrueren, omdat het de "sociale context" gebruikt.

Conclusie

Kortom: MuPPet is als een regisseur die niet alleen naar de acteurs kijkt, maar ook naar de chemie tussen hen. Door te leren dat mensen in een groep met elkaar verbonden zijn, kan het een platte video omtoveren tot een levendig, nauwkeurig 3D-beeld, zelfs als de camera niet alles perfect kan zien. Het maakt computers niet alleen slimmer, maar ook sociaal bewuster.

Probleemstelling

De schatting van 3D-houdingen (pose) van mensen in groepsinteracties is essentieel voor het begrijpen van sociale dynamieken, zoals imitatie, synchronisatie en non-verbale communicatie. Bestaande methoden voor het "liften" van 2D-houdingen naar 3D hebben echter twee belangrijke beperkingen:

Neglect van interpersoonlijke relaties: De meeste methoden behandelen individuen geïsoleerd en negeren de correlaties tussen personen binnen een groep, die cruciaal zijn voor het interpreteren van sociale interacties.
Vaste groepsgrootte: Bestaande multi-person methoden (zoals POTR-3D) zijn vaak getraind op een vaste maximale groepsgrootte en gebruiken zero-padding voor kleinere groepen. Dit maakt ze onpraktisch voor real-world scenario's waar het aantal personen varieert.
Oclusie: In drukke scènes worden personen vaak door elkaar geblokkeerd. Single-person methoden falen hier vaak omdat ze geen context van de omgeving gebruiken om de verborgen houdingen te infereren.

Methodologie: MuPPet

MuPPet is een nieuw framework dat 2D-houdingen van een dynamisch aantal personen lift naar absolute 3D-houdingen in de wereldcoördinaten. Het model combineert een diffusieproces met een Transformer-architectuur en introduceert drie kerninnovaties:

1. Architectuur en Diffusie

Input: Een sequentie van gedetecteerde 2D-houdingen ( $X$ ) van $T$ frames en $P$ personen.
Diffusieproces: Het model gebruikt een Denoising Diffusion Probabilistic Model (DDPM). In plaats van een directe voorspelling, start het met ruis ( $Y_N$ ) en doorloopt het $N$ stappen om de ruis te verwijderen en de 3D-houding ( $Y_0$ ) te reconstrueren, gekonditioneerd op de 2D-input. Dit probabilistische benadering helpt bij het hanteren van ambiguïteit en oclusie.
Backbone: Een Transformer-basis met zowel ruimtelijke als temporele attention-mechanismen.

2. Kerncomponenten

Dynamic Multi-Person Attention: In plaats van attention alleen binnen één persoon toe te passen, wordt self-attention toegepast op de collectie van alle gewrichten van alle personen in de scène. Dit stelt het model in staat om ruimtelijke relaties tussen verschillende individuen te modelleren. De attention-mechanismen zijn onafhankelijk van het aantal personen ( $P$ ), waardoor variabele groepsgroottes mogelijk zijn.
Person Encoding: Omdat attention-mechanismen inherent permutatie-invariant zijn (ze onderscheiden niet wie wie is), introduceert het paper een leerbaar "Person Encoding" ( $E$ ). Deze embedding wordt expliciet aan elk gewricht van een specifieke persoon toegevoegd. Hierdoor kan het model onderscheid maken tussen individuen terwijl het toch hun onderlinge relaties leert.
Permutation Learning (Data Augmentatie): Om de diversiteit van de trainingsdata te vergroten en het model robuust te maken voor willekeurige volgorde van personen, wordt een nieuwe augmentatiestrategie gebruikt:
- Superset Permutatie: De volgorde van de personen in de input wordt willekeurig gewijzigd.
- Subset Permutatie: Het model wordt getraind op subsets van de groep (bijv. $P-1$ of $P-2$ personen) met willekeurige volgorde.
- Dit dwingt het model om te vertrouwen op de relaties tussen personen in plaats van op een vaste volgorde of padding.

3. Verliesfunctie (Loss)

Het model voorspelt geen absolute posities direct, maar splitst de taak op in:

Relatieve houding: Gewrichten ten opzichte van het heup-centrum (root).
Absolute root-positie: De locatie van het heup-centrum in de wereld.
Dit wordt gewogen met een parameter $\lambda$ in de loss-functie om beide aspecten optimaal te leren.

Belangrijkste Bijdragen

Dynamische Multi-Person Lifting: Een methode die een variabel aantal personen in een groep kan verwerken zonder zero-padding, wat essentieel is voor real-world toepassing.
Efficiënte Modellering van Relaties: De combinatie van Person Encoding, Permutation Learning en Spatial Attention stelt het model in staat om zowel intra- als interpersoonlijke relaties effectief te leren.
Superieure Robuustheid: Het bewijst dat het modelleren van sociale correlaties leidt tot betere prestaties, vooral bij oclusie, vergeleken met single-person baselines.

Resultaten

Het model is getest op twee datasets: Haggling (sociale interacties) en CMU Panoptic (diverse groepssituaties).

Vergelijking met Single-Person Baselines:
- MuPPet overtreft de state-of-the-art single-person methode (D3DP) significant.
- Verbetering in relatieve fout (MPJPErel): 6.4% (van 59.1 naar 55.3 mm).
- Verbetering in absolute fout (MPJPEabs): 17.2% (van 135.9 naar 108.9 mm).
- Dit onderstreept dat het gebruik van groepscontext de schatting van de absolute positie sterk verbetert.
Vergelijking met SOTA Multi-Person Methoden:
- MuPPet presteert beter dan bestaande multi-person lift-methoden zoals VirtualPose en POTR-3D op de CMU Panoptic dataset (gemiddelde relatieve fout: 55.8 mm vs 57.5 mm voor POTR-3D).
Oclusie-analyse:
- Bij toenemende oclusie (meer geblokkeerde gewrichten) blijft MuPPet aanzienlijk beter presteren dan single-person methoden. De prestatiekloof wordt groter naarmate de oclusie toeneemt, wat aantoont dat het model succesvol gebruikmaakt van de houding van omringende personen om verborgen delen te reconstrueren.
Ablatie-studies:
- Elke component (Multi-person attention, Person Encoding, Permutation Learning) draagt bij aan de prestaties.
- Het diffusieproces bleek noodzakelijk; zonder diffusie (alleen Transformer) daalde de prestatie aanzienlijk (relatieve fout van 55.3 naar 75.0 mm).

Significantie en Toekomstperspectief

MuPPet markeert een belangrijke stap voorwaarts in het veld van 3D-pose schatting door sociale context expliciet te integreren. De methode maakt nauwkeurige analyse van groepsdynamiek mogelijk, wat essentieel is voor toepassingen zoals:

Interactie van humanoïde robots met groepen mensen.
Analyse van sociale gedragingen en F-vormaties (sociale kringen).
Verbeterde veiligheid en monitoring in drukke omgevingen.

De auteurs wijzen erop dat de huidige beperking ligt in de beschikbaarheid van datasets met echte, natuurlijke sociale interacties (veel bestaande datasets zijn kunstmatig samengesteld). Voor toekomstig werk wordt gepleit voor het integreren van audio-informatie (spraak en gebaren correlatie) om de pose-inferentie verder te versterken.

Conclusie: MuPPet is een krachtig, robuust framework dat de beperkingen van bestaande methoden overbrugt door sociale relaties te modelleren, variabele groepsgroottes te ondersteunen en oclusie effectief op te lossen via een diffusie-gebaseerde Transformer-architectuur.