⚡ electrical engineering

MuPPet: Multi-person 2D-to-3D Pose Lifting

MuPPet एक नवीन मल्टी-पर्सन 2D-टू-3D पोज़ लिफ्टिंग फ्रेमवर्क है जो पर्सन एनकोडिंग, परम्यूटेशन ऑग्मेंटेशन और डायनेमिक मल्टी-पर्सन अटेंशन के माध्यम से अंतर-व्यक्तिगत सहसंबंधों को स्पष्ट रूप से मॉडल करता है, जिससे ग्रुप इंटरेक्शन डेटासेट्स पर स्टेट-ऑफ-द-आर्ट प्रदर्शन और ऑक्लूजन परिदृश्यों में बेहतर मजबूती प्राप्त होती है।

मूल लेखक: Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

प्रकाशित 2026-04-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त पार्टी में हैं। आप लोगों को चलते-फिरते, बातें करते और हंसते हुए देख सकते हैं। यदि आप कागज पर हर किसी के पोज़ का एक स्टिक-फिगर स्केच बनाना चाहें, तो वह 2D पोज़ एस्टीमेशन (2D pose estimation) होगा। यह दीवार पर बनी एक छाया की तरह सपाट है।

लेकिन पार्टी को वास्तव में समझने के लिए—यह जानने के लिए कि कौन किसके करीब खड़ा है, कौन फुसफुसाने के लिए झुक रहा है, या कौन किसी लंबे व्यक्ति के पीछे छिपा हुआ है—आपको एक 3D मॉडल की आवश्यकता है। आपको गहराई (depth), दूरी और कमरे में सटीक स्थिति जानने की आवश्यकता है। यह 3D पोज़ लिफ्टिंग (3D pose lifting) है: उस सपाट स्केच को एक 3D होलोग्राम में बदलना।

समस्या क्या है? मौजूदा "होलोग्राम बनाने वाले" समूहों वाली पार्टियों में खराब प्रदर्शन करते हैं। वे हर व्यक्ति के साथ ऐसा व्यवहार करते हैं जैसे वह अकेले किसी कमरे में हो, और इस तथ्य को नजरअंदाज कर देते हैं कि लोग आपस में बातचीत करते हैं, एक-दूसरे की नकल करते हैं, या एक-दूसरे के दृश्य को बाधित (block) करते हैं।

पेश है MuPPet (Multi-person 2D-to-3D Pose Lifting)। MuPPet को एक सुपर-स्मार्ट पार्टी फोटोग्राफर के रूप में सोचें जो न केवल व्यक्तियों को देखता है, बल्कि पूरे समूह की गतिशीलता (group dynamic) को भी समझता है।

यहाँ बताया गया है कि MuPPet कैसे काम करता है, सरल उपमाओं (analogies) के माध्यम से:

1. "ग्रुप चैट" बनाम "अकेली आवाज़" (The "Group Chat" vs. The "Solo Voice")

कल्पना कीजिए कि आप अनुमान लगाने की कोशिश कर रहे हैं कि एक व्यक्ति क्या कर रहा है जब वह आंशिक रूप से एक खंभे के पीछे छिपा हुआ है।

पुराने तरीके (अकेली आवाज़): वे छिपे हुए व्यक्ति को देखते हैं और कहते हैं, "मुझे हाथ नहीं दिख रहा, इसलिए मैं बस अंदाज़ा लगा लूंगा।" वे व्यक्ति को एक द्वीप (island) की तरह देखते हैं।
MuPPet (ग्रुप चैट): यह छिपे हुए व्यक्ति और अन्य सभी को देखता है। यह सोचता है, "खैर, उनके बाईं ओर वाला व्यक्ति झुक रहा है, और दाईं ओर वाला व्यक्ति हाथ हिला रहा है। समूहों के बीच होने वाली सामान्य बातचीत के आधार पर, छिपा हुआ व्यक्ति भी शायद हाथ हिला ही रहा होगा।"
जादू: MuPPet एक डायनामिक मल्टी-पर्सन अटेंशन (Dynamic Multi-Person Attention) तंत्र का उपयोग करता है। इसे एक "ग्रुप चैट" के रूप में समझें जहाँ हर व्यक्ति का डेटा दूसरे व्यक्ति के डेटा से बात कर रहा है। यदि एक व्यक्ति बाधित (blocked) है, तो सिस्टम आसपास के लोगों की "बातचीत" का उपयोग करके लुप्त हिस्सों को भरने के लिए करता है।

2. "नाम टैग" (The "Name Tags" - Person Encoding)

भीड़भाड़ वाले कमरे में, यदि आप केवल "बाईं ओर वाला व्यक्ति" कहते हैं, तो यह भ्रमित करने वाला हो सकता है यदि लोग हिलते हैं।

समस्या: पुराने AI मॉडल अक्सर भ्रमित हो जाते हैं कि समूह का आकार बदलने पर कौन सा जोड़ (joint) किस व्यक्ति का है।
समाधान: MuPPet हर व्यक्ति को एक डिजिटल नाम टैग (जिसे पर्सन एनकोडिंग कहा जाता है) देता है। भले ही कैमरा 3 लोग देखे, फिर 5 लोग, फिर 2 लोग, MuPPet जानता है कि कौन कौन है। यह केवल जोड़ों का एक समूह नहीं देखता; यह "एलिस का हाथ," "बॉब का पैर," और "चार्ली का सिर" देखता है। यह विशिष्ट लोगों के बीच विशिष्ट संबंधों को सीखने में सक्षम बनाता है।

3. "पत्तों को फेंटना" (The "Shuffling Deck" - Permutation Augmentation)

कल्पना कीजिए कि आप एक रोबोट को दोस्तों के समूह को समझने के लिए सिखा रहे हैं। यदि आप रोबोट को हर बार बिल्कुल उसी क्रम में खड़े दोस्तों को दिखाते हैं, तो रोबोट शायद क्रम को समझने के बजाय उसे रट लेगा।

तरीका: MuPPet प्रशिक्षण के दौरान परम्यूटेशन लर्निंग (Permutation Learning) नामक तकनीक का उपयोग करता है। यह डेटा में लोगों के क्रम को ताश के पत्तों की तरह बेतरतीब ढंग से बदल देता है।
यह क्यों काम करता है: यह AI को लोगों के बीच के संबंधों को सीखने के लिए मजबूर करता है, न कि केवल ग्रिड पर उनकी स्थितियों को। यह सीखता है कि "व्यक्ति A, व्यक्ति B से बात कर रहा है" चाहे व्यक्ति A को पहले या अंत में सूचीबद्ध किया गया हो। यह AI को अविश्वसनीय रूप से मजबूत और लचीला बनाता है।

4. "अनुमान लगाने का खेल" (The "Guessing Game" - Diffusion Process)

कभी-कभी, सभी सुरागों के बावजूद, एक पोज़ दिखने के कई तरीके हो सकते हैं (विशेष रूप से यदि कोई छिपा हुआ हो)।

पुराना तरीका: AI एक एकल अनुमान लगाता है। यदि वह गलत है, तो वह गलत है।
MuPPet का तरीका: यह एक अनुमान लगाने का खेल (एक डिफ्यूजन प्रोसेस का उपयोग करके) खेलता है। यह संभावनाओं के एक धुंधले, शोर भरे बादल (जैसे पुराने टीवी पर दिखने वाला स्टैटिक) से शुरू होता है। फिर, चरण-दर-चरण, यह अनुमान को "डीनॉइज़" (denoise) करता है, यानी बार-बार सुधार करता है।
परिणाम: एक जोखिम भरा अनुमान लगाने के बजाय, यह पोज़ के कई संभावित संस्करण उत्पन्न करता है और फिर सबसे सटीक 3D स्थिति खोजने के लिए उनका औसत निकालता है। यह 100 लोगों से रास्ता पूछने और सबसे अच्छे मार्ग तक पहुँचने के लिए उनके उत्तरों का औसत लेने जैसा है।

यह क्यों मायने रखता है?

पेपर दिखाता है कि MuPPet ओक्लूजन (occlusions) (जब लोग एक-दूसरे को रोकते हैं) को संभालने में बहुत बेहतर है।

वास्तविक दुनिया का उदाहरण: यदि आप दोस्तों के एक समूह को गेम खेलते हुए फिल्मा रहे हैं, और एक व्यक्ति दूसरे के पीछे छिपा हुआ है, तो एक सामान्य कैमरा छिपे हुए व्यक्ति का पीछा खो सकता है। MuPPet दिखाई देने वाले लोगों की गति का उपयोग यह "अनुमान" लगाने के लिए करता है कि छिपा हुआ व्यक्ति कहाँ है, जिससे 3D मॉडल पूर्ण और सटीक बना रहता है।

संक्षेप में

MuPPet एक नया AI सिस्टम है जो लोगों के समूहों के सपाट 2D वीडियो को सटीक 3D मॉडल में बदल देता है। यह निम्नलिखित तरीकों से करता है:

खाली जगहों को भरने के लिए (केवल व्यक्तियों को ही नहीं बल्कि) समूह की बात सुनता है।
नाम टैग पहनता है ताकि वह कभी भी ट्रैक न खोए कि कौन कौन है।
डेटा को फेंटता है ताकि मानवीय अंतःक्रिया के सामान्य नियमों को सीख सके।
सबसे सटीक 3D स्थिति का अनुमान लगाने के लिए सुधार का खेल खेलता है।

यह तकनीक उन रोबोटों के लिए एक बड़ा कदम है जिन्हें समूहों के साथ बातचीत करने, सामाजिक गतिशीलता का विश्लेषण करने, और वास्तविक आभासी दुनिया बनाने की आवश्यकता है जहाँ डिजिटल अवतार स्वाभाविक रूप से एक साथ चल सकें।

यहाँ शोध पत्र "MuPPet: Multi-person 2D-to-3D Pose Lifting" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मल्टी-पर्सन 2D-टू-3D पोज़ लिफ्टिंग (multi-person 2D-to-3D pose lifting) की चुनौती को संबोधित करता है, विशेष रूप से सामाजिक अंतःक्रिया (social interaction) के परिदृश्यों में। जबकि 2D पोज़ एस्टिमेशन में काफी प्रगति हुई है, एक समूह सेटिंग में इन 2D डिटेक्शन्स को 3D एब्सोल्यूट कोऑर्डिनेट्स में बदलना अभी भी कठिन बना हुआ है, जिसके कारण निम्नलिखित हैं:

व्यक्तियों के बीच संबंध (Inter-person Relationships): मौजूदा तरीके अक्सर व्यक्तियों को स्वतंत्र रूप से देखते हैं, जिससे वे उस "सुसंगतता" (coherence), "समकालिकता" (synchrony), और "अनुकरण" (mimicry) की उपेक्षा करते हैं जो सामाजिक समूहों में निहित होती है।
परिवर्तनीय समूह आकार (Variable Group Sizes): कई स्टेट-ऑफ-द-आर्ट (SOTA) मल्टी-पर्सन विधियाँ (जैसे, POTR-3D) निश्चित समूह आकारों पर प्रशिक्षित होती हैं, जिनमें छोटे समूहों के लिए ज़ीरो-पैडिंग (zero-padding) की आवश्यकता होती है, जो वास्तविक दुनिया के गतिशील दृश्यों के लिए अव्यवहारिक है।
अवरोध (Occlusion): भीड़भाड़ वाले सामाजिक परिवेश में, व्यक्ति अक्सर एक-दूसरे को ढक लेते हैं। सिंगल-पर्सन मॉडल आसपास के लोगों के संदर्भ (context) के बिना अवरुद्ध पोज़ का अनुमान लगाने में संघर्ष करते हैं।
सापेक्ष बनाम पूर्ण स्थान (Absolute vs. Relative Space): सामाजिक अंतःक्रिया विश्लेषण के लिए एब्सोल्यूट (absolute) 3D पोज़ (वास्तविक दुनिया में स्थितियाँ) की आवश्यकता होती है न कि केवल सापेक्ष (relative) पोज़ की, क्योंकि यह स्थानिक संबंधों और समूह गतिशीलता (जैसे, F-formations) के विश्लेषण की अनुमति देता है।

2. कार्यप्रणाली: MuPPet (Methodology: MuPPet)

MuPPet एक डिफ्यूजन-आधारित फ्रेमवर्क है जिसे कई लोगों के डिटेक्ट किए गए 2D पोज़ को एब्सोल्यूट 3D पोज़ में बदलने के लिए डिज़ाइन किया गया है। इसकी वास्तुकला तीन मुख्य नवाचारों से बनी है:

A. आर्किटेक्चर ओवरव्यू (Architecture Overview)

इनपुट: 2D पोज़ जॉइंट्स का एक अनुक्रम ( $T \times P \times J \times 2$ ), जहाँ $T$ समय है, $P$ लोगों की संख्या (डायनेमिक) है, और $J$ जॉइंट्स की संख्या है।
बैकबोन (Backbone): एक ट्रांसफार्मर-आधारित डिनोइज़र (denoiser) जो एक डिनोइजिंग डिफ्यूजन प्रोबेबिलिस्टिक मॉडल (DDPM) में एकीकृत है।
प्रक्रिया: मॉडल एक नॉइज़ी 3D पोज़ लेता है और इनपुट 2D पोज़ पर आधारित होकर, अंतिम एब्सोल्यूट 3D पोज़ की भविष्यवाणी करने के लिए $N$ चरणों में इसे पुन: व्यवस्थित (denoise) करता है।

B. प्रमुख घटक (Key Components)

डायनेमिक मल्टी-पर्सन स्पेशियल अटेंशन (Dynamic Multi-Person Spatial Attention):
- यह मानक सेल्फ-अटेंशन (जो आमतौर पर एक व्यक्ति के भीतर लागू होता है) को दृश्य में सभी लोगों के सभी जॉइंट्स के पूरे सेट तक विस्तारित करता है।
- फीचर्स को $(P \cdot J) \times 512$ के रूप में रीशेप करके, मॉडल विभिन्न व्यक्तियों के जॉइंट्स के बीच संबंधों को कैप्चर करता है।
- अटेंशन वेट्स लोगों की संख्या $P$ से स्वतंत्र हैं, जिससे मॉडल बिना रिट्रेनिंग या पैडिंग के डायनेमिक ग्रुप साइज़ को संभाल सकता है।
पर्सन एनकोडिंग (Person Encoding - PE):
- चूंकि अटेंशन मैकेनिज्म सभी टोकन को समान रूप से मानता है, इसलिए यह स्वाभाविक रूप से यह अंतर नहीं कर सकता कि कौन सा जॉइंट किस व्यक्ति का है।
- MuPPet सीखने योग्य पर्सन एनकोडिंग ( $E \in \mathbb{R}^{P \times 512}$ ) पेश करता है जिसे एक विशिष्ट व्यक्ति के सभी जॉइंट्स के फीचर्स में जोड़ा जाता है।
- यह स्पष्ट रूप से मॉडल को व्यक्तिगत पहचानों के बारे में सूचित करता है, जिससे यह व्यक्तियों के बीच सहसंबंधों (correlations) को प्रभावी ढंग से सीखने में सक्षम होता है।
परम्यूटेशन लर्निंग (Permutation Learning - डेटा ऑग्मेंटेशन):
- मानक ऑग्मेंटेशन (रोटेशन/ट्रांसलेशन) व्यक्तियों के बीच के संबंधों को तोड़ देते हैं। MuPPet एक नया ऑग्मेंटेशन स्ट्रैजी पेश करता है:
  - सुपरसेट परम्यूटेशन (Superset Permutation): इनपुट में लोगों के क्रम ( $P$ ) को बेतरतीब ढंग से पुनर्व्यवस्थित करना।
  - सबसेट परम्यूटेशन (Subset Permutation): लोगों के एक उपसमुच्चय (जैसे, $P-1$ या $P-2$ ) को बेतरतीब ढंग से चुनना और उन्हें परम्यूट करना।
- पर्सन एनकोडिंग के कारण, मॉडल इनपुट ऑर्डर या ग्रुप साइज के बावजूद व्यक्तियों को अलग कर सकता है, जो प्रशिक्षण विविधता को काफी बढ़ा देता है।
डिफ्यूजन प्रोसेस और लॉस (Diffusion Process & Loss):
- यह अवरुद्ध (occluded) जॉइंट्स के लिए विविध परिकल्पनाएं (hypotheses) उत्पन्न करने के लिए डिफ्यूजन प्रक्रिया का उपयोग करता है, और अंतिम भविष्यवाणी को रिफाइन करने के लिए उन्हें औसत के माध्यम से एकत्रित करता है।
- लॉस फंक्शन (Loss Function): यह लॉस को एब्सोल्यूट रूट (ग्लोबल पोजीशन) और रिलेटिव जॉइंट्स (बॉडी शेप) में विभाजित करता है। एक भारित योग ( $\lambda \mathcal{L}_{abs} + (1-\lambda)\mathcal{L}_{rel}$ ) ग्लोबल लोकेशन बनाम रिलेटिव पोज़ की भविष्यवाणी की कठिनाई को संतुलित करता है।

3. प्रमुख योगदान (Key Contributions)

डायनेमिक ग्रुप हैंडलिंग: एक विधि जो समूह अंतःक्रिया में लोगों की डायनेमिक संख्या के लिए पोज़ को लिफ्ट करने में सक्षम है, जो पिछले कार्यों की फिक्स्ड-साइज़ सीमाओं को पार करती है।
स्पष्ट इंटर-पर्सन मॉडलिंग: पर्सन एनकोडिंग और डायनेमिक स्पेशियल अटेंशन का संयोजन मॉडल को व्यक्तियों के बीच के सहसंबंधों को स्पष्ट रूप से सीखने और उनका लाभ उठाने की अनुमति देता है।
नवाचारी ऑग्मेंटेशन: सामाजिक संबंधों को बाधित किए बिना प्रशिक्षण विविधता को बढ़ाने के लिए परम्यूटेशन लर्निंग (सुपरसेट और सबसेट) का परिचय।
बेहतर ऑक्लूजन हैंडलिंग: यह फ्रेमवर्क समूह के स्थानिक संदर्भ (spatial context) के आधार पर लुप्त पोज़ का अनुमान लगाकर, ऑक्लूडेड परिदृश्यों में सिंगल-पर्सन बेसलाइन से काफी बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Haggling और CMU Panoptic डेटासेट पर MuPPet का मूल्यांकन किया।

सिंगल-पर्सन बेसलाइन्स (D3DP) के विरुद्ध:
- MuPPet ने Haggling डेटासेट पर एब्सोल्यूट जॉइंट एरर में 17.2% और रिलेटिव जॉइंट एरर में 6.4% के सुधार के साथ SOTA सिंगल-पर्सन डिफ्यूजन विधि (D3DP) को पछाड़ दिया।
- सुधार सबसे अधिक एब्सोल्यूट रूट एरर में देखा गया, जो ग्लोबल पोजिशनिंग के लिए ग्रुप डायनेमिक्स को मॉडल करने के लाभ को सिद्ध करता है।
मल्टी-पर्सन SOTA (VirtualPose, POTR-3D) के विरुद्ध:
- CMU Panoptic डेटासेट पर, MuPPet ने तुलना की गई सभी विधियों में सबसे कम मीन पर जॉइंट पोजिशनल एरर (MPJPE) (55.8 mm औसत) प्राप्त किया, जो डायरेक्ट 3D एस्टिमेशन और अन्य 2D-टू-3D लिफ्टिंग विधियों दोनों से बेहतर है।
ऑक्लूजन अध्ययन (Occlusion Study):
- जैसे-जैसे अवरुद्ध (occluded) जॉइंट्स की संख्या बढ़ी, MuPPet और सिंगल-पर्सन मॉडल्स के बीच का प्रदर्शन अंतर बढ़ता गया। MuPPet ने महत्वपूर्ण अवरोध के बावजूद उच्च सटीकता बनाए रखी, जबकि सिंगल-पर्सन मॉडल तेजी से खराब हुए।
एब्लेशन स्टडीज (Ablation Studies):
- पर्सन एनकोडिंग को हटाने से एब्सोल्यूट पोज़ सटीकता में भारी गिरावट आई।
- परम्यूटेशन लर्निंग (सुपरसेट और सबसेट दोनों) को हटाने से प्रदर्शन गिर गया, जो पुष्टि करता है कि ये ऑग्मेंटेशन विभिन्न समूह आकारों के लिए सामान्यीकरण (generalization) के लिए महत्वपूर्ण हैं।
- डिफ्यूजन प्रोसेस को आवश्यक पाया गया, जिसने एब्सोल्यूट एरर को डिफ्यूजन के बिना 167.5 mm से घटाकर 119.5 mm कर दिया।

5. महत्व (Significance)

MuPPet सामाजिक रूप से जागरूक 3D पोज़ एस्टिमेशन (socially-aware 3D pose estimation) की दिशा में एक महत्वपूर्ण कदम है। व्यक्तियों के बीच के संबंधों को स्पष्ट रूप से मॉडल करके, यह लोगों को अलग-थलग संस्थाओं के रूप में देखने के बजाय उनके बीच के संबंधों को समझता है।

व्यावहारिक अनुप्रयोग: डायनेमिक ग्रुप साइज़ और ऑक्लूजन को संभालने की क्षमता इसे ह्यूमनॉइड रोबोट इंटरेक्शन, क्राउड एनालिसिस और सोशल बिहेवियर स्टडीज जैसे वास्तविक दुनिया के अनुप्रयोगों के लिए उपयुक्त बनाती है।
एब्सोल्यूट स्पेस: एब्सोल्यूट 3D कोऑर्डिनेट्स पर ध्यान केंद्रित करना भौतिक दूरियों और समूह संरचनाओं (जैसे, F-formations) के विश्लेषण को सक्षम बनाता है, जो सामाजिक गतिशीलता को समझने के लिए महत्वपूर्ण हैं लेकिन पहले मल्टी-पर्सन सेटिंग्स में सटीक रूप से अनुमान लगाना कठिन था।
भविष्य की दिशा: शोध पत्र सुझाव देता है कि मल्टी-मोडल डेटा (जैसे, ऑडियो) को शामिल करने से ग्रुप सेटिंग्स में पोज़ इंफरेंस को और बेहतर बनाया जा सकता है।