💻 computer science

Flow Matching for Probabilistic Monocular 3D Human Pose Estimation

यह शोध पत्र FMPose को प्रस्तुत करता है, जो फ्लो मैचिंग पर आधारित एक संभाव्य (प्रोबेबिलिस्टिक) मोनोक्यूलर 3D मानव मुद्रा अनुमान विधि है, जो एक निरंतर सामान्यीकरण प्रवाह (कंटीन्यूअस नॉर्मलाइजिंग फ्लो) पर 2D संकेतों को अनुकूलित करने के लिए ग्राफ कनवल्शनल नेटवर्क का लाभ उठाता है, जिससे यह डिफ्यूजन-आधारित दृष्टिकोणों की तुलना में काफी तेज़ इन्फरेंस गति प्रदान करते हुए मानक बेंचमार्क पर अत्याधुनिक सटीकता प्राप्त करता है।

मूल लेखक: Cuong Le, Pavlo Melnyk, Bastian Wandt, Mårten Wadenbäck

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Cuong Le, Pavlo Melnyk, Bastian Wandt, Mårten Wadenbäck

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "फ्लो मैचिंग फॉर प्रोबेबिलिस्टिक मोनोक्यूलर 3D ह्यूमन पोज़ एस्टिमेशन" (FMPose) के पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ तोड़कर समझाया गया है।

बड़ी समस्या: "फ्लैट फोटो" की पहेली

कल्पना कीजिए कि आपने एक कैमरे के सामने खड़े व्यक्ति की फोटो ली है। फोटो सपाट (2D) है, लेकिन वह व्यक्ति वास्तविक दुनिया (3D) में है। यह पेपर कंप्यूटर के लिए एक बड़ी समस्या की ओर इशारा करता है: डेप्थ एम्बिग्युइटी (गहराई का भ्रम)।

यदि आप फोटो में किसी व्यक्ति का हाथ देखते हैं, तो क्या उनका हाथ कैमरे के करीब है, या दूर? फोटो दोनों ही स्थितियों में एक जैसी ही दिखेगी।

पुराना तरीका: पिछले कंप्यूटर प्रोग्राम केवल एक ही उत्तर का अनुमान लगाने की कोशिश करते थे। वे कहते, "हाथ निश्चित रूप से 2 मीटर दूर है।" लेकिन अगर वे गलत होते, तो भी वे 100% आश्वस्त होते। यह एक मौसम विज्ञानी की तरह है जो कहता है, "निश्चित रूप से बारिश होगी," जबकि बारिश होने की संभावना 50-50 है। यदि बारिश नहीं होती है, तो पूर्वानुमान विफल माना जाता है।
नया लक्ष्य: लेखक चाहते हैं कि कंप्यूटर कहे, "हाथ के 2 मीटर दूर होने की संभावना है, लेकिन यह 1.5 या 2.5 मीटर भी हो सकता है।" वे केवल एक कठोर अनुमान के बजाय संभावनाओं का वितरण (अनुमानों की एक सीमा) चाहते हैं। यह अन्य सिस्टमों (जैसे सेल्फ-ड्राइविंग कारों) को अनिश्चितता समझने में मदद करता है।

समाधान: FMPose (द "फ्लो" मशीन)

लेखकों ने एक नई विधि बनाई है जिसे FMPose कहा जाता है। इसे एक ऐसी मशीन के रूप में सोचें जो "रैंडम शोर के बादल" को "मानव मुद्रा की एक स्पष्ट तस्वीर" में बदल देती है।

1. शुरुआती बिंदु: "गौसियन क्लाउड"

कल्पना कीजिए कि आटे की एक बोरी को हिलाया जा रहा है। आटे के कण हर जगह बेतरतीब ढंग से बिखरे हुए हैं। गणित में, इसे "गौसियन डिस्ट्रीब्यूशन" कहा जाता है।

FMPose यहाँ से शुरू होता है: यह रैंडम, अस्त-व्यस्त 3D आकृतियों के एक बादल से शुरू होता है। इनमें से अभी तक कोई भी वास्तविक इंसान जैसा नहीं दिखता।

2. मानचित्र: "फ्लो मैचिंग"

यही इस पेपर का मुख्य आकर्षण है। उस बिखरे हुए आटे के बादल को एक पूर्ण मानव आकृति में बदलने के लिए, कंप्यूटर को एक मानचित्र की आवश्यकता होती है।

पुराना मानचित्र (डिफ्यूजन मॉडल्स): पिछली विधियों (जैसे DiffPose) ने शोर को साफ करने के लिए छोटे, डगमगाते, रैंडम कदमों के माध्यम से कोशिश की। यह घने कोहरे में से बाहर निकलने के लिए रैंडम कदम उठाते हुए चलने जैसा है। यह काम करता है, लेकिन यह धीमा और अस्थिर है।
नया मानचित्र (ऑप्टिमल ट्रांसपोर्ट): FMPose "फ्लो मैचिंग" का उपयोग करता है। कल्पना कीजिए कि एक नदी पहाड़ (अस्त-व्यस्त शोर) से समुद्र (पूर्ण मानव मुद्रा) तक एक सीधी, सुचारू रेखा में बह रही है। कंप्यूटर इस सीधे पथ को सीखता है। उसे पता है कि आटे को मानव रूप में बदलने के लिए किस दिशा में धकेलना है।
- लाभ: क्योंकि पथ सीधा और सुचारू है, कंप्यूटर पुराने "रैंडम स्टेप" वाले तरीकों की तुलना में बहुत तेज़ी से और कम डगमगाते हुए उत्तर तक पहुँच जाता है।

3. मार्गदर्शक: "ग्राफ कन्वोल्यूशनल नेटवर्क" (GCN)

कंप्यूटर को यह जानने की ज़रूरत है कि उसे क्या आकार बनाना है। इसे एक 2D फोटो से संकेत मिलते हैं।

संकेत: कंप्यूटर पहले एक 2D फोटो देखता है और पाता है कि जोड़ (कंधे, कोहनी, घुटने) कहाँ हैं। लेकिन केवल यह चुनने के बजाय कि जोड़ के लिए सबसे अच्छा अनुमान कहाँ है, यह प्रत्येक जोड़ के लिए शीर्ष 48 सबसे संभावित स्थानों को देखता है।
ग्राफ: मानव शरीर को एक मकड़ी के जाल के रूप में कल्पना करें। जोड़ गांठें हैं, और हड्डियाँ धागे हैं। लेखकों ने एक विशेष टूल बनाया है (एक ग्राफ कन्वोल्यूशनल नेटवर्क) जो इस जाल को देखता है।
- जादू: मानव हड्डियों के जुड़ाव के लिए पहले से बने मानचित्र का उपयोग करने के बजाय (जो बहुत कठोर हो सकता है), यह टूल जुड़ाव को स्वयं सीखता है। यह समझता है कि "जब कोहनी हिलती है, तो कंधे आमतौर पर इस तरह हिलते हैं।" यह 2D संकेतों के आधार पर शरीर के अंगों के बीच संबंध का एक लचीला मानचित्र बनाता है।

यह व्यवहार में कैसे काम करता है

इनपुट: आप इसे एक 2D फोटो देते हैं।
संकेत निष्कर्षण: यह फोटो को देखता है और सभी जोड़ों के लिए सबसे संभावित स्थानों को ढूंढता है, जिससे एक "कंडीशन" (निर्देशों का एक सेट) तैयार होता है।
फ्लो: यह एक रैंडम, अस्त-व्यस्त 3D आकार लेता है और उन निर्देशों द्वारा निर्देशित होकर, एक वास्तविक मानव मुद्रा की ओर एक सुचारू, सीधी गणितीय राह (फ्लो) पर आगे बढ़ता है।
आउटपुट: यह आपको केवल एक मुद्रा नहीं देता। यह उस एकल फोटो के लिए 200 अलग-अलग संभावित मुद्राएं उत्पन्न कर सकता है।
- यदि फोटो स्पष्ट है, तो सभी 200 मुद्राएं लगभग एक जैसी दिखेंगी (उच्च आत्मविश्वास)।
- यदि फोटो धुंधली है या हाथ छिपा हुआ है, तो 200 मुद्राएं अलग-अलग दिशाओं में फैल जाएंगी (यह दर्शाता है कि कंप्यूटर अनिश्चित है)।

यह बेहतर क्यों है? (परिणाम)

लेखकों ने तीन प्रसिद्ध डेटासेट्स (Human3.6M, MPI-INF-3DHP, और 3DPW) पर वर्तमान सर्वोत्तम विधियों (जैसे DiffPose) के मुकाबले FMPose का परीक्षण किया।

सटीकता (Accuracy): FMPose अधिक सटीक है। यह जोड़ों के स्थान का अनुमान लगाने में कम गलतियाँ करता है।
गति (Speed): यह सबसे बड़ी जीत है। क्योंकि FMPose एक "सीधी रेखा" वाले पथ (फ्लो मैचिंग) का उपयोग करता है न कि "डगमगाते" पथ (डिफ्यूजन) का, इसलिए यह काफी तेज़ है।
- उदाहरण: यदि DiffPose एक कैंप खोजने के लिए जंगल में भटकने वाले हाइकर की तरह है, तो FMPose सीधे वहाँ जाने वाले हेलीकॉप्टर की तरह है।
- अपने परीक्षणों में, FMPose प्रतिस्पर्धा की तुलना में 40% तक तेज़ था और साथ ही अधिक सटीक भी था।
दक्षता (Efficiency): कंप्यूटर मॉडल छोटा है और इसमें कम मेमोरी लगती है, जिससे इसे मानक हार्डवेयर पर चलाना आसान हो जाता है।

सीमाएँ (Limitations)

लेखक ईमानदार हैं कि उनका टूल अभी क्या नहीं कर सकता:

यह पूरी तरह से 2D फोटो पर निर्भर है। यदि 2D कैमरा किसी जोड़ को नहीं देख पाता (क्योंकि वह किसी दीवार या वस्तु के पीछे छिपा है), तो कंप्यूटर संभावना के आधार पर अनुमान लगाता है।
यह वर्तमान में यह नहीं देखता कि व्यक्ति ज़मीन को कैसे छू रहा है या वस्तुओं (जैसे कुर्सी पर बैठना) के साथ कैसे इंटरैक्ट कर रहा है। यह केवल शरीर को देखता है।

सारांश

FMPose एक नया तरीका है जिससे कंप्यूटर 2D फोटो से 3D मानव मुद्रा का अनुमान लगाते हैं। एक कठोर उत्तर का अनुमान लगाने या उत्तर खोजने के लिए धीमी, डगमगाती चालें चलने के बजाय, यह एक वास्तविक मानव मुद्रा में बदलने के लिए एक सुचारू, सीधे "फ्लो" का उपयोग करता है। यह पिछले तरीकों की तुलना में तेज़, अधिक सटीक और यह दिखाने में बेहतर है कि वह अपने उत्तर के बारे में कब अनिश्चित है।

तकनीकी सारांश: प्रोबेबिलिस्टिक मोनोकुलर 3D ह्यूमन पोज़ एस्टीमेशन के लिए फ्लो मैचिंग (FMPose)

समस्या विवरण

एक एकल मोनोकुलर कैमरा दृश्य से 3D मानव मुद्रा (pose) को पुनः प्राप्त करना एक अत्यधिक 'इल-पोस्ड' (ill-posed) समस्या है, जो मुख्य रूप से ऑप्टिकल एक्सिस के साथ डेप्थ एम्बिग्युटी (depth ambiguity) के कारण होती है। पारंपरिक नियतात्मक (deterministic) दृष्टिकोण, जो 2D इनपुट के आधार पर एक एकल "सबसे संभावित" 3D पोज़ का अनुमान लगाते हैं, अक्सर गलत लेकिन अत्यधिक आत्मविश्वासी अनुमान प्रदान करते हैं, विशेष रूप से ऑक्लूजन (occlusion) या अस्पष्ट मुद्राओं वाले परिदृश्यों में। जबकि उभरते हुए प्रोबेबिलिस्टिक दृष्टिकोण अनिश्चितता को पकड़ने के लिए वितरणों (distributions) के रूप में 3D अनुमानों को मानते हैं, मौजूदा जनरेटिव विधियाँ (जैसे, वेरिएशनल ऑटोएनकोडर्स, नॉर्मलाइजिंग फ्लो और डिफ्यूजन मॉडल) जटिल आर्किटेक्चर, महंगे स्टोकेस्टिक प्रक्रियाओं या उप-इष्टतम जनरेशन गुणवत्ता से ग्रस्त होती हैं। विशेष रूप से, डिफ्यूजन मॉडल जटिल स्टोकेस्टिक डिफरेंशियल इक्वेशन्स (SDEs) या नाजुक नॉइज़ शेड्यूलिंग प्रक्रियाओं को हल करने की आवश्यकता के कारण उच्च कम्प्यूटेशनल लागत और संभावित अस्थिरता का सामना करते हैं।

कार्यप्रणाली: FMPose

लेखक FMPose प्रस्तावित करते हैं, जो ऑप्टिमल ट्रांसपोर्ट (OT) के साथ फ्लो मैचिंग पर आधारित एक प्रोबेबिलिस्टिक 3D ह्यूमन पोज़ एस्टीमेशन विधि है। मुख्य उद्देश्य एक निरंतर नॉर्मलाइजिंग फ्लो (CNF) सीखना है जो एक सरल स्रोत वितरण (गौसियन नॉइज़) को 2D संकेतों पर आधारित संभावित 3D मानव मुद्राओं के जटिल पोस्टीरियर वितरण (posterior distribution) में मैप करता है।

1. ऑप्टिमल ट्रांसपोर्ट के साथ फ्लो मैचिंग

डिफ्यूजन मॉडल के विपरीत, जो एक स्टोकेस्टिक नॉइज़िंग प्रक्रिया को उलटने (reverse) का प्रयास करते हैं, FMPose एक सरल स्रोत वितरण $x_0$ (गौसियन) से लक्ष्य वितरण $x_1$ (ग्राउंड ट्रुथ 3D पोज़) तक एक सीधा ऑप्टिमल ट्रांसपोर्ट पथ के माध्यम से एक नियतात्मक प्रक्षेपवक्र (trajectory) सीखने का कार्य करता है।

प्रक्षेपवक्र (Trajectory): पथ को लीनियर इंटरपोलेशन द्वारा परिभाषित किया गया है: $x_t = (1-t)x_0 + tx_1$ जहाँ $t \in [0, 1]$ ।
वेलोसिटी फील्ड (Velocity Field): वेलोसिटी $u_t$ केवल पथ का व्युत्पन्न (derivative) है: $u_t = x_1 - x_0$ ।
प्रशिक्षण उद्देश्य (Training Objective): न्यूरल नेटवर्क $f_\theta$ को इस वेलोसिटी फील्ड को एक सरल मीन स्क्वेर्ड एरर (MSE) लॉस का उपयोग करके प्रेडिक्ट करने के लिए प्रशिक्षित किया जाता है, जिससे प्रशिक्षण के दौरान महंगे अनुक्रमिक ODE समाधान की आवश्यकता समाप्त हो जाती है।
अनुमान (Inference): अनुमान के समय, मॉडल $x_0 \sim \mathcal{N}(0, I)$ को सैंपल करके और सीखे गए वेलोसिटी फील्ड $f_\theta(x_t, t, c)$ को एक न्यूमेरिकल ODE सॉल्वर (विशेष रूप से रंगे-कुट्टा 2, RK2) का उपयोग करके इंटीग्रेट करके $x_1$ तक पहुँचकर 3D पोज़ हाइपोथीसिस जेनरेट करता है।

2. ग्राफ कन्वोल्यूशनल नेटवर्क (GCN) के माध्यम से 2D-3D लिफ्टिंग कंडीशन

2D अवलोकनों पर जनरेटिव फ्लो को कंडीशन करने के लिए, लेखक एक नवीन लिफ्टिंग तंत्र पेश करते हैं:

इनपुट प्रतिनिधित्व: केवल 2D हीटमैप्स के अधिकतम तर्क (peak) का उपयोग करने के बजाय, मॉडल HRNet डिटेक्टर द्वारा उत्पन्न हीटमैप्स से शीर्ष- $k$ स्थितियों (arguments) को निकालता है। यह कम आत्मविश्वास वाले संभावित जॉइंट लोकेशन्स सहित संभावित स्थानों की एक विस्तृत श्रृंखला को कैप्चर करता है।
GCN आर्किटेक्चर: इन शीर्ष- $k$ आर्गुमेंट्स को एक ग्राफ कन्वोल्यूशनल नेटवर्क के माध्यम से प्रोसेस किया जाता है। नोड्स मानव जोड़ों (joints) का प्रतिनिधित्व करते हैं, और किनारे (edges) उनके बीच सीखने योग्य कनेक्शन का प्रतिनिधित्व करते हैं।
लर्नेबल एडजेसेंसी (Learnable Adjacency): पूर्ववर्ती कार्यों के विपरीत जो निश्चित मानव कंकाल बाधाओं (skeleton constraints) पर निर्भर करते हैं, FMPose एडजेसेंसी मैट्रिक्स $A$ को शून्य से इनिशियलाइज़ करता है और प्रशिक्षण के दौरान जॉइंट संबंधों को स्क्रैच से सीखता है। यह मॉडल को एनाटॉमिकल प्रायर्स (anatomical priors) द्वारा बाधित होने के बजाय लिफ्टिंग कार्य के लिए विशिष्ट सहसंबंधों को खोजने की अनुमति देता है।
कंडीशन वेक्टर: GCN फीचर्स को एकत्रित करता है ताकि एक कंडीशन वेक्टर $c$ बनाया जा सके, जिसे फ्लो नेटवर्क $f_\theta$ के इनपुट के रूप में वर्तमान पोज़ स्टेट $x_t$ और समय $t$ के साथ कॉन्कैटिनेट (concatenate) किया जाता है।

मुख्य योगदान

OT-फ्लो मैचिंग का प्रथम अनुप्रयोग: लेखकों के ज्ञान के अनुसार, यह प्रोबेबिलिस्टिक 3D ह्यूमन पोज़ एस्टीमेशन के लिए ऑप्टिमल ट्रांसपोर्ट ट्रैजेक्टरीज के साथ स्थिर निरंतर नॉर्मलाइजिंग फ्लो का उपयोग करने वाला पहला कार्य है।
GCN-आधारित लिफ्टिंग कंडीशन: एक GCN के माध्यम से तैयार की गई 2D-3D लिफ्टिंग कंडीशन का प्रस्ताव, जो मानव जोड़ों के बीच सीखने योग्य कनेक्शन को प्रभावी ढंग से एकीकृत करती है, और निश्चित कंकाल बाधाओं या सरल मैक्सिमम-आर्ग्युमेंट इनपुट्स से आगे बढ़ती है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह विधि कई डेटासेट्स पर सिंगल-फ्रेम मल्टी-हाइपोथीसिस 3D HPE के लिए नए बेंचमार्क स्थापित करती है, जो डिफ्यूजन-आधारित समकक्षों की तुलना में सटीकता और प्रोसेसिंग स्पीड में महत्वपूर्ण सुधार प्रदान करती है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन तीन मानक बेंचमार्क पर किया गया: Human3.6M, MPI-INF-3DHP, और 3DPW।

Human3.6M: FMPose (top- $k$ रणनीति का उपयोग करते हुए) ने 200 हाइपोथीसिस के साथ 41.7 mm का MPJPE और 30.6 mm का P-MPJPE प्राप्त किया। यह डिफ्यूजन-आधारित अग्रणी विधि, DiffPose को MPJPE में 2.5 mm (5.6%) और P-MPJPE में 1.5 mm (4.6%) से पीछे छोड़ देता है। अत्यधिक अस्पष्ट मुद्राओं पर, FMPose ने DiffPose की तुलना में MPJPE में 7.6 mm (11.4%) का सुधार किया।
MPI-INF-3DHP: अतिरिक्त फाइन-ट्यूनिंग के बिना, FMPose ने 87.9% का PCK (ग्रीन स्क्रीन के साथ इंडोर) और 84.1% (आउटडोर) प्राप्त किया, जो सभी सेटअपों में DiffPose से बेहतर प्रदर्शन करता है।
3DPW: इस चुनौतीपूर्ण इन-द-वाइल्ड डेटासेट पर, फाइन-ट्यून किए गए FMPose ने 56.2 mm का MPJPE प्राप्त किया, जो अन्य सिंगल-फ्रेम विधियों (जैसे, MultiHMR 61.4 mm पर) से काफी बेहतर है और मल्टी-फ्रेम दृष्टिकोणों के साथ प्रतिस्पर्धी बना हुआ है।
दक्षता (Efficiency): FMPose श्रेष्ठ कम्प्यूटेशनल दक्षता प्रदर्शित करता है। इसे केवल 4.5M पैरामीटर्स की आवश्यकता होती है (DiffPose के 11.5M की तुलना में) और यह 200 हाइपोथीसिस जेनरेट करने के लिए 28 FPS (36ms) प्राप्त करता है। इसके विपरीत, DiffPose को केवल 32 डिनोइजिंग स्टेप्स के लिए 17.5ms की आवश्यकता होती है, लेकिन इसका मॉडल बहुत बड़ा है। FMPose कम इंटीग्रेशन स्टेप्स (जैसे, 32 डिनोइजिंग स्टेप्स के मुकाबले 7 स्टेप्स) के साथ तुलनीय या बेहतर सटीकता प्राप्त करता है और काफी कम लेटेंसी (latency) प्रदान करता है।

महत्व और दावे

पेपर का दावा है कि FMPose प्रोबेबिलिस्टिक 3D पोज़ एस्टीमेशन में सटीकता और दक्षता के बीच महत्वपूर्ण ट्रेड-ऑफ को संबोधित करता है। ऑप्टिमल ट्रांसपोर्ट का उपयोग करते हुए फ्लो मैचिंग फ्रेमवर्क के माध्यम से, लेखक प्रदर्शित करते हैं कि एक नियतात्मक, सीधा-पथ प्रक्षेपवक्र डिफ्यूजन मॉडल द्वारा आवश्यक स्टोकेस्टिक पथों की तुलना में अधिक स्थिर और सटीक है।

इस कार्य का महत्व निम्नलिखित में निहित है:

मजबूती (Robustness): पोज़ का एक वितरण प्रदान करना डाउनस्ट्रीम कार्यों को अनिश्चितता को ध्यान में रखने की अनुमति देता है, विशेष रूप से ऑक्लूडेड जॉइंट्स या अस्पष्ट परिदृश्यों के लिए जहाँ एक एकल नियतात्मक भविष्यवाणी विफल हो सकती है।
दक्षता: यह विधि डिफ्यूजन मॉडल के बिना जनरेशन क्वालिटी से समझौता किए बिना एक तेज़ विकल्प प्रदान करती है, जो इसे रियल-टाइम अनुप्रयोगों के लिए अधिक उपयुक्त बनाती है।
लचीलापन: मॉडल विभिन्न अनुमान रणनीतियों (निश्चित सटीकता के लिए top- $k$ बनाम अनिश्चितता कवरेज के लिए रैंडम सैंपलिंग) का समर्थन करता है और अलग-अलग कम्प्यूटेशनल बजट के लिए ODE सॉल्विंग स्टेप्स की संख्या बदलकर इसे समायोजित किया जा सकता है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि वर्तमान विधि पूरी तरह से 2D हीटमैप्स पर निर्भर है और स्पष्ट रूप से मानव-दृश्य इंटरैक्शन या संपर्क अनुमान (contact estimation) को मॉडल नहीं करती है, जो चुनौतीपूर्ण परिदृश्यों को स्पष्ट करने में मदद कर सकते हैं। भविष्य के कार्य में इन पर्यावरणीय संकेतों को सीधे शामिल करने का सुझाव दिया गया है।