💻 computer science

Generative 6D Pose Estimation via Conditional Flow Matching

यह शोधपत्र Flose को प्रस्तुत करता है, जो एक जनरेटिव 6D पोज़ एस्टीमेशन विधि है जो ऑब्जेक्ट सिमिट्रीज़ (वस्तु की समरूपता) को प्रभावी ढंग से हल करने और BOP बेंचमार्क पर मौजूदा दृष्टिकोणों से बेहतर प्रदर्शन करने के लिए ज्यामितीय मार्गदर्शन के साथ अपीयरेंस-आधारित सिमेंटिक फीचर्स को एकीकृत करके इस कार्य को $\mathbb{R}^3$ में कंडीशनल फ्लो मैचिंग के रूप में तैयार करती है।

मूल लेखक: Amir Hamza, Davide Boscaini, Weihang Li, Benjamin Busam, Fabio Poiesi

प्रकाशित 2026-02-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amir Hamza, Davide Boscaini, Weihang Li, Benjamin Busam, Fabio Poiesi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट हैं जो एक बिखरी हुई मेज से कॉफी मग उठाने की कोशिश कर रहे हैं। ऐसा करने के लिए, आपको यह जानना होगा कि मग वास्तव में कहाँ है (उसकी स्थिति/position) और वह किस दिशा में है (उसका ओरिएंटेशन/orientation)। रोबोटिक्स की दुनिया में, इसे 6D पोज़ एस्टीमेशन (6D Pose Estimation) कहा जाता है।

समस्या यह है कि मग (और कई अन्य वस्तुएं) काफी पेचीदा होते हैं। वे सममित (symmetrical) हो सकते हैं (जैसे कि एक साधारण बेलनाकार वस्तु), किसी किताब के पीछे आंशिक रूप से छिपे हो सकते हैं, या कचरे/बिखराव से ढके हो सकते हैं। पुराने तरीके केवल एक चुंबक का उपयोग करके घास के ढेर में सुई खोजने या केवल आकार देखकर पहेली के टुकड़े के स्थान का अनुमान लगाने जैसा है। वे समरूपता (symmetry) से भ्रमित हो सकते हैं या अव्यवस्था में विफल हो सकते हैं।

यहाँ Flose आता है, जो इस शोध पत्र में वर्णित एक नया AI तरीका है। Flose को एक ऐसे जासूस के रूप में न देखें जो सुरागों की तलाश कर रहा है, बल्कि एक मूर्तिकार के रूप में देखें जो एक क्षतिग्रस्त मूर्ति को पुनर्स्थापित कर रहा है।

Flose कैसे काम करता है, यहाँ इसके सरल चरणों का विवरण दिया गया है:

1. दो आँखें: ज्यामिति (Geometry) और "वाइब" (Vibe)

अधिकांश रोबोटों के पास देखने के दो तरीके होते हैं:

ज्यामिति (आकार): वे वस्तु के 3D आकार (जैसे कि एक CAD ब्लूप्रिंट) को जानते हैं।
सिमेंटिक्स (दिखावट): वे जानते हैं कि वस्तु कैसी दिखती है (रंग, बनावट, लोगो)।

पुराने तरीके अक्सर आकार पर बहुत अधिक निर्भर करते थे। यदि आपके पास एक गोल, सफेद गोंद की बोतल है, तो केवल आकार यह नहीं बता सकता कि "ऊपर" की दिशा कौन सी है क्योंकि वह सभी तरफ से एक जैसी दिखती है।
Flose की तरकीब: यह आकार को "वाइब" के साथ जोड़ता है। यह यह समझने के लिए एक पूर्व-प्रशिक्षित "सुपर-विज़न" मस्तिष्क (जिसे विजन फाउंडेशन मॉडल कहा जाता है) का उपयोग करता है कि बोतल का सामने वाला हिस्सा लेबल वाला है और पीछे का हिस्सा सादा है। यह इसे "ऊपर की दिशा कौन सी है?" वाली पहेली को सुलझाने में मदद करता है, भले ही आकार सममित क्यों न हो।

2. जादुई प्रक्रिया: गंदगी को "डीनोइज़िंग" (Denoising) करना

कल्पना कीजिए कि आपके पास मग का एक आदर्श 3D मॉडल है (स्वच्छ संस्करण) और मेज पर रखे मग का एक बिखरा हुआ, आंशिक स्कैन है (शोर वाला/noisy संस्करण)। शोर वाला स्कैन त्रुटियों, गायब हिस्सों और अतिरिक्त कचरे से भरा है।

Flose उस शोर वाले स्कैन को स्टैटिक शोर के बादल की तरह मानता है।

लक्ष्य: यह उस शोर वाले बादल को एक आदर्श, स्वच्छ आकार में बदलना चाहता है।
विधि: तुरंत बिंदु-दर-बिंदु मिलान करने की कोशिश करने के बजाय (जो चीजों के बिखरे होने पर कठिन होता है), Flose कंडीशनल फ्लो मैचिंग (Conditional Flow Matching) नामक प्रक्रिया का उपयोग करता है।
उपमा: कल्पना कीजिए कि शोर वाले बिंदु धुंधले कमरे में लोगों की भीड़ की तरह हैं, जो भ्रमित हैं और बेतरतीब ढंग से खड़े हैं। Flose एक विशिष्ट गाना बजाने वाला डीजे (DJ) है (जो वस्तु के आकार और दिखावट के आधार पर "कंडीशनिंग" है)। जैसे-जैसे संगीत बजता है, भीड़ धीरे-धीरे सही फॉर्मेशन में नाचने और अपनी सही जगह पर जाने लगती है। Flose हर एक बिंदु को उसके शोर वाले स्थान से उसके आदर्श स्थान तक ले जाने के लिए "डांस मूव्स" (फ्लो) को सीखता है।

3. "बुरे तत्वों" (Outliers) को संभालना

कभी-कभी, "डांस" गलत हो जाता है। कुछ बिंदु भ्रमित हो सकते हैं और गलत जगह पर पहुँच सकते हैं (आउटलियर्स)।

पुराने तरीके: यदि आप सभी बिंदुओं का उपयोग करके अंतिम स्थिति की गणना करने का प्रयास करते हैं, तो वे कुछ बुरे तत्व पूरे परिणाम को गलत दिशा में ले जाते हैं। यह एक समूह के केंद्र को खोजने जैसा है जहाँ एक व्यक्ति 10 मील दूर खड़ा है; औसत गलत होगा।
Flose का समाधान: यह RANSAC (एक सांख्यिकीय विधि) का उपयोग करता है। कल्पना कीजिए कि एक क्लब में एक बाउंसर (bouncer) है। बाउंसर कोने में चिल्लाने वाले पागल लोगों को अनदेखा करता है और केवल उन छोटे समूह की बात सुनता है जो वास्तव में तालमेल में नाच रहे हैं। Flose "तालमेल में रहने वाले" बिंदुओं के समूह को ढूंढता है, केवल उन्हीं के आधार पर स्थिति की गणना करता है, और बाकी को अनदेखा कर देता है। यह इसे अव्यवस्था और शोर के प्रति अविश्वसनीय रूप से मजबूत बनाता है।

4. परिणाम

जब Flose अपना काम पूरा कर लेता है, तो यह रोबोट को बताता है: "मग यहाँ है, और यह इस दिशा में है।"

यह बेहतर क्यों है: यह तब भी काम करता है जब वस्तु सममित हो (क्योंकि यह बनावट/लेबल को पढ़ता है)।
यह तेज़ क्यों है: इसे दुनिया की हर वस्तु के लिए एक अलग मस्तिष्क प्रशिक्षित करने की आवश्यकता नहीं है। एक स्मार्ट मॉडल कई अलग-अलग वस्तुओं को संभाल सकता है, जिससे समय और कंप्यूटर पावर की बचत होती है।

निष्कर्ष

Flose ऐसा है जैसे रोबोट को एक ऐसा चश्मा देना जो किसी वस्तु के आकार और बनावट दोनों को देख सके, और फिर उसे वास्तविक दुनिया की फोटो की गंदगी को साफ करने के लिए सिखाना ताकि वह सटीक फिट पा सके। यह रोबोटों के लिए 3D दुनिया को समझने का एक स्मार्ट और अधिक लचीला तरीका है, जो उन्हें बिना भ्रमित हुए कॉफी मग, गोंद की बोतलें और अनाज के डिब्बे उठाने में मदद करता है।

यहाँ शोध पत्र "Generative 6D Pose Estimation via Conditional Flow Matching" (Flose) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

यह शोध पत्र इंस्टेंस-लेवल 6D पोज एस्टिमेशन (instance-level 6D pose estimation) को संबोधित करता है, जिसमें RGB-D डेटा और एक ज्ञात 3D CAD मॉडल का उपयोग करके कैमरा फ्रेम के सापेक्ष किसी वस्तु की 3D स्थिति ( $t \in \mathbb{R}^3$ ) और ओरिएंटेशन ( $R \in SO(3)$ ) का निर्धारण किया जाता है।

वर्तमान सीमाएँ:

डायरेक्ट रिग्रेशन मेथड्स (Direct Regression Methods): न्यूरल नेटवर्क जो सीधे SE(3) मैनिफोल्ड में पोज को रिग्रेट करते हैं, वे अक्सर ऑब्जेक्ट सिमेट्री (object symmetries) (जहाँ कई पोज़ समान दिखते हैं) के साथ संघर्ष करते हैं और उनमें स्पष्ट पिक्सेल-टू-3D अलाइनमेंट की कमी होती है, जिससे सटीकता कम हो जाती है।
इनडायरेक्ट (फीचर मैचिंग) मेथड्स (Indirect/Feature Matching Methods): ये स्थानीय फीचर सहसंबंधों (local feature correspondences) को स्थापित करने पर निर्भर करते हैं। ये तब विफल हो जाते हैं जब वस्तुओं में विशिष्ट स्थानीय फीचर्स की कमी होती है (टेक्सचर-लेस) या जब सिमेट्री के कारण फीचर्स अस्पष्ट होते हैं।
मौजूदा जेनेरेटिव मेथड्स (Existing Generative Methods): 3D कार्यों के लिए पूर्ववर्ती फ्लो मैचिंग या डिफ्यूजन दृष्टिकोण आमतौर पर केवल जियोमेट्रिक गाइडेंस (geometric guidance) पर निर्भर करते हैं। यह उन्हें उन सिमेट्रिक आकारों में अस्पष्टता के प्रति संवेदनशील बनाता है जहाँ टेक्सचर ही एकमात्र विभेदक संकेत (disambiguating cue) होता है। इसके अलावा, वे अक्सर ग्लोबल अलाइनमेंट (जैसे SVD) का उपयोग करते हैं जो डिनोइजिंग प्रक्रिया के दौरान उत्पन्न आउटलेर्स (outliers) के प्रति संवेदनशील होता है।

2. कार्यप्रणाली: Flose

लेखक Flose (6D पोज एस्टिमेशन के लिए फ्लो मैचिंग) प्रस्तावित करते हैं, जो एक जेनेरेटिव फ्रेमवर्क है जो पोज एस्टिमेशन को $\mathbb{R}^3$ में एक कंडीशनल फ्लो मैचिंग (Conditional Flow Matching - CFM) समस्या के रूप में तैयार करता है। यह पाइपलाइन तीन चरणों से मिलकर बनी है:

A. फीचर एनकोडिंग (मल्टी-मोडल फ्यूजन)

सिमेट्री और ऑक्लूजन (occlusion) के कारण होने वाली अस्पष्टता को दूर करने के लिए, Flose क्वेरी ऑब्जेक्ट पॉइंट क्लाउड ( $Q$ ) और टारगेट ऑब्जेक्ट पॉइंट क्लार्ड ( $T$ ) दोनों के लिए दो प्रकार के फीचर्स को फ्यूज करता है:

ओवरलैप-अवेयर जियोमेट्रिक फीचर्स (Overlap-Aware Geometric Features): इन्हें PointTransformerV3 पर आधारित एक लर्नबल एनकोडर ( $\Phi_\Theta$ ) का उपयोग करके निकाला जाता है। यह भविष्यवाणी करता है कि कौन से बिंदु वस्तु और दृश्य के बीच ओवरलैपिंग क्षेत्र के हैं, जिससे जियोमेट्रिक कॉन्टेक्स्ट प्राप्त होता है।
अपीयरेंस-अवेयर सिमेंटिक फीचर्स (Appearance-Aware Semantic Features): इन्हें एक फ्रोजन विज़न फाउंडेशन मॉडल (VFM), विशेष रूप से DINOv2 का उपयोग करके निकाला जाता है।
- टारगेट ऑब्जेक्ट के लिए, RGB इमेज से पिक्सेल फीचर्स को 3D पॉइंट्स पर मैप किया जाता है।
- क्वेरी ऑब्जेक्ट (CAD मॉडल) के लिए, मल्टी-व्यू रेंडरिंग्स को VFM द्वारा प्रोसेस किया जाता है, और फीचर्स को 3D पॉइंट्स पर मैप किया जाता है।
- ये सिमेंटिक फीचर्स टेक्सचर/अपीयरेंस के आधार पर सिमेट्रिक भागों (जैसे ग्लू बॉटल का अगला बनाम पिछला हिस्सा) के बीच अंतर करने के लिए महत्वपूर्ण हैं।

फ्यूजन (Fusion): जियोमेट्रिक और सिमेंटिक फीचर्स को नॉर्मलाइज़ किया जाता है और एक एकीकृत डिस्क्रिप्टर $F$ बनाने के लिए पॉइंट-वाइज जोड़ा जाता है।

B. कंडीशनल फ्लो मैचिंग (जेनेरेटिव डिनोइजिंग)

Flose का मुख्य भाग एक जेनेरेटिव नेटवर्क ( $\Psi_\Omega$ ) है जो एक नॉइजी पॉइंट क्लाउड को टारगेट पोज में बदलने के लिए एक वेक्टर फील्ड सीखता है।

प्रक्रिया: सिस्टम एक नॉइजी पॉइंट क्लाउड $X(1)$ (गौसियन नॉइज़) और सोर्स पॉइंट क्लाउड $Q$ से शुरू होता है। इसका लक्ष्य साफ टारगेट $X(0)$ (सही पोज में वस्तु) को रिकवर करना है।
कंडीशनिंग (Conditioning): पिछले कार्यों के विपरीत, जो केवल जियोमेट्री पर कंडीशन करते हैं, Flose फ्लो मॉडल को फ्यूज्ड सिमेंटिक और जियोमेट्रिक फीचर्स ( $C$ ) पर कंडीशन करता है।
मैकेनिज्म (Mechanism): नेटवर्क एक वेलोसिटी फील्ड $V$ प्रेडिक्ट करता है जो टारगेट पॉइंट क्लाउड $T$ (जो क्वेरी के कैनोनिकल फ्रेम में ट्रांसफॉर्म किया गया है) को ग्राउंड ट्रुथ के साथ अलाइन करने के लिए इटरेटिवली डिनोइज़ करता है। यह ऑयलर इंटीग्रेशन स्टेप्स (Euler integration steps) के माध्यम से किया जाता है।
आउटपुट (Output): परिणाम एक डिफॉर्म्ड पॉइंट क्लाउड $\hat{T}$ है जो रिजिडली अलाइन्ड टारगेट का अनुमान लगाता है।

C. रोबस्ट पोज एस्टिमेशन (RANSAC + ICP)

चूंकि फ्लो मैचिंग प्रक्रिया एक नॉन-रिजिड डिफॉर्मेशन (बिना स्पष्ट रिजिडिटी कंस्ट्रेंट्स के पॉइंट-वाइज डिस्प्लेसमेंट) उत्पन्न करती है, इसलिए परिणामी पॉइंट क्लाउड में आउटलेर्स होते हैं।

RANSAC रजिस्ट्रेशन: ग्लोबल SVD (जो आउटलेर्स के साथ विफल हो जाता है) के बजाय, Flose मिनिमल सेट ऑफ कोरेस्पोंडेंस को सैंपल करने के लिए RANSAC का उपयोग करता है। यह वह रिजिड ट्रांसफॉर्मेशन ( $R, t$ ) खोजने के लिए ऑर्थोगोनल प्रोक्रस्टेस समस्या (काबश एल्गोरिदम) को हल करता है जो इनलायर्स की संख्या को अधिकतम करता है।
रिफाइनमेंट (Refinement): अवशेष अलाइनमेंट त्रुटियों (residual alignment errors) को ठीक करने के लिए प्रारंभिक पोज को ICP (Iterative Closest Point) का उपयोग करके रिफाइन किया जाता है।

3. प्रमुख योगदान

नया फॉर्मूलेशन: Flose $\mathbb{R}^3$ में कंडीशनल फ्लो मैचिंग समस्या के रूप में इंस्टेंस-लेवल 6D पोज एस्टिमेशन को फ्रेम करने वाला पहला तरीका है।
सिमेंटिक-जियोमेट्रिक फ्यूजन: यह फाउंडेशन मॉडल्स (DINOv2) से प्राप्त सिमेंटिक फीचर्स को जियोमेट्रिक फीचर्स के साथ एकीकृत करता है। यह विशेष रूप से सिमेट्री एम्बिग्युटी (symmetry ambiguity) की समस्या को हल करता है, जिससे मॉडल टेक्सचर/अपीयरेंस के आधार पर सिमेट्रिक भागों के बीच अंतर कर सकता है।
रोबस्ट रजिस्ट्रेशन: यह आउटलेर्स को प्रभावी ढंग से फिल्टर करने के लिए ग्लोबल अलाइनमेंट को RANSAC-आधारित रजिस्ट्रेशन से बदल देता है, जिससे क्लटर्ड सीन्स में मजबूती काफी बढ़ जाती है।
दक्षता (Efficiency): यह एक सिंगल मॉडल प्रति डेटासेट (Single Model setting) के रूप में काम करता है, जो प्रति-ऑब्जेक्ट समर्पित मॉडल की आवश्यकता वाले तरीकों की तुलना में प्रशिक्षण और अनुमान लागत को कम करता है।

4. प्रयोगात्मक परिणाम

इस पद्धति का मूल्यांकन BOP बेंचमार्क के पाँच डेटासेट्स (LM-O, T-LESS, TUD-L, IC-BIN, YCB-V) पर किया गया, जो विविध वस्तुओं, टेक्सचर और ऑक्लूजन स्तरों को कवर करते हैं।

प्रदर्शन (Performance):
- सिंगल-मॉडल प्रतिस्पर्धियों के मुकाबले: Flose अग्रणी सिंगल-मॉडल विधि (PFA) से +4.5 एवरेज रिकॉल (AR) से बेहतर प्रदर्शन करता है।
- पर-ऑब्जेक्ट प्रतिस्पर्धियों के मुकाबले: स्टेट-ऑफ-द-आर्ट पर-ऑब्जेक्ट मेथड्स (जैसे GDRNPP) के मुकाबले भी, Flose +1.2 AR प्राप्त करता है, जबकि बहुत कम संसाधनों की आवश्यकता होती है (प्रति-ऑब्जेक्ट 54 मॉडल्स के बजाय 1 मॉडल प्रति डेटासेट ट्रेन करना)।
एब्लेशन स्टडीज (Ablation Studies):
- फीचर फ्यूजन: केवल अपीयरेंस के उपयोग की तुलना में सिमेंटिक और ओवरलैप-अवेयर फीचर्स को मिलाने से +15.0 AR का लाभ हुआ और केवल ओवरलैप के उपयोग की तुलना में +2.6 AR का लाभ हुआ।
- आउटलेयर हैंडलिंग: SVD के बजाय RANSAC का उपयोग करने से इन्लियर रेशियो (IR) में काफी सुधार हुआ, विशेष रूप से सख्त थ्रेशोल्ड पर।
- सिमेट्री हैंडलिंग: प्रदर्शन में वृद्धि सबसे अधिक सिमेट्रिक ऑब्जेक्ट्स (जैसे LM-O डेटासेट) पर देखी गई, जो सिमेट्रिक भागों को सुलझाने में सिमेंटिक फीचर्स की प्रभावकारिता की पुष्टि करती है।
क्वालिटेटिव रिजल्ट्स (Qualitative Results): विजुअल तुलना दिखाती है कि Flose गंभीर ऑक्लूजन के तहत सफलतापूर्वक वस्तुओं को अलाइन करता है और सिमेट्री के मुद्दों को हल करता है जहाँ शुद्ध जियोमेट्रिक बेसलाइन (RPF) विफल हो जाते हैं।

5. महत्व

Flose, जेनेरेटिव मॉडलिंग और फाउंडेशन मॉडल सिमेंटिक्स का लाभ उठाकर 6D पोज एस्टिमेशन में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है।

मजबूती (Robustness): यह वर्तमान विधियों के दो मुख्य फेल्योर मोड्स को दूर करता है: सिमेट्री अस्पष्टता (सिमेंटिक्स के माध्यम से) और आउटलेयर संवेदनशीलता (RANSAC के माध्यम से)।
स्केलेबिलिटी (Scalability): प्रति-ऑब्जेक्ट के बजाय प्रति-डेटासेट एक सिंगल मॉडल को प्रशिक्षित करके, यह बड़े कैटलॉग वाली वस्तुओं से जुड़े वास्तविक दुनिया के रोबोटिक अनुप्रयोगों के लिए अधिक व्यावहारिक और स्केलेबल समाधान प्रदान करता है।
ट्रेड-ऑफ कंट्रोल: फ्लो मैचिंग की इटरेटिव प्रकृति उपयोगकर्ताओं को इंटीग्रेशन स्टेप्स को एडजस्ट करके सटीकता और अनुमान गति (inference speed) के बीच संतुलन बनाने की अनुमति देती है।

संक्षेप में, Flose यह प्रदर्शित करता है कि जेनेरेटिव फ्लो मैचिंग को समृद्ध सिमेंटिक प्रायर्स और रोबस्ट जियोमेट्रिक रजिस्ट्रेशन के साथ जोड़ने से इंस्टेंस-लेवल 6D पोज एस्टिमेशन के लिए एक नया स्टेट-ऑफ-द-आर्ट सेट होता है।