💻 computer science

DefVINS: Visual-Inertial Odometry for Deformable Scenes

यह शोध पत्र DefVINS को प्रस्तुत करता है, जो विरूपित दृश्यों (deformable scenes) के लिए डिज़ाइन किया गया पहला विजुअल-इनर्शियल ओडोमेट्री पाइपलाइन है जो एक रिजिड IMU-एंकर वाले स्टेट को एक नॉन-रिजिड एम्बेडेड डिफॉर्मेशन ग्राफ के साथ जोड़ता है, जिसे एक नए वास्तविक-विश्व बेंचमार्क (VIMandala) और एक अवलोकनीयता विश्लेषण (observability analysis) द्वारा समर्थित किया गया है जो मौजूदा रिजिड और नॉन-रिजिड बेसलाइनों पर इसके उत्कृष्ट प्रदर्शन को प्रदर्शित करता है।

मूल लेखक: Samuel Cerezo, Javier Civera

प्रकाशित 2026-03-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Samuel Cerezo, Javier Civera

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप आँखों पर पट्टी बाँधकर एक भीड़ भरे कमरे में चलने की कोशिश कर रहे हैं, और आपका एक दोस्त हर सेकंड आपको दिशा बताने के लिए चिल्ला रहा है। अधिकांश रोबोट और फोन इसी तरह पता लगाते हैं कि वे कहाँ हैं: वे एक कैमरे (आपकी आँखें) और एक एक्सेलेरोमीटर/जाइरोस्कोप (आपके आंतरिक कान) का उपयोग करके अपनी स्थिति का अनुमान लगाते हैं। इस तकनीक को विजुअल-इनर्शियल ओडोमेट्री (Visual-Inertial Odometry - VIO) कहा जाता है।

आमतौर पर, यह बहुत अच्छा काम करता है क्योंकि हम मानते हैं कि दुनिया रिजिड (rigid) है—यानी दीवारें, मेज और फर्श हिलते, खिंचते या मुड़ते नहीं हैं। आपका मस्तिष्क (और रोबोट का सॉफ़्टवेयर) यह मानता है कि यदि कोई कुर्सी बड़ी दिख रही है, तो इसका मतलब है कि आप उसके करीब आ रहे हैं, न कि कुर्सी किसी गुब्बारे की तरह फूल रही है।

समस्या: "डगमगाती दुनिया" (The Wobbly World)
यह शोध पत्र एक नई प्रणाली DefVINS पेश करता है जो एक विशिष्ट समस्या को हल करने के लिए बनाई गई है: क्या होता है जब दुनिया रिजिड नहीं होती?

कल्पना कीजिए कि आप एक ऐसे कमरे में चल रहे हैं जहाँ:

लोग हाथ हिला रहे हैं।
हवा में लटकते हुए कपड़े लहरा रहे हैं।
एक विशाल, डगमगाती हुई जेली की मूर्ति रखी है।

यदि एक मानक रोबोट इस स्थिति में नेविगेट करने की कोशिश करता है, तो वह भ्रमित हो जाता है। उसे लगता है कि लहराता हुआ हाथ एक दीवार है जो उसकी ओर बढ़ रही है, या उसे लगता है कि लहराता हुआ कपड़ा फर्श का ऊपर उठना है। वह इस हलचल के कारण "नशे में" (drunk) हो जाता है, जिससे दिशा का गंभीर नुकसान (drift) होता है। वह एक अस्थिर दुनिया पर एक कठोर मानचित्र थोपने की कोशिश करता है, और गणित विफल हो जाता है।

समाधान: DefVINS
लेखकों ने DefVINS बनाया है, जो एक नया नेविगेशन सिस्टम है जिसे विशेष रूप से इन "लचीले" (squishy) वातावरणों के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "दो-मस्तिष्क" वाला दृष्टिकोण (The "Two-Brain" Approach)

पूरे पहेली को एक मस्तिष्क से हल करने के बजाय, DefVINS काम को दो भागों में विभाजित करता है:

रिजिड ब्रेन (द एंकर - The Anchor): यह हिस्सा IMU (आंतरिक कान सेंसर) पर भरोसा करता है। यह जानता है कि गुरुत्वाकर्षण हमेशा नीचे की ओर होता है और रोबोट खुद अचानक खिंच या सिकुड़ नहीं सकता। यह एक भारी लंगर (anchor) की तरह काम करता है, जो रोबोट को निरर्थक दिशाओं में बहने से रोकता है।
वोबली ब्रेन (द डेफॉर्मेशन ग्राफ - The Deformation Graph): यह हिस्सा स्वीकार करता है कि वातावरण हिल रहा है। कल्पना कीजिए कि दृश्य एक मकड़ी के जाल की तरह है। यदि आप एक धागे को खींचते हैं, तो पूरा जाल खिसक जाता है। DefVINS दृश्य में बिंदुओं का एक "मकड़ी का जाल" बनाता है। यह इन बिंदुओं को एक-दूसरे के सापेक्ष खिंचने और फिसलने की अनुमति देता है, लेकिन उन्हें आपस में जुड़े रहने देता है ताकि जाल बिखर न जाए।

2. "इलास्टिक और विस्कस" नियम (The "Elastic and Viscous" Rules)

"वोबली ब्रेन" को अनियंत्रित होने से रोकने के लिए, सिस्टम दो काल्पनिक नियमों (प्रतिबंधों) का उपयोग करता है:

इलास्टिक नियम (रबर बैंड - Rubber Bands): कल्पना कीजिए कि आपने दृश्य के सभी बिंदुओं को रबर बैंड से जोड़ दिया है। यदि वे बहुत अधिक खिंच जाते हैं, तो सिस्टम कहता है, "रुको, यह बहुत ज्यादा है!" यह दृश्य को अवास्तविक रूप से फैलने से रोकता है।
विस्कस नियम (शहद - Honey): कल्पना कीजिए कि बिंदु गाढ़े शहद के माध्यम से चल रहे हैं। यदि एक बिंदु हिलता है, तो उसके पड़ोसी भी उसी तरह हिलने चाहिए। यह दृश्य को पिक्सेल के अराजक विस्फोट जैसा दिखने से रोकता है और गति को सुचारू और प्राकृतिक बनाए रखता है।

3. नया "जिम" (VIMandala डेटासेट)

इसका परीक्षण करने के लिए, लेखक सामान्य वीडियो का उपयोग नहीं कर सकते थे क्योंकि उन्हें यह जानने की आवश्यकता थी कि कैमरा वास्तव में कहाँ था। इसलिए, उन्होंने VIMandala नामक एक नया डेटासेट बनाया।

उपमा: कल्पना कीजिए कि एक नर्तक एक विशाल, रंगीन, लचीले कपड़े (मंडला) को घुमाते हुए फिल्माया जा रहा है।
उन्होंने वीडियो, सेंसर डेटा और कैमरे के सटीक वास्तविक पथ को रिकॉर्ड किया। यह एक "गोल्ड स्टैंडर्ड" उत्तर कुंजी की तरह है जिससे यह देखा जा सके कि उनका नया रोबोट नेविगेशन सिस्टम वास्तव में स्मार्ट है या केवल अनुमान लगा रहा है।

यह क्यों महत्वपूर्ण है

यह शोध पत्र सिद्ध करता है कि IMU की स्थिरता (लंगर) को डेफॉर्मेशन मॉडल की लचीलेपन (मकड़ी का जाल) के साथ जोड़कर, रोबोट अराजक और गतिशील वातावरण में बिना रास्ता भटके नेविगेट कर सकता है।

पुराना तरीका: चलती हुई भीड़ पर एक कठोर मानचित्र थोपने की कोशिश करता है। परिणाम: रोबोट चक्कर खा जाता है और टकरा जाता है।
DefVINS: यह समझता है कि भीड़ हिल रही है, अपना संतुलन बनाए रखता है, और अपना रास्ता खोए बिना भीड़ की हलचल को मैप करता है।

संक्षेप में:
DefVINS एक ऐसे नर्तक की तरह है जो भीड़ के बीच से निकल सकता है। भीड़ (डेफॉर्मेशन) से टकराकर गिरने के बजाय, वे अपने स्वयं के संतुलन (IMU) का उपयोग करके सीधे खड़े रहते हैं और चलते हुए लोगों (नॉन-रिजिड मॉडल) के चारों ओर कुशलता से कदम रखते हैं। यह रोबोट और AR उपकरणों के लिए सफलतापूर्वक ऐसा करने वाला पहला सिस्टम है।

यहाँ शोध पत्र "DefVINS: Visual–Inertial Odometry for Deformable Scenes" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

शास्त्रीय विजुअल-इनर्शल ओडोमेट्री (VIO) और SLAM प्रणालियाँ मौलिक रूप से दृश्य दृढ़ता (scene rigidity) की धारणा पर निर्भर करती हैं। विकृत वस्तुओं (जैसे मानव शरीर, कपड़े, केबल) वाले वास्तविक परिदृश्यों में, यह धारणा खंडित हो जाती है। जब विकृत दृश्यों पर एक दृढ़ मॉडल लागू किया जाता है, तो सिस्टम दो प्राथमिक विफलता मोडों का सामना करता है:

ओवर-फिटिंग (Over-fitting): दृढ़ मॉडल स्थानीय गैर-दृढ़ गति (non-rigid motion) को फिट करने का प्रयास करता है, जिससे गलत पोज़ अनुमान (pose estimates) प्राप्त होते हैं।
गंभीर ड्रिफ्ट (Severe Drift): जब विकृति-प्रेरित पॅरलैक्स (deformation-induced parallax) इंटर-फ्रेम गति पर हावी हो जाता है, तो सिस्टम वास्तविक कैमरा प्रक्षेपवक्र (trajectory) का पता लगाने में विफल हो जाता है, जिससे महत्वपूर्ण ड्रिफ्ट होता है।

इसके अलावा, मौजूदा गैर-रैखिक विजुअल ओडोमेट्री विधियाँ (शुद्ध रूप से विजुअल) अक्सर मेट्रिक स्केल की कमी से जूझती हैं और उनमें खराब कंडीशनिंग (ill-conditioning) होती है क्योंकि कैमरा गति और दृश्य विकृति आपस में मजबूती से जुड़े होते हैं। एक ऐसा बेंचमार्क और विधि का अभाव है जो इनर्शियल सेंसिंग (inertial sensing) और गैर-रैखिक विकृति मॉडलिंग (non-rigid deformation modeling) को संयुक्त रूप से संबोधित करे।

2. कार्यप्रणाली: DefVINS (Methodology: DefVINS)

लेखक DefVINS का प्रस्ताव करते हैं, जो विशेष रूप से विकृत वातावरण के लिए डिज़ाइन किया गया पहला VIO पाइपलाइन है। मुख्य नवाचार अवस्था (state) को एक दृढ़, IMU-एंकरित घटक (rigid, IMU-anchored component) और एक गैर-रैखिक दृश्य वार्प (non-rigid scene warp) में विभाजित करना है।

A. अवस्था परिभाषा (State Definition)

सिस्टम $N$ की-फ्रेम्स के स्लाइडिंग विंडो पर कार्य करता है। अवस्था वेक्टर $\xi$ में शामिल हैं:

दृढ़ अवस्था (Rigid State): प्रत्येक की-फ्रेम के लिए कैमरा ओरिएंटेशन ( $R$ ), वेग ( $v$ ), और स्थिति ( $t$ ), साथ ही IMU बायस ( $b_g, b_a$ ) और गुरुत्वाकर्षण दिशा ( $\hat{g}$ )।
गैर-रैखिक अवस्था (Non-Rigid State): ट्रैक किए गए फीचर्स की 3D स्थितियों को दर्शाने वाले डिफॉर्मेशन नोड्स $\{x_i\}$ का एक सेट, जिन्हें गैर-रैखिक रूप से हिलने की अनुमति है।

B. अनुकूलन ढांचा (Optimization Framework)

सिस्टम एक नॉन-लीनियर लीस्ट-स्क्वेयर्स ऑप्टिमाइज़ेशन समस्या को फॉर्म्युलेट करता है जो एक कॉस्ट फंक्शन $L$ को कम करता है, जो निम्नलिखित से बना है:

IMU प्री-इंटीग्रेशन रेसिडुअल्स (IMU Preintegration Residuals): IMU डेटा के आधार पर की-फ्रेम्स के बीच रोटेशन, वेलोसिटी और पोजीशन पर प्रतिबंध।
रिप्रोजेक्शन एरर (Reprojection Error): देखे गए फीचर्स और प्रोजेक्ट किए गए 3D पॉइंट्स के बीच मानक विजुअल एरर।
गैर-रैखिक रेसिडुअल्स ( $L_{nr}$ ): तीन विशिष्ट बाधाओं के साथ डिफॉर्मेशन ग्राफ को मॉडल करने वाला एक नवीन टर्म:
- इलास्टिक कंस्ट्रेंट (Elastic Constraint): डिफॉर्मेशन ग्राफ में जुड़े हुए नोड्स के बीच अत्यधिक खिंचाव या संपीड़न को दंडित करता है, जिससे स्थानीय आकार सुरक्षित रहता है।
- विस्कस कंस्ट्रेंट (Viscous Constraint): आस-पास के नोड्स को समय के साथ समान रूप से हिलने के लिए प्रोत्साहित करता है, जिससे सुचारू और सुसंगत टेम्पोरल डिफॉर्मेशन सुनिश्चित होता है।
- फोटोमेट्रिक कंस्ट्रेंट (Photometric Constraint): इमेज टेक्सचर फ्लो के साथ नोड्स के निरंतर संचलन को सुनिश्चित करने के लिए एक सेमी-डायरेक्ट दृष्टिकोण (लुकास-कानडे) का उपयोग करता है।

कुल कॉस्ट फंक्शन एक स्केलर वेट $\lambda_{nr}$ का उपयोग करके इन टर्म्स को संतुलित करता है:
$L = \sum (L_{imu} + L_{rep} + \lambda_{nr} L_{nr}) + L_{prior}$

C. ऑब्जर्वेबिलिटी विश्लेषण (Observability Analysis)

शोध पत्र विजुअल-इनर्शल विकृत समस्या का एक कठोर ऑब्जर्वेबिलिटी विश्लेषण प्रदान करता है।

मुख्य निष्कर्ष: शुद्ध विजुअल गैर-रैखिक प्रणालियों में, कैमरा गति और विकृति अस्पष्ट (ambiguous/ill-posed) होते हैं।
IMU की भूमिका: इनर्शियल माप दृढ़ पिंड गतिकी (rigid body dynamics) को एंकर करते हैं, जिससे वैश्विक कैमरा प्रक्षेपवलय को स्थानीय दृश्य विकृति से अलग (decouple) किया जा सके। यह सिस्टम की कंडीशनिंग (conditioning) में काफी सुधार करता है, जिससे उच्च विकृति के बावजूद दृढ़ अवस्था (rigid state) दृश्यमान (observable) बनी रहती है।
रणनीति: लेखक खराब मोशन एक्साइटेशन के दौरान इल-पोस्ड अपडेट से बचने के लिए एक कंडीशनिंग-आधारित एक्टिवेशन रणनीति विकसित करते हैं।

3. प्रमुख योगदान (Key Contributions)

DefVINS एल्गोरिदम: पहला VIO सिस्टम जो एक विजुअल-इनर्शल ऑप्टिमाइज़ेशन फ्रेमवर्क के भीतर एम्बेडेड डिफॉर्मेशन ग्राफ को एकीकृत करता है, जो स्पष्ट रूप से IMU-एंकरित दृढ़ गति को गैर-रैखिक दृश्य वार्पिंग से अलग करता है।
VIMandala बेंचमार्क: विकृत VIO के लिए पहले वास्तविक दुनिया के बेंचमार्क का निर्माण। इसमें ग्राउंड-ट्रुथ कैमरा पोजीशंस के साथ एक विकृत होने वाले 'मंडला क्लॉथ' को कैप्चर करने वाले 7 सिंक्रोनाइज्ड RGB-D-IMU सीक्वेंस शामिल हैं।
सिंथेटिक विस्तार: इनर्शियल प्रभावों के नियंत्रित मूल्यांकन की अनुमति देने के लिए सिम्युलेटेड IMU मापों के साथ मौजूदा "Drunkard's" सिंथेटिक डेटासेट का संवर्धन।
ऑब्जर्वेबिलिटी विश्लेषण: एक सैद्धांतिक लक्षण वर्णन जो दिखाता है कि इनर्शियल बाधाएं (constraints) ईगो-मोशन और गैर-रैखिक विकृति के बीच के अस्पष्टता को कैसे हल करती हैं, यह सिद्ध करते हुए कि विकृत दृश्यों में मेट्रिक निरंतरता के लिए IMU डेटा आवश्यक है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंथेटिक और वास्तविक दोनों डेटासेट्स पर ORB-SLAM3 (दृढ़ VIO बेसलाइन) और NR-SLAM (गैर-रैखिक विजुअल बेसलाइन) के विरुद्ध DefVINS का मूल्यांकन किया।

सिंथेटिक (Drunkard's Dataset):
- जैसे-जैसे विकृति का स्तर बढ़ा, DefVINS ने लगातार बेसलाइन्स को पछाड़ दिया।
- "एक्सट्रीम" (Extreme) विकृति परिदृश्यों में, DefVINS ने ORB-SLAM3 की तुलना में ~40-45% और विजुअल-ओनली वेरिएंट की तुलना में ~50% कम एब्सोल्यूट ट्रैजेक्टरी एरर (ATE) दिखाया।
- इसने दृढ़ बेसलाइन्स की तुलना में काफी अधिक फ्रेमों पर ट्रैकिंग बनाए रखी, जो उच्च विकृति के तहत ट्रैकिंग करने में विफल रहे थे।
वास्तविक दुनिया (VIMandala Dataset):
- लगभग-दृढ़ (near-rigid) परिदृश्यों में, ORB-SLAM3 थोड़ा बेहतर प्रदर्शन करता है (परिपक्व इंजीनियरिंग के कारण), लेकिन DefVINS प्रतिस्पर्धी बना रहा।
- जैसे-जैसे विकृति बढ़ी (Sequences R4–R6), दृढ़ मॉडल नाटकीय रूप से विफल हो गए (R6 में ट्रैकिंग कवरेज 20% से नीचे गिर गया)।
- DefVINS (Full) ने उच्च सटीकता बनाए रखी और 85–95% फ्रेम को ट्रैक किया।
- एब्लेशन स्टडी (Ablation Study): पूर्ण प्रणाली (Inertial + Non-rigid) आवश्यक थी।
  - विजुअल-ओनली (V-NR): संचित ड्रिफ्ट (accumulated drift) से ग्रस्त रहा।
  - रिजिड VIO (VI-R): रोटेशन को स्थिर किया लेकिन विकृति को मॉडल करने में विफल रहा, जिससे बड़े एरर आए।
  - पूर्ण DefVINS: सर्वोत्तम वैश्विक निरंतरता और न्यूनतम प्रक्षेपवक्र त्रुटि प्राप्त की।

5. महत्व (Significance)

यह कार्य मोबाइल रोबोटिक्स और ऑगमेंटेड रियलिटी (AR) में एक महत्वपूर्ण अंतर को संबोधित करता है। अधिकांश वर्तमान VIO प्रणालियाँ गतिशील, गैर-रैखिक वातावरण (जैसे भीड़ के बीच चलना, नरम वस्तुओं के साथ इंटरैक्ट करना) में विफल हो जाती हैं।

मजबूती (Robustness): DefVINS उन वातावरणों में विश्वसनीय स्थानीयकरण सक्षम करता है जिन्हें पहले मानक VIO के लिए बहुत गतिशील माना जाता था।
मेट्रिक निरंतरता (Metric Consistency): IMU डेटा का लाभ उठाकर, सिस्टम मेट्रिक स्केल बनाए रखता है और शुद्ध विजुअल गैर-रैखिक SLAM में सामान्य "स्केल ड्रिफ्ट" को रोकता है।
भविष्य के कार्य का आधार: VIMandala बेंचमार्क और सैद्धांतिक ऑब्जर्वेबिलिटी विश्लेषण का परिचय विकृत दृश्य समझ और अवस्था अनुमान (state estimation) में भविष्य के अनुसंधान के लिए एक आधार प्रदान करता है।

निष्कर्षतः, DefVINS प्रदर्शित करता है कि इनर्शियल सेंसिंग और गैर-रैखिक मॉडलिंग एक-दूसरे के पूरक हैं: इनर्शियल डेटा वैश्विक प्रक्षेपवक्र को स्थिर करता है, जबकि गैर-रैखिक मॉडलिंग स्थानीय दृश्य गतिकी को कैप्चर करती है, जो मिलकर अत्यधिक विकृत वातावरण में मजबूत ओडोमेट्री को सक्षम बनाती है।