🤖 machine learning

Bi-Manual Joint Camera Calibration and Scene Representation

यह शोध पत्र Bi-JCR को प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो 3D फाउंडेशन मॉडल्स का लाभ उठाकर द्वि-हस्त (bi-manual) रोबोट कैमरों के मार्कर-मुक्त, संयुक्त अंशांकन (calibration) और सीधे RGB छवियों से एक एकीकृत, स्केल-सुसंगत 3D दृश्य प्रतिनिधित्व के निर्माण को सक्षम बनाता है, जिससे द्वि-हस्त समन्वय कार्यों को सुगम बनाया जा सके।

मूल लेखक: Haozhan Tang, Tianyi Zhang, Matthew Johnson-Roberson, Weiming Zhi

प्रकाशित 2026-07-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haozhan Tang, Tianyi Zhang, Matthew Johnson-Roberson, Weiming Zhi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दो रोबोटिक भुजाएं, जैसे कि यांत्रिक मित्रों की एक जोड़ी, एक मेज पर मिलकर काम करने की कोशिश कर रही हैं। आमतौर पर, हाई-फाइव करने या कोई औज़ार पास करने से पहले, उन्हें यह जानने की ज़रूरत होती है कि उनकी आँखें (कैमरे) उनके हाथों से ठीक कहाँ जुड़ी हैं और वे एक-दूसरे के सापेक्ष कहाँ खड़े हैं। पारंपरिक रूप से, यह जानकारी प्राप्त करना एक उबाऊ और झंझट भरा काम है: आपको दीवार पर एक विशेष चेकरबोर्ड पैटर्न टेप से चिपकाना पड़ता है, रोबोट को इधर-उधर घुमाना पड़ता है ताकि तस्वीरें ली जा सकें, और फिर उन कोणों को समझने के लिए गणित लगाना पड़ता है। यह बिल्कुल वैसा ही है जैसे माथे पर स्केल टेप लगाकर शीशे में देखते हुए डांस सीखने की कोशिश करना।

यह पेपर एक नई तकनीक पेश करता है जिसे Bi-JCR (Bi-Manual Joint Calibration and Representation) कहा जाता है। उन परेशान करने वाले चेकरबोर्ड्स के बजाय, Bi-JCR रोबोट्स को मेज पर बिखरी हुई रैंडम वस्तुओं—जैसे चम्मच, टेप रोल, टूलबॉक्स—को बस देखने और सब कुछ खुद समझने की अनुमति देता है।

यह कैसे काम करता है: "जादुई मस्तिष्क" और पहेली
इसका असली राज एक "3D फाउंडेशन मॉडल" है। इसे एक सुपर-स्मार्ट, प्री-ट्रेन्ड दिमाग समझें जिसने लाखों तस्वीरें देखी हैं और जो केवल सपाट तस्वीरों को देखकर किसी कमरे के 3D आकार का अनुमान लगा सकता है। जब रोबोट मेज की तस्वीरें लेते हैं, तो यह दिमाग एक रफ 3D मैप बनाता है। लेकिन यहाँ एक पेच है: इस दिमाग को वास्तविक आकार का पता नहीं होता (क्या वह चम्मच 5 इंच लंबा है या 5 फीट लंबा?) और उसे यह भी नहीं पता कि रोबोट का आधार (base) वास्तव में कहाँ है।

Bi-JCR एक जासूस की तरह डॉट्स को जोड़ता है। यह रोबोट के अपने मूवमेंट लॉग्स (हम जानते हैं कि रोबोट ने अपनी भुजा को कैसे घुमाया) को लेता है और उस "अनुमान" के साथ तुलना करता है जो जादुई दिमाग ने लगाया था। एक विशाल गणितीय पहेली को हल करके, यह तीन चीजें एक साथ पता लगाता है:

कैमरा हाथ पर कहाँ है: यह रोबट की आँख को उसके हाथ के साथ संरेखित (align) करता है।
दोनों रोबोट कहाँ खड़े हैं: यह पता लगाता है कि दोनों रोबोट के बेस के बीच कितनी दूरी है।
वास्तविक दुनिया का पैमाना (Scale): यह एक "जादुई नंबर" की गणना करता है जो दिमाग के धुंधले 3D अनुमान को एक वास्तविक, मेट्रिक-स्केल मैप में बदल देता है (ताकि चम्मच वास्तव में एक चम्मच ही रहे, न कि कोई विशाल या नन्हा सा खिलौना)।

लेखक क्या कहते हैं कि यह उत्तर "नहीं" है
लेखक बहुत स्पष्ट हैं: वे चेकरबोर्ड, AprilTags, या किसी विशेष मार्कर का उपयोग नहीं कर रहे हैं। वे यह भी नहीं कह रहे हैं कि रोबोट्स के पास सटीक डेप्थ सेंसर (जैसे LiDAR) होने चाहिए या वस्तुओं के पहले से मौजूद 3D मॉडल होने चाहिए। वे स्पष्ट रूप से पुराने तरीके का विरोध करते हैं, जिसमें रोबोट को रोकने, चीजें चिपकाने और प्रत्येक भुजा को अलग से कैलिब्रेट करने की आवश्यकता होती है। उनका तरीका यह सब एक साथ करता है, जिसमें केवल रोबोट पर पहले से मौजूद मानक RGB कैमरों का उपयोग किया जाता है।

वे कितने आश्वस्त हैं? (प्रमाण)
टीम ने केवल कल्पना नहीं की; उन्होंने वास्तविक दुनिया में इसका परीक्षण किया। उन्होंने दो वास्तविक रोबोटिक भुजाएं (AgileX Piper 6-डिग्री-ऑफ-फ्रीडम मैनिपुलेटर्स) और सस्ते USB वेबकैम सेटअप किए। उन्होंने तीन अलग-अलग लाइटिंग स्थितियों और विभिन्न वस्तुओं की संख्या (9 या 10 आइटम) के साथ प्रयोग चलाए।

कैलिब्रेशन: उन्होंने अपने तरीके की तुलना अन्य लोकप्रिय टूल्स (जैसे COLMAP और Ray Diffusion) से की। परिणामों ने दिखाया कि Bi-JCR बहुत अधिक सुसंगत था। जब उन्होंने प्रति रोबोट केवल 4 चित्र उपयोग किए, तब भी उनका तरीका काम कर गया, जबकि अन्य अक्सर समाधान खोजने में विफल रहे। अधिक चित्रों (9 तक) के साथ भी, उनकी त्रुटि दर कम रही। उदाहरण के लिए, "रोटेशनल एरर" (कोण कितना गलत था) 4 छवियों के साथ 0.0769 था, जो 9 छवियों के साथ घटकर 0.0612 हो गया।
पैमाना (Scale): उन्होंने चम्मच, चाय के ढक्कन और बैटरी जैसी वास्तविक वस्तुओं को मापा। केवल 8 छवियों के साथ, पुनर्गठित (reconstructed) 3D मॉडल अविश्वसनीय रूप से सटीक थे। सबसे बड़ी त्रुटि जो उन्होंने देखी वह 2.98% (एक जॉयस्टिक के लिए) थी, और औसत (median) त्रुटि केवल 1.48% थी। इसका मतलब है कि यदि एक असली चम्मच 10 इंच का है, तो रोबोट के मैप में वह लगभग 10.15 इंच होगा।
"रिफाइनमेंट" चरण: उन्होंने परीक्षण किया कि क्या "ग्रेडिएंट डिसेंट" (एक गणितीय फाइन-ट्यूनिंग प्रक्रिया) चलाने से मदद मिलती है। उन्होंने पाया कि जब चित्र कम थे (केवल 4 व्यू), तो इस चरण ने बड़ा अंतर पैदा किया, जिससे त्रुटि काफी कम हो गई। लेकिन जब पर्याप्त चित्र (8 व्यू) थे, तो अतिरिक्त चरण से बहुत कम मदद मिली।
दिमाग का चुनाव: उन्होंने विभिन्न "फाउंडेशन मॉडल्स" (जादुगत दिमागों) को आज़माया। उन्होंने पाया कि DUSt3R नाम का मॉडल सबसे अच्छा काम करता है, जो लगभग हर टेस्ट में MASt3R और VGGT जैसे अन्य मॉडलों को पीछे छोड़ देता है।

भव्य समापन: क्या वे वास्तव में कुछ कर सकते हैं?
अंतिम परीक्षण केवल नंबरों के बारे में नहीं था; यह क्रिया (action) के बारे में था। एक बार जब रोबोट्स ने खुद को कैलिब्रेट कर लिया, तो उन्होंने वास्तविक कार्यों के लिए 3D मैप का उपयोग किया।

संयुक्त पकड़ (Joint Grasping): उन्होंने एक टूलबॉक्स और बैटरी पैक जैसी भारी, अजीब वस्तुओं को एक साथ उठाया।
हैंड-ओवर (Hand-overs): उन्होंने एक रोबोट से दूसरे रोबोट को छोटी वस्तुएं (रेंच, चम्मच, टेप रोल) सफलतापूर्वक पास कीं।

पेपर यह निष्कर्ष निकालता है कि क्योंकि रोबोट्स को ठीक से पता था कि वे कहाँ हैं और वस्तुओं का आकार क्या है, वे बिना किसी मानवीय सहायता या विशेष मार्कर के पूरी तरह से समन्वय कर सके। लेखक सुझाव देते हैं कि भविष्य में, वे AI दिमाग से मिलने वाले "कॉन्फिडेंस" स्कोर का उपयोग यह बताने के लिए कर सकते हैं कि मैप को बेहतर बनाने के लिए कौन सी नई तस्वीरें लेनी चाहिए, लेकिन फिलहाल, उन्होंने साबित कर दिया है कि यह मार्कर-मुक्त, जॉइंट कैलिब्रेशन वास्तविक दुनिया में काम करता है।

तकनीकी सारांश: द्वि-हस्त संयुक्त कैमरा अंशांकन और दृश्य प्रतिनिधित्व (Bi-JCR)

समस्या विवरण
द्वि-हस्त रोबोटिक हेरफेर (bimanual robot manipulation) के लिए आमतौर पर रोबोट के एंड-इफेक्टर्स पर मजबूती से लगे कई कैमरों की आवश्यकता होती है। इन प्रणालियों द्वारा गति उत्पन्न करने या पर्यावरणीय प्रतिनिधित्व बनाने से पहले, कैमरों को एंड-इफेक्टर्स के सापेक्ष उनके एक्सट्रिंसिक ट्रांसफॉर्मेशन (extrinsic transformations) और मैनिपुलेटर बेस के बीच सापेक्ष पोज (relative poses) निर्धारित करने के लिए अंशांकित (calibrate) किया जाना चाहिए। पारंपरिक "हैंड-आई" अंशांकन बाहरी मार्करों (जैसे चेकरबोर्ड या AprilTags) का उपयोग करके ऑफलाइन प्रक्रियाओं पर निर्भर करता है, जो कष्टप्रद है और अक्सर गतिशील लैब सेटिंग्स में बाधित हो जाता है। इन विधियों को दोहरी भुजाओं (dual-arm systems) तक विस्तारित करना गैर-तुच्छ है, क्योंकि इसके लिए दो अलग-अलग समन्वय ढांचों (coordinate frames) को फ्यूज करने की आवश्यकता होती है, जिसके लिए अक्सर मार्कर पकड़ने के लिए एक माध्यमिक मैनिपुलेटर की आवश्यकता होती है। यह शोध पत्र बिना किसी बाहरी अंशांकन मार्कर के, रिस्ट-माउंटेड कैमरों के साथ दोहरे मैनिपुलेटर्स को अंशांकित करने और साथ ही साझा कार्यक्षेत्र (shared workspace) का एक मीट्रिक-स्केल 3D प्रतिनिधित्व प्राप्त करने की चुनौती का समाधान करता है।

कार्यप्रणाली
प्रस्तावित ढांचा, Bi-Manual Joint Calibration and Representation (Bi-JCR), मार्कर-मुक्त अंशांकन और दृश्य पुनर्निर्माण करने के लिए 3D फाउंडेशन मॉडल्स का लाभ उठाता है। इस प्रक्रिया में निम्नलिखित प्रमुख चरण शामिल हैं:

डेटा संग्रह: दो मैनिपुलेटर्स (प्राथमिक और माध्यमिक) को $N$ विशिष्ट एंड-इफेक्टर पोज के एक अनुक्रम के माध्यम से निर्देशित किया जाता है, जो प्रत्येक पोज पर RGB चित्र कैप्चर करते हैं। फॉरवर्ड किनेमैटिक्स (बेस-टू-एंड-इफेक्टर ट्रांसफॉर्म्स) ज्ञात हैं, लेकिन कैमरा-टू-एंड-इफेक्टर ट्रांसफॉर्म ( $T^E_C$ ), दोनों रोबोट बेस के बीच सापेक्ष पोज ( $P^{b_1}_{b_2}$ ), और ग्लोबल स्केल अज्ञात हैं।
3D फाउंडेशन मॉडल अनुमान: दोनों भुजाओं से प्राप्त RGB इमेज सेट को एक पूर्व-प्रशिक्षित 3D फाउंडेशन मॉडल (जैसे, DUSt3R) में फीड किया जाता है। यह मॉडल आउटपुट देता है:
- एक अनस्केल्ड (unscaled) समन्वय फ्रेम में सापेक्ष कैमरा पोज।
- दृश्य ज्यामिति (scene geometry) के अनुरूप सघन 3D पॉइंट सेट्स।
- पुनर्निर्मित बिंदुओं के लिए कॉन्फिडेंस मैप्स (confidence maps)।
संयुक्त अनुकूलन सूत्रीकरण (Joint Optimization Formulation): Bi-JCR अज्ञात ट्रांसफॉर्मेशन और स्केल फैक्टर ( $\lambda$ $λ$ ) को प्राप्त करने के लिए एक संयुक्त अनुकूलन समस्या को सूत्रबद्ध करता है।
- प्रारंभिक समाधान: समस्या को $SO(3)$ मैनिफोल्ड पर लीनियर अलजेब्रा का उपयोग करके रोटेशन घटकों (जो स्केल से स्वतंत्र हैं) को हल करने, और फिर ट्रांसलेशन और स्केल फैक्टर के लिए एक लीस्ट-स्क्वेयर्स समाधान को हल करने में विभाजित किया गया है, जो समस्या को 'सिमिलरिटी स्केल रिकवरी प्रॉब्लम' (SRP) के रूप में मानती है।
- परिशोधन (Refinement): प्रारंभिक अनुमानों को ट्रांसफॉर्मेशन मैट्रिसेस ($SE(3) $) के मैनिफोल्ड पर ग्रेडिएंट डिसेंट के माध्यम से परिष्कृत किया जाता है। कॉस्ट फंक्शन देखे गए एंड-इफेक्टर मोशन और फाउंडेशन मॉडल के कैमरा पोज से अनुमानित मोशन के बीच विसंगति को कम करता है, जो शास्त्रीय हैंड-आई कैलिब्रेशन समीकरण$ AX = XB$ का पालन करता है।
मीट्रिक-स्केल पुनर्निर्माण: एक बार जब फाउंडेशन मॉडल के फ्रेम से रोबोट बेस फ्रेम तक के स्केल फैक्टर $\lambda$ और ट्रांसफॉर्म्स प्राप्त हो जाते हैं, तो अनस्केल्ड पॉइंट क्लाउड्स को एक एकीकृत, मीट्रिक-स्केल समन्वय फ्रेम (प्राथमिक मैनिपुलेटर का बेस फ्रेम) में स्केल और ट्रांसफॉर्म किया जाता है। इससे एक सघन 3D प्रतिनिधित्व प्राप्त होता है जो कोलिजन चेकिंग और सिमेंटिक सेगमेंटेशन जैसे डाउनस्ट्रीम कार्यों के लिए उपयुक्त है।

प्रमुख योगदान

Bi-JCR ढांचा: एक नवीन विधि जो बिना किसी बाहरी मार्कर के, दोहरे मैनिपुलेटर्स पर रिस्ट-माउंटेड कैमरों को एक साथ अंशांकित करती है और एक एकीकृत 3D वातावरण का निर्माण करती है।
संयुक्त अनुकूलन समस्या: एक ऐसा सूत्रीकरण जो RGB छवियों के एक एकल सेट से कैमरा-टू-एंड-इफेक्टर ट्रांसफॉर्म, इंटर-आर्म सापेक्ष पोज और मीट्रिक स्केल फैक्टर को प्राप्त करता है, और सभी ट्रांसफॉर्मेशन को एक एकीकृत अनुकूलन प्रक्रिया में हल करता है।
अनुभवजन्य सत्यापन (Empirical Validation): वास्तविक दुनिया के टेबलटॉप वातावरण पर कठोर मूल्यांकन, जो बाहरी मार्कर के बिना सटीक अंशांकन और मीट्रिक-सटीक 3D पुनर्निर्माण बनाने की विधि की क्षमता प्रदर्शित करता है।

प्रायोगिक परिणाम
लेखकों ने विभिन्न लाइटिंग स्थितियों और ऑब्जेक्ट डेंसिटी के तहत USB वेबकैम के साथ दो AgileX Piper मैनिपुलेटर्स का उपयोग करके Bi-JCR का मूल्यांकन किया।

अंशांकन सटीकता (Calibration Accuracy): Bi-JCR ने COLMAP (जो अव्यवस्थित दृश्यों में कोरेस्पोंडेंस के लिए संघर्ष करता है) और रे डिफ्यूजन (जो असंगत पोज रिग्रेशन से ग्रस्त है) जैसे बेसलाइन की तुलना में रोटेशन और ट्रांसलेशन में लगातार कम रेसिडुअल एरर प्राप्त किया। विधि ने बहुत कम इनपुट छवियों (प्रत्येक भुजा के लिए केवल 4) के साथ भी मजबूती प्रदर्शित की।
स्केल रिकवरी: प्राप्त मीट्रिक स्केल अत्यधिक सटीक था। प्रति मैनिपुलेटर 8 छवियों के साथ, पुनर्निर्मित ऑब्जेक्ट आयामों में त्रुटि अधिकतम 2.98% (मीडियन 1.48%) थी, जो वास्तविक दुनिया के मीट्रिक यूनिट्स को प्राप्त करने की प्रणाली की क्षमता की पुष्टि करती है।
फाउंडेशन मॉडल चयन: एक एब्लेशन स्टडी ने विभिन्न 3D फाउंडेशन मॉडल्स (DUSt3R, MASt3R, VGGT) की तुलना की। DUSt3R ने सभी व्यू काउंट्स में MASt3R और VGGT से बेहतर प्रदर्शन करते हुए लगातार सबसे अच्छे कैलिब्रेशन रेसिडुअल दिए।
ग्रेडिएंट डिसेंट परिशोधन: मैनिफोल्ड पर ग्रेडिएंट डिसेंट के माध्यम से परिशोधन चरण ने रोटेशनल सटीकता में महत्वपूर्ण सुधार किया, विशेष रूप से स्पार्स-व्यू (कम छवियों वाले) परिदृश्यों में, हालांकि व्यू की संख्या बढ़ने के साथ इसका लाभ कम होता गया।
डाउनस्ट्रीम कार्य: ढांचे ने भारी वस्तुओं (जैसे टूलबॉक्स) के समन्वित ग्रैस्पिंग और दो भुजाओं के बीच छोटी वस्तुओं (जैसे चम्मच, रिंच) के हैंडओवर सहित जटिल द्वि-हस्त कार्यों को सफलतापूर्वक सक्षम किया, जो एकीकृत समन्वय फ्रेम और सघन 3D प्रतिनिधित्व की उपयोगिता को दर्शाता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि Bi-JCR एक एकीकृत समाधान प्रदान करता है जो कष्टप्रद, मार्कर-आधारित ऑफलाइन अंशांकन प्रक्रियाओं की आवश्यकता को समाप्त करता है। 3D फाउंडेशन मॉडल्स का लाभ उठाकर, यह ढांचा दोहरे दृष्टिकोणों के बीच दृश्य डेटा के तत्काल फ्यूजन को सक्षम बनाता है, जिससे ग्रैस्पिंग और ऑब्जेक्ट पासिंग जैसे डाउनस्ट्रीम द्वि-हस्त समन्वय कार्यों को सुगम बनाया जा सकता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण एक सघन, आकार-सटीक 3D प्रतिनिधित्व उत्पन्न करता है जो एक सामान्य समन्वय फ्रेम में रहता है, जो बाहरी डेप्थ सेंसर या मार्कर पर निर्भर किए बिना कोलिजन चेकिंग और सिमेंटिक सेगमेंटेशन का सीधा समर्थन करता है। भविष्य के कार्य के रूप में फाउंडेशन मॉडल्स से कॉन्फिडेंस मास्क का उपयोग करके सक्रिय रूप से इमेज कलेक्शन को निर्देशित करने और दृश्य पुनर्निर्माण एवं अंशांकन को निरंतर परिष्कृत करने का सुझाव दिया गया है।

तकनीकी सारांश: द्वि-हस्त संयुक्त कैमरा अंशांकन और दृश्य प्रतिनिधित्व (Bi-JCR)

इसी तरह के और पेपर