Ego-OSCAR: Egocentric Open source Stereo CAptuRe System

तकनीकी सारांश: Ego-OSCAR

समस्या विवरण
विज़न-लैंग्वेज-एक्शन (VLA) मॉडल्स और वर्ल्ड मॉडल्स का विकास तेजी से उन विविध, बड़े पैमाने के, मल्टीमॉडल डेटासेट्स की कमी के कारण बाधित हो रहा है जो वास्तविक दुनिया की अंतःक्रियाओं को कैप्चर कर सकें। जबकि टेलीऑपरेशनेशन उच्च-सटीकता वाला डेटा प्रदान करता है, यह स्केल नहीं हो सकता। सिमुलेशन में 'सिम-टू-रियल' गैप (sim-to-real gap) की समस्या होती है, और स्वायत्त रोबोट फार्म सुरक्षा बाधाओं के कारण सीमित हैं। एगोजेंट्रिक (प्रथम-व्यक्ति) डेटा संग्रह एक स्केलेबल विकल्प प्रदान करता है, फिर भी मौजूदा समाधान एक ट्रेड-ऑफ पेश करते हैं: उपभोक्ता डेटासेट्स (जैसे, Ego4D) हार्डवेयर-सिंक्रनाइज़्ड इनर्शियल स्ट्रीम के बिना मोनोक्यूलर, रोलिंग-शटर कैमरों पर निर्भर करते हैं, जबकि उच्च-फिडेलिटी रिसर्च प्लेटफॉर्म (जैसे, Project Aria) क्लोज्ड-सोर्स, महंगे हैं और व्यापक समुदाय द्वारा स्वतंत्र रूप से वितरित या पुनरुत्पादित नहीं किए जा सकते हैं। फलस्वरूप, बड़े पैमाने पर सिंक्रोनाइज़्ड स्टीरियो-इनर्शियल डेटा कैप्चर करने में सक्षम कोई भी ओपन, कम लागत वाला हेड-माउंटेड डिवाइस उपलब्ध नहीं है।

कार्यप्रणाली
Ego-OSCAR इस अंतर को एक ओपन-हार्डवेयर, कम लागत वाले कैप्चर सिस्टम और एक वितरित परिनियोजन (distributed deployment) के लिए डिज़ाइन किए गए संबंधित सॉफ्टवेयर स्टैक के माध्यम से संबोधित करता है।

• हार्डवेयर डिज़ाइन: यह डिवाइस एक हेड-माउंटेड यूनिट (लगभग 280 ग्राम) है जिसे पूरी तरह से व्यावसायिक रूप से उपलब्ध घटकों (COTS) और 3D-प्रिंटेड पार्ट्स से बनाया गया है, जिसका बिल ऑफ मैटेरियल्स (BoM) 200 USD से कम है।

  • सेंसर: यह एक Dexcin USB स्टीरियो कैमरा मॉड्यूल का उपयोग करता है जिसमें दो Omnivision ग्लोबल-शटर सेंसर शामिल हैं, जो एक सिंगल ASIC के माध्यम से हार्डवेयर-सिंक्रनाइज़्ड हैं। यह माइक्रोसेकंड-स्तर का सिंक्रनाइज़ेशन सुनिश्चित करता है और तीव्र हेड मोशन के दौरान रोलिंग-शटर आर्टिफैक्ट्स को समाप्त करता है। सिस्टम में 120 Hz पर सैंपल किया गया एक 6-एक्सिस IMU (ICM-20948) शामिल है।
  • कंप्यूट और कंट्रोल: एक Radxa Rock 5C (Rockchip RK3588 SoC) हार्डवेयर-एक्सेलेरेटेड वीडियो एनकोडिंग (MJPEG से H.264) और स्टोरेज को संभालता है। एक Seeed Studio Xiao ESP32-S3 माइक्रोकंट्रोलर यूजर फीडबैक (RGB LED स्टेटस), वॉचडॉग फंक्शन (सिस्टम हैंग का पता लगाना), और महत्वपूर्ण रूप से, टाइम सिंक्रनाइज़ेशन को प्रबंधित करता है।
  • सिंक्रनाइज़ेशन मैकेनिज्म: कैमरा और IMU के स्वतंत्र क्लॉक्स के बीच सामंजस्य बिठाने के लिए, ESP32 एक इंटरप्ट के माध्यम से कैमरा के स्टार्ट-ऑफ-एक्सपोज़र (SoE) सिग्नल को कैप्चर करता है। यह प्रत्येक फ्रेम एक्सपोज़र के लिए मोनोटोनिक टाइमस्टैम्प रिकॉर्ड करता है और उन्हें IMU डेटा के साथ मर्ज करता है। एक ऑफलाइन अलाइनमेंट प्रक्रिया एक विजुअल एंकर (60वें इंटरप्ट पर चमकता हुआ एक नीला LED) का उपयोग करती है ताकि IMU स्ट्रीम को वीडियो फ्रेम इंडेक्स के साथ नियत रूप से अलाइन किया जा सके, जिससे 700 µs का रेसिडुअल लैग प्राप्त होता है।
  • मजबूती (Robustness): सिस्टम में एक वॉचडॉग शामिल है जो SBC हैंग (1 Hz हार्टबीट के माध्यम से) का पता लगाता है और एक एरर स्टेट को ट्रिगर करता है, जिससे साइलेंट डेटा लॉस को रोका जा सके।

• सॉफ्टवेयर पाइपलाइन: ओपन-सोर्स स्टैक में एक हार्डवेयर-एक्सेलेरेटेड रिकॉर्डिंग डेमन, एक IMU सैंपलिंग सर्विस, टाइम-सिंक्रनाइज़ेशन टूलिंग और एक वॉचडッグ फर्मवेयर शामिल है। पावर फेलियर के दौरान होने वाले नुकसान को सीमित करने के लिए डेटा को 5-मिनट के क्लिप्स में विभाजित किया जाता है और इंटीग्रिटी वेरिफिकेशन के साथ अपलोड किया जाता है।

• डेटासेट संग्रह: लेखकों ने छह महीनों में भारत में 25 योगदानकर्ताओं के एक वितरित नेटवर्क में इस सिस्टम को तैनात किया, जिससे प्रति कैमरा लगभग 550 घंटे के स्टीरियो वीडियो (कुल 1,100 कैमरा-घंटे) के साथ 1,462 सत्र एकत्र किए गए। डेटा विविध इनडोर वातावरण को कवर करता है, जिसमें किचन गतिविधियों पर ध्यान केंद्रित किया गया है, लेकिन इसमें सिलाई और टेलरिंग भी शामिल है।

प्रमुख योगदान

1. ओपन-हार्डवेयर डिवाइस: एक पूरी तरह से प्रलेखित, पुनरुत्पादित हेड-माउंटेड स्टीरियो-इनर्शियल कैप्चर रिग, जिसमें CAD फाइलें, वायरिंग डायग्राम और असेंबली निर्देश शामिल हैं।
2. ओपन-सोर्स सॉफ्टवेयर स्टैक: रिकॉर्डिंग, सिंक्रनाइज़ेशन और डेटा प्रबंधन के लिए एक पूर्ण पाइपलाइन, जो समुदाय को कैप्चर प्रक्रिया को दोहराने में सक्षम बनाती है।
3. Ego-OSCAR-550h डेटासेट: सिंक्रोनाइज़्ड IMU डेटा के साथ ~550 घंटों के क्यूरेटेड एगोजेंटिक स्टीरियो वीडियो का एक डेटासेट। रॉ सेंसर स्ट्रीम के विपरीत, इस रिलीज में शामिल है:
   • फ्री-फॉर्म एक्शन कैप्शंस: पूरी टाइमलाइन को कवर करने वाले ~209,315 सेगमेंट, जो ओपन वोकैबुलरी (open vocabulary) पर आधारित हैं।
   • 3D हैंड रिकंस्ट्रक्शन: WiLoR द्वारा जनरेट किए गए प्रति-फ्रेम 3D हैंड पोज़।
   • प्रति-सेशन कैलिब्रेशन: केवल नॉमिनल फैक्ट्री इंट्रिन्सिक के बजाय प्रत्येक सत्र के लिए व्यक्तिगत कैलिब्रेशन फाइलें।

परिणाम और मूल्यांकन
पेपर तीन स्तरों पर सिस्टम का मूल्यांकन करता है:

• सेंसर फिडेलिटी: प्रति-सेशन कैलिब्रेशन 0.03 पिक्सेल से कम का रिप्रोजेक्शन एरर देता है। हार्डवेयर-सिंक्रनाइज़्ड ग्लोबल शटर और IMU 12/20 होल्ड-आउट शॉर्ट सीक्वेंस में सफल विजुअल-इनर्शियल ओडोमेट्री (VINS-Fusion) की अनुमति देते हैं, जिसमें 700 µs का रेसिडुअल विजुअल-इनर्शियल लैग है। IMU नॉइज़ फ्लोर को कंज्यूमर-ग्रेड के रूप में वर्णित किया गया है, जो ग्रेविटी अलाइनमेंट और मोशन क्लासिफिकेशन के लिए उपयुक्त है, लेकिन उच्च-ग्रेड स्वैप के बिना लॉन्ग-होरिज़न इनर्शियल इंटीग्रेशन के लिए नहीं।
• डेटा उपयोगिता: स्टीरियो डेप्थ एस्टीमेशन (SGBM, RAFT-Stereo) पूरे 126° फील्ड ऑफ व्यू में सफल रहता है। हैंड डिटेक्शन रेट 94% तक पहुँच जाता है, जो दर्शाता है कि हेड-माउंटेड ज्योमेट्री अधिकांश अंतःक्रियाओं के दौरान हाथों को फील्ड ऑफ व्यू में प्रभावी ढंग से रखती है।
• परिनियोजन पैमाना (Deployment Scale): सिस्टम ने 1,462 सत्रों में 96% यूसेबल-सेशन रेट हासिल किया। विफलता के कारणों (थर्मल शटडाउन, SD कार्ड I/O एरर, केबल स्ट्रेन) की पहचान की गई और हार्डवेयर संशोधनों (हीटसिंक, मैकेनिकल सुदृढीकरण) और सॉफ्टवेयर वैलिडेशन के माध्यम से उन्हें कम किया गया।

महत्व और दावे
यह पेपर Ego-OSCAR को प्रति-यूनिट फिडेलिटी के मामले में Project Aria जैसे रिसर्च-ग्रेड सिस्टम के विकल्प के रूप में नहीं, बल्कि "क्राउडसोर्स्ड एगोजेंटिक कैप्चर के लिए सबसे सस्ता रक्षात्मक आधार (cheapest defensible substrate)" के रूप में प्रस्तुत करता है। इसका प्राथमिक महत्व बड़े पैमाने पर एगोजेंटिक डेटा एकत्र करने के लिए सक्रियण ऊर्जा (activation energy) को कम करने में निहित है। एक पूर्णतः ओपन, पुनरुत्पादित और किफायती प्लेटफॉर्म प्रदान करके, Ego-OSCAR का लक्ष्य उच्च-गुणवत्ता वाले सिंक्रोनाइज़्ड स्टीरियो-इनर्शियल डेटा के संग्रह को लोकतांत्रिक बनाना है, जो मौजूदा मोनोक्यूलर या क्लोज्ड-प्लेटफॉर्म डेटासेट्स का पूरक है। लेखक स्पष्ट रूप से कहते हैं कि इस डेटा से एंड-टू-एंड पॉलिसी गेन्स (end-to-end policy gains) को प्रदर्शित करना भविष्य का कार्य है; वर्तमान योगदान वह इंफ्रास्ट्रक्चर और डेटासेट है जो ऐसे शोध को सक्षम करने के लिए आवश्यक है।