Wat3R: Underwater 3D Geometry Learning without Annotations

कल्पना कीजिए कि आप एक डूबे हुए जहाज का 3D मानचित्र बनाने की कोशिश कर रहे हैं, लेकिन आपकी आँखों पर पट्टी बंधी है, और आपके चारों ओर का पानी घने कोहरे, उड़ती हुई रेत और अजीब रंगों से भरा है जो सब कुछ धुंधला बना देते हैं। कंप्यूटरों के लिए पानी के नीचे के दृश्यों को समझना एक दैनिक संघर्ष है। वर्षों से, कंप्यूटर को पानी के नीचे देखने के लिए सिखाने का सबसे अच्छा तरीका उसे लाखों ऐसी तस्वीरें दिखाना था जिनमें सटीक, हाथ से बनाए गए 3D लेबल हों। लेकिन समस्या यह है: समुद्र के लिए किसी के पास ऐसे लेबल नहीं हैं। उन्हें बनाना असंभव है क्योंकि पानी बहुत मटमैला है और प्रकाश अजीब तरह से व्यवहार करता है।

यहाँ आता है Wat3R, एक नया तरीका जो एक चतुर छात्र की तरह काम करता है जो बिना किसी शिक्षक द्वारा दिए गए नक्शे के गोता लगाना सीख जाता है।

समस्या: "केवल ज़मीन वाला" मस्तिष्क

अधिकांश आधुनिक 3D विज़न मॉडल उन छात्रों की तरह हैं जिन्होंने केवल एक धूप वाले, साफ क्लासरूम (ज़मीन पर) में पढ़ाई की है। वे सूखी चीज़ों को देखने में माहिर हैं, लेकिन जब आप उन्हें समुद्र में छोड़ देते हैं, तो वे भ्रमित हो जाते हैं। पानी प्रकाश को सोख लेता है, उसे बिखेर देता है, और सब कुछ नीला या हरा कर देता है। यदि आप "ज़मीन पर प्रशिक्षित" मॉडल का उपयोग पानी के नीचे करते हैं, तो वह लड़खड़ा जाता है। और चूंकि हम हर वीडियो के लिए समुद्र तल के 3D मानचित्र बनाने के लिए गोताखोरों की एक टीम को काम पर नहीं रख सकते, इसलिए हम इन मॉडलों को पुराने तरीके से फिर से प्रशिक्षित नहीं कर सकते।

समाधान: गहरे पानी में एक शिक्षक और एक छात्र

लेखकों ने Wat3R नामक एक प्रणाली बनाई है जो बिना किसी अंडरवॉटर लेबल के इस समस्या को हल करने के लिए "शिक्षक-छात्र" (teacher-student) तकनीक का उपयोग करती है।

इसे इस तरह सोचें:

1. शिक्षक: कल्पना कीजिए कि एक सुपर-स्मार्ट रोबोट है जो लाखों स्पष्ट, सूखी तस्वीरों के अध्ययन के कारण 3D ज्यामिति को पूरी तरह से जानता है। लेकिन वह नहीं जानता कि पानी कैसे काम करता है।
2. सिमुलेशन (Simulation): शोधकर्ता शिक्षक की स्पष्ट तस्वीरों को लेते हैं और डिजिटल रूप से उन्हें "डूबो" देते हैं। वे एक भौतिक सूत्र (physics formula) का उपयोग करके नकली कोहरा, रंग परिवर्तन और प्रकाश बिखराव जोड़ते हैं, जिससे स्पष्ट ज़मीनी तस्वीरों को नकली पानी के नीचे के दृश्यों में बदल दिया जाता है। अब, शिक्षक के पास नकली पानी के नीचे के दृश्यों का एक "लेबल वाला" डेटासेट है।
3. छात्र: यह वह मॉडल है जिसे हमें प्रशिक्षित करना है। यह शिक्षक के नकली पानी के नीचे के फोटो से सीखना शुरू करता है।
4. असली गोता (The Real Dive): इसके बाद, छात्र 5,504 वास्तविक पानी के नीचे के वीडियो क्लिप्स (लगभग 359,000 चित्र) देखता है जिनमें कोई लेबल नहीं है। वह बस मछलियों, चट्टानों और बुलबुलों को देखता है।

यही जादू है: शिक्षक (जो छात्र का थोड़ा पुराना, अधिक स्थिर संस्करण है) उन्हीं वास्तविक वीडियो को देखता है और अनुमान लगाता है कि 3D आकार कैसे दिखते हैं। छात्र उन अनुमानों से मेल बिठाने की कोशिश करता है। यदि छात्र सही होता है, तो वह सीखता है। यदि वह गलत होता है, तो वह खुद को समायोजित करता है। यह बार-बार होता है, जिससे छात्र वास्तविक वीडियो को देखकर पानी के नीचे की ज्यामिति के "नियमों" को सीख जाता है, बिना किसी के द्वारा उत्तर बताए।

गुप्त हथियार: "क्रॉस-व्यू कंसिस्टेंसी" (Cross-View Consistency)

पानी के नीचे, एक अकेला फोटो इतना धुंधला हो सकता है कि आप कुछ भी न देख पाएं। लेकिन यदि आपके पास एक वीडियो है, तो आपके पास कई कोण (angles) होते हैं। पेपर में Cross-View Consistency नामक एक विशेष नियम पेश किया गया है।

कल्पना कीजिए कि आप एक गंदी खिड़की के माध्यम से एक चट्टान को देख रहे हैं। आप उसे ठीक से नहीं देख पा रहे हैं। लेकिन यदि आप उसी चट्टान को खिड़की के थोड़े अलग हिस्से से देखते हैं जो थोड़ा साफ है, तो आप उसे बेहतर देख सकते हैं। Wat3R इसे गणितीय रूप से करता है। यदि मॉडल एक दृश्य में कोहरे के कारण भ्रमित होता है, तो वह वीडियो के अन्य दृश्यों को देखता है ताकि यह पता लगाया जा सके कि चट्टान को वास्तव में कैसा दिखना चाहिए। यह वीडियो के साफ हिस्सों का उपयोग धुंधले हिस्सों को ठीक करने के लिए करता है। यह मॉडल को पानी के "शोर" को अनदेखा करने और वास्तविक आकारों पर ध्यान केंद्रित करने में मदद करता है।

उन्होंने क्या साबित किया (और क्या नहीं)

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने इसका कड़ाई से परीक्षण किया।

• डेटासेट: उन्होंने Water3D नामक एक नया डेटासेट बनाया, जिसमें सटीक 3D मानचित्र (पोज़ और डेप्थ) के साथ 42 वास्तविक पानी के नीचे के दृश्य हैं। यह एक बड़ी बात है क्योंकि, जैसा कि वे नोट करते हैं, मौजूदा अंडरवॉटर डेटासेट अक्सर बहुत छोटे होते हैं या उनमें उचित 3D लेबल की कमी होती है।
• परिणाम: जब उन्होंने मानक अंडरवॉटर डेटासेट्स जैसे Sea-thru और FLSea Stereo पर Wat3R का परीक्षण किया, तो इसने वर्तमान सर्वश्रेष्ठ मॉडलों (जैसे VGGT, DA3, और MapAnything) को पछाड़ दिया।
  • Sea-thru डेटासेट पर, Wat3R ने 10-व्यू टेस्ट में पिछले सर्वश्रेष्ठ मॉडल (VGGT) की तुलना में त्रुटि दर (error rate) को लगभग 12.1% कम कर दिया।
  • गहराई की सटीकता (depth accuracy) के मामले में, इसने कुछ मेट्रिक्स में 23.7% का सुधार किया।
  • यहाँ तक कि केवल एक एकल फोटो (मोनोकुलर डेप्थ) को देखते समय भी, Wat3R एकल छवियों के लिए विशेष रूप से प्रशिक्षित मॉडलों से बेहतर था, जिससे सिद्ध हुआ कि "क्रॉस-व्यू" लर्निंग ने इसे पानी को बेहतर ढंग से समझने में मदद की।

उन्होंने स्पष्ट रूप से किसे खारिज कर दिया

पेपर बहुत स्पष्ट है कि क्या काम नहीं करता है:

• पहले इमेज को बेहतर बनाना (Enhancing the image first): उन्होंने पानी के नीचे की तस्वीरों को लेकर, मौजूदा टूल्स (जैसे "Sea-thru" या "PSPL") के साथ उन्हें साफ करने और फिर उन्हें 3D मॉडल को खिलाने की कोशिश की। यह परिणामों में बहुत अधिक सुधार करने में विफल रहा। लेखक तर्क देते हैं कि इमेज को साफ करने से अक्सर नई त्रुटियाँ या विसंगतियाँ पैदा होती हैं जो 3D मॉडल को भ्रमित करती हैं। यह बेहतर है कि मॉडल को गंदगी के बीच से देखना सिखाया जाए, बजाय इसके कि पहले गंदगी को ठीक करने की कोशिश की जाए।
• केवल सिंथेटिक डेटा: हालांकि उन्होंने शुरुआत करने के लिए नकली पानी के डेटा का उपयोग किया, उन्होंने दिखाया कि केवल नकली डेटा का उपयोग करना पर्याप्त नहीं है। मॉडल को वास्तव में मजबूत बनाने के लिए आपको वास्तविक, बिना लेबल वाले वीडियो की आवश्यकता है।

वे कितने आश्वस्त हैं?

लेखक अपने नंबरों को लेकर आश्वस्त हैं क्योंकि उन्होंने चार अलग-अलग सार्वजनिक डेटासेट्स के साथ अपने स्वयं के Water3D डेटासेट पर परीक्षण किया। उन्होंने केवल परिणामों का सिमुलेशन नहीं किया; उन्होंने जहाँ भी उपलब्ध था, वहाँ 'ग्राउंड ट्रुथ' के विरुद्ध माप किया।

• उन्होंने दिखाया कि Wat3R "हल्के" से "गंभीर" गिरावट (degradation) में बेहतर काम करता है, हालांकि वे स्वीकार करते हैं कि अत्यधिक मटमैले पानी या तेजी से चलने वाली वस्तुओं में, मॉडल अभी भी संघर्ष करता है क्योंकि वहां सूचना के लिए पर्याप्त दृश्य जानकारी उपलब्ध नहीं होती है।
• वे स्पष्ट रूप से कहते हैं कि उनकी विधि पहला सेमी-सुपरवाइज्ड फ्रेमवर्क है जो बिना किसी अंडरवॉटर 3D एनोटेशन की आवश्यकता के पानी के नीचे के दृश्यों में सामान्य (generalize) हो सकता है।

निचोड़ (The Bottom Line)

Wat3R एक ऐसे गोताखोर की तरह है जो समुद्र की गहराई में नेविगेट करना केवल नक्शा पढ़कर नहीं, बल्कि यह देखकर सीखता है कि प्रकाश कैसे मुड़ता है और विभिन्न कोणों से वस्तुएं कैसी दिखती हैं, और यह सब करते हुए वह कोहरे को अनदेखा करता है। यह साबित करता है कि कंप्यूटर को पानी के नीचे देखने के लिए सिखाने के लिए आपको पूर्ण लेबल की आवश्यकता नहीं है; आपको बस एक स्मार्ट तरीका चाहिए जिससे वह वास्तविक वीडियो के शोर से सीखना सीख सके। कोड और उनका नया Water3D डेटासेट किसी के भी उपयोग के लिए उपलब्ध है, जो बेहतर अंडरवॉटर रोबोटिक्स, पुरातत्व और मैपिंग के द्वार खोलता है, जहाँ हर बूंद पानी को लेबल करने का असंभव कार्य करना पड़ता है।