💻 computer science

Learning Cross-View Object Correspondence via Cycle-Consistent Mask Prediction

यह शोध पत्र बिना किसी ग्राउंड-ट्रुथ एनोटेशन के, रोबस्ट और व्यू-इनवेरिएंट रिप्रेजेंटेशन्स उत्पन्न करने के लिए कंडीशनल बाइनरी सेगमेंटेशन मास्क पर एक साइकिल-कंसिस्टेंट ट्रेनिंग ऑब्जेक्टिव का लाभ उठाते हुए, एगोसेंट्रिक और एक्सोसेंट्रिक वीडियो में क्रॉस-व्यू ऑब्जेक्ट कॉरेस्पोंडेंस स्थापित करने के लिए एक सरल लेकिन प्रभावी फ्रेमवर्क प्रस्तावित करता है, जो Ego-Exo4D और HANDAL-X बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Shannan Yan, Leqi Zheng, Keyu Lv, Jingchen Ni, Hongyang Wei, Jiajun Zhang, Guangting Wang, Jing Lyu, Chun Yuan, Fengyun Rao

प्रकाशित 2026-03-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shannan Yan, Leqi Zheng, Keyu Lv, Jingchen Ni, Hongyang Wei, Jiajun Zhang, Guangting Wang, Jing Lyu, Chun Yuan, Fengyun Rao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कोई विशिष्ट वस्तु खोजने के लिए सिखाने की कोशिश कर रहे हैं, जैसे कि एक लाल कॉफी मग, लेकिन आपके बीच संचार की एक बड़ी समस्या है।

आप (प्रथम-व्यक्ति का दृश्य): आपने अपने सिर पर एक कैमरा पहना हुआ है। आप अपने ठीक सामने मग को देख रहे हैं, जो बड़ा और स्पष्ट है। आप उसकी ओर इशारा करते हैं और कहते हैं, "इसे ढूंढो!"
रोबोट (तृतीय-व्यक्ति का दृश्य): रोबोट कमरे के दूसरी ओर खड़ा है। वह उसी मग को देख रहा है, लेकिन एक बिल्कुल अलग कोण से। रोबोट के लिए, वह मग बहुत छोटा दिखता है, शायद एक लैपटॉप द्वारा आंशिक रूप से छिपा हुआ है, और रोशनी भी पूरी तरह से अलग है।

चुनौती यह है: रोबोट को कैसे पता चलेगा कि कमरे के उस पार वह कौन सा छोटा सा बिंदु है जिसे आप "बड़ा लाल मग" कह रहे हैं जिस पर आपने इशारा किया था?

यह पेपर इस समस्या को हल करने का एक चतुर नया तरीका पेश करता है, जिसे साइकिल-कंसिस्टेंट मास्क प्रेडिक्शन (Cycle-Consistent Mask Prediction) कहा जाता है। यह कैसे काम करता है, इसका सरल अवधारणाओं में विवरण यहाँ दिया गया है:

1. "जादुई अनुवादक" (द फ्रेमवर्क)

हर कोण से हर वस्तु कैसी दिखती है, इसे याद करने की कोशिश करने के बजाय, लेखकों ने एक "अनुवादक" बनाया है।

इनपुट: आप अपने दृश्य से मग की एक तस्वीर देते हैं और उसके चारों ओर एक घेरा (एक "मास्क") बनाते हैं।
प्रक्रिया: सिस्टम उस घेरे को लेता है और उसे रोबोट के कैमरा दृश्य पर "प्रोजेक्ट" करने की कोशिश करता है। यह एक छाया कठपुतली (shadow puppet) को लेने और यह पता लगाने जैसा है कि वह छाया कमरे के दूसरी ओर दीवार पर कहाँ गिरेगी।
आउटपुट: सिस्टम रोबोट के दृश्य में मग के चारों ओर एक नया घेरा बनाता है।

2. "राउंड-ट्रिप टेस्ट" (साइकिल कंसिस्टेंसी)

यही असली सफलता का मंत्र है। आमतौर पर, AI को यह बताने के लिए एक शिक्षक की आवश्यकता होती है कि उसने उत्तर सही दिया या नहीं। लेकिन यहाँ, लेखकों ने AI को स्वयं को सिखाने के लिए बनाया है।

इसे "टेलीफोन" के खेल की तरह समझें लेकिन एक ट्विस्ट के साथ:

चरण A: आप AI को आपके दृश्य में मग दिखाते हैं।
चरण B: AI अनुमान लगाता है कि रोबोट के दृश्य में मग कहाँ है।
चरण C (जादुई मोड़): AI रोबोट के दृश्य से अपने खुद के अनुमान को लेता है और उसे वापस आपके दृश्य में प्रोजेक्ट करने की कोशिश करता है।
जांच: यदि AI ने अच्छा काम किया है, तो वह "भूतिया मग" (ghost mug) जिसे वह वापस प्रोजेक्ट करता है, ठीक उसी असली मग के ऊपर लैंड होना चाहिए जिसे आपने शुरू में दिखाया था।

यदि भूतिया मग गलत जगह पर गिरता है, तो AI को पता चल जाता है, "ओह, मेरा अनुमान गलत था," और वह खुद को ठीक करता है। इसे किसी मानव शिक्षक की आवश्यकता नहीं है; "राउंड ट्रिप" का गणित ही इसे बताता है कि यह सही है या गलत। इसे सेल्फ-सुपरविज़न (Self-Supervision) कहा जाता है।

3. "लास्ट-मिनट पॉलिश" (टेस्ट-टाइम ट्रेनिंग)

कल्पना कीजिए कि आप एक कठिन परीक्षा दे रहे हैं। आप आमतौर पर पहले से पढ़ाई करते हैं, लेकिन क्या होगा यदि आप अपना पेपर जमा करने से ठीक पहले कुछ सेकंड के लिए विशिष्ट प्रश्नों को फिर से पढ़ सकें और अपने उत्तरों में थोड़ा सुधार कर सकें?

टेस्ट-टाइम ट्रेनिंग (TTT) यही करता है।

जब रोबोट वास्तविक दुनिया की स्थिति में मग की तलाश कर रहा होता है, तो सिस्टम केवल अनुमान लगाकर आगे नहीं बढ़ता है।
वह उस विशिष्ट क्षण को लेता है, तुरंत कुछ बार "राउंड-ट्रिप टेस्ट" चलाता है, और अपने मस्तिष्क को उस विशिष्ट कमरे और उस विशिष्ट रोशनी के अनुकूल बनाने के लिए थोड़ा समायोजित करता है।
यह रोबोट के एक गहरी सांस लेने जैसा है और कहने जैसा है, "ठीक है, इस विशेष कमरे में, मग थोड़ा अलग दिखता है, मुझे अपनी खोज को थोड़ा व्यवस्थित करने दें।"

यह एक बड़ी बात क्यों है?

यह मजबूत (Robust) है: यह काम करता है भले ही रोबोट हिल रहा हो, रोशनी खराब हो, या मग आधा छिपा हुआ हो।
इसे अतिरिक्त डेटा की आवश्यकता नहीं है: क्योंकि यह खुद को सिखाने के लिए "राउंड-ट्रिप टेस्ट" का उपयोग करता है, इसे "रोबोट के दृश्य में मग" के हजारों मानव-लेबल वाले उदाहरणों की आवश्यकता नहीं है। यह वीडियो से ही सीखता है।
यह जीतता है: जब उन्होंने वास्तविक डेटासेट (जैसे खाना पकाने वाले या बाइक ठीक करने वाले लोगों) पर इसका परीक्षण किया, तो उनकी विधि अलग-अलग कैमरा कोणों से वस्तुओं को खोजने में दुनिया में सबसे बेहतर थी।

निचोड़ (The Bottom Line)

लेखकों ने एक ऐसा सिस्टम बनाया है जो रोबोट को यह समझने में मदद करता है कि इंसान किस ओर देख रहे हैं, भले ही रोबोट दुनिया को एक पूरी तरह से अलग परिप्रेक्ष्य से देख रहा हो। यह खुद के साथ "छाया मिलाने" का खेल खेलकर और निर्णय लेने से ठीक पहले खुद को एक त्वरित "ट्यून-अप" देकर ऐसा करता है। यह रोबोट को वास्तविक दुनिया में निर्देशों का पालन करने में बहुत बेहतर बनाता है।

यहाँ शोध पत्र "Learning Cross-View Object Correspondence via Cycle-Consistent Mask Prediction" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह शोध पत्र क्रॉस-व्यू ऑब्जेक्ट कॉरेस्पोंडेंस (cross-view object correspondence) की चुनौती को संबोधित करता है, विशेष रूप से वीडियो में एगोसेंट्रिक (प्रथम-व्यक्ति, पहनने योग्य कैमरा) और एक्सोसेंट्रिक (तृतीय-व्यक्ति, बाहरी कैमरा) दृष्टिकोणों के बीच ऑब्जेक्ट-स्तरीय दृश्य संरेखण (visual alignment) स्थापित करना।

मुख्य कठिनाई: इस कार्य में एक स्रोत दृश्य (जैसे कि अस्थिर, अव्यवस्थित, प्रथम-व्यक्ति दृश्य) से लक्ष्य दृश्य (जैसे कि स्थिर लेकिन संभावित रूप से दूर का तृतीय-व्यक्ति दृश्य) में एक ऑब्जेक्ट मास्क को मैप करने और इसके विपरीत कार्य करने की आवश्यकता होती है।
चुनौतियाँ:
- रूप परिवर्तन (Appearance Variation): दृश्यों के बीच प्रकाश व्यवस्था, रिज़ॉल्यूशन और अवरोध (occlusion) में भारी बदलाव।
- स्थानिक विषमता (Spatial Disparity): स्थानिक लेआउट और बैकग्राउंड संदर्भ काफी भिन्न होते हैं, जिससे बैकग्राउंड संकेत अविश्वसनीय हो जाते हैं।
- अस्थायी गतिशीलता (Temporal Dynamics): कैमरा कोणों के माध्यम से वस्तुएं विकृत या अलग तरह से चल सकती हैं।
- डेटा की कमी (Data Scarcity): पारंपरिक कॉरेस्पोंडेंस मॉडल अक्सर सह-दृश्यमान (co-visible) या स्थिर दृश्यों पर निर्भर करते हैं, जो इन अत्यधिक दृष्टिकोण परिवर्तनों में विफल रहते हैं। इसके अलावा, लक्ष्य दृश्य के लिए ग्राउंड-ट्रुथ एनोटेशन प्राप्त करना कठिन है, जो सुपरवाइज्ड लर्निंग को सीमित करता है।

2. कार्यप्रणाली (Methodology)

लेखक साइकिल-कंसिस्टेंसी (Cycle-Consistency) उद्देश्य और टेस्ट-टाइम ट्रेनिंग (TTT) द्वारा उन्नत कंडीशनल बाइनरी सेगमेंटेशन (Conditional Binary Segmentation) पर आधारित एक सरल लेकिन प्रभावी ढांचा प्रस्तावित करते हैं।

A. आर्किटेक्चर (Architecture)

मॉडल DINOv3 विजन फाउंडेशन मॉडल को बैकबोन के रूप में उपयोग करता है और इसमें तीन घटक शामिल हैं:

सोर्स फीचर एक्सट्रैक्टर (Source Feature Extractor):
- एक स्रोत छवि ( $I_s$ ) और उसके ऑब्जेक्ट मास्क ( $M_s$ ) को लेता है।
- फीचर मैप्स निकालता है और नॉर्मलाइज्ड मास्क का उपयोग करके फीचर मैप का भारित औसत (weighted average) निकालकर एक संक्षिप्त, ऑब्जेक्ट-विशिष्ट फीचर प्रतिनिधित्व ( $z_s$ ) कंप्यूट करता है।
- इस प्रतिनिधित्व को एक कंडीशन टोकन (CDT) में प्रोजेक्ट किया जाता है।
ट्रांसफॉर्मर एनकोडर (Transformer Encoder):
- लक्ष्य छवि ( $I_t$ ) को विजुअल टोकन में विभाजित किया जाता है।
- इनपुट सीक्वेंस में क्लास टोकन ( $\mathit{CLS}$ ), कंडीशन टोकन (CDT), और विजुअल टोकन शामिल हैं।
- CDT क्रॉस-टोकन अटेंशन के माध्यम से ट्रांसफॉर्मर को कंडिशन करता है, जिससे एनकोडर को लक्ष्य दृश्य में संगत वस्तु पर ध्यान केंद्रित करने के लिए निर्देशित किया जाता है।
मल्टी-टास्क डिकोडर (Multi-task Decoder):
- मास्क हेड (Mask Head): विजुअल टोकन का उपयोग करके लक्ष्य दृश्य के लिए एक बाइनरी सेगमेंटेशन मास्क ( $\hat{M}_t$ ) उत्पन्न करता है।
- CLS हेड (CLS Head): वस्तु की दृश्यता (बाइनरी क्लासिफिकेशन) की भविष्यवाणी करता है ताकि यह निर्धारित किया जा सके कि क्या वस्तु लक्ष्य दृश्य में मौजूद है।

B. प्रशिक्षण उद्देश्य (Training Objectives)

मॉडल को एक मिश्रित लॉस फंक्शन का उपयोग करके प्रशिक्षित किया जाता है:
$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{mask}} + \lambda_{\text{aux}} \mathcal{L}_{\text{aux}} + \lambda_{\text{cycle}} \mathcal{L}_{\text{cycle}}$

मास्क लॉस ( $\mathcal{L}_{\text{mask}}$ ): ग्राउंड ट्रुथ के विरुद्ध अनुमानित लक्ष्य मास्क को सुपरवाइज करने के लिए बाइनरी क्रॉस-एन्ट्रॉपी (BCE) और डाइस लॉस (Dice Loss) का संयोजन।
ऑक्सिलरी लॉस ( $\mathcal{L}_{\text{aux}}$ ): ग्रेडिएंट फ्लो को बेहतर बनाने के लिए इंटरमीडिएट ट्रांसफॉर्मर लेयर्स पर लागू डीप सुपरविजन।
साइकिल-कंसिस्टेंसी लॉस ( $\mathcal{L}_{\text{cycle}}$ ):
- तंत्र: अनुमानित लक्ष्य मास्क ( $\hat{M}_t$ ) को मूल क्वेरी मास्क ( $\hat{M}_s$ ) को पुनर्गठित करने के लिए सिस्टम में वापस एक सोर्स मास्क के रूप में फीड किया जाता है।
- प्रतिबंध: पुनर्गठित मास्क $\hat{M}_s$ की तुलना BCE लॉस का उपयोग करके मूल $M_s$ से की जाती है।
- महत्व: यह व्यू-इनवेरिएंट (view-invariant) प्रतिनिधित्व को लागू करता है और एक सेल्फ-सुपरवाइज्ड सिग्नल प्रदान करता है जिसके लिए लक्ष्य दृश्य के ग्राउंड-ट्रुथ एनोटेशन की आवश्यकता नहीं होती है।

C. टेस्ट-टाइम ट्रेनिंग (TTT)

एक प्रमुख नवाचार इन्फरेंस के दौरान TTT का अनुप्रयोग है:

चूंकि $\mathcal{L}_{\text{cycle}}$ के लिए ग्राउंड-ट्रुथ टारगेट मास्क की आवश्यकता नहीं होती है, इसलिए इसे अनलेबल टेस्ट पेयर्स पर कंप्यूट किया जा सकता है।
प्रत्येक टेस्ट पेयर के लिए, मॉडल साइकिल-कंसिस्टेंसी लॉस को कम करने के लिए कुछ ग्रेडिएंट अपडेट स्टेप्स (केवल अंतिम $K$ ट्रांसफॉर्मर लेयर्स को फाइन-ट्यून करना) करता है।
यह मॉडल को विशिष्ट डोमेन शिफ्ट या टेस्ट डेटा में वितरण विविधताओं के अनुकूल गतिशील रूप से ढलने की अनुमति देता है, जिससे प्रदर्शन में उल्लेखनीय वृद्धि होती है।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क: क्रॉस-व्यू कॉरेस्पोंडेंस के लिए एक मॉड्यूलर, एंड-टू-एंड फ्रेमवर्क जो प्री-ट्रेंड विजन फाउंडेशन मॉडल्स (DINOv3) में न्यूनतम आर्किटेक्चरल बदलावों की मांग करता है।
साइकिल-कंसिस्टेंसी उद्देश्य: एक सेल्फ-सुपरवाइज्ड ट्रेनिंग रणनीति जो दृश्य-इनवेरिएंट (view-invariant) प्रतिनिधित्व को लागू करती है, जिससे लक्ष्य दृश्य के लिए महंगे एनोटेशन के बिना मजबूत लर्निंग संभव होती है।
टेस्ट-टाइम ट्रेनिंग रणनीति: इस विशिष्ट क्रॉस-व्यू कॉरेस्पोंडेंस कार्य के लिए TTT का पहला सफल अनुप्रयोग, जो दर्शाता है कि इन्फरेंस-टाइम अनुकूलन मजबूती को बढ़ाता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: चुनौतीपूर्ण बेंचमार्क पर शीर्ष परिणाम प्राप्त किए, जो प्रस्तावित अनुकूलन और TTT रणनीति की प्रभावकारिता को सिद्ध करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन दो प्रमुख बेंचमार्क पर किया गया: Ego-Exo4D और HANDAL-X।

Ego-Exo4D बेंचमार्क:
- Exo Query (तृतीय-व्यक्ति से प्रथम-व्यक्ति): 47.18% का IoU प्राप्त किया, जो पिछले SOTA (O-MaMa) से 7.0% अधिक सापेक्ष सुधार है।
- Ego Query (प्रथम-व्यक्ति से तृतीय-व्यक्ति): 41.95% का IoU प्राप्त किया, जो SOTA (42.57%) के करीब है और अन्य सभी बेसलाइन्स से बेहतर है।
- कुल mIoU: 44.57%, जो पिछले सर्वश्रेष्ठ से +2.9% सुधार है।
- विजिबिलिटी एक्यूरेसी (Visibility Accuracy): 98.92% (Ego) और 99.86% (Exo) प्राप्त किया, जो वस्तु की उपस्थिति का पता लगाने की उत्कृष्ट क्षमता को दर्शाता है।
HANDAL-X बेंचमार्क (जीरो-शॉट और फाइन-ट्यूनिंग):
- जीरो-शॉट (Zero-Shot): HANDAL-X पर बिना किसी प्रशिक्षण के, विधि ने 78.8% IoU प्राप्त किया, जो पिछले सर्वश्रेष्ठ (ObjectRelator) से 36.0% अधिक सापेक्ष सुधार है।
- फाइन-ट्यून्ड (Fine-tuned): फाइन-ट्यूनिंग के बाद, यह 85.0% IoU तक पहुँच गया, जो सभी प्रतिस्पर्धियों से बेहतर है।
एब्लेशन स्टडीज (Ablation Studies):
- साइकिल-कंसिस्टेंसी लॉस को हटाने से mIoU में महत्वपूर्ण गिरावट आई, जो TTT के लिए आवश्यक सेल्फ-सुपरवाइजरी सिग्नल के रूप में इसकी भूमिका की पुष्टि करता है।
- TTT ने सभी सेटिंग्स में प्रदर्शन में लगातार सुधार किया।
- फ्रेमवर्क की सफलता केवल बैकबोन के चुनाव के बजाय इसके आर्किटेक्चरल डिज़ाइन और लॉस फंक्शन्स के कारण थी (बैकबोन बदलने पर भी बेसलाइन्स से बेहतर प्रदर्शन किया)।

5. महत्व (Significance)

यह कार्य कई कारणों से महत्वपूर्ण है:

अत्यधिक दृष्टिकोणों के प्रति मजबूती: यह प्रभावी रूप से "एगो-एक्सो" गैप को हल करता है, जो एम्बोडीड एआई (embodied AI), मानव-रोबोट इंटरेक्शन और स्वायत्त नेविगेशन के लिए एक महत्वपूर्ण आवश्यकता है जहाँ एजेंटों को एक परिप्रेक्ष्य से निर्देश समझने और दूसरे से कार्य करने की आवश्यकता होती है।
सेल्फ-सुपरवाइज्ड लर्निंग: साइकिल-कंसिस्टेंसी का उपयोग करके, यह विधि लक्ष्य दृश्य के लिए महंगे पिक्सेल-लेवल एनोटेशन पर निर्भरता को कम करती है, जिससे यह विविध डेटासेट के लिए स्केलेबल हो जाती है।
इन्फरेंस-टाइम अडैप्टेशन: यह प्रदर्शित करता है कि मॉडल विशिष्ट डोमेन शिफ्ट को संभालने के लिए इन्फरेंस के दौरान गतिशील रूप से परिष्कृत हो सकते हैं, जो स्टेटिक मॉडल डिप्लॉयमेंट से एक पैराडाइम शिफ्ट है।
सरलता और दक्षता: दृष्टिकोण एक अपेक्षाकृत सरल आर्किटेक्चर और फाउंडेशन मॉडल्स में न्यूनतम संशोधनों के साथ SOTA परिणाम प्राप्त करता है, जो क्रॉस-व्यू कार्यों के लिए एक अत्यधिक कुशल मार्ग का सुझाव देता है।