💬 NLP

Phrase-Instance Alignment for Generalized Referring Segmentation

यह शोध पत्र जेनेरालाइज्ड रेफरिंग सेगमेंटेशन के लिए एक नवीन इंस्टेंस-अवेयर फ्रेमवर्क प्रस्तावित करता है जो टास्क को 'फ्रेज़-ऑब्जेक्ट एलाइनमेंट लॉस' और एक एकीकृत एकत्रीकरण तंत्र का उपयोग करके 'फ्रेज़-इंस्टेंस एलाइनमेंट' के रूप में पुनर्गठित करता है, जिससे सिंगल, मल्टीपल और नुल टारगेट परिदृश्यों को प्रभावी ढंग से संभालते हुए gRefCOCO और Ref-ZOM बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: E-Ro Nguyen, Hieu Le, Dimitris Samaras, Michael S. Ryoo

प्रकाशित 2026-03-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: E-Ro Nguyen, Hieu Le, Dimitris Samaras, Michael S. Ryoo

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप पार्क की एक व्यस्त तस्वीर देख रहे हैं और कोई आपसे कहता है कि "लाल शर्ट पहने हुए एक आदमी और उसके साथ एक कुत्ता, और दाईं ओर वाला कुत्ता दिखाओ।"

अतीत में, कंप्यूटर विज़न मॉडल एक अनाड़ी चित्रकार की तरह थे जिसने इस निर्देश को सुना और पूरे दृश्य पर एक बड़ा, बिखरा हुआ पेंट का धब्बा लगा दिया, जिससे वह आदमी और कुत्ते दोनों को एक ही विशाल, अनिर्धारित आकार से ढकने की कोशिश करता था। वे आदमी, कुत्ते या पृष्ठभूमि में मौजूद अन्य लोगों के बीच अंतर नहीं कर पाते थे। वे पूरे वाक्य को एक ही "चीज़" के रूप में देखते थे।

यह पेपर InstAlign नामक एक नई विधि पेश करता है जो एक बिखरे हुए चित्रकार के बजाय एक चतुर जासूस की तरह काम करती है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. समस्या: "धब्बा" दृष्टिकोण (The "Blob" Approach)

इस कार्य के लिए वर्तमान AI मॉडल आमतौर पर एक ही बार में उत्तर का अनुमान लगाने की कोशिश करते हैं। वे वाक्य और चित्र को देखते हैं और कहते हैं, "ठीक है, मुझे लगता है कि यह पूरा क्षेत्र वही है जो आप चाहते हैं।"

खामी: यदि वाक्य जटिल है (जैसे, "बाईं ओर दो आदमी"), तो AI भ्रमित हो जाता है। यह शायद पूरे बाएं हिस्से पर पेंट कर दे, जिसमें वे लोग भी शामिल हों जो वे आदमी नहीं हैं, या यह एक आदमी को पूरी तरह से छोड़ भी सकता है। वे वाक्य को विशिष्ट संकेतों के सेट के बजाय एक एकल, सपाट निर्देश के रूप में देखते हैं।

2. समाधान: "जासूसों की टोली" (Instance-Aware Reasoning)

एक बड़ा धब्बा अनुमान लगाने के बजाय, InstAlign इस काम को विभाजित करता है। कल्पना कीजिए कि AI चित्र में 100 छोटे जासूसों (जिन्हें "ऑब्जेक्ट क्वेरीज़" कहा जाता है) की एक टोली भेजता है।

प्रत्येक जासूस एक विशिष्ट वस्तु की तलाश कर रहा है।
एक जासूस को एक लड़की मिल सकती है। दूसरा एक छोटा कुत्ता पाता है। तीसरा एक बड़ा कुत्ता पाता है।
महत्वपूर्ण बात यह है कि AI केवल उन्हें ढूंढता ही नहीं है; वह प्रत्येक जासूस से पूछता है: "आपकी खोज वाक्य के शब्दों से कितनी मेल खाती है?"

3. गुप्त हथियार: फ्रेज़-ऑब्जेक्ट अलाइनमेंट (Phrase-Object Alignment - POA)

यही इस पेपर का सबसे बड़ा नवाचार है। यह एक जासूस को विशिष्ट शब्दों को हाइलाइट करने वाले आवर्धक लेंस (magnifying glass) देने जैसा है।

पुराना तरीका: AI केवल अस्पष्ट रूप से "महसूस" करता है कि टेक्स्ट और इमेज आपस में संबंधित हैं।
InstAlign का तरीका: AI एक सख्त संबंध स्थापित करता है।
- "छोटा कुत्ता" रखने वाला जासूस वाक्य में "छोटा कुသာ" शब्दों को देखने के लिए मजबूर किया जाता है और कहता है, "हाँ, मैं इन शब्दों से पूरी तरह मेल खाता हूँ।"
- "लड़की" वाला जासूस "एक लड़की जो पकड़ती है..." शब्दों को देखता है और कहता है, "मैं उनसे मेल खाता हूँ।"
- "दाईं ओर वाला कुत्ता" वाला जासूस वाक्य के पहले भाग को अनदेखा करता है और केवल "दाईं ओर वाला कुत्ता" पर ध्यान केंद्रित करता है।

इससे एक सूक्ष्म मानचित्र (fine-grained map) बनता है जहाँ वाक्य का हर हिस्सा चित्र की एक विशिष्ट वस्तु से स्पष्ट रूप से जुड़ा होता है। यह शब्द "कुत्ता" से सीधे फोटो में मौजूद विशिष्ट कुत्ते तक एक रेखा खींचने और "लड़की" से लड़की तक एक अलग रेखा खींचने जैसा है।

4. अंतिम चरण: "स्मार्ट मिक्सर" (Relevance-Weighted Aggregation)

एक बार जब जासूस अपना काम कर लेते हैं, तो AI को उनके निष्कर्षों को अंतिम उत्तर में मिलाने की आवश्यकता होती है।

यदि वाक्य "लड़की और कुत्ता" है: AI देखता है कि "लड़की जासूस" और "कुत्ता जासूस" दोनों का स्कोर अधिक है। यह उनके मास्क को मिलाकर अंतिम चित्र बनाता है।
यदि वाक्य "सोफे पर हाथी" है (लेकिन वहाँ कोई हाथी नहीं है): AI सभी जासूसों की जांच करता है। उनमें से किसी ने भी मैच नहीं पाया। "नो-टारगेट प्रेडिक्टर" (एक विशेष अलार्म बेल) बज उठता है और कहता है, "हे, किसी ने भी वह नहीं पाया जो आपने मांगा था!" यह AI को वहां हाथी दिखाने (hallucinating) से रोकता है जो वहां मौजूद ही नहीं है।

यह एक बड़ी बात क्यों है?

इसे एक बच्चे की लकीरों और एक पेशेवर मानचित्र के बीच के अंतर के रूप में सोचें।

पुराने मॉडल: पार्क के चारों ओर एक बड़ा घेरा बनाते हैं और कहते हैं, "यहाँ पार्क है।"
InstAlign: लड़की के चारों ओर एक सटीक रूपरेखा खींचता है, कुत्ते के चारों ओर एक सटीक रूपरेखा खींचता है, और फिर उन्हें तभी जोड़ता है जब निर्देश ऐसा करने को कहें।

परिणाम

लेखकों ने दो प्रमुख बेंचमार्क (gRefCOO और Ref-ZOM) पर इसका परीक्षण किया।

स्कोर: उन्होंने सटीकता में महत्वपूर्ण अंतर से सुधार किया (जटिल मिलान पर 3% से अधिक और "नो टारगेट" मामलों को पहचानने में 12% से अधिक)।
मुख्य निष्कर्ष: यह सुनिश्चित करके कि AI यह समझे कि एक वाक्य हिस्सों से बना है जो चित्र के हिस्सों के अनुरूप होते हैं, मॉडल बहुत अधिक स्मार्ट, सटीक और कठिन, जटिल विवरणों को संभालने में बेहतर हो जाता है।

संक्षेप में: InstAlign AI को एक बार में पूरी तस्वीर का अनुमान लगाने से रोकता है। इसके बजाय, यह AI को वाक्य को टुकड़ों में तोड़ने, प्रत्येक टुकड़े के लिए मिलान वाली वस्तु खोजने और फिर सावधानीपूर्वक सही टुकड़ों को जोड़ने के लिए प्रशिक्षित करता है।

यहाँ शोध पत्र "Phrase-Instance Alignment for Generalized Referring Segmentation" (InstAlign) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

Generalized Referring Expression Segmentation (GRES) पारंपरिक Referring Expression Segmentation (RES) का विस्तार करता है ताकि अधिक जटिल, वास्तविक परिदृश्यों को संभाला जा सके जहाँ एक भाषाई अभिव्यक्ति (linguistic expression) निम्नलिखित को संदर्भित कर सकती है:

एक एकल वस्तु (single object)।
कई संबंधित वस्तुएं (जैसे, "बाईं ओर के दो आदमी")।
कोई भी वस्तु नहीं (जैसे, "सोफे पर हाथी" जब कोई हाथी मौजूद न हो)।

मुख्य चुनौती: मौजूदा GRES मॉडल आमतौर पर सभी मामलों को एक एकल बाइनरी फोरग्राउंड मास्क (binary foreground mask) का अनुमान लगाकर समान रूप से संसाधित करते हैं। यह "क्षेत्र-आधारित" (region-based) दृष्टिकोण भाषाई संरचना को सपाट कर देता है, जिससे यह स्पष्ट रूप से समझने में विफलता होती है कि विशिष्ट वाक्यांश विशिष्ट दृश्य उदाहरणों (visual instances) के साथ कैसे मेल खाते हैं। इसके परिणामस्वरूप, ये मॉडल संबंधित उदाहरणों को अलग करने, विशिष्ट गुणों को पकड़ने या संरचनात्मक भाषा (compositional language) को संभालने में संघर्ष करते हैं, जिससे अक्सर ओवर-सेगमेंटेशन, अंडर-सेगमेंटेशन, या समान वस्तुओं के बीच भ्रम की स्थिति उत्पन्न होती है।

2. कार्यप्रणाली: InstAlign

लेखक InstAlign प्रस्तावित करते हैं, जो एक ढांचा (framework) है जो GRES को एक इंस्टेंस-लेवल रीजनिंग समस्या के रूप में पुनर्गठित करता है। एक एकल विलयित मास्क (merged mask) का अनुमान लगाने के बजाय, मॉडल पहले कई ऑब्जेक्ट इंस्टेंस का अनुमान लगाता है और फिर उन्हें भाषाई वाक्यांशों के साथ संरेखित (align) करता है।

इसकी वास्तुकला (architecture) तीन मुख्य घटकों से बनी है:

A. इंस्टेंस-अवेयर सेगमेंटेशन फ्रेमवर्क (Instance-Aware Segmentation Framework)

बैकबोन (Backbone): मॉडल एक क्वेरी-आधारित इंस्टेंस सेगमेंटेशन बैकबोन (Mask2Former) का विस्तार करता है ताकि यह referring expressions के तहत कार्य कर सके।
तंत्र (Mechanism): यह एक छवि और एक टेक्स्ट अभिव्यक्ति को इनपुट के रूप में लेता है। ऑब्जेक्ट क्वेरीज का एक सेट ट्रांसफार्मर डिकोडर परतों के माध्यम से मल्टी-स्केल विजुअल फीचर्स और टेक्स्ट टोकन के साथ इंटरैक्ट करता है।
आउटपुट: मॉडल एक एकल संलयित मास्क के बजाय $N$ विशिष्ट इंस्टेंस मास्क और उनके संबंधित प्रासंगिकता स्कोर ( $\hat{p}$ ) आउटपुट करता है। यह स्पष्ट ऑब्जेक्ट-लेवल सुपरविजन पेश करता है, जो प्रत्येक क्वेरी को एक विशिष्ट, व्याख्या योग्य इंस्टेंस में विशेषज्ञता प्राप्त करने के लिए मजबूर करता है।

B. फ्रेज-ऑब्जेक्ट एलाइनमेंट (Phrase-Object Alignment - POA)

भाषाई वाक्यांशों और विजुअल इंस्टेंस के बीच के अंतर को पाटने के लिए, लेखक एक नया Phrase-Object Alignment (POA) लॉस पेश करते हैं।

अवधारणा (Concept): पिछले तरीकों के विपरीत, जो निहित क्रॉस-मोडल अटेंशन (implicit cross-modal attention) पर निर्भर करते हैं, POA प्रत्येक ऑब्जेक्ट क्वेरी को उसके सबसे प्रासंगिक भाषाई वाक्यांश से स्पष्ट रूप से जोड़ता है।
प्रक्रिया:
1. टोकन-टू-क्वेरी प्रासंगिकता (Token-to-Query Relevance): यह एक अटेंशन मैप की गणना करता है जो दिखाता है कि प्रत्येक ऑब्जेक्ट क्वेरी अभिव्यक्ति के प्रत्येक शब्द टोकन पर कितनी मजबूती से ध्यान केंद्रित करती है।
2. फ्रेज एम्बेडिंग (Phrase Embedding): अटेंशन मैप के आधार पर टेक्स्ट फीचर्स को वेट (weight) देकर प्रत्येक ऑब्जेक्ट क्वेरी के लिए एक सॉफ्ट भाषाई एम्बेडिंग का निर्माण करता है।
3. एलाइनमेंट लॉस (Alignment Loss): ऑब्जेक्ट क्वेरी एम्बेडिंग और उसके संगत फ्रेज एम्बेडिंग के बीच कोसाइन दूरी (cosine distance) को कम करके भाषाई निरंतरता (semantic consistency) को लागू करता है।
लाभ: यह सुनिश्चित करता है कि अनुमानित इंस्टेंस भाषाई रूप से ग्राउंडेड हों, जिससे मॉडल को समान वस्तुओं के बीच अंतर करने में मदद मिलती है (जैसे, "बाईं ओर का कुत्ता" और "दाईं ओर का कुत्ता" के बीच अंतर करना)।

C. प्रासंगिकता-भारित एकत्रीकरण (Relevance-Weighted Aggregation)

एक बार इंस्टेंस सेगमेंट और अलाइन हो जाने के बाद, मॉडल को अंतिम आउटपुट तैयार करना होता है, जो एक एकल वस्तु, कई वस्तुएं, या "कोई लक्ष्य नहीं" (no target) हो सकता है।

इंस्टेंस एकत्रीकरण (Instance Aggregation - IA): वैध लक्ष्यों के लिए, अंतिम मास्क सभी अनुमानित इंस्टेंस मास्क के प्रासंगिकता-भारित एकत्रीकरण द्वारा उत्पन्न किया जाता है। सूत्र है:
$M_{merged} = \text{Sigmoid}\left( \sum_{i=1}^{N} (\hat{p}_i \cdot \sigma(\hat{s}_i)) \right)$
जहाँ $\hat{p}_i$ सीखा गया प्रासंगिकता स्कोर है, $\hat{s}_i$ इंस्टेंस मास्क लॉजिट है, और $\sigma$ एक PReLU एक्टिवेशन है जो बैकग्राउंड शोर को दबाने के लिए एक सीखने योग्य डायनेमिक थ्रेशोल्ड के रूप में कार्य करता है। यह प्रासंगिक इंस्टेंस के सॉफ्ट मर्जिंग की अनुमति देता है जबकि डिस्ट्रैक्टर्स (distractors) को दबा देता है।
नो-टारगेट प्रेडिक्टर (No-Target Predictor): एक हल्का मॉड्यूल यह निर्धारित करता है कि क्या अभिव्यक्ति किसी वस्तु को संदर्भित करती है। यह ऑब्जेक्ट क्वेरीज को उनके प्रासंगिकता स्कोर द्वारा भारित करके एकत्रित करता है और इसे "नो-टारगेट" परिदृश्य को वर्गीकृत करने के लिए एक सेंटेंस-लेवल टेक्स्ट एम्बेडिंग के साथ जोड़ता है।

3. प्रमुख योगदान

स्पष्ट इंस्टेंस-लेवल सुपरविजन: GRES में स्पष्ट ऑब्जेक्ट-लेवल सुपरविजन पेश करने वाला पहला कार्य, जो प्रत्येक क्वेरी को अभिव्यक्ति से जुड़े एक विशिष्ट इंस्टेंस में विशेषज्ञता प्राप्त करने की अनुमति देता है।
फ्रेज-ऑब्जेक्ट एलाइनमेंट (POA): एक डिफरेंशिएबल तंत्र जो सीधे फ्रेज-इंस्टेंस पत्राचार के लिए सुपरविजन प्रदान करता है, जिससे व्याख्या योग्य और अर्थपूर्ण ऑब्जेक्ट क्वेरीज प्राप्त होती हैं।
प्रासंगिकता-भारित एकत्रीकरण: एक एकीकृत तंत्र जो गतिशील रूप से प्रासंगिक इंस्टेंस को मर्ज करता है और विभिन्न अभिव्यक्ति प्रकारों के लिए अलग-अलग जटिल आर्किटेक्चर की आवश्यकता के बिना "नो-टारगेट" परिदृश्यों को मजबूती से संभालता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन दो मानक बेंचमार्क: gRefCOCO और Ref-ZOM पर किया गया।

gRefCOCO पर प्रदर्शन:
- cIoU: 68.94% (पिछला SOTA: MABP द्वारा ~65.72%)। सुधार +3.22%।
- N-acc (No-target Accuracy): 79.72% (पिछला SOTA: LQMFormer द्वारा ~67.47%)। सुधार +12.25%।
- इसने पारंपरिक RES विधियों और बड़े LLM-आधारित विजन-लैंग्वेज मॉडल्स (जैसे, LISA, GSVA) दोनों को पीछे छोड़ दिया।
Ref-ZOM पर प्रदर्शन:
- 70.81% mIoU और नो-टारगेट डिटेक्शन के लिए 94.23% Acc के साथ स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए।
एब्लेशन स्टडीज (Ablation Studies):
- POA को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जिससे स्पष्ट फ्रेज-इंस्टेंस एलाइनमेंट की आवश्यकता की पुष्टि हुई।
- प्रासंगिकता-भारित एकत्रीकरण (IA) ने हार्ड सिलेक्शन रणनीतियों से बेहतर प्रदर्शन किया, जो सॉफ्ट मर्जिंग के मूल्य को सिद्ध करता है।
- भारी LLM-आधारित दृष्टिकोणों की तुलना में यह मॉडल कुशल है (230M पैरामीटर्स)।

5. महत्व

व्याख्यात्मकता (Interpretability): विशिष्ट वाक्यांशों को विशिष्ट ऑब्जेक्ट क्वेरीज के साथ संरेखित करके, मॉडल की रीजनिंग प्रक्रिया पारदर्शी और मानव-व्याख्या योग्य बन जाती है।
मजबूती (Robustness): यह ढांचा जटिल संरचनात्मक भाषा (विशेषताएं, संबंध) और "नो-टारगेट" मामलों को पिछले क्षेत्र-आधारित दृष्टिकोणों की तुलना में बहुत बेहतर तरीके से संभालता है।
पैराडाइम शिफ्ट (Paradigm Shift): यह क्षेत्र को "एक धब्बे (blob) का अनुमान लगाने" से "इंस्टेंस के बारे में तर्क करने" की ओर ले जाता है, जो सूक्ष्म समझ की आवश्यकता वाले विजन-लैंग्वेज ग्राउंडिंग कार्यों के लिए एक नया मानक स्थापित करता है।

निष्कर्षतः, InstAlign यह प्रदर्शित करता है कि GRES कार्य को इंस्टेंस डिटेक्शन, फ्रेज एलाइनमेंट और वेटेड एकत्रीकरण में विभाजित करने से जटिल विजुअल-भाषाई परिदृश्यों में बेहतर प्रदर्शन और मजबूती मिलती है।