Can Segmentation Models Understand the World? Towards Proactive Affordance Reasoning via Visual Chain-of-Thought

तकनीकी सारांश: SegWorld – प्रोएक्टिव अफोर्डेंस रीजनिंग की ओर विजुअल चेन-ऑफ-थॉट के माध्यम से

1. समस्या की परिभाषा: इरादे (Intent) और लक्ष्य (Target) के बीच का अंतर

वर्तमान भाषा-संचालित सेगमेंटेशन मॉडल, जो लार्ज लैंग्वेज मॉडल्स (LLMs) को मास्क डिकोडर्स के साथ एकीकृत करते हैं, मुख्य रूप से एक क्वेरी-कंडीशन्ड प्रतिमान (query-conditioned paradigm) के तहत संचालित होते हैं। इस सेटिंग में, निर्देश "लक्ष्य-संदर्भित" (target-referential) होते हैं, जो स्पष्ट रूप से उस विशिष्ट क्षेत्र का नाम लेते हैं, वर्णन करते हैं या उसे सीमित करते हैं जिसे सेगमेंट किया जाना है (जैसे, "लाल कप को सेगमेंट करें")। हालांकि हाल के कार्यों ने अप्रत्यक्ष तर्क (implicit reasoning) को संभालने के लिए विजुअल चेन-ऑफ-थॉट (CoT) पेश किया है, लेकिन दृश्य (visual scene) तब तक अप्रासंगिक रहता है जब तक कि एक विशिष्ट क्वेरी नहीं पूछी जाती।

हालांकि, वास्तविक दुनिया की एम्बॉडीड इंटरेक्शन (embodied interaction) में, मानवीय निर्देश अक्सर इरादा-स्तर (intent-level) के और व्यावहारिक होते हैं। वे एक वांछित परिणाम का वर्णन करते हैं बिना लक्ष्य क्षेत्र को निर्दिष्ट किए (जैसे, एक दृश्य जिसमें मग, केतली और प्लेट मौजूद हो, वहां "मैं पानी पीना चाहता हूँ")। ऐसे निर्देश को पूरा करने के लिए एजेंट को यह आवश्यक है:

1. प्रासंगिक वस्तु का अनुमान लगाना (मग)।
2. आवश्यक क्रिया का निर्धारण करना (पकड़ना/grasping)।
3. विशिष्ट अफोर्डेंस-बियरिंग पार्ट (affordance-bearing part) की पहचान करना जो क्रिया को सक्षम बनाता है (पूरे ऑब्जेक्ट के बजाय हैंडल), न कि पूरे ऑब्जेक्ट की।

मौजूदा मॉडल इस "इरादे-से-पार्ट" (intent-to-part) अंतराल से जूझते हैं क्योंकि उनमें उच्च-स्तरीय लक्ष्यों को निम्न-स्तरीय भौतिक इंटरेक्शन साइटों के साथ जोड़ने के लिए प्रोएक्टिव रीजनिंग का अभाव होता है।

2. कार्यप्रणाली: SegWorld फ्रेमवर्क

लेखक SegWorld का प्रस्ताव करते हैं, जो सीधे 'इंस्ट्रक्शन-टू-मास्क' मैपिंग के स्थान पर एक प्रोएक्टिव, मल्टी-लेवल रीजनिंग प्रक्रिया को प्रतिस्थापित करता है। मुख्य नवाचार एक दो-पास, तीन-चरण वाला आर्किटेक्चर है जो सेगमेंटेशन को एक संभाव्य अनुमान (probabilistic inference) के रूप में औपचारिक रूप देता है जहाँ प्रोएक्टिव ऑब्जर्वेशन एक प्रायर (prior) के रूप में कार्य करता है।

A. संभाव्य सूत्रीकरण (Probabilistic Formulation)
SegWorld सीधे अनुमान $P_\theta(M | I, q)$ को एक निर्देश-स्वतंत्र दृश्य संदर्भ $c$ पर मार्जिनलाइज करके अनुमानित करता है:
$$P_\theta(M | I, q) \approx \mathbb{E}_{c \sim P_\theta(c|I)} [P_\theta(M | I, q, c)]$$
यहाँ, $I$ इमेज है, $q$ निर्देश है, और $c$ एक भाषाई दृश्य संदर्भ है जो निर्देश ज्ञात होने से पहले उत्पन्न किया गया है।

B. आर्किटेक्चर और चरण
मॉडल एक साझा विजन-लैंग्वेज बैकबोन (LoRA के साथ फाइन-ट्यून किया गया) और एक SAM2 मास्क डिकोडर का उपयोग करता है। प्रक्रिया दो फॉरवर्ड पास में विकसित होती है:

1. चरण 0: प्रोएक्टिव ऑब्जर्वेशन (निर्देश-मुक्त)

   • इनपुट: केवल इमेज $I$।
   • आउटपुट: एक भाषाई दृश्य संदर्भ $c = (s, o_{list}, r, e)$।
   • प्रक्रिया: मॉडल चार स्तरों की रीजनिंग उत्पन्न करता है:
     • दृश्य (Scene - $s$): परिवेश का सामान्य विवरण।
     • वस्तुएं (Objects - $o_{list}$): प्रमुख दृश्य वस्तुओं की सूची।
     • संबंध (Relations - $r$): स्थानिक और कार्यात्मक संबंध।
     • घटनाएं (Events - $e$): दृश्य जो संभावित इंटरेक्शन (जैसे, "डालना," "घूंट लेना") को सक्षम करता है।
   • लक्ष्य: एक "भाषाई दृश्य संदर्भ" स्थापित करना जो एक सूचनात्मक प्रायर के रूप में कार्य करता है, जो विशिष्ट उपयोगकर्ता क्वेरी से स्वतंत्र है।

2. चरण 1: निर्देश-कंडीशन्ड रीजनिंग

   • इनपुट: इमेज $I$, निर्देश $q$, और संदर्भ $c$।
   • प्रक्रिया: मॉडल तीन उप-चरणों में व्यवस्थित एक आठ-स्तरीय विजुअल चेन-ऑफ-थॉट का अनुसरण करता है:
     • इंटेंट रेजोल्यूशन (Intent Resolution): प्रासंगिक वस्तु ($o$) और इरादे को पूरा करने के लिए आवश्यक क्रिया ($a$) की पहचान करता है।

ာ अफोर्डेंस ग्राउंडिंग (Affordance Grounding): उस विशिष्ट ऑब्जेक्ट पार्ट ($p$) की पहचान करता है जो क्रिया का समर्थन करता है और उसके अफोर्डेंस ($f$) का नाम देता है।
* सेगमेंटेशन (Segmentation): चेन एक विशेष [SEG] टोकन के साथ समाप्त होती है। इसकी हिडन स्टेट को SAM2 मास्क डिकोडर के लिए प्रॉम्प्ट एम्बेडिंग में प्रोजेक्ट किया जाता है, जो इसे इमेज फीचर्स के साथ फ्यूज करके बाइनरी मास्क $M$ की भविष्यवाणी करता है।

C. प्रशिक्षण रणनीति

• उद्देश्य: मास्क लॉस (बाइनरी क्रॉस-एन्ट्रॉपी + डाइस) और ऑब्जर्वेशन चेन एवं रीजनिंग चेन दोनों के लिए लैंग्वेज मॉडलिंग लॉस के साथ संयुक्त प्रशिक्षण।
• सुपरविजन: ऑब्जर्वेशन लेवल्स को विजन-लैंग्वेज मॉडल्स का उपयोग करके ऑफलाइन सिंथेसाइज किया गया है ताकि वे निर्देश-अज्ञेय (instruction-agnostic) सुनिश्चित किए जा सकें। रीजनिंग लेवल्स नए बेंचमार्क से ग्राउंड-ट्रुथ एनोटेशन का उपयोग करते हैं।
• शेड्यूल्ड सैंपलिंग: ट्रेन-टेस्ट गैप को पाटने के लिए, मॉडल को शुरू में सिंथेसाइज्ड कॉन्टेक्स्ट पर कंडीशन होने के लिए प्रशिक्षित किया जाता है, जो धीरे-धीरे स्वयं-जनित कॉन्टेक्स की ओर बढ़ता है।

3. मुख्य योगदान

1. इंटेंट-लेवल सेगमेंटेशन सेटिंग: पेपर एक नया सेगमेंटेशन प्रतिमान पहचानता और परिभाषित करता है जहाँ निर्देश एक लक्ष्य निर्दिष्ट करते हैं न कि एक लक्ष्य, जिसके लिए लेटेंट रीजनिंग स्टेप्स ($q \to o \to a \to (p, f) \to M^\star$) के माध्यम से एक अफोर्डेंस-बियरिंग ऑब्जेक्ट पार्ट को रिकवर करना आवश्यक है।
2. SegWorld फ्रेमवर्क: एक प्रोएक्टिव सेगमेंटेशन मॉडल जो आठ-स्तरीय विजुअल CoT करता है। यह संभाव्य अनुमान में औपचारिक रूप से आधारित है, जो प्रोएक्टिव ऑब्जर्वेशन का उपयोग करके एक दृश्य संदर्भ प्रदान करता है जो इंटेंट-लेवल क्वेरीज़ के लिए पोस्टीरियर डिस्ट्रीब्यूशन को सटीक बनाता है।
3. Intent2Part बेंचमार्क: InstructPart पर आधारित एक नया डेटासेट, जो 1,800 ट्रेनिंग और 600 टेस्ट सैंपल्स में इंटेंट-लेवल निर्देश जोड़ता है। इसमें उच्च-स्तरीय लक्ष्यों (जैसे, "मैं आराम करना चाहता हूँ") को उनके संबंधित अफोर्डेंस-बियरिंग पार्ट्स (जैसे, वाइन ग्लास का हैंडल) के साथ जोड़ा गया है।

4. प्रयोगात्मक परिणाम

प्रयोग Intent2Part बेंचमार्क पर किए गए, जिसमें SegWorld की तुलना LISA, Sa2VA, Affordance-R1, और SAM3-I जैसे बेसलाइन्स से की गई।

• टारगेट-रेफरेंशियल परफॉरमेंस: SegWorld मानक रेफरिंग और रीजनिंग निर्देशों पर मजबूत बेसलाइन्स के बराबर या उनसे बेहतर प्रदर्शन करता है, जो यह दर्शाता है कि प्रोएक्टिव रीजनिंग तंत्र पारंपरिक कार्यों पर प्रदर्शन को कम नहीं करता है।
• इंटेंट-लेवल परफॉरमेंस:
  • जीरो-शॉट जनरलाइजेशन: SegWorld v1 (जो केवल टारगेट-रेफरेंशियल निर्देशों पर प्रशिक्षित है) इंटेंट-लेवल test_clean स्प्लिट पर 0.514 mIoU प्राप्त करता है, जो सबसे मजबूत बेसलाइन (Affordance-R1) से 3.4 अंक अधिक है। यह सुझाव देता है कि मॉडल एक पुन: प्रयोज्य (reusable) इंटेंट-टू-पार्ट इन्फरेंस पैटर्न सीखता है।
  • सुपरवाइज्ड इम्प्रूवमेंट: Seg-World v2 (इंटेंट-लेवल निर्देशों के साथ प्रशिक्षित) test_clean पर 0.612 mIoU तक सुधर जाता है, जो सभी बेसलाइन्स से काफी बेहतर है।
  • टोकन एमिशन: ऑफ-द-शेल्फ मॉडल्स (जैसे, Sa2VA) के विपरीत जो अक्सर इंटेंट क्वेरीज़ के लिए सेगमेंटेशन टोकन उत्सर्जित करने में विफल रहते हैं (बातचीत के रूप में उत्तर देते हैं), SegWorld लगातार एक मास्क के प्रति प्रतिबद्ध रहता है।
• एब्लेशन स्टडीज: प्रोएक्टिव कॉन्टेक्स्ट या स्टेज-1 रीजनिंग चेन को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आती है, जो पुष्टि करता है कि ऑब्जेक्ट्स, एक्शन्स और अफोर्डेंस के बारे में स्पष्ट रीजनिंग इंटेंट ग्राउंडिंग के लिए महत्वपूर्ण है।

5. महत्व और दावे

पेपर का दावा है कि SegWorld उन सेगमेंटेशन सिस्टम की ओर एक कदम है जो केवल स्पष्ट निर्देशों का पालन करने के बजाय एक दृश्य क्या सक्षम (afford) करता है, इसके बारे में तर्क करते हैं। एक रिएक्टिव, क्वेरी-कंडीशन्ड प्रतिमान से प्रोएक्टिव एक में बदलकर, मॉडल एम्बॉडीड इंटरेक्शन में मानव इरादे की अपूर्ण प्रकृति को संभाल सकता है।

लेखक जोर देते हैं कि विजुअल चेन-ऑफ-थॉट भविष्यवाणी प्रक्रिया को व्याख्या योग्य और ट्रैसेबल (interpretable and traceable) बनाता है, जिससे यह उजागर होता है कि भविष्यवाणी कहाँ से उत्पन्न हुई है (जैसे, "बोतल" के बजाय "हैंडल" की ओर ले जाने वाली रीजनिंग चेन)। वे सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि वर्तमान कार्य स्थिर छवियों और सिंगल-स्टेप इंटेंट्स तक सीमित है, और स्पष्ट भाषा-आधारित रीजनिंग सिस्टम को मध्यवर्ती टेक्स्ट प्रेडिक्शन की त्रुटियों के प्रति संवेदनशील बनाती है। हालांकि, परिणाम बताते हैं कि प्रोएक्टिव ऑब्जर्वेशन वहीं सबसे मूल्यवान है जहाँ पारंपरिक क्वेरी-कंडीशंड मॉडल्स कमजोर होते हैं: उच्च-स्तरीय लक्ष्यों से एक्शन योग्य पार्ट्स को रिकवर करने में।