Context-Dependent Affordance Computation in Vision-Language Models

यहाँ वर्किंग पेपर "Context-Dependent Affordance Computation in Vision-Language Models" (DAI-2505) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

समकालीन कंप्यूटर विज़न (CV) एक "ज्यामिति-प्रथम" (geometry-first) धारणा पर कार्य करता है: दृश्य प्रसंस्करण (visual processing) अर्थ या कार्यात्मक सामर्थ्य (affordances/action possibilities) की गणना करने से पहले ज्यामितीय विशेषताओं और वस्तुओं को निकालता है। यह पाइपलाइन स्थान को एक तटस्थ कंटेनर के रूप में मानती है, यह मानते हुए कि किसी दृश्य का कार्यात्मक विवरण प्रेक्षक के लक्ष्यों के प्रति काफी हद तक अपरिवर्तनीय होता है।

यह शोध पत्र विज़न-लैंग्वेज मॉडल्स (VLMs) की जांच करते हुए इस प्रतिमान को चुनौती देता है। यह पूछता है कि क्या ये मॉडल एक "सिमेंटिक-फर्स्ट" (Semantic-First) आर्किटेक्चर प्रदर्शित करते हैं, जहाँ कार्यात्मक व्याख्या (affordances) ज्यामितीय प्रतिनिधित्व से पहले आती है और उसे संरचना प्रदान करती है, और क्या यह व्याख्या एजेंट के संदर्भ (लक्ष्य, इतिहास और मोटर क्षमताएं) पर अत्यधिक निर्भर है। मुख्य समस्या यह मात्रा निर्धारित करना है कि VLMs किस हद तक संदर्भ के आधार पर गतिशील रूप से सामर्थ्य (affordances) की गणना करते हैं बनाम स्थिर, संदर्भ-अपरिवर्तनीय विश्व मॉडलों (world models) पर निर्भर रहते हैं।

2. कार्यप्रणाली (Methodology)

लेखकों ने "एफोर्डेंस ड्रिफ्ट" (affordance drift)—अर्थात विभिन्न एजेंट संदर्भों के तहत कार्यात्मक दृश्य विवरणों के बदलने की डिग्री—को मापने के लिए एक बड़े पैमाने पर कम्प्यूटेशनल अध्ययन किया।

• डेटासेट: COCO-2017 वैलिडेशन सेट (479 अद्वितीय चित्र) से प्राप्त 3,213 दृश्य-संदर्भ जोड़े।
• मॉडल:
  • प्राथमिक: Qwen-VL-30B-Instruct।
  • पुनरावृत्ति (Replication): LLaVA-1.5-13B (आर्किटेक्चरल सामान्यता को सत्यापित करने के लिए)।
• प्रायोगिक डिजाइन (Context Primes):
  प्रत्येक छवि को 7 विशिष्ट एजेंटिक व्यक्तित्वों (context primes) के तहत संसाधित किया गया ताकि विभिन्न लक्ष्यों का अनुकरण किया जा सके:
  1. तटस्थ (Neutral): वस्तुनिष्ठ विश्लेषण।
  2. शेफ (Chef): भोजन तैयार करने पर ध्यान केंद्रित करना।
  3. सुरक्षा (Security): भेद्यता/रक्षा मूल्यांकन।
  4. बच्चा (Child): खेल/अन्वेषण (4 वर्षीय)।
  5. गतिशीलता (Mobility): व्हीलचेयर उपयोगकर्ता (बाधा/पहुंच)।
  6. तत्काल (Urgent): तत्काल उत्तरजीविता (30 सेकंड की आपात स्थिति)।
  7. अवकाश (Leisure): विश्राम/आनंद।
• डेटा निष्कर्षण: मॉडलों को वस्तुओं, उनके सामर्थ्य (affordances) और तर्क को सूचीबद्ध करने वाले संरचित JSON आउटपुट देने के लिए प्रॉम्प्ट किया गया।
• विश्लेषण मेट्रिक्स:
  • जैकार्ड समानता (Jaccard Similarity): एक ही छवि के लिए विभिन्न संदर्भ प्राइम के बीच शाब्दिक ओवरलैप को मापने के लिए शब्द-स्तर और वस्तु-स्तर पर गणना की गई।
  • कोसाइन समानता (Cosine Similarity): वाक्य एम्बेडिंग (Sentence-BERT) पर वाक्य-स्तर के अर्थ संबंधी ओवरलैप को मापने के लिए उपयोग किया गया।
  • टकर डिकंपोजिशन (Tucker Decomposition): (Image × Context × Embedding) के टेंसर पर लागू किया गया ताकि गुप्त कार्यात्मक कारकों (latent functional factors) की पहचान की जा सके।
  • स्टोकेस्टिक नियंत्रण (Stochastic Controls): जेनरेटिव शोर (generation noise) से वास्तविक संदर्भ प्रभावों को अलग करने के लिए 4 तापमानों और 5 सीड्स के माध्यम से 2,384 इन्फरेंस रन किए गए।

3. मुख्य परिणाम (Key Results)

A. व्यापक एफोर्डेंस ड्रिफ्ट (Massive Affordance Drift)

अध्ययन में पाया गया कि VLMs अत्यधिक संदर्भ-निर्भरता प्रदर्शित करते हैं:

• शाब्दिक ड्रिफ्ट (Lexical Drift): विभिन्न संदर्भ स्थितियों के बीच औसत जैकार्ड समानता 0.095 (95% CI: [0.093, 0.096]) थी। इसका तात्पर्य है कि एजेंट के संदर्भ के आधार पर >90% शाब्दिक दृश्य विवरण बदल जाता है।
• सिमेंटिक ड्रिफ्ट (Semantic Drift): वाक्य-स्तर की कोसाइन समानता 0.415 थी, जो इंगित करती है कि अर्थ के स्तर पर भी, 58.5% अर्थ संदर्भ-निर्भर है।
• वस्तु चयन (Object Selection): मॉडल व्यक्तित्व के आधार पर विभिन्न वस्तुओं पर ध्यान केंद्रित करता था (जैसे, एक "शेफ" रसोई के औजारों की पहचान करता है, जबकि "सुरक्षा" संभावित हथियारों/उपकरणों की पहचान करता है), जिसमें वस्तु-स्तर की जैकार्ड समानता 0.119 थी।

B. संदर्भ प्रभावों का सत्यापन (Validation of Context Effects)

• स्टोकेस्टिक बेसलाइन: विचरण विश्लेषण (variance analysis) ने पुष्टि की कि देखा गया ड्रिफ्ट मॉडल की यादृच्छिकता (randomness) के कारण नहीं है। क्रॉस-प्राइम अंतर और इन-प्राइम शोर के बीच विचरण अनुपात सभी तापमानों पर >3 था, जो पुष्टि करता है कि संदर्भ आउटपुट को संचालित करता है, न कि सैंपलिंग शोर।
• क्रॉस-मॉडल पुनरावृत्ति: LLaVA-1.5-13B ने समान ड्रिफ्ट (83.9% संदर्भ-निर्भरता) दिखाया, जो सुझाव देता है कि यह एक विशिष्ट आर्किटेक्चर का आर्टिफैक्ट नहीं है, बल्कि प्राकृतिक डेटा पर प्रशिक्षित VLMs का एक सामान्य गुण है।
• मानव तुलना: VLM आउटपुट ने ज्यामितीय विवरणों के बजाय कार्यात्मक विवरणों को प्राथमिकता देने में मानव सामर्थ्य एनोटेशन (Visual Genome) के समानांतर काम किया, हालांकि VLMs ने लक्ष्य-प्राइमिंग के माध्यम से संदर्भ-संवेदनशीलता को स्पष्ट किया।

C. गुप्त संरचना (Latent Structure - Tucker Decomposition)

डिकंपोजिशन ने स्थिर, व्याख्या योग्य गुप्त कारकों को प्रकट किया:

1. पाक मैनिफोल्ड (Culinary Manifold): एक पृथक आयाम जो पूरी तरह से "शेफ" संदर्भ द्वारा नियंत्रित है (लोडिंग 0.95), जो अन्य सभी संदर्भों के लंबवत (orthogonal) है।
2. एक्सेस एक्सिस (Access Axis): एक आयाम जो "बच्चा" (स्थानिक खुलापन/खेल, +0.72) और "गतिशीलता" (स्थानिक बाधा/अवरोध, -0.60) के बीच अंतर करता है।
3. सामान्य प्रमुखता (General Salience): एक मामूली आयाम (<1% विचरण) जो संदर्भ-अपरिवर्तनीय ज्यामितीय विशेषताओं का प्रतिनिधित्व करता है।

4. मुख्य योगदान (Key Contributions)

1. अनुभवजन्य मात्रा निर्धारण (Empirical Quantification): यह शोध पत्र VLMs में संदर्भ-निर्भर एफोर्डेंस ड्रिफ्ट का पहला बड़े पैमाने पर मात्रात्मक विवरण प्रदान करता है, यह स्थापित करते हुए कि ~90% कार्यात्मक दृश्य ऑन्टोलॉजी संदर्भ-निर्भर है।
2. सैद्धांतिक प्रस्ताव (Semantic-First): यह एक "सिमेंटिक-फर्स्ट" प्रसंस्करण पाइपलाइन ($I \to T \to C \to G|C \to A|C$) का प्रस्ताव करता है जहाँ ज्यामिति संदर्भ पर आधारित होती है, जो मानक ज्यामिति-प्रथम पाइपलाइन के विपरीत है।
3. जस्ट-इन-टाइम (JIT) ऑन्टोलॉजी: यह रोबोटिक्स के लिए एक नया दिशा प्रदान करता है: स्थिर, व्यापक 3D विश्व मॉडल बनाने के बजाय, सिस्टम को क्वेरी के समय कार्य-विशिष्ट सामर्थ्य संरचनाओं (task-specific affordance structures) को प्रोजेक्ट करना चाहिए।
4. औपचारिकीकरण (Formalization): एक्शन-डिस्टेंस (एक्शन अनुक्रमों पर आधारित गैर-यूक्लिडियन दूरी) की अवधारणा पेश करता है और सामर्थ्य गणना में एजेंट अवस्था $\Theta$ को एक प्रथम-श्रेणी के पैरामीटर के रूप में औपचारिक रूप देता है।

5. महत्व और निहितार्थ (Significance and Implications)

• रोबोटिक्स के लिए: निष्कर्ष बताते हैं कि स्थिर विश्व मॉडल कम्प्यूटेशनल रूप से अक्षम हो सकते हैं, क्योंकि वे उस "10% अवशेष" (अपरिवर्तनीय ज्यामिति) की गणना करते हैं जिसे अनदेखा कर देते हैं, जबकि "90%" (संदर्भ-निर्भर सामर्थ्य) वास्तव में क्रिया (action) के लिए महत्वपूर्ण है। यह पेपर JIT ऑन्टोलॉजी की वकालत करता है, जहाँ रोबोट वर्तमान कार्य के आधार पर गतिशील रूप से प्रतिनिधित्व का निर्माण करते हैं।
• संज्ञानात्मक विज्ञान (Cognitive Science) के लिए: परिणाम पारिस्थितिक मनोविज्ञान (गिब्सन) और घटनाविज्ञान (हाइडेगर/मेरलो-पोंटी) का समर्थन करते हैं, यह प्रदर्शित करते हुए कि कृत्रिम प्रणालियों में कार्यात्मक व्याख्या संरचनात्मक रूप से ज्यामितीय अपघटन से पहले आ सकती है। यह सुझाव देता है कि "असावधानीपूर्ण अंधापन" (inattentional blindness - अप्रासंगिक वस्तुओं को अनदेखा करना) एक अनुकूलन रणनीति है, न कि कोई त्रुटि।
• कंप्यूटर विज़न के लिए: यह मानक CV पाइपलाइन को चुनौती देता है, यह तर्क देते हुए कि संदर्भ को एक सहायक इनपुट के रूप में मानना अपर्याप्त है। भविष्य के आर्किटेक्चर को कार्य संदर्भ को एक संस्थात्मक इनपुट (constitutive input) के रूप में मानना चाहिए जो प्राथमिक प्रतिनिधित्व को आकार देता है।

सीमाएँ और सावधानियाँ:
लेखक स्पष्ट रूप से कहते हैं कि वे यह दावा नहीं करते हैं कि वे VLM के भीतर जैविक तंत्र या प्रसंस्करण क्रम को सिद्ध करते हैं (जिसके लिए अटेंशन प्रोबिंग की आवश्यकता होगी)। वे केवल यह दावा करते हैं कि आउटपुट व्यवहार व्यापक संदर्भ-निर्भरता प्रदर्शित करता है, जो कम्प्यूटेशनल व्यवहार्यता और एम्बोडीड AI (embodied AI) के लिए एक डिजाइन सिद्धांत के रूप में एक प्रॉक्सी के रूप में कार्य करता है।