The Abstraction Gap in Vision-Language Causal Reasoning
यह शोध पत्र CAGE बेंचमार्क और एक दोहरी-जांच (dual-probe) पद्धति को प्रस्तुत करता है जो एक महत्वपूर्ण "अमूर्तता अंतराल" (abstraction gap) को उजागर करता है जहाँ अधिकांश विजन-लैंग्वेज मॉडल भाषाई रूप से प्रशंसनीय लेकिन कारणतः निष्ठावान (causally unfaithful) स्पष्टीकरण उत्पन्न करते हैं, यह प्रदर्शित करते हुए कि जबकि कुछ आर्किटेक्चर में निष्ठावान तर्क की क्षमता मौजूद है, इसे मानक फाइन-ट्यूनिंग के माध्यम से विश्वसनीय रूप से प्राप्त नहीं किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "The Abstraction Gap in Vision-Language Causal Reasoning" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: बातें करना बनाम काम करना (Talking the Talk vs. Walking the Walk)
कल्पना कीजिए कि आप किसी छात्र का नौकरी के लिए इंटरव्यू ले रहे हैं। आप उनसे पूछते हैं, "अगर बारिश होने लगे, तो पिकनिक का क्या होगा?"
छात्र बहुत ही सहजता से जवाब देता है: "खैर, अगर बारिश हुई, तो पिकनिक भीग जाएगी, खाना खराब हो जाएगा, और सब लोग छिपने के लिए भागेंगे। यह तो पूरी तरह से आपदा होगी!"
आप प्रभावित होते हैं। वे बुद्धिमान, तार्किक और धाराप्रवाह लग रहे हैं। लेकिन फिर आप उन्हें व्हाइटबोर्ड पर एक साधारण फ्लोचार्ट बनाने के लिए कहते हैं जो यह दिखाए कि ऐसा क्यों होता है। वे वहीं जम जाते हैं। वे "बारिश" को "गीली ज़मीन" से और "गीली ज़मीन" को "खराब हुए खाने" से जोड़ने वाले तीर (arrows) नहीं बना पाते। वे बस शब्दों को जानते हैं, लेकिन उन्हें स्थिति के यांत्रिकी (mechanics) की वास्तव में समझ नहीं है।
यह पेपर तर्क देता है कि वर्तमान AI मॉडल (विज़न-लैंग्वेज मॉडल्स या VLMs) बिल्कुल उसी छात्र की तरह हैं। वे तस्वीरों में कारण-और-प्रभाव (cause-and-effect) के बारे में सुंदर, सम्मोहक कहानियाँ तो लिख सकते हैं, लेकिन जब आप उनसे अपने तर्क के वास्तविक "कंकाल" (skeleton) को दिखाने के लिए कहते हैं, तो वे अक्सर विफल हो जाते हैं।
समस्या: "एब्स्ट्रैक्शन गैप" (The Abstraction Gap)
शोधकर्ता इस विच्छेद को एब्स्ट्रैक्शन गैप कहते हैं। यह इन दो चीजों के बीच की दूरी है:
- प्लासिबिलिटी (Plausibility): उत्तर कितना अच्छा सुनाई देता है (भाषाई प्रवाह)।
- फेथफुलनेस (Faithfulness): उत्तर कितनी सटीकता से मॉडल की वास्तविक आंतरिक तर्क प्रक्रिया को दर्शाता है (संरचनात्मक समझ)।
पेपर का दावा है कि अधिकांश AI मॉडलों के लिए, "अच्छा सुनाई देने" का स्कोर उच्च होता है, लेकिन "संरचना समझने" का स्कोर शून्य के करीब होता है।
प्रयोग: CAGE (द "कॉज़ल जिम")
इसकी जाँच करने के लिए, लेखकों ने CAGE (Causal Abstraction Gap Evaluation) नामक एक नया जिम बनाया। उन्होंने 5,500 वास्तविक दुनिया की तस्वीरें लीं (जैसे समुद्र तट, पार्क, या सड़क) और AI से एक प्रसिद्ध "सीढ़ी" (Ladder of Causation) के आधार पर तीन प्रकार के प्रश्न पूछे:
- स्तर 1 (देखना): "छतरी का रंग क्या है?" (आसान, केवल अवलोकन)।
- स्तर 2 (बदलना): "यदि पहाड़ों से तेज़ हवा चले, तो छतरियों का क्या होगा?" (परिकल्पनात्मक क्रिया)।
- स्तर 3 (कल्पना करना): "यदि यह फोटो शांत दिन के बजाय किसी व्यस्त छुट्टी के दिन ली गई होती, तो दृश्य कैसा दिखता?" (काउंटरफैक्चुअल/प्रतितथ्यात्मक)।
ट्विस्ट:
कठिन प्रश्नों (स्तर 2 और 3) के लिए, शोधकर्ताओं ने AI को क्रम में दो काम करने के लिए मजबूर किया:
- पहले: सरल तीरों का उपयोग करके एक "कारण श्रृंखला" (causal chain) लिखें (जैसे, तेज़ हवा → छतरी पर बल → छतरी गिरना)।
- दूसरे: पूर्ण वाक्य में व्याख्या लिखें।
परिणाम: "जादुई ट्रिक" विफल रही
परिणाम चौंकाने वाले थे।
- केवल टेक्स्ट टेस्ट: जब AI को केवल वाक्य लिखने के लिए कहा गया, तो इसका स्कोर बहुत अधिक था (10 में से लगभग 7 या 8)। यह एक जीनियस की तरह लग रहा था।
- चेन-टेक्स्ट टेस्ट: जब AI को पहले तीर वाला डायग्राम बनाने के लिए मजबूर किया गया, तो स्कोर गिर गया। अधिकांश मॉडल 2.5 में से 2.5 से नीचे स्कोर करते थे। कई मॉडलों ने या तो खाली उत्तर दिए या निरर्थक बातें लिखीं।
रूपक (Metaphor):
AI को एक तोते के रूप में सोचें। तोते ने "हवा चलती है और छतरी उड़ जाती है" वाक्यांश को इसलिए रट लिया है क्योंकि उसने अपने प्रशिक्षण डेटा में इसे लाखों बार सुना है। वह इस वाक्यांश को पूरी तरह से बोल सकता है। लेकिन यदि आप तोते से पूछें कि हवा छतरी को कैसे धकेलती है, इसके पीछे का भौतिक विज्ञान (physics) क्या है, तो उसे कुछ पता नहीं है। वह केवल तर्क की नकल कर रहा है, तर्क कर नहीं रहा है।
"मैजिक" मॉडल
दिलचस्प बात यह है कि एक मॉडल (LLaVA-NeXT) इस अंतर को पाटने में सफल रहा। यह तीर वाली श्रृंखला और वाक्य दोनों को उच्च स्कोर के साथ लिख सका। यह साबित करता है कि तकनीक यह कर सकती है; बस अन्य मॉडलों ने अभी तक इसे सीखा नहीं है।
हम उन्हें "सिखा" क्यों नहीं सकते?
शोधकर्ताओं ने इन खराब मॉडलों को 45,000 उदाहरणों पर "फाइन-ट्यूनिंग" (पुनः प्रशिक्षित) करके इस समस्या को ठीक करने की कोशिश की, जिनमें सही तीर वाली श्रृंखलाएं शामिल थीं। उन्हें उम्मीद थी कि इससे मॉडल को संरचनात्मक रूप से सोचना सिखाया जा सकेगा।
परिणाम: यह काम नहीं आया।
- मॉडल वाक्य लिखने में थोड़े बेहतर हो गए।
- लेकिन वे तीर वाली श्रृंखलाएं बनाने में बेहतर नहीं हुए। वास्तव में, कुछ मॉडलों के लिए, उन्हें श्रृंखलाओं को सीखने के लिए मजबूर करने से वे हर चीज़ में और भी खराब हो गए।
रूपक:
कल्पना कीजिए कि आप एक कुत्ते को शतरंज बोर्ड की तस्वीर दिखाकर और "प्यादा चलाओ" कहकर शतरंज खेलना सिखाने की कोशिश कर रहे हैं। कुत्ता बोर्ड पर भौंकना सीख सकता है (भाषा की नकल), लेकिन वह वास्तव में खेल के नियमों (संरचना) को नहीं सीख पाएगा। आप केवल उदाहरण दिखाकर मॉडल पर एक नए प्रकार का चिंतन नहीं थोप सकते यदि उसका मस्तिष्क उस प्रकार के तर्क को संभालने के लिए नहीं बना है।
"दो दिमागों" की खोज
पेपर में एक और अजीब बात भी मिली जिसे "हैलुसिनेशन" (जब AI ऐसी चीजें बनाता है जो तस्वीर में नहीं हैं) के संदर्भ में देखा गया:
- कुछ मॉडल वस्तुओं (Objects) के बारे में गलतियाँ नहीं करते (जैसे, यदि बिल्ली नहीं है, तो वे कहेंगे नहीं कि वहाँ बिल्ली है)।
- लेकिन वही मॉडल संबंधों (Relationships) को समझने में बहुत खराब हैं (जैसे, वे यह नहीं समझ पाते कि हवा छतरी को गिरा देती है)।
यह दो अलग-अलग दिमागों वाले व्यक्ति जैसा है:
- दिमाग A वस्तुओं को पहचानने में माहिर है (क्या वहाँ गेंद है? हाँ/नहीं)।
- दिमाग B यह समझने में बहुत बुरा है कि चीजें आपस में कैसे क्रिया करती हैं (यदि मैं गेंद को लात मारता हूँ, तो वह लुढ़कती है)।
दिमाग A को प्रशिक्षित करने से दिमाग B को मदद नहीं मिलती, और न ही इसके विपरीत।
निचोड़ (The Bottom Line)
पेपर निष्कर्ष निकालता है कि धाराप्रवाह भाषा, समझ का प्रमाण नहीं है। सिर्फ इसलिए कि एक AI कारण-और-प्रभाव के बारे में एक सम्मोहक कहानी लिख सकता है, इसका मतलब यह नहीं है कि वह दुनिया को वास्तव में समझता है।
- गैप (Gap): बुद्धिमान दिखने और बुद्धिमान होने के बीच एक बड़ा अंतर है।
- कारण: वर्तमान AI प्रशिक्षण का ध्यान बहुत अधिक इस बात पर है कि AI इंसान जैसा सुनाई दे (प्रवाह), और इस पर कम है कि वह तार्किक संरचनाएं बनाए (तर्क)।
- भविष्य: भविष्य में विश्वसनीय AI प्राप्त करने के लिए, हमें केवल "उत्तर" माँगने के बजाय, AI से अपना "काम" (कारण श्रृंखलाएं) दिखाने की मांग करनी होगी। यदि वह अपना काम नहीं दिखा सकता, तो संभवतः उसे उत्तर पता ही नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।