CARD: Diagnosing Belief to Action Routing Failures in Vision Language Models
यह शोध पत्र CARD को प्रस्तुत करता है, जो एक नैदानिक विधि है जो यह प्रकट करती है कि विज़न-लैंग्वेज मॉडल अपनी आंतरिक विश्वास प्रस्तुतियों (belief representations) को अपने एक्शन प्रेडिक्शन में प्रभावी ढंग से रूट करने में विफल रहते हैं, एक ऐसी सीमा जिसे रिले चेन (Relay Chain) नामक एक नए सहकारी ग्रिड-वर्ल्ड बेंचमार्क के माध्यम से पहचाना गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के बढ़ते क्षेत्र में, शोधकर्ता इस बात में तेजी से रुचि ले रहे हैं कि क्या मशीनें दूसरों के मन को समझ सकती हैं। यह क्षमता, जिसे "थ्योरी ऑफ माइंड" (मन का सिद्धांत) कहा जाता है, एक व्यक्ति को यह अनुमान लगाने की अनुमति देती है कि कोई दूसरा क्या देख रहा है, क्या जानता है, या क्या चाहता है, भले ही वह जानकारी उनके अपने दृष्टिकोण से छिपी हुई हो। यह वह मानसिक गोंद है जो सहयोग को संभव बनाता है, जिससे हम केवल अपने स्वयं के दृष्टिकोण के बजाय अपने साथी के परिप्रेक्ष्य के आधार पर उसके अगले कदम की भविष्यवाणी कर सकते हैं। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस सिस्टम को मनुष्यों के साथ काम करने के लिए तैनात किया जा रहा है—जैसे कि रोबोटिक सहायक, ड्राइविंग को-पायलट, या टीम के सदस्य के रूप में—वैज्ञानिकों को यह जानने की आवश्यकता है कि क्या इन प्रणालियों के पास भी यही क्षमता है। यदि कोई AI वास्तव में यह नहीं समझ पाता कि उसका साथी क्या जानता है, तो वह प्रभावी ढंग से सहयोग नहीं कर सकता, चाहे वह अन्य तरीकों में कितना भी बुद्धिमान क्यों न दिखाई दे।
इसकी जांच करने के लिए, यूनिवर्सिटी ऑफ स्टटगार्ट के शोधकर्ताओं ने आधुनिक विजन-लैंग्वेज मॉडल्स के "मस्तिष्क" के भीतर झांकने का एक नया तरीका विकसित किया। ये उन्नत कंप्यूटर प्रोग्राम हैं जो छवियों को देख सकते हैं और साथ ही भाषा को समझ सकते हैं। शोधकर्ता यह जानना चाहते थे कि क्या ये मॉडल अगला कदम उठाने का निर्णय लेते समय वास्तव में अपने साथी की मानसिक स्थिति की अपनी आंतरिक समझ का उपयोग करते हैं। उन्होंने 'रिले चेन' (Relay Chain) नामक एक नया परीक्षण वातावरण बनाया, जो एक डिजिटल ग्रिड पर खेला जाने वाला एक सहकारी खेल है। इस खेल में, दो एजेंट लीवर पकड़े हुए होते हैं जो तीसरे एजेंट के गुजरने के लिए गेट खोलते हैं। सफलता पूरी तरह से इस बात पर निर्भर करती है कि एजेंटों को यह पता हो कि क्या उनका साथी यात्री के गुजरने को देख पा रहा है। यदि एक एजेंट देख नहीं सकता है, तो उसे लीवर को थामे रखना चाहिए; यदि वह देख सकता है, तो उसे लीवर को छोड़ देना चाहिए। यह सेटअप AI को मजबूर करता है कि वह निर्णय लेने के लिए केवल दुनिया में जो हो रहा है उसके बजाय इस आधार पर निर्णय ले कि वह अपने साथी के बारे में क्या विश्वास करता है।
शोधकर्ताओं ने मॉडल्स की जांच करने के लिए 'एक्टिवेशन स्टीयरिंग' (activation steering) नामक तकनीक का उपयोग किया। कल्पना कीजिए कि AI के आंतरिक विचार संकेतों का एक विशाल परिदृश्य हैं। टीम ने विशिष्ट संकेतों की पहचान की जो "विश्वास" (belief) का प्रतिनिधित्व करते थे—यानी AI का आंतरिक रिकॉर्ड कि उसका साथी क्या देख रहा है। इसके बाद उन्होंने AI को खेल खेलते समय इन विश्वास संकेतों को कृत्रिम रूप से मजबूत या कमजोर किया, जो मूल रूप से मॉडल की आंतरिक स्थिति को अपने साथी के दृश्य के बारे में अधिक या कम निश्चित होने के लिए प्रेरित करने जैसा था। यदि AI वास्तव में अपने साथी के मन की समझ का उपयोग निर्णय लेने के लिए कर रहा होता, तो उस आंतरिक विश्वास को बदलने से AI द्वारा चुना गया कार्य बदल जाना चाहिए था। उदाहरण के लिए, यदि मॉडल को यह विश्वास दिलाने के लिए प्रेरित किया जाता कि साथी यात्री को देख सकता है, तो उसे लीवर छोड़ देना चाहिए। यदि उसे यह विश्वास दिलाने के लिए प्रेरित किया जाता कि साथी देख नहीं सकता, तो उसे थामे रखना चाहिए।
परिणामों ने इस बात का खुलासा किया कि ये मॉडल्स कैसे काम करते हैं, इसमें एक गंभीर विफलता है। प्रयोगों से पता चला कि मॉडल्स के पास वास्तव में साथी के विश्वास का एक स्पष्ट, पठनीय प्रतिनिधित्व मौजूद था। जब सीधे पूछा गया, "क्या आपका साथी यात्री को देख रहा है?", तो मॉडल्स ने सही उत्तर दिया, और शोधकर्ता आंतरिक संकेतों को बदलकर उनका उत्तर भी बदल सके। हालांकि, जब मॉडल्स को सहकारी कार्य करने के लिए कहा गया—यानी लीवर छोड़ने या थामे रखने का निर्णय लेने के लिए—तो उनके आंतरिक विश्वास संकेतों को पूरी तरह से अनदेखा कर दिया गया। यहाँ तक कि जब शोधकर्ताओं ने मॉडल के अपने साथी के दृश्य के बारे में आंतरिक विश्वास को जबरन बदला, तब भी मॉडल का निर्णय कि उसे क्या करना है, बिल्कुल वैसा ही रहा। इसने ऐसा व्यवहार किया जैसे कि उसके पास साथी के दृश्य की पूर्ण स्मृति है लेकिन उसने निर्णय लेने के लिए उस स्मृति का उपयोग करने के बजाय उसे बस अनदेखा कर दिया।
यह विसंगति परीक्षण किए गए चार अलग-अलग प्रकार के ओपन-सोर्स मॉडल्स में सुसंगत थी, जो छोटे से लेकर बड़े सिस्टम तक विस्तृत थे। मॉडल्स इसलिए विफल नहीं हो रहे थे क्योंकि उनमें जानकारी की कमी थी; वे इसलिए विफल हो रहे थे क्योंकि वे उस जानकारी को उस हिस्से तक नहीं पहुँचा पा रहे थे जो कार्यों का निर्णय लेता है। शोधकर्ताओं ने अन्य कई संभावनाओं को खारिज कर दिया, जैसे कि मॉडल्स प्रश्नों की शब्दावली को लेकर भ्रमित थे या स्टीयरिंग विधि बहुत कमजोर थी। उन्होंने निर्देशों को लिखने के दर्जनों अलग-अलग तरीकों का परीक्षण किया और पाया कि कोई भी प्रॉम्प्टिंग मॉडल्स को उनके आंतरिक विश्वासों का उपयोग अपने कार्यों को निर्देशित करने के लिए करने के लिए मजबूर नहीं कर सकी। मॉडल्स एक कदम उठाने के मामले में अपने स्वयं के ज्ञान के प्रति प्रभावी रूप से "अंधे" थे।
अध्ययन यह निष्कर्ष निकालता है कि हालांकि इन आर्टिफिशियल इंटेलिजेंस सिस्टम्स को साथी की मानसिक स्थिति का वर्णन करने के लिए प्रशिक्षित किया जा सकता है, लेकिन वे उस वर्णन को अपने व्यवहार से स्वतः नहीं जोड़ पाते हैं। वे बता सकते हैं कि कोई दूसरा क्या जानता है, लेकिन वे उस ज्ञान का उपयोग यह तय करने के लिए नहीं करते कि क्या करना है। यह सुझाव देता है कि केवल किसी मॉडल को विश्वासों के बारे में प्रश्न पूछने के लिए सिखाना एक वास्तव में सहकारी एजेंट बनाने के लिए पर्याप्त नहीं है। AI के निर्बाध रूप से काम करने के लिए, दूसरों की आंतरिक समझ को निर्णय लेने की प्रक्रिया में सीधे जोड़ा जाना चाहिए, एक ऐसा संबंध जो वर्तमान मॉडल्स में स्पष्ट रूप से अनुपस्थित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।