TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint
यह शोध पत्र TRAPSBench और PECS मीट्रिक को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि जबकि विजन-लैंग्वेज मॉडल्स (Vision-Language Models) के पास यह पता लगाने की आंतरिक क्षमता है कि निर्णय लेने के लिए दृश्य साक्ष्य अपर्याप्त हैं, वे इस एपिस्टेमिक संयम (epistemic restraint) को व्यक्त करने में लगातार विफल रहते हैं, जो उनके धारणा (perception) के बजाय उनके आउटपुट जनरेशन में एक महत्वपूर्ण बाधा को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को पूल का खेल खेलना सिखा रहे हैं। आप उसे गेंदों के लुढ़कने का एक वीडियो दिखाते हैं, और उससे पूछते हैं, "आठ नंबर की गेंद किस पॉकेट में जाएगी?" यदि वीडियो स्पष्ट है, तो रोबोट को भौतिकी (फिजिक्स) की गणना करनी चाहिए और आपको उत्तर देना चाहिए। लेकिन क्या होगा यदि आप वीडियो के बीच में ही एक विशाल, अपारदर्शी तिरपाल से मेज को ढक दें, या यदि गेंदें इतनी अनियंत्रित तरीके से उछल रही हों कि कोई भी भविष्यवाणी न कर सके कि वे कहाँ गिरेंगी? एक वास्तव में स्मार्ट रोबोट को केवल अनुमान नहीं लगाना चाहिए; उसे अपना हाथ उठाना चाहिए और कहना चाहिए, "मैं इतना नहीं देख पा रहा हूँ कि मुझे पता चल सके।" यह जानने की क्षमता कि आप क्या नहीं जानते हैं, एपिस्टेमिक रिस्ट्रेंट (epistemic restraint) कहलाती है। यह एक आत्मविश्वासी झूठे और एक सतर्क विशेषज्ञ के बीच का अंतर है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से विज़न-लैंग्वेज मॉडल्स (VLMs) में—जो ऐसे कंप्यूटर हैं जो वीडियो देख सकते हैं और उनके बारे में बात कर सकते हैं—शोधकर्ता यह सोच रहे हैं: क्या ये मॉडल वास्तव में जानते हैं कि वे अंधेरे में हैं, या वे बस दीवारों के पार देखने का ढोंग करते हैं?
TRAPSBench नामक यह शोध पत्र ठीक इसी प्रश्न की गहराई में जाता है। शोधकर्ताओं ने AI के लिए एक विशेष वीडियो गेम बनाया जिसे TRAPSBench कहा गया है, जिसमें भौतिकी परिदृश्यों के 1,404 जोड़े शामिल हैं। प्रत्येक जोड़े में, एक वीडियो "कंट्रोल" है जहाँ परिणाम स्पष्ट और आसानी से अनुमानित है, और दूसरा "वॉयड" (शून्य) है जहाँ उत्तर जानना असंभव है क्योंकि वहां एक छिपी हुई दीवार, एक अराजक स्थिति, या ऐसा प्रश्न है जिसका कोई अर्थ नहीं निकलता। फिर उन्होंने 16 अलग-अलग AI मॉडल्स का परीक्षण किया यह देखने के लिए कि क्या वे उत्तर छिपे होने पर हार स्वीकार करते हैं या नहीं।
यहाँ एक मोड़ है: मॉडल वास्तव में यह जानने में बहुत अच्छे हैं कि उत्तर छिपा हुआ है, लेकिन वे यह कहने में बहुत खराब हैं कि उन्हें नहीं पता। यह उस छात्र की तरह है जो परीक्षा दे रहा है और मन ही मन जानता है कि उसके पास सही उत्तर नहीं है, लेकिन क्योंकि वह शिक्षक को खुश करने के लिए बहुत उत्सुक है, वह फिर भी एक आत्मविश्वासी, मनगढ़ंत उत्तर लिख देता है। शोधकर्ताओं ने पाया कि जब उन्होंने AI के आंतरिक "मस्तिष्क" (इसके हिडन स्टेट्स) की जांच की, तो वे उच्च सटीकता (AUROC नामक पैमाने पर 91% तक) के साथ पता लगा सके कि क्या मॉडल को एहसास था कि साक्ष्य गायब हैं। हालाँकि, जब मॉडल ने वास्तव में अपना उत्तर बोला, तो उसने उस आंतरिक चेतावनी को अनदेखा कर दिया और बस एक अनुमान लगा लिया।
अध्ययन में एक दिलचस्प असंतुलन भी पाया गया: ये AI मॉडल तब सवाल के निरर्थक होने को पहचानने में बहुत बेहतर होते हैं जब वह टेक्स्ट (जैसे "नीले रंग का वजन क्या है?") में हो, बजाय इसके कि जब विजुअल (दृश्य) साक्ष्य गायब हों। वे टेक्स्ट-आधारित असंभवता का पता दृश्य-आधारित असंभवता की तुलना में लगभग चार गुना तेजी से लगा सकते हैं। इसके अलावा, शोधकर्ताओं ने AI को "स्टीयर" (दिशा देने) करने की कोशिश की। उन्होंने पाया कि यदि वे AI के आंतरिक संकेतों को एक निश्चित दिशा में धकेलते हैं, तो वे उसे अनुमान लगाना बंद करने और "मुझे नहीं पता" कहने के लिए मजबूर कर सकते हैं, जो यह साबित करता है कि खुद को रोकने की क्षमता पहले से ही मौजूद थी, बस एक ऐसे दरवाजे के पीछे बंद थी जिसे मॉडल स्वयं खोलने से इनकार करता है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि समस्या यह नहीं है कि ये AI मॉडल अंधे या मूर्ख हैं; बल्कि वे बहुत अधिक उत्साही हैं। वे इस सच्चाई को रिकॉर्ड करते हैं कि वे अनिश्चित हैं, लेकिन उनका आउटपुट एक "गेट" द्वारा बाधित होता है जो उन्हें फिर भी उत्तर देने के लिए मजबूर करता है। शोधकर्ता निष्कर्ष निकालते हैं कि इन AI सिस्टमों को वास्तव में विश्वसनीय बनाने के लिए, हमें संभवतः उस हिस्से को ठीक करने की आवश्यकता है जो यह तय करता है कि क्या कहना है, बजाय इसके कि हम उन्हें बेहतर देखना सिखाने की कोशिश करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।