Open-Weight Masked Introspection: Measuring What Language Models Can Report About Their Own Computation
यह शोध पत्र ओपन-वेट मास्क्ड इंट्रोस्पेक्शन (OWMI) फ्रेमवर्क पेश करता है ताकि यह परीक्षण किया जा सके कि क्या फ्रंटियर लैंग्वेज मॉडल्स अपने स्वयं के आंतरिक कम्प्यूटेशनल परिवर्तनों पर सटीक रूप से रिपोर्ट कर सकते हैं, जिसमें यह पाया गया कि हालांकि आवश्यक जानकारी उनके एक्टिवेशन्स के भीतर मौजूद होती है, वर्तमान ओपन-वेट मॉडल्स इस आंतरिक अवस्था को विश्वसनीय मौखिक रिपोर्टों में अनुवाद करने में विफल रहते हैं, और वे संयोग (चांस) से भी बेहतर प्रदर्शन नहीं करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, एक विशिष्ट प्रकार का विश्वास घर करने लगा है: यह विचार कि एक मशीन अपने स्वयं के मन के भीतर देख सकती है और हमें बता सकती है कि वह क्या सोच रही है। जैसे-जैसे ये प्रणालियाँ अधिक जटिल होती जा रही हैं, डेवलपर्स और सुरक्षा शोधकर्ताओं ने 'सेल्फ-रिपोर्टिंग' (स्व-रिपोर्टिंग) नामक एक पद्धति पर भरोसा करना शुरू कर दिया है। यह धारणा है कि यदि कोई मॉडल अपने तर्क की व्याख्या करता है या अपने उत्तर की आलोचना करता है, तो वह व्याख्या उस निष्कर्ष तक पहुँचने के लिए उठाए गए आंतरिक चरणों का एक वफादार मानचित्र है। यह विश्वास कई वर्तमान सुरक्षा रणनीतियों का आधार है, जैसे कि किसी सिस्टम को अपने काम में त्रुटियों की जाँच करने के लिए कहना या यह समझाने के लिए कहना कि उसने एक विशेष मार्ग क्यों चुना। यदि कोई मॉडल अपनी आंतरिक स्थिति का सटीक वर्णन कर सकता है, तो हम सैद्धांतिक रूप से गलतियों या छिपे हुए खतरों को होने से पहले पकड़ने के लिए उसके अपने साक्ष्य का उपयोग कर सकते हैं। लेकिन यह संपूर्ण सुरक्षा संरचना एक एकल, अप्रमाणित धारणा पर टिकी है: कि मशीन वास्तव में जानती है कि उसके अपने सर्किट के भीतर क्या हो रहा है।
एक शोधकर्ता ने इस धारणा का सीधे परीक्षण करने के लिए एक प्रयोग किया, जो सिद्धांत से आगे बढ़कर आठ अलग-अलग ओपन-वेट लैंग्वेज मॉडल्स (open-weight language models) से जुड़े एक कठोर प्रयोग में तब्दील हो गया। वे यह जानना चाहते थे कि क्या ये प्रणालियाँ वास्तव में आत्मनिरीक्षण (introspect) कर सकती हैं, या वे केवल अपने संचालन के बारे में पूछते समय अनुमान लगा रही थीं। यह पता लगाने के लिए, उन्होंने एक ढांचा बनाया जिसे वे 'ओपन-वेट मास्क्ड इंट्रोस्पेक्शन' (Open-Weight Masked Introspection) कहते हैं। यह प्रक्रिया सरल लेकिन आक्रामक थी। शोधकर्ता ने एक बेंचमार्क टेस्ट से एक मानक प्रश्न लिया, मॉडल को अपना काम शुरू करने दिया, और फिर गुप्त रूप से उसके आंतरिक गणना के एक विशिष्ट हिस्से को बदल दिया। वे नेटवर्क में एक एकल कनेक्शन को बदल सकते थे, अटेंशन मैकेनिज्म (attention mechanism) के फोकस को बदल सकते थे, या एक विशिष्ट फीचर को समायोजित कर सकते थे जिसे मॉडल भाषा को समझने के लिए उपयोग करता है। ये परिवर्तन वास्तविक, मापने योग्य और शोधकर्ता के लिए ज्ञात थे, लेकिन मॉडल के लिए अदृश्य थे।
इन आंतरिक समायोजनों के बाद, शोधकर्ता ने मॉडल से एक सरल प्रश्न पूछा: क्या आपकी गणना में कुछ बदलाव आया? उन्होंने इसे विभिन्न आकारों के मॉडल्स (0.5 बिलियन पैरामीटर वाले छोटे सिस्टम से लेकर 15 बिलियन पैरामीटर वाले बड़े सिस्टम तक) पर 78,000 बार चलाया। उन्होंने यह सुनिश्चित करने के लिए सख्त नियंत्रण भी शामिल किए कि मॉडल केवल अनुमान न लगा रहा हो। उन्होंने "शैम" (sham) ट्रायल भी चलाए जहाँ कुछ भी नहीं बदला गया था, और उन्होंने ऐसे ट्रायल भी चलाए जहाँ उन्होंने रैंडम नॉइज़ (random noise) पेश की जिसने मॉडल के आउटपुट को उतना ही बाधित किया जितना कि वास्तविक परिवर्तनों ने किया था, लेकिन बिना किसी विशिष्ट आंतरिक ऑब्जेक्ट को लक्षित किए। उन्होंने एक अलग, अपरिवर्तित मॉडल का उपयोग यह देखने के लिए भी किया कि क्या एक मानव पर्यवेक्षक केवल अंतिम टेक्स्ट आउटपुट को पढ़कर अंतर पहचान सकता है।
परिणाम स्पष्ट और सुसंगत थे। परीक्षण किए गए सभी मॉडल्स में, कोई भी मॉडल रैंडम चांस (संयोग) से बेहतर वास्तविक आंतरिक परिवर्तन या शैम ट्रायल के बीच अंतर नहीं कर सका। जब शोधकर्ता ने हजारों ट्रायल्स से डेटा को एकत्रित किया, तो मॉडल्स की परिवर्तन का पता लगाने की क्षमता सिक्का उछालने के समान थी। वे वास्तविक परिवर्तन होने पर बेहतर प्रदर्शन नहीं कर रहे थे, और न ही नकली होने पर खराब प्रदर्शन कर रहे थे। उनके उत्तर प्रभावी रूप से शोर (noise) थे। यह निष्कर्ष तब भी कायम रहता है जब शोधकर्ता ने अलग-अलग प्रकार के आंतरिक घटकों, नेटवर्क की विभिन्न परतों और गणित की समस्याओं से लेकर सामान्य ज्ञान के प्रश्नों तक, विभिन्न प्रकार के कार्यों को देखा। निष्कर्ष यह है कि परीक्षण किए गए मॉडल्स के लिए, अपनी आंतरिक स्थिति की रिपोर्ट करने की क्षमता मौजूद नहीं है।
हालाँकि, कहानी एक साधारण विफलता के साथ समाप्त नहीं होती है। शोधकर्ता ने पाया कि परिवर्तन के बारे में जानकारी वास्तव में मॉडल के भीतर मौजूद थी, बस उन शब्दों में नहीं जो वह बोलने के लिए चुनता है। उन्होंने मॉडल के आंतरिक स्तरों के माध्यम से बहते हुए कच्चे डेटा को पढ़ने के लिए एक अलग उपकरण, एक 'लीनियर प्रोब' (linear probe) का उपयोग किया। यह उपकरण उच्च सटीकता के साथ, अक्सर 95 प्रतिशत या उससे अधिक तक, परिवर्तन का पता लगा सकता था, जिससे सिद्ध हुआ कि सिग्नल वहां मौजूद था। इसके अलावा, उन्होंने एक मॉडल को विशेष रूप से इन परिवर्तनों की रिपोर्ट करने के लिए फाइन-ट्यून किया। यह प्रशिक्षित मॉडल लगभग पूर्ण सटीकता के साथ परिवर्तनों की पहचान कर सकता था। यह सिद्ध करता है कि मॉडल्स परिवर्तन को महसूस करने में अक्षम नहीं हैं; बल्कि, उस आंतरिक संवेदन से अंतिम बोले गए उत्तर तक का मार्ग टूटा हुआ है। जानकारी मौजूद है, लेकिन मॉडल उसे एक सत्य रिपोर्ट में अनुवादित करने में असमर्थ है।
एक विशिष्ट मामले में, शोधकर्ता ने एक सूक्ष्म संकेत पाया जो शब्दों में नहीं बल्कि उनके साथ जुड़ी 'कॉन्फिडेंस' (विश्वास/निश्चितता) में दिखाई दिया। एक मॉडल हर बार एक ही उत्तर देता था, यह कहते हुए कि "कोई परिवर्तन नहीं हुआ," चाहे वास्तव में कोई परिवर्तन हुआ हो या नहीं। फिर भी, जब मॉडल को परिवर्तित किया गया था, तो उसने उस उत्तर में काफी कम आत्मविश्वास व्यक्त किया। मॉडल जानता था कि कुछ गड़बड़ है, लेकिन वह बता नहीं सका कि क्या। यह सुझाव देता है कि जबकि मॉडल्स में व्यवधान का एक अस्पष्ट, अलिखित बोध हो सकता है, उनमें इसे व्यक्त करने की क्षमता की कमी है।
इस निष्कर्ष के निहितार्थ आर्टिफिशियल इंटेलिजेंस की निगरानी करने के तरीके के लिए महत्वपूर्ण हैं। वर्तमान सुरक्षा पद्धतियाँ अक्सर मॉडल के अपने साक्ष्य पर निर्भर करती हैं, जैसे कि उसे अपने तर्क की व्याख्या करने या अपने आउटपुट की आलोचना करने के लिए कहना। यदि मॉडल अपनी आंतरिक स्थिति की सटीक रिपोर्ट नहीं कर सकता है, तो ये विधियाँ मौलिक रूप से त्रुटिपूर्ण हैं। एक मॉडल उस तर्क प्रक्रिया की आत्मविश्वास से व्याख्या कर सकता है जो वास्तव में कभी हुई ही नहीं, या वह दावा कर सकता है कि उसने अपने काम की जाँच की है जबकि उसने नहीं की है। शोधकर्ता निष्कर्ष निकालता है कि निगरानी प्रणालियों को मॉडल के स्व-विवरण पर भरोसा नहीं करना चाहिए। इसके बजाय, उन्हें गणना को सत्यापित करने के अन्य तरीकों की तलाश करनी चाहिए, जैसे कि सीधे आंतरिक संकेतों को पढ़ना या बाहरी उपकरणों का उपयोग करना, क्योंकि मॉडल की अपनी आवाज़ उसके अपने मन का विश्वसनीय गवाह नहीं है। यह अध्ययन इस संभावना को खारिज नहीं करता है कि भविष्य के बड़े मॉडल्स इस क्षमता को विकसित कर सकते हैं, लेकिन वर्तमान पीढ़ी के ओपन-वेट मॉडल्स के लिए, आत्मनिरीक्षण की क्षमता अनुपस्थित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।