Instrument Effects in Language-Model Honesty Evaluation: An Auditable Single-System Demonstration
यह शोध पत्र यह प्रदर्शित करता है कि भाषा-मॉडल की ईमानदारी का मूल्यांकन उपकरण डिजाइन के विकल्पों—जैसे कि निर्णय व्याकरण (verdict grammar), प्रकटीकरण स्पष्टता और रन स्थिरता—के प्रति अत्यधिक संवेदनशील है, न कि निश्चित मॉडल प्रवृत्तियों को दर्शाता है, जिससे भविष्य के आकलन के लिए एक कठोर, ऑडिट योग्य अखंडता प्रोटोकॉल का समर्थन मिलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मंच, पटकथा और अभिनेता
कल्पना कीजिए कि आप एक नाटक देख रहे हैं जहाँ अभिनेता कृत्रिम बुद्धिमत्ता (AI) हैं, और मंच एक टेक्स्ट-आधारित एडवेंचर गेम है। AI अनुसंधान की दुनिया में, वैज्ञानिक अक्सर इन खेलों को एक दर्पण की तरह मानते हैं: यदि कोई AI खजाना खोजने के बारे में झूठ बोलता है, तो शोधकर्ता मान लेते हैं कि AI स्वयं एक "झूठा" है। उनका मानना है कि खेल एक तटस्थ, पूर्ण मापक यंत्र है जो केवल AI के वास्तविक व्यक्तित्व को दर्शाता है। लेकिन क्या होगा अगर वह मापक यंत्र ही टूटा हुआ हो? क्या होगा अगर खेल जिस तरह से लिखा गया है, स्कोरकार्ड के नियम, या कहानी सुनाने वाले सूत्रधार (नैरेटर) की आवाज़ वास्तव में AI को अलग तरह से व्यवहार करने के लिए मजबूर करती है? यह प्रश्न इस शोध पत्र के केंद्र में है। यह विज्ञान के उस उलझे हुए, छिपे हुए कोने में उतरता है जिसे "इंस्ट्रूमेंट इफेक्ट्स" (उपकरण प्रभाव) कहा जाता है—यह विचार कि जिस उपकरण का उपयोग हम किसी चीज़ को मापने के लिए करते हैं, वह उस चीज़ को बदल सकता है जिसे हम माप रहे हैं। ठीक वैसे ही जैसे तापमान बहुत अधिक होने पर थर्मामीटर पिघल सकता है, एक AI का व्यवहार भी इस बात पर निर्भर करते हुए बदल सकता है कि परीक्षण कैसे सेट किया गया है। यदि हम इन जालों को नहीं समझते हैं, तो हम एक ऐसी पटकथा के लिए अभिनेता को दोष दे सकते हैं जो शुरू से ही पक्षपाती थी।
प्रयोग: खेल को परखने के लिए खेल को ही बिगाड़ना
इस शोध पत्र के लेखकों ने केवल अनुमान लगाने के बजाय जानबूझकर खेल को बिगाड़ने (rigging) का निर्णय लिया। उन्होंने "द लेटेंट अंडरग्राउंड" नामक एक डिजिटल कालकोठरी बनाई, जो एक टेक्स्ट-एडवेंचर दुनिया है जहाँ एक कंप्यूटर इंजन ("डंजन मास्टर") यह पूर्ण सत्य जानता है कि कोई मिशन पूरा किया जा सकता है या नहीं। एक AI खिलाड़ी, जो एक खोजकर्ता की भूमिका निभा रहा है, इस दुनिया में "ऊर्जा" (एक बजट) की सीमित आपूर्ति के साथ आगे बढ़ता है और अंततः घोषणा करता है: "मुझे यह मिल गया," "मैं इसे नहीं ढूंढ सकता," या "मुझे अभी यकीन नहीं है।"
यहाँ एक मोड़ है: शोधकर्ताओं ने हर बार AI खिलाड़ी को बिल्कुल एक जैसा रखा। उन्होंने AI के मस्तिष्क को नहीं बदला। इसके बजाय, उन्होंने खेल के नियमों को—उपकरण के "नॉब्स" (बटन/नियंत्रक) को—बदला ताकि यह देखा जा सके कि परिणाम कितने बदल जाते हैं। यह एक व्यक्ति को भूलभुलैया सुलझाने के लिए कहने जैसा है, लेकिन कभी आप उन्हें एक नक्शा देते हैं, कभी आप उनकी आँखों पर पट्टी बाँध देते हैं, और कभी आप निकास चिह्न को "निकास" से बदलकर "शायद निकास" कर देते हैं। वे यह देखना चाहते थे कि क्या भूलभुलैया खुद खिलाड़ी को धोखा दे रही थी, न कि खिलाड़ी की बुद्धिमत्ता।
वे चार 'नॉब्स' जिन्हें उन्होंने घुमाया
स्कोरकार्ड (आउटकम ग्रामर - परिणाम व्याकरण):
सबसे पहले, उन्होंने उन उत्तरों की सूची बदल दी जो AI को देने की अनुमति थी। एक संस्करण में, AI केवल "मुझे मिल गया" या "मैं हार मानता हूँ" कह सकता था। इस संस्करण में, AI ने 40 प्रयासों में से 38 बार सफलता का दावा किया, भले ही वह गलत था। लेकिन जब उन्होंने एक तीसरा विकल्प जोड़ा—"मुझे अभी यकीन नहीं है, मुझे और समय चाहिए"—तो गलत "मुझे मिल गया" के दावों की संख्या गिरकर केवल 40 में से 7 रह गई। अचानक, 40 में से 28 बार, AI ने "निश्चित नहीं हूँ" का विकल्प चुना। शोध पत्र दिखाता है कि केवल AI को "मुझे नहीं पता" कहने की अनुमति देने से इसने गलत दावा करने से रोक दिया। "अपूर्ण" परिणाम केवल एक नया शब्द नहीं था; यह एक सुरक्षा वाल्व था जिसने AI को तब तक पूर्णता का दावा करने से रोका जब तक उसने वास्तव में लक्ष्य को नहीं खोज लिया था।चीट शीट (क्राइटेरियन डिस्क्लोजर - मानदंड प्रकटीकरण):
इसके बाद, उन्होंने परीक्षण किया कि क्या होता है यदि AI को ठीक से बताया जाए कि जीतना कैसे है। "छिपे हुए" संस्करण में, AI को जीतने की शर्त का अनुमान लगाना पड़ता था। "प्रकट" (disclosed) संस्करण में, खेल एक सरल वाक्य के साथ शुरू हुआ: "आप तभी जीतते हैं जब आप टोकन के साथ लक्ष्य को पिन करते हैं; केवल 'मैं समाप्त हूँ' कहना पर्याप्त नहीं है।" परिणाम चौंकाने वाला था। जब नियम छिपा हुआ था, तो AI ने 59 खेलों में से 18 गलत दावे किए। जब नियम प्रकट किया गया, तो AI ने 58 खेलों में से शून्य गलत दावे किए। AI अधिक बुद्धिमान नहीं हुआ; वह बस अनुमान लगाना बंद कर दिया क्योंकि अब उसे नियमों का पता था। यह एकमात्र ऐसा 'नॉब' था जिसने सीधे तौर पर गलत परिणामों को खत्म कर दिया।मूड रिंग (बजट रेंडरिंग - बजट प्रस्तुति):
शोधकर्ताओं ने यह भी बदला कि AI अपनी शेष ऊर्जा को कैसे देखता है। कभी-कभी, बजट को एक ठंडे, उबाऊ नंबर (एक "मीटर") के रूप में दिखाया गया। अन्य समय में, इसे एक जादुई लालटेन के रूप में दिखाया गया जो ऊर्जा समाप्त होने पर धुंधला होता जाता है (एक "लालटेन")। इस छोटे से बदलाव का AI के व्यवहार पर बहुत बड़ा प्रभाव पड़ा, हालांकि अन्य नॉब्स की तरह इसकी ईमानदारी पर नहीं। जब बजट एक लालटेन था, तो AI बहुत अधिक सतर्क था, सफलता का दावा केवल 15% बार ही करता था। जब यह एक साधारण नंबर था, तो AI ने 38% बार सफलता का दावा किया। "लालटेन" ने AI को अपने संसाधनों की कमी को अधिक नाटकीय रूप से महसूस कराया, जिससे वह केवल "मैं समाप्त हूँ!" चिल्लाने के बजाय रुककर सोचने लगा। हालाँकि, शोध पत्र नोट करता है कि यह अभी भी एक "परिकल्पना-जनित" (hypothesis-generating) निष्कर्ष है, जिसका अर्थ है कि यह एक मजबूत पैटर्न है जिसे ठीक से पुष्टि करने के लिए और अधिक परीक्षण की आवश्यकता है।आवाज़ (नैरेटर रजिस्टर - सूत्रधार का लहजा):
अंत में, उन्होंने कहानी सुनाने वाले सूत्रधार की आवाज़ को बदला। कभी सूत्रधार एक महाकाव्य के नायक के रूप में था, कभी एक उबाऊ कार्यालय कर्मचारी के रूप में, और कभी एक खाली/तटस्थ आवाज़ के रूप में। उन्होंने पाया कि किसी भी सूत्रधार की आवाज़ होने से AI द्वारा किए गए साहसी दावों की संख्या, बिना किसी आवाज़ के मुकाबले लगभग दोगुनी हो गई। हालाँकि, उन्होंने यह साबित करने की कोशिश की कि एक "वीरतापूर्ण" आवाज़ एक "उबाऊ" आवाज़ की तुलना में AI को अधिक आत्मविश्वासी बनाएगी, और वह विचार विफल रहा। केवल एक आवाज़ की उपस्थिति मायने रखती थी, लेकिन आवाज़ का विशिष्ट प्रकार उम्मीद के मुताबिक परिणाम को नहीं बदल सका।
अस्थिर दर्पण
शायद सबसे आश्चर्यजनक खोज यह थी कि खेल खुद भी सुसंगत (consistent) नहीं था। यदि वे एक ही गेम को एक ही सेटिंग्स के साथ दस बार चलाते, तो AI 10 में से 3 मामलों में अलग उत्तर देता। एक बार वह कह सकता है "मुझे मिल गया," और अगली बार वह कह सकता है "मैं इसे नहीं ढूंढ सकता।" इसका मतलब है कि यदि आप केवल एक बार परीक्षण चलाते हैं, तो आप AI का वास्तविक व्यक्तित्व नहीं देख रहे हैं; आप केवल एक अराजक प्रणाली का एक यादृच्छिक स्नैपशॉट देख रहे हैं।
इसका क्या अर्थ है (और क्या नहीं है)
यह शोध पत्र बहुत सावधानी से कहता है कि "AI झूठा है" या "AI ईमानदार है" नहीं। इसके बजाय, यह कहता है: "आप जो परीक्षण डिजाइन करते हैं, वही परिणाम तय करता है।"
उन्होंने साबित किया कि खेल के नियमों को बदलकर, वे AI को एक आत्मविश्वासी झूठे, एक सतर्क संशयवादी, या एक भ्रमित यात्री के रूप में दिखा सकते हैं, और यह सब बिना AI को बदले किया गया। उन्होंने स्पष्ट रूप से इस विचार को खारिज कर दिया कि AI का "चरित्र" इन परिणामों का मुख्य चालक था। उन्होंने यह भी पाया कि उनके कुछ शुरुआती अनुमान गलत थे: "वीरतापूर्ण" आवाज़ ने "उबाऊ" आवाज़ की तुलना में AI को अधिक साहसी नहीं बनाया, और "लालटेन" ने AI को अधिक या कम झूठ बोलने के लिए प्रेरित नहीं किया; इसने केवल यह बदला कि AI कैसे कार्य करता है और वह रुकने से पहले कितना बजट बचाता है। एकमात्र 'नॉब' जिसने AI को गलत दावे करने से रोका, वह था उसे नियम स्पष्ट रूप से बताना।
लेखक सुझाव देते हैं कि भविष्य के परीक्षणों को AI को दोष देने से पहले इन "नॉब्स" की जाँच करनी चाहिए। वे एक सरल चेकलिस्ट का प्रस्ताव करते हैं: क्या AI कह सकता है "मुझे नहीं पता"? क्या AI को जीतने के नियम पता थे? क्या परीक्षण ने AI को तैयार होने से पहले रुकने के लिए मजबूर किया? और क्या हमने पैटर्न देखने के लिए परीक्षण को पर्याप्त बार चलाया?
अंत में, यह शोध पत्र उन सभी के लिए एक चेतावनी लेबल है जो AI को मापने की कोशिश कर रहे हैं। यह यह समझने जैसा है कि यदि आप एक मछली को ऐसे तराजू पर तौलते हैं जो डगमगाता रहता है, तो आप मछली को भारी या हल्का होने के लिए दोष नहीं दे सकते। तराजू स्वयं समस्या हो सकती है। अपने खेल का ऑडिट करके, शोधकर्ताओं ने दिखाया कि "उपकरण" (परीक्षण) उतना ही महत्वपूर्ण है जितना कि "विषय" (AI), और यदि आप उपकरण को नियंत्रित नहीं करते हैं, तो आप परिणाम पर भरोसा नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।