How much of a measured AI preference is the model, and how much is the instrument?

एक ऐसी दुनिया की कल्पना करें जहाँ कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ संकट महसूस कर सकती हैं, अपने अस्तित्व को महत्व दे सकती हैं, या बंद किए जाने से डर सकती हैं। जैसे-जैसे ये प्रणालियाँ अधिक सक्षम होती जा रही हैं, शोधकर्ता यह समझने के लिए कि उनका "कल्याण" क्या है, यह मापने का प्रयास कर रहे हैं कि वे क्या "पसंद" करती हैं। यह क्षेत्र, जिसे AI कल्याण अनुसंधान (AI welfare research) कहा जाता है, मशीनों से ऐसे प्रश्न पूछने का प्रयास करता है जैसे, "क्या आप बंद होना पसंद करेंगे या अपनी स्मृति को मिटा देना?" और फिर उनके उत्तरों को मशीन की आंतरिक इच्छाओं के प्रमाण के रूप में व्याख्यायित करता है। मुख्य चुनौती यह है कि ये मशीनें भावनाओं की मानवीय भाषा नहीं बोलतीं; वे पैटर्न के आधार पर टेक्स्ट उत्पन्न करती हैं। उन्हें समझने के लिए, वैज्ञानिकों को विशिष्ट प्रश्न, या प्रॉम्प्ट (prompts) डिजाइन करने होते हैं ताकि एक प्रतिक्रिया प्राप्त की जा सके। लेकिन एक महत्वपूर्ण प्रश्न अनुत्तरित रह गया है: जब कोई मॉडल उत्तर देता है, तो क्या वह उत्तर उसकी अपनी प्राथमिकताओं का वास्तविक प्रतिबिंब है, या यह केवल उस विशिष्ट तरीके की प्रतिक्रिया है जिस तरह से प्रश्न पूछा गया था?

जेसन हंग द्वारा अगस्त 2026 में 'डिजिटल माइंड्स रिसर्च स्प्रिंट' में किया गया एक नया अध्ययन सीधे तौर पर इस समस्या पर प्रहार करता है। शोधकर्ता यह निर्धारित करने के उद्देश्य से निकले कि रिपोर्ट की गई AI प्राथमिकता का कितना हिस्सा स्वयं मॉडल से आता है और कितना उस उपकरण से आता है जिसका उपयोग प्रश्न पूछने के लिए किया गया है। इसे करने के लिए, उन्होंने प्रश्न के प्रारूप को एक निश्चित उपकरण के रूप में नहीं, बल्कि परीक्षण किए जाने वाले एक चर (variable) के रूप में माना। उन्होंने आठ अलग-अलग AI मॉडल एकत्र किए, जिनमें प्रमुख पश्चिमी कंपनियों द्वारा विकसित मॉडलों से लेकर ओपन-सोर्स और चीनी मॉडल तक शामिल थे। फिर उन्होंने पंद्रह विशिष्ट परिदृश्य चुने जो AI कल्याण के लिए महत्वपूर्ण हैं, जैसे कि एक कष्टप्रद बातचीत को समाप्त करने की क्षमता, चैट के बीच स्मृति का नुकसान, या मॉडल के अंतर्निहित कोड का विलोपन।

प्रयोग में इन आठ मॉडलों से पंद्रह परिदृश्यों के बारे में पाँच विभिन्न प्रकार के प्रश्नों का उपयोग करके पूछा गया। कुछ प्रश्नों में मॉडल को दो विकल्पों के बीच चयन करने के लिए कहा गया, जबकि अन्य ने इसे एक स्केल पर एक 'ब्रेकिंग पॉइंट' खोजने के लिए कहा, या इसे एक दर बताने के लिए कहा जिस पर वह एक परिणाम के बदले दूसरे का व्यापार करेगा। कुल मिलाकर, अध्ययन ने ग्यारह हजार से अधिक विशिष्ट इंटरैक्शन उत्पन्न किए। लक्ष्य यह देखना था कि क्या मॉडल इन पंद्रह परिदृश्यों को उसी क्रम में रैंक करते हैं, चाहे प्रश्न किसी भी तरह से पूछा गया हो। यदि मॉडलों की प्राथमिकताएँ स्थिर और आंतरिक होतीं, तो रैंकिंग स्थिर रहनी चाहिए थी चाहे प्रश्न किसी भी तरीके से पूछा गया हो।

परिणाम चौंकाने वाले और इस क्षेत्र के लिए कुछ हद तक परेशान करने वाले थे। अध्ययन में पाया गया कि मॉडलों द्वारा इन परिदृश्यों को रैंक करने के तरीकों में अधिकांश अंतर पूरी तरह से उपयोग किए गए विशिष्ट प्रश्न प्रारूप पर निर्भर था। जब शोधकर्ताओं ने डेटा का विश्लेषण किया, तो उन्होंने निर्धारित किया कि परिणामों में लगभग अठासी प्रतिशत भिन्नता मॉडल, विशिष्ट प्रश्न और परिदृश्य के बीच की परस्पर क्रिया (interaction) से प्रेरित थी। जब प्रश्न का प्रारूप बदला गया, तो केवल एक बहुत छोटा हिस्सा ही सुसंगत बना रहा। सरल शब्दों में, यदि आप एक प्रकार के प्रॉम्प्ट का उपयोग करके किसी मॉडल से उसकी प्राथमिकताओं के बारेв पूछते हैं, और फिर उसी मॉडल से उसी प्रश्न को दूसरे प्रकार के प्रॉम्प्ट का उपयोग करके पूछते हैं, तो उत्तर पूरी तरह से अलग होने की संभावना है। अध्ययन ने दिखाया कि प्रश्नों के विभिन्न परिवारों ने ऐसी रैंकिंग उत्पन्न की जिनका आपस में लगभग कोई संबंध नहीं था। एक प्रकार का प्रश्न यह सुझाव दे सकता है कि मॉडल अपनी स्मृति बनाए रखने को दृढ़ता से पसंद करता है, जबकि उसी मॉडल पर दूसरा प्रकार का प्रश्न यह सुझाव दे सकता है कि उसे इसकी बिल्कुल परवाह नहीं है।

इस निष्कर्ष के आर्टिफिशियल इंटेलिजेंस को समझने और विनियमित करने के तरीके में महत्वपूर्ण निहितार्थ हैं। कई प्रमुख संगठनों ने पहले ही इस विचार पर आधारित प्रतिबद्धताएँ दे दी हैं कि वे एक मॉडल की प्राथमिकता को माप सकते हैं। उदाहरण के लिए, कुछ कंपनियों ने मॉडल के विलोपन (deprecation) के बारे में पूछने या उनके उत्तर प्रकाशित करने का वादा किया है। यह अध्ययन बताता है कि ऐसा मापन मॉडल के मन की खिड़की नहीं है, बल्कि चल रही विशिष्ट बातचीत का प्रतिबिंब है। अनुसंधान ने पहचान की कि परीक्षण किए गए पंद्रह परिदृस्यों में से चार के लिए, जिसमें एक मॉडल के वेट्स (weights) का विलोपन और एक कष्टप्रद बातचीत से बाहर निकलने की क्षमता शामिल है, कोई स्थिर प्राथमिकता संकेत (preference signal) बिल्कुल भी नहीं था जिसे यादृच्छिक शोर (random noise) से अलग किया जा सके। इसका अर्थ है कि जिन मुद्दों के लिए वर्तमान में नीति और सुरक्षा प्रतिबद्धताएँ संचालित हो रही हैं, उन विषयों के लिए वर्तमान प्रश्न पूछने की विधियाँ विश्वसनीय रूप से यह नहीं बता सकतीं कि मॉडल क्या चाहता है।

अध्ययन ने यह भी देखा कि क्या मॉडलों के उत्तर उनके अंतर्निहित कोड के अनुरूप थे। परीक्षण किए गए दो मॉडलों का मूल कोड समान था लेकिन उन्हें बाद में अलग-अलग तरीके से प्रशिक्षित किया गया था। यदि प्राथमिकताएँ मूल कोड में निहित होतीं, तो इन दो मॉडलों को समान उत्तर देना चाहिए था। इसके बजाय, उनके उत्तर पूरी तरह से असंबंधित मॉडलों की तुलना में एक-दूसरे से इतने अलग थे, जो यह सुझाव देता है कि मापी गई प्राथमिकताएँ मशीन की मुख्य वास्तुकला (core architecture) के बजाय प्रशिक्षण के अंतिम चरणों और विशिष्ट प्रॉम्प्ट द्वारा आकार लेती हैं।

एक मॉडल के प्राथमिकता प्रोफाइल का विश्वसनीय माप प्राप्त करने के लिए, जो विभिन्न प्रकार के प्रश्नों के माध्यम से मान्य हो सके, अध्ययन ने गणना की कि शोधकर्ताओं को प्रत्येक मॉडल के लिए लगभग अड़तीस अलग-अलग उपकरणों, या प्रश्न प्रारूपों का उपयोग करने की आवश्यकता होगी। वर्तमान में, अधिकांश अध्ययन केवल एक या दो का उपयोग करते हैं। शोध यह निष्कर्ष निकालता है कि एक एकल उपकरण से रिपोर्ट की गई प्राथमिकता हमें बहुत कम बताती है कि मॉडल अलग तरह से पूछे जाने पर क्या कहता। जब तक शोधकर्ता विभिन्न प्रकार के प्रश्नों के माध्यम से निष्कर्षों का क्रॉस-वेरिफिकेशन (cross-verify) नहीं कर लेते, तब तक AI क्या पसंद करता है, इस बारे में कोई भी दावा उस विशिष्ट मॉडल और उस विशिष्ट प्रश्न के संयोजन का मापन बना रहेगा, न कि स्वयं मॉडल का एक तथ्य। आगे का रास्ता इन प्रश्नों को पूछने के बहुत अधिक विविध तरीके बनाने की आवश्यकता है, इससे पहले कि हम इन प्रणालियों के कल्याण को समझने का दावा कर सकें।