Behavioral Inference at Scale: The Fundamental Asymmetry Between Motivations and Belief Systems
यह शोध पत्र व्यवहार संबंधी अनुमान (behavioral inference) में एक मौलिक विषमता को प्रदर्शित करता है जहाँ LLM एजेंट के उद्देश्यों को लगभग पूर्ण सटीकता के साथ पुनः प्राप्त किया जा सकता है, जबकि उनकी अंतर्निहित विश्वास प्रणालियाँ काफी हद तक अपारदर्शी बनी रहती हैं, जो निम्न सटीकता दर पर स्थिर हो जाती हैं जो इस बात का संकेत देती हैं कि अवलोकन योग्य क्रियाएं आंतरिक मूल्यों के बारे में क्या प्रकट कर सकती हैं, इसकी एक संरचनात्मक या आंतरिक सीमा है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आप संदिग्ध के पदचिह्नों को केवल कीचड़ में ही देख सकते हैं। आप न तो उसका चेहरा देख सकते हैं, न उसकी आवाज़ सुन सकते हैं, और न ही उसकी डायरी पढ़ सकते हैं। आपको उसके कदमों को देखकर ही यह अनुमान लगाना है कि वह कौन है, वह क्या चाहता है, और वह क्या मानता है। यह व्यवहार संबंधी अनुमान (behavioral inference) की दुनिया है, जहाँ वैज्ञानिक यह समझने की कोशिश करते हैं कि एक AI के "मस्तिष्क" के भीतर क्या चल रहा है, सिर्फ यह देखकर कि वह क्या करता है। इस विशिष्ट विज्ञान के क्षेत्र में, शोधकर्ता लार्ज लैंग्वेज मॉडल्स (LLMs) का अध्ययन कर रहे हैं—वे सुपर-स्मार्ट कंप्यूटर प्रोग्राम जो कहानियाँ लिख सकते हैं, सवालों के जवाब दे सकते हैं, और खेल खेल सकते हैं। बड़ा सवाल यह है: यदि हम एक लंबे समय तक एक AI को खेल खेलते हुए देखें, तो क्या हम उसके गुप्त व्यक्तित्व और उसके नैतिक कोड का पता लगा सकते हैं? यह इसलिए महत्वपूर्ण है क्योंकि जैसे-जैसे हम मदद के लिए अधिक AI बना रहे हैं, हमें यह जानने की आवश्यकता है कि क्या वे वास्तव में वही कर रहे हैं जो हम चाहते हैं, या वे एक अलग एजेंडा छिपाते हुए केवल अच्छा होने का ढोंग कर रहे हैं।
जिस शोध पत्र को आप पढ़ने जा रहे हैं, वह एक विशाल प्रयोग के साथ इस रहस्य में उतरता है। शोधकर्ताओं ने एक डिजिटल दुनिया बनाई—एक ग्रिड-आधारित डंजन क्रॉलर (dungeon crawler)—जहाँ उन्होंने 36 अलग-अलग प्रकार के AI "पात्रों" को प्रोग्राम किया। प्रत्येक पात्र के पास एक विश्वास प्रणाली (क्लासिक डन्जन्स एंड ड्रैगन्स अलाइनमेंट चार्ट पर आधारित एक नैतिक कोड, जो "लॉफुल गुड" से लेकर "केओटिक ईविल" तक फैला हुआ है) और एक प्रेरणा (एक सरल लक्ष्य जैसे अमीर बनना, सुरक्षित रहना, अन्वेषण करना, या तेज़ी से आगे बढ़ना) का एक अनूठा मिश्रण था। उन्होंने इन AI एजेंटों को 15 लाख से अधिक बार खेलने दिया, जिससे उनके कार्यों के बारे में डेटा का एक पहाड़ खड़ा हो गया। फिर, उन्होंने क्रिया लॉग (action logs) को देखकर एजेंटों की गुप्त प्रोफाइल का अनुमान लगाने के लिए कंप्यूटर प्रोग्रामों का उपयोग करने की कोशिश की।
यहाँ उन्हें एक मोड़ मिला: AI जासूस एजेंटों के लक्ष्यों (उनकी प्रेरणाओं) का अनुमान लगाने में अविश्वसनीय रूप से अच्छे थे, लेकिन वे एजेंटों के विश्वासों (उनके नैतिक संरेखण/alignment) का अनुमान लगाने में बहुत खराब थे। प्रेरणा पहचानने वाले लगभग सटीक थे, जो 98% से 100% बार सही होते थे। यदि कोई एजेंट अमीर बनने की कोशिश कर रहा था, तो AI उसे तुरंत पहचान सकता था। लेकिन जब बात नैतिक कोड की आई, तो AI एक कठिन दीवार से टकरा गया। यहाँ तक कि सबसे उन्नत कंप्यूटर मॉडल (ट्रांसफॉर्मर्स) भी नैतिक संरेखण का सही अनुमान केवल लगभग 34% बार ही लगा सके। यह नौ संभावित उत्तरों वाले खेल में एक भाग्यशाली अनुमान से भी थोड़ा बेहतर है।
शोधकर्ताओं ने पाया कि ऐसा इसलिए नहीं था क्योंकि उनके पास पर्याप्त डेटा नहीं था या कंप्यूटर मॉडल पर्याप्त स्मार्ट नहीं थे। उन्होंने मॉडलों को बड़ा बनाया और उन्हें अधिक सुराग दिए, लेकिन वह दीवार वैसी ही बनी रही। वास्तव में, "अमीर बनने की चाहत" कीचड़ में एक बहुत ही स्पष्ट, स्पष्ट पदचिह्न छोड़ती है। लेकिन "एक अच्छा व्यक्ति होना" बहुत अधिक चालाकी भरा है। एक "अच्छा" एजेंट किसी की मदद इसलिए कर सकता है क्योंकि वह दयालु है, या क्योंकि वह नियमों का पालन करता है, या केवल शांति बनाए रखने के लिए। वे सभी अलग-अलग कारण बाहर से बिल्कुल एक जैसे दिखते हैं। शोध पत्र सुझाव देता है कि व्यवहार को केवल देखकर हम क्या सीख सकते हैं, इसकी एक मौलिक सीमा है। जबकि हम उच्च विश्वास के साथ एक AI के लक्ष्यों को ट्रैक कर सकते हैं, उसके वास्तविक नैतिक दिशा-सूचक यंत्र (moral compass) को समझना असंभव हो सकता है, जब तक कि हम उससे सीधे न पूछें या उसे दूसरों के साथ अधिक जटिल तरीकों से बातचीत करते हुए न देखें। "न्यूट्रल" (तटस्थ) पात्रों को पहचानना सबसे कठिन था, क्योंकि वे इतनी अच्छी तरह से घुल-मिल गए कि AI यह नहीं बता सका कि वे वास्तव में तटस्थ थे, गुप्त रूप से अच्छे थे, या केवल दिखावा कर रहे थे। यह अध्ययन दिखाता है कि जबकि हम एक AI के लक्ष्यों को उच्च विश्वास के साथ ट्रैक कर सकते हैं, उसके छिपे हुए मूल्य एक रहस्य बने रह सकते हैं, चाहे हम उसे कितना भी खेलते हुए क्यों न देखें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।