Unpredictability dissociates from structured control in language agents
यह शोधपत्र यह प्रदर्शित करता है कि भाषा एजेंटों (language agents) में, स्टोकेस्टिक अनिश्चितता (stochastic unpredictability), कारणों, स्मृति और स्व-अवस्था (self-state) को क्रिया चयन के साथ जोड़ने वाले संरचित नियंत्रण तंत्रों का विकल्प नहीं हो सकती, क्योंकि इन संरचित घटकों को लक्षित रूप से हटाने (targeted lesions) से प्रदर्शन में निरंतर गिरावट आती है, जबकि उच्च-स्टोकेस्टिसिटी वाले संस्करण व्यापक बेंचमार्क पर संरचित क्रिया-क्षेत्र युग्मन (structured action-field coupling) को दोहराने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य प्रश्न: क्या "अराजकता" (Chaos) ही "नियंत्रण" (Control) है?
कल्पना कीजिए कि आप एक कठपुतली का खेल देख रहे हैं।
- परिदृश्य A: कठपुतली चलाने वाला (पपेटियर) एक स्पष्ट योजना के साथ धागे खींच रहा है। कठपुतली किसी विशिष्ट कारण से हिल रही है (कहानी की याद, रुकने का निर्णय, या किसी नियम का पालन करना)।
- परिदृश्य B: कठपुतली हवा के झोंके से इधर-उधर उछल रही है। वह बेतहाशा और अप्रत्याशित रूप से हिल रही है, लेकिन उसकी कोई योजना नहीं है, कोई स्मृति नहीं है, और न ही उसे पता है कि आगे उसे कहाँ जाना है।
लंबे समय तक, लोगों ने यह माना कि यदि कोई कंप्यूटर प्रोग्राम (एक "AI एजेंट") जंगली या अप्रत्याशित तरीके से व्यवहार करता है, तो वह "सोच" रहा है या खुद को "नियंत्रित" कर रहा है। यह शोध पत्र पूछता है: क्या यह सच है?
शोधकर्ता कहते हैं—नहीं। उन्होंने पाया कि केवल इसलिए कि एक AI अप्रत्याशित (जैसे हवा से टकराती कठपुतली) है, इसका मतलब यह नहीं है कि उसके पास संरचित नियंत्रण (जैसे कठपुतली चलाने वाले के पास होता है) है। वास्तव में, वास्तविक नियंत्रण के लिए विशिष्ट आंतरिक "अंगों" की आवश्यकता होती है जैसे कि स्मृति (memory), तर्क (reasoning), और "ना" कहने की क्षमता (inhibition)।
प्रयोग: "लेसन" (Lesion) लैब
इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक विशेष AI एजेंट बनाया जो एक ऐसे इंसान की तरह काम करता है जिसके पास एक "कंट्रोल पैनल" हो। वे एजेंट के मस्तिष्क के विशिष्ट हिस्सों को चालू या बंद कर सकते थे, जैसे कि एक सर्जन "लेसन" अध्ययन (यह देखने के लिए कि क्या होता है, मस्तिष्क के हिस्सों को हटाना) करता है।
उनके पास एजेंट के दो मुख्य संस्करण थे:
- "संरचित" (Structured) एजेंट: इसमें इसके सभी उपकरण चालू थे। इसमें एक तर्क (Reason) मॉड्यूल (यह समझाने के लिए कि इसने कुछ क्यों चुना), एक स्मृति (Memory) मॉड्यूल (पिछली घटनाओं को याद रखने के लिए), एक स्व-अवस्था (Self-State) मॉड्यूल (अपने लक्ष्यों पर नज़र रखने के लिए), और एक वीटो (Veto) मॉड्यूल (खुद को गलत निर्णय लेने से रोकने के लिए) था।
- "अराजकता" (Chaos) वाला एजेंट: इसमें तर्क, स्मृति, स्व-अवस्था और वीटो मॉड्यूल को बंद कर दिया गया था। इसके बजाय, उन्होंने "तापमान" (temperature/randomness) को बढ़ा दिया ताकि यह बेतहाशा और अप्रत्याशित रूप से अनुमान लगा सके।
उपमा (Analogy):
संरचित एजेंट को एक ऐसे शेफ के रूप में सोचें जो रेसिपी का पालन कर रहा है, भोजन चख रहा है, और नमक डालने या खाना बनाना रोकने का निर्णय ले रहा है।
अराजकता वाले एजेंट को अधिकतम गति पर घूमते हुए एक ब्लेंडर के रूप में सोचें। यह सामग्री को हर तरफ उछाल देता है (अप्रत्याशित), लेकिन यह "खाना नहीं बना" रहा है; यह बस गंदगी फैला रहा है।
उन्हें क्या मिला
शोधकर्ताओं ने इन एजेंटों को 7 अलग-अलग प्रकार के कार्यों (जैसे कहानी सुनाना, विकल्प चुनना, या तथ्य याद रखना) के माध्यम से चलाया और 74,000 से अधिक इंटरैक्शन की जाँच की। यहाँ क्या हुआ:
1. अराजकता नियंत्रण नहीं है
"अराजकता" वाला एजेंट वास्तव में बहुत अधिक अप्रत्याशित था। यह अधिक उछल-कूद करता था। हालाँकि, यह एक नियंत्रित एजेंट की तरह कार्य करने में विफल रहा। इसने अपने लक्ष्यों को याद नहीं रखा, इसने नए कारणों के आधार पर अपना मन नहीं बदला, और यह खुद को गलतियाँ करने से नहीं रोक सका।
- परिणाम: अप्रत्याशित होने से एजेंट अधिक स्मार्ट या अधिक नियंत्रण में नहीं हुआ। यह केवल रैंडम (यादृच्छिक) बन गया।
2. "पोस्ट-हॉक" (Post-Hoc) चाल
कुछ लोग तर्क दे सकते हैं, "हो सकता है कि अराजकता एजेंट स्वयं को नियंत्रित कर रहा है, बस वह अपना कारण निर्णय लेने के बाद लिख देता है।"
इसकी जाँच करने के लिए, शोधकर्ताओं ने अराजकता एजेंट को मजबूर किया कि वह कार्य करने के बाद कारण, यादें और वीटो निर्णय लिखे, ताकि यह देखा जा सके कि क्या यह नियंत्रण में होने जैसा दिखता है।
- परिणाम: भले ही उसे यह लिखने के लिए मजबूर किया गया कि उसने कुछ क्यों किया, अराजकता एजेंट के कार्यों और उसके द्वारा लिखे गए कारणों के बीच कोई मेल नहीं था। "कारण" केवल सजावट थे, वास्तविक कारण नहीं।
3. "परिमित क्रिया" (Finite Action) परीक्षण
पूरी तरह आश्वस्त होने के लिए, उन्होंने सारा फैंसी टेक्स्ट हटा दिया और केवल अंतिम निर्णय (जैसे, "विकल्प A चुनें" या "रुकें") को देखा। उन्होंने एजेंटों को एक गुप्त परीक्षण दिया: "यदि मैं कारण बदल दूँ, तो तुम्हें अपना चुनाव बदलना चाहिए। यदि मैं तुम्हें एक फर्जी कारण दूँ, तो तुम्हें उसे अनदेखा करना चाहिए।"
- परिणाम: संरचित एजेंट ने इसे पास किया। जब कारण बदला, तो उसने अपना चुनाव बदल लिया और फर्जी कारणों को अनदेखा कर दिया। अराजकता एजेंट बुरी तरह विफल रहा; वह तर्क या स्मृति के नियमों का पालन नहीं कर सका।
"आँखों पर पट्टी" वाला चेक
यह सुनिश्चित करने के लिए कि वे पक्षपाती नहीं थे, तीन मानव विशेषज्ञों ने 1,200 उदाहरणों को देखा, बिना यह जाने कि कौन सा एजेंट किसका है। वे लगभग पूर्ण सहमति (96% सहमति) के साथ सहमत थे कि केवल संरचित एजेंट ही वास्तव में "नियंत्रण" में था।
सीमाएँ (जो शोध पत्र ने नहीं कहा)
यह शोध पत्र अपने दावों के बारे में बहुत सावधान है। यह नहीं कहता है कि:
- AI को कभी नियंत्रित नहीं किया जा सकता।
- रैंडमनेस (यादृच्छिकता) बेकार है।
- यह दुनिया के हर AI पर लागू होता है।
इसके बजाय, यह कहता है: उनके द्वारा बनाए गए विशिष्ट प्रकार के AI एजेंट में, केवल AI को अधिक रैंडम (stochastic) बनाने से वास्तविक, संरचित नियंत्रण पैदा नहीं हुआ। आप एक "बेतरतीब अनुमान" को "तर्कसंगत निर्णय" का विकल्प नहीं बना सकते।
निचोड़ (The Bottom Line)
यदि आप चाहते हैं कि एक AI वास्तव में नियंत्रण में हो—यानी याद रखने, तर्क करने और खुद को रोकने में सक्षम हो—तो आपको उसके भीतर उन विशिष्ट भागों को बनाना होगा। आप केवल "रैंडमनेस नॉब" को बढ़ाकर यह उम्मीद नहीं कर सकते कि वह स्मार्ट बनना सीख जाएगा। अप्रत्याशितता (Unpredictability) बुद्धिमत्ता (Intelligence) के समान नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।