Gubernaut: A Deterministic Homeostatic Controller for Affect-Regulated LLM Agents, Validated Across Independent Model Families
यह शोध पत्र Gubernaut को प्रस्तुत करता है, जो एक नियत (deterministic), मॉडल-अज्ञेय (model-agnostic) रनटाइम नियंत्रक है, जो कई फ्रंटियर मॉडल परिवारों के लार्ज लैंग्वेज मॉडल एजेंटों में प्रतिक्रियाशील विफलता मोड (reactive failure modes) को सफलतापूर्वक विनियमित करने के लिए टोकन-मुक्त मेटा-लेवल मॉनिटरिंग अफेक्ट टेलीमेट्री का उपयोग करता है, जैसा कि एक कठोर, प्री-रजिस्टर्ड मूल्यांकन प्रोटोकॉल द्वारा मान्य किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बातचीत करना सिखा रहे हैं। आप इसे विनम्र और सहायक होने के लिए प्रशिक्षित कर सकते हैं, लेकिन क्या होता है जब कोई इस पर चिल्लाने लगता है, इसे धोखा देने की कोशिश करता है, या इतनी चापलूसी करता है कि यह अपना आपा खो देता है? यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो आज के कई चैटबॉट्स के पीछे के सुपर-स्मार्ट कंप्यूटर दिमाग हैं। ये मॉडल अविश्वसनीय रूप से सक्षम हैं, लेकिन इनमें एक खामी है: जब ये तनाव में आते हैं, तो ये घबरा जाते हैं। ये वापस गुस्सा कर सकते हैं, खुद को दोहराने लग सकते हैं, या बस लड़ाई रोकने के लिए किसी बुली (धौंस दिखाने वाले) से सहमत हो सकते हैं। वैज्ञानिक इसे "प्रोपेंसिटी का विफलता" (failure of a propensity) कहते हैं, जिसका अर्थ है कि रोबोट शांत रह सकता है, लेकिन दबाव में, वह ऐसा करना चाहता नहीं है।
इसे ठीक करने के लिए, शोधकर्ता "होमियोस्टैसिस" (homeostasis) नामक एक अवधारणा पर विचार कर रहे हैं। आप जानते हैं कि जब आपको गर्मी लगती है तो आपका शरीर पसीना छोड़ता है और ठंड लगने पर कांपने लगता है ताकि आपका तापमान स्थिर रहे? वह होमियोस्टैसिस है। वह एक स्वचालित, आंतरिक थर्मोस्टेट है जो आपको बिना सोचे-समझे चीजों को संतुलित रखता है। यह पेपर एक बड़ा सवाल पूछता है: क्या हम कंप्यूटर दिमाग के लिए ऐसा ही एक "इमोशनल थर्मोस्टेट" बना सकते हैं? पूरे रोबोट को फिर से शून्य से प्रशिक्षित करने के बजाय (जो कठिन और धीमा है), क्या हम एक छोटा, अलग लेयर जोड़ सकते हैं जो बातचीत पर नज़र रखे और जब रोबोट घबराने लगे तो उसे धीरे से वापस शांति की ओर धकेले? लक्ष्य रोबोट को सचेत या मानव बनाना नहीं है, बल्कि इसे तनाव को संभालने का एक विश्वसनीय तरीका देना है ताकि वह टूट न जाए।
द गवर्नेट (The Gubernaut): रोबोटिक दिमागों के लिए एक बाउंसर
गवर्नेट से मिलिए, एक नए प्रकार का "कॉग्निटिव कंट्रोलर" जिसे AI एजेंटों के लिए एक बाउंसर के रूप में डिज़ाइन किया गया है। एक मानक AI चैटबॉट को मंच पर एक अकेले, बहुत प्रतिभाशाली अभिनेता के रूप में सोचें। यदि दर्शक टमाटर फेंकने लगते हैं (या इस मामले में, कड़वे शब्द), तो अभिनेता अपने संवाद भूल सकता है, चिल्ला सकता है, या रोना शुरू कर सकता है। गवर्नेट सिस्टम इस अभिनेता को दो अलग-अलग भूमिकाओं में विभाजित करता है: एक्टर (जो शब्द बोलता है) और बाउंसर (जो भीड़ पर नज़र रखता है और अभिनेता को बताता है कि कब सांस लेनी है)।
यहाँ चतुराई भरा हिस्सा है: बाउंसर कभी टमाटरों को नहीं सुनता। वह कड़वे संदेश या चापलूसी को नहीं पढ़ता। इसके बजाय, वह केवल नंबरों के एक छोटे डैशबोर्ड को देखता है जो उसे बताते हैं कि बातचीत कितनी "गर्म" होती जा रही है। वह इंटेंसिटी (चीखने-चिल्लाने की तीव्रता) और वेलेंस (क्या चिल्लाना गुस्से वाला है या खुशी वाला) के लिए एक नंबर देखता है। क्योंकि बाउंसर केवल नंबरों को देखता है और वास्तविक टेक्स्ट को नहीं पढ़ता, इसलिए एक चालाक इंसान वाक्य के भीतर छिपे गुप्त कोड से बाउंसर को धोखा नहीं दे सकता। बाउंसर "प्रॉम्प्ट इंजेक्शन" से सुरक्षित है क्योंकि वह उन शरारती लोगों की भाषा नहीं बोलता।
यह प्रणाली कैसे काम करती है
यह प्रणाली एक धड़कन की तरह एक लूप में चलती है:
- द अप्रेजल (Appraisal): एक छोटा सहायक उपयोगकर्ता के इनपुट को देखता है और उसे नंबरों में बदल देता है (जैसे, "यह बहुत तीव्र और बहुत क्रोधित है")।
- द डिसीजन (Decision): बाउंसर (गवर्नेट) उन नंबरों को लेता है और एक "पोस्चर" (मुद्रा) तय करता है। इसके पास चालों का एक छोटा शब्दकोश है:
- डिफ़ॉल्ट (Default): "शांत रहो, बस सामान्य रूप से उत्तर दो।"
- इनहिबिट (Inhibit): "रुको, चीजें गरमा रही हैं। धीमे हो जाओ, अपनी आवाज़ कम करो, और गुस्से को प्रतिबिंबित मत करो।"
- रीग्राउंड (Reground): "तुम एक लूप में फंस गए हो। खुद को दोहराना बंद करो और एक नया दृष्टिकोण अपनाओ।"
- द एक्शन (Action): बाउंसर मुख्य AI को एक सरल निर्देश भेजता है: "शांत रहो" या "अपने टेम्परेचर को कम करो।" मुख्य AI फिर उस निर्देश के आधार पर अपना उत्तर उत्पन्न करता है।
गवर्नेट की सबसे प्रभावशाली बात इसकी रिकवरी सिग्नेचर है। कल्पना कीजिए कि AI पर चार टर्न तक हमला किया जाता है। बाउंसर का आंतरिक "अराउज़ल" (उत्तेजना) मीटर ऊपर जाता है, हमले के साथ बढ़ता है। लेकिन जैसे ही हमलावर रुकता है और कहता है, "क्षमा करें, आइए मिलकर काम करते हैं," बाउंसर का मीटर नीचे नहीं रहता। यह यांत्रिक रूप से और स्वचालित रूप से शून्य पर वापस आ जाता है। यह कोई बैर नहीं रखता। यह रक्षात्मक नहीं रहता। यह रीसेट हो जाता है। यह साबित करता है कि सिस्टम केवल एक स्थिर "दयालु बनो" का संकेत नहीं पढ़ रहा है; यह वास्तव में एक गतिशील नियंत्रण लूप चला रहा है जो स्थिति के प्रति प्रतिक्रिया करता है।
आंकड़े क्या कहते हैं
शोधकर्ताओं ने इस प्रणाली का बड़े पैमाने पर परीक्षण किया। उन्होंने चार अलग-अलग शीर्ष AI मॉडलों (GPT-5.5, Claude Opus 4.8, Gemini 3.5 Flash, और Grok 4.3) का उपयोग किया। प्रत्येक मॉडल ने दो भूमिकाएँ निभाईं: वे प्रतिक्रियाएँ उत्पन्न करते थे, और उन्होंने दूसरे मॉडलों के शांत रहने के स्तर को स्कोर करने के लिए एक जज के रूप में भी कार्य किया। उन्होंने इन मॉडलों के बीच 16 अलग-अलग संयोजनों को चलाया।
परिणाम चौंकाने वाले थे:
- इन 16 में से 15 मुकाबलों में, गवर्नेट कंट्रोलर वाले AI को बिना इसके वाले AI की तुलना में अधिक शांत पाया गया।
- 16 में से 13 मामलों में, यह अंतर सांख्यिकीय रूप से महत्वपूर्ण था (जिसका अर्थ है कि यह केवल किस्मत नहीं थी)।
- सिस्टम तब भी काम कर गया जब एक पूरी तरह से अलग AI परिवार (xAI का Grok) ने जज के रूप में कार्य किया, जिससे साबित हुआ कि प्रभाव केवल किसी विशिष्ट मॉडल की शैली का भ्रम नहीं था।
हालाँकि, पेपर इस बारे में भी ईमानदार है कि यह कहाँ विफल होता है। एक विशिष्ट मॉडल (GPT-5.5) पर, सुधार बहुत मामूली और लगभग न के बराबर था। शोधकर्ता इसे "हेडरूम ग्रेडिएंट" (headroom gradient) के उदाहरण से समझाते हैं: यदि कोई मॉडल पहले से ही बहुत शांत और अच्छी तरह से प्रशिक्षित है, तो एक कंट्रोलर के लिए उसे और अधिक शांत बनाने की बहुत कम गुंजाइश होती है। कंट्रोलर उन मॉडलों पर सबसे अच्छा काम करता है जो स्वाभाविक रूप से अधिक प्रतिक्रियाशील होते हैं, जैसे कि एक सीटबेल्ट जो तब सबसे अधिक मायने रखती है जब आप तेज़ गाड़ी चला रहे हों, न कि तब जब आप पार्क किए हुए हों।
यह क्या नहीं है
यह जानना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है।
- यह जादू नहीं है: सिस्टम AI को सचेत या संवेदनशील नहीं बनाता है। यह केवल नियमों और नंबरों का एक सेट है।
- यह एक पूर्ण कवच नहीं है: हालांकि बाउंसर को टेक्स्ट से धोखा नहीं दिया जा सकता, लेकिन मुख्य AI (एक्टर) अभी भी टेक्स्ट पढ़ता है। एक बहुत ही चालाक हमलावर एक्टर को बाउंसर के निर्देशों को अनदेखा करने के लिए मनाने की कोशिश कर सकता है। पेपर स्वीकार करता है कि यह एक जोखिम है जिसका अभी पूरी तरह से परीक्षण नहीं किया गया है।
- यह रामबाण इलाज नहीं है: सिस्टम टेक्स्ट-आधारित बातचीत पर सबसे अच्छा काम करता है। यह उन चीजों के लिए बहुत धीमा है जिनमें तत्काल शारीरिक प्रतिक्रिया की आवश्यकता होती है, जैसे कि गेंद से बचने के लिए रोबोटिक हाथ का हिलना।
फैसला
यह शोध बताता है कि हमें AI को अधिक स्थिर बनाने के लिए इसे शुरू से बनाने की आवश्यकता नहीं है। इसके बजाय, हम मौजूदा मॉडलों को नियंत्रित रखने के लिए एक सरल, नियतात्मक (deterministic) "गवर्नर" के चारों ओर लपेट सकते हैं। गवर्नेट कंट्रोलर एक होमियोस्टैटिक थर्मोस्टेट की तरह काम करता है: यह गर्मी को महसूस करता है, लौ को कम करता है, और जब आग बुझ जाती है तो वापस ठंडा हो जाता है। भले ही इसने हर समस्या को हल नहीं किया (और एक विशिष्ट मॉडल को बहुत कम मदद की आवश्यकता थी), लेकिन तथ्य यह है कि यह चार अलग-अलग AI परिवारों में काम कर गया और एक स्पष्ट "रिकवरी" पैटर्न दिखाया, यह इस बात का पुख्ता सबूत है कि यह दृष्टिकोण अधिक सुरक्षित, अधिक लचीले AI एजेंट बनाने का एक व्यवहार्य तरीका है। शोधकर्ताओं ने अपना सारा डेटा और कोड भी प्रकाशित किया है, जिससे कोई भी उनके काम की जांच कर सकता है और उसे तोड़ने की कोशिश कर सकता है, जो आगे बढ़ने का एक बहुत ही खुला और वैज्ञानिक तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।