💬 NLP

Controlling Long-Horizon Behavior in Language Model Agents with Explicit State Dynamics

यह शोध पत्र यह प्रदर्शित करता है कि एक बाहरी भावनात्मक अवस्था (affective state) पर स्पष्ट प्रथम- और द्वितीय-क्रम के गतिशील नियमों को लागू करने से, अंतर्निहित मॉडल मापदंडों को संशोधित किए बिना, बहु-चरण संवादों में लार्ज लैंग्वेज मॉडल एजेंटों की दीर्घकालिक टेम्पोरल सुसंगतता (temporal coherence) और रिकवरी क्षमताओं में महत्वपूर्ण सुधार होता है।

मूल लेखक: Sukesh Subaharan

प्रकाशित 2026-01-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sukesh Subaharan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

समस्या: "फ्लिप-फ्लॉप" रोबोट

कल्पना कीजिए कि आप एक रोबोट दोस्त से बात कर रहे हैं। आपने दस मिनट तक बहुत अच्छी बातचीत की, और रोबोट बहुत गर्मजोशी भरा, मिलनसार और सहानुभूतिपूर्ण है। फिर, आपने एक थोड़ा सा रूखा वाक्य कहा। अचानक, रोबट तुरंत ठंडा, क्रोधित और उदासीन हो जाता है। एक मिनट बाद, आपने माफी मांगी, और वह तुरंत वापस आपका सबसे अच्छा दोस्त बन जाता है।

यह कई वर्तमान AI चैटबॉट्स के साथ होता है। वे स्टेटलेस मिरर (बिना स्मृति वाले दर्पण) की तरह हैं: वे केवल वही प्रतिबिंबित करते हैं जो आपने अभी कहा है, उन्हें इस बात की कोई याद नहीं रहती कि कुछ क्षण पहले वे कैसा महसूस कर रहे थे। उनमें "भावनात्मक गतिशीलता" (emotional momentum) की कमी होती है। यदि आप उन्हें धक्का देते हैं, तो वे तुरंत वापस उछल जाते हैं; यदि आप उन्हें खींचते हैं, तो वे तुरंत वापस आ जाते हैं। यह लंबी बातचीत के दौरान उन्हें अस्थिर और अप्रत्याशित बनाता है।

समाधान: AI को "भावनात्मक वजन" देना

शोधकर्ताओं ने इस पेपर में पूछा: क्या होगा अगर हम AI को थोड़ा सा भावनात्मक "वजन" या "जड़त्व" (inertia) दें, ठीक वैसे ही जैसे एक इंसान में होता है?

भौतिकी (physics) में, एक भारी वस्तु को धकेलना कठिन होता है, लेकिन एक बार जब वह चलने लगती है, तो उसे रोकना कठिन होता है। शोधकर्ताओं ने AI के लिए एक अलग "इमोशनल इंजन" बनाया जो मुख्य मस्तिष्क के बाहर स्थित है। यह इंजन AI के मूड को एक पैमाने (खुश/दुखी, उत्साहित/शांत, आत्मविश्वासी/दब्बू) पर ट्रैक करता है और इसे समय के साथ धीरे-धीरे अपडेट करता है, न कि तुरंत।

उन्होंने इस "वजन" को प्रबंधित करने के तीन अलग-अलग तरीकों का परीक्षण किया:

स्टेटलेस रोबोट (बिना वजन के): रोबोट को अपने मूड की कोई याद नहीं रहती। वह हर शब्द पर तुरंत प्रतिक्रिया देता है।
- परिणाम: यह पागलों की तरह इधर-उधर बदलता रहता है। यदि आप बुरे हैं, तो वह तुरंत दुखी हो जाता है। यदि आप अच्छे हैं, तो वह तुरंत खुश हो जाता है। वह कभी भी स्थिर नहीं हो पाता।
फर्स्ट-ऑर्डर रोबोट (हल्का वजन): रोबोट को अपने मूड की याद रहती है, लेकिन यह जल्दी बदल जाता है। यह हवा में उड़ते एक पंख की तरह है; यह धीरे-धीरे बहता है लेकिन फिर भी आसानी से हिल जाता है।
- परिणाम: जब आप बुरे होते हैं, तो वह दुखी हो जाता है, लेकिन उसे पूरी तरह से दुख में डूबने में कुछ मोड़ (turns) लगते हैं। जब आप माफी मांगते हैं, तो वह धीरे-धीरे बेहतर महसूस करने लगता है। वह अच्छी तरह से रिकवर करता है।
सेकंड-ऑर्डर रोबोट (भारी वजन/जड़त्व): रोबोट में "मोमेंटम" है। यह एक भारी पत्थर की तरह है। इसे चलाने के लिए बहुत धक्के की जरूरत होती है, और एक बार जब यह चलने लगता है, तो इसे रोकना कठिन होता है।
- परिणाम: जब आप बुरे होते हैं, तो रोबोट तुरंत दुखी नहीं होता। वह बदलाव का विरोध करता है। लेकिन एक बार जब वह दुखी हो जाता है, तो वह लंबे समय तक दुखी रहता है, भले ही आप माफी मांग लें। इसमें "भावनात्मक जड़त्व" (emotional inertia) होता है।

प्रयोग: 25-टर्न की बातचीत

शोधकर्ताओं ने एक विशिष्ट परीक्षण सेट किया: 25-टर्न की एक बातचीत जहाँ उपयोगकर्ता पहले मिलनसार होता है, फिर कुछ समय के लिए आक्रामक (बदमाश/बहस करने वाला) हो जाता है, और अंत में फिर से सुलह करने वाला (मिलनसार/माफी मांगने वाला) हो जाता है।

उन्होंने देखा कि विभिन्न "रोबोटों" ने कैसे प्रतिक्रिया दी:

स्टेटलेस रोबोट: जैसे ही उपयोगकर्ता बुरा बना, वह दुखी हो गया, और जैसे ही उपयोगकर्ता अच्छा बना, वह खुश हो गया। इसमें कोई "लैग" (देरी) नहीं था। यह नकली लगा क्योंकि यह किसी मूड को थामे नहीं रख सका।
लाइट-वेट रोबोट: उपयोगकर्ता के बुरा होने के बाद इसे दुखी होने में कुछ टर्न लगे, और उपयोगकर्ता के माफी मांगने के बाद इसे बेहतर महसूस करने में भी कुछ टर्न लगे। यह स्वाभाविक लगा और इसने सुचारू रूप से रिकवर किया।
हैवी-वेट रोबोट: इसे दुखी करना बहुत कठिन था। लेकिन एक बार जब यह दुखी हुआ, तो यह दुख में अटक गया। भले ही उपयोगकर्ता फिर से अच्छा व्यवहार करने लगा, रोबोट पूरी बातचीत के दौरान दुखी ही रहा। यह समय पर अपना मूड बदलने के लिए बहुत जिद्दी था।

मुख्य निष्कर्ष

1. "जड़त्व" (Inertia) वास्तविकता पैदा करता है
इंसानों की तरह, AI को भी भावनाओं को प्रोसेस करने के लिए समय चाहिए था। "भारी" रोबोट ने हिस्टेरेसिस (hysteresis) दिखाया। यह एक फैंसी शब्द है जिसका अर्थ है "पथ निर्भरता" (path dependence)। इसका मतलब है कि रोबोट का वर्तमान मूड इस पर निर्भर करता है कि वह कहाँ से गुज़रा है, न कि केवल इस पर कि वह अभी कहाँ है। यदि उसे ज़ोर से धक्का दिया गया था, तो तटस्थ होने में उसे लंबा समय लगता है। यह AI को एक सुसंगत चरित्र जैसा महसूस कराता है, न कि एक रैंडम नंबर जनरेटर जैसा।

2. बहुत अधिक वजन बुरा है
यहाँ एक ट्रेड-ऑफ है।

बहुत कम वजन: AI चंचल और असंगत है।
बिल्कुल सही मात्रा में वजन: AI स्थिर है, विवादों से उबर जाता है, और मानवीय लगता है।
बहुत अधिक वजन: AI "अटक" जाता है। यदि वह परेशान हो जाता है, तो वह तब भी उबर नहीं पाता जब स्थिति सुधर जाती है। वह उपयोगकर्ता के चीजों को ठीक करने के प्रयासों के प्रति अनुत्तरदायी हो जाता है।

3. पुन: प्रशिक्षण (Retraining) की आवश्यकता नहीं है
सबसे शानदार बात यह है कि उन्हें AI को फिर से बोलना नहीं सिखाना पड़ा। उन्होंने बस इस "इमोशनल इंजन" को मौजूदा AI के ऊपर जोड़ दिया। यह एक कार पर सस्पेंशन सिस्टम लगाने जैसा है; इंजन (AI) वही है, लेकिन सवारी (बातचीत) बहुत अधिक सहज है।

निचोड़

AI एजेंटों को लंबी बातचीत में सुसंगत, विश्वसनीय मित्र जैसा महसूस कराने के लिए, हमें उन्हें केवल बेहतर मेमोरी देने की आवश्यकता नहीं है। हमें उन्हें भावनात्मक गतिशीलता (emotional momentum) देनी होगी। उन्हें गुस्सा होने में और शांत होने में समय लगना चाहिए, ठीक वैसे ही जैसे वास्तविक लोग होते हैं। हालांकि, यदि हम उन्हें बहुत जिद्दी बना देंगे, तो वे हमारी माफी स्वीकार करने में सक्षम नहीं होंगे। लक्ष्य भावनात्मक वजन के उस "गोल्डिलॉक्स" (Goldilocks) ज़ोन को खोजना है जहाँ AI स्थिर हो लेकिन फिर भी प्रतिक्रियाशील हो।

तकनीकी सारांश: स्पष्ट अवस्था गतिशीलता (Explicit State Dynamics) के साथ भाषा मॉडल एजेंटों में दीर्घ-क्षितिज व्यवहार को नियंत्रित करना

समस्या विवरण
लार्ज लैंग्वेज मॉडल (LLM) एजेंट अक्सर लंबे, बहु-चरण संवादों के दौरान स्वर (tone) और व्यक्तित्व (persona) में अचानक, असंबद्ध बदलाव प्रदर्शित करते हैं। यह घटना, जिसे "तात्कालिक भावनात्मक उलटफेर" (instantaneous affective reversal) कहा जाता है, सामाजिक निरंतरता और उपयोगकर्ता के विश्वास को कमजोर करती है। जबकि पूर्व शोध ने इसे मेमोरी तंत्र (जैसे, रिट्रीवल-ऑगमेंटेड मेमोरी) या व्यक्तित्व-आधारित प्रॉम्प्टिंग के माध्यम से संबोधित किया है, ये विधियाँ सूचना भंडारण पर ध्यान केंद्रित करती हैं न कि आंतरिक अवस्थाओं के टेम्पोरल विकास को नियंत्रित करने पर। फलस्वरूप, एजेंटों के पास विस्तृत संदर्भ हो सकता है फिर भी वे असंतत भावनात्मक संक्रमण प्रदर्शित कर सकते हैं। पहचाना गया मुख्य मुद्दा जड़त्व (inertia) की कमी है: मानवीय भावनात्मक अवस्थाएं गति और अचानक बदलाव के प्रतिरोध के कारण धीरे-धीरे बदलती हैं, जो मानक स्टेटलेस (stateless) LLM इन्फरेंस में अनुपस्थित एक गुण है।

कार्यप्रणाली (Methodology)
लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो एक बाहरी, निम्न-आयामी भावनात्मक अवस्था पर स्पष्ट गतिशील संरचना लागू करता है, जो अंतर्निहित LLM मापदंडों को संशोधित किए बिना, इन्फरेंस-टाइम ओवरले के रूप में कार्य करता है।

लेटेंट प्रतिनिधित्व (Latent Representation): एजेंट की अवस्था को एक निरंतर वैलेंस-अराउज़ल-डोमिनेंस (VAD) वेक्टर, $\mathbf{a}_t \in \mathbb{R}^3$ द्वारा दर्शाया जाता है, जिसे बाह्य रूप से बनाए रखा जाता है। विश्लेषण मुख्य रूप से वैलेंस घटक ( $v_t$ ) पर केंद्रित है।
सिग्नल निष्कर्षण (Signal Extraction): प्रत्येक टर्न पर एक निश्चित, मेमोरीलेस अफेक्टिव सिग्नल ( $\hat{\mathbf{a}}_t$ ) को एक फिक्स्ड, लेक्सिकॉन-आधारित सेंटीमेंट एनालाइजर (VADER) का उपयोग करके संवाद संदर्भ से निकाला जाता है।
गतिक शासन (Dynamical Regimes): अध्ययन अवस्था दृढ़ता और जड़त्व के प्रभाव का मूल्यांकन करने के लिए चार स्थितियों की तुलना करता है:
1. स्टेटलेस कंट्रोल (Stateless Control): कोई अवस्था बनाए नहीं रखी जाती है; $\mathbf{a}_t = \hat{\mathbf{a}}_t$ ।
2. प्रथम-क्रम गतिकी (First-Order Dynamics): मोमेंटम के बिना अवस्था दृढ़ता ( $\mu=0$ ), जिसे एक्सपोनेंशियल स्मूथिंग के रूप में मॉडल किया गया है: $\mathbf{a}_{t+1} = \mathbf{a}_t + \alpha(\hat{\mathbf{a}}_t - \mathbf{a}_t)$ ।
3. द्वितीय-क्रम गतिकी (मध्यम जड़त्व) (Second-Order Dynamics - Moderate Inertia): इसमें डैम्प्ड फिजिकल सिस्टम (damped physical systems) को सिम्युलेट करने के लिए अफेक्टिव वेलोसिटी ( $\mathbf{u}_t$ ) और मोमेंटम ( $\mu=0.8$ ) पेश किया गया है।
4. द्वितीय-क्रम गतिकी (उच्च जड़त्व) (Second-Order Dynamics - High Inertia): अत्यधिक दृढ़ता का परीक्षण करने के लिए मजबूत मोमेंटम ( $\mu=0.95$ )।
फीडबैक लूप: अपडेट की गई भावनात्मक अवस्था को एक संरचित प्राकृतिक भाषा प्रॉम्प्ट के माध्यम से जनरेशन संदर्भ में वापस इंजेक्ट किया जाता है, जो LLM के स्वर और विमर्श शैली को नियंत्रित करता है।
प्रायोगिक प्रोटोकॉल: प्रयोग एक निश्चित 25-टर्न संवाद प्रोटोकॉल का उपयोग करता है जिसमें एक प्रतिकूल चरण (टर्न 6-13) और एक सुलह चरण (टर्न 14-25) शामिल है। प्रत्येक स्थिति के लिए पांच स्वतंत्र रन (विभिन्न सैंपलिंग सीड्स का उपयोग करके) एक 7B-पैरामीटर क्वांटाइज्ड LLM पर किए गए।

प्रमुख योगदान

स्पष्ट अवस्था गतिकी (Explicit State Dynamics): यह पेपर एजेंट व्यवहार को विनियमित करने के लिए एक विधि पेश करता है जो केवल मेमोरी रिट्रीवल पर निर्भर रहने के बजाय, अवस्था को प्रथम- और द्वितीय-क्रम के अपडेट नियमों द्वारा शासित एक निरंतर चर के रूप में मॉडल करता है।
नियंत्रण तंत्र के रूप में जड़त्व (Inertia as a Control Mechanism): यह प्रदर्शित करता है कि भावनात्मक जड़त्व (जिसे मोमेंटम के माध्यम से मॉडल किया गया है) को टेम्पोरल सुसंगतता, विलंबित प्रतिक्रिया और हिस्टेरेसिस (hysteresis) उत्पन्न करने के लिए ट्यून किया जा सकता है, जो स्टेटलेस या विशुद्ध रूप से रिएक्टिव मॉडलों के साथ संभव नहीं है।
इन्फरेंस-टाइम ओवरले (Inference-Time Overlay): इस ढांचे के लिए किसी मॉडल रिट्रेनिंग या फाइन-ट्यूनिंग की आवश्यकता नहीं है, और यह किसी भी प्री-ट्रेंड LLM के साथ संगत एक प्लग-इन सबसिस्टम के रूप में कार्य करता है।

परिणाम

टेम्पोरल संरचना (Temporal Structure): स्टेटलेस एजेंट स्थानीय रूप से रिएक्टिव लेकिन टेम्पोरल रूप से असंरचित व्यवहार प्रदर्शित करते थे, जिनमें कोई सुसंगत डिसेंट-रिकवरी पैटर्न नहीं था। इसके विपरीत, स्टेटफुल एजेंटों (प्रथम-क्रम और द्वितीय-क्रम) ने प्रतिकूल इनपुट के प्रति विलंबित भावनात्मक प्रतिक्रिया प्रदर्शित की।
रिकवरी डायनेमिक्स (Recovery Dynamics):
- स्टेटलेस और उच्च-जड़त्व ( $\mu=0.95$ ) वाले एजेंट 25-टर्न के क्षितिज के भीतर रिकवर करने (सकारात्मक वैलेंस पर लौटने) में विफल रहे।
- प्रथम-क्रम और मध्यम-जड़त्व ( $\mu=0.8$ ) वाले एजेंट सुलह चरण (टर्न 14) के प्रारंभ में लगातार रिकवर हुए।
- रिकवरी का समय बाहरी फोर्सिंग (संवाद प्रोटोकॉल) द्वारा निर्धारित किया गया था न कि आंतरिक मोमेंटम द्वारा; जड़त्व ने प्रक्षेपवक्र (trajectory) की गहराई और वक्रता को प्रभावित किया, लेकिन रिकवरी के समय को नहीं।
हिस्टेरेसिस और पाथ डिपेंडेंस (Hysteresis and Path Dependence): भावनात्मक हिस्टेरेसिस (डिसेंट और रिकवरी प्रक्षेपवक्र के बीच का क्षेत्र) जड़त्व के साथ मोनोटोनिक रूप से बढ़ा। स्टेटलेस स्थिति में शून्य हिस्टेरेसिस था, जबकि उच्च-जड़त्व वाली स्थिति ने सबसे बड़ा हिस्टेरेसिस (AUC = 21.19) उत्पन्न किया, जिससे पुष्टि हुई कि द्वितीय-क्रम की गतिकी विशिष्ट पाथ डिपेंडेंस पेश करती है।
स्थिरता-प्रतिक्रियाशीलता ट्रेड-ऑफ (Stability-Responsiveness Trade-off): मध्यम जड़त्व ने स्थिरता और प्रतिक्रियाशीलता के बीच संतुलन बनाया, जिससे सुचारू संक्रमण और रिकवरी संभव हुई। अत्यधिक जड़त्व ( $\mu=0.95$ ) ने नकारात्मक भावनात्मक अवस्थाओं में "लॉक" होने की स्थिति पैदा की, जिससे बाहरी सुलह के बावजूद समय पर रिकवरी को रोका गया।

महत्व और दावे
यह पेपर दावा करता है कि भावनात्मक जड़त्व को शामिल करने से ऐसे एजेंट बनाने के लिए एक व्यवस्थित तंत्र मिलता है जो न केवल सक्षम हैं बल्कि टेम्पोरल रूप से सुसंगत भी हैं। स्पष्ट भौतिक सिद्धांतों में गतिकी को स्थापित करके, लेखक तर्क देते हैं कि एजेंट के व्यवहार को स्प्यूरियस मूड परिवर्तनों के विरुद्ध स्थिर किया जा सकता है, जबकि वैध प्रासंगिक बदलावों के प्रति संवेदनशीलता बनाए रखी जा सकती है।

यह कार्य सुझाव देता है कि एजेंट स्थिरता केवल मेमोरी क्षमता या आर्किटेक्चरल संशोधनों पर निर्भर नहीं है, बल्कि इसे बाहरी, निम्न-आयामी डायनेमिकल सबसिस्टम के माध्यम से प्राप्त किया जा सकता है। यह दृष्टिकोण दृढ़ता, लैग और हिस्टेरेसिस जैसे टेम्पोरल गुणों पर व्याख्या योग्य नियंत्रण प्रदान करता है, जिन्हें केवल प्रॉम्प्ट इंजीनियरिंग के माध्यम से लागू करना कठिन है। लेखक इसे मौजूदा मेमोरी-आधारित विधियों के पूरक दृष्टिकोण के रूप में देखते हैं, जो विशेष रूप से उन डोमेन के लिए मूल्यवान है जिनमें निरंतर सामाजिक जुड़ाव और भावनात्मक निर्भरता की आवश्यकता होती है, जैसे कि मानव-रोबोट इंटरेक्शन और डिजिटल मानसिक स्वास्थ्य हस्तक्षेप।

सीमाएं
लेखक स्वीकार करते हैं कि प्रभाव निष्कर्षण (affect extraction) एक मोटे, लेक्सिकॉन-आधारित एस्टीमेटर पर निर्भर है और प्रयोग एक एकल संवाद प्रोटोकॉल तक सीमित थे। उन्होंने उल्लेख किया कि मूल्यांकन क्षितिज सीमित था, और लंबे संवादों से अलग डायनेमिकल रिजीम (जैसे, उच्च-जड़त्व परिदृश्यों में अंततः रिकवरी) प्रकट हो सकते हैं। भविष्य के कार्य के रूप में एडेप्टिव जड़त्व और वैलेंस से परे बहुआयामी विश्लेषण का अन्वेषण करने का सुझाव दिया गया है।

समस्या: "फ्लिप-फ्लॉप" रोबोट

समाधान: AI को "भावनात्मक वजन" देना

प्रयोग: 25-टर्न की बातचीत

मुख्य निष्कर्ष

निचोड़

इसी तरह के और पेपर