💻 computer science

Breaking Contextual Inertia: Reinforcement Learning with Single-Turn Anchors for Stable Multi-Turn Interaction

यह शोध पत्र RLSTA को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो "कॉन्टेक्स्टुअल इनर्शिया" (Contextual Inertia) को दूर करने के लिए स्थिर एंकर के रूप में एकल-टर्न क्षमताओं का लाभ उठाता है, जिससे बड़े भाषा मॉडल (large language models) को बहु-टर्न इंटरैक्शन में नई जानकारी को प्रभावी ढंग से एकीकृत करने और मजबूत तर्क बनाए रखने में सक्षम बनाया जा सके।

मूल लेखक: Xingwu Chen, Zhanqiu Zhang, Yiwen Guo, Difan Zou

प्रकाशित 2026-03-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xingwu Chen, Zhanqiu Zhang, Yiwen Guo, Difan Zou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Breaking Contextual Inertia: Reinforcement Learning with Single-Turn Anchors for Stable Multi-Turn Interaction" का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है।

समस्या: "ज़िद्दी GPS" (The "Stubborn GPS")

कल्पना कीजिए कि आप एक ऐसे GPS के साथ गाड़ी चला रहे हैं जो अविश्वसनीय रूप से स्मार्ट है लेकिन भी ज़िद्दी है।

टर्न 1: आप GPS को बताते हैं, "मुझे समुद्र तट (beach) पर जाना है।" वह तुरंत कहता है, "ठीक है, मैं आपको हाईवे के रास्ते से ले जाऊँगा। इसमें 2 घंटे लगेंगे और पेट्रोल में $20 खर्च होंगे।"
टर्न 2: आपको एहसास होता है कि आपकी जेब में केवल $5 हैं। आप कहते हैं, "रुको, मेरे पास केवल$ 5 हैं। कोई सस्ता रास्ता ढूँढो।"
ग्लिच (Glitch): एक सस्ता रास्ता दोबारा कैलकुलेट करने के बजाय, GPS भ्रमित हो जाता है। वह सोचता है, "लेकिन मैंने पहले ही हाईवे का फैसला कर लिया था! अब मैं अपना मन नहीं बदल सकता।" इसलिए, वह एक अजीब समाधान सुझाता है: "ठीक है, चलिए हाईवे की ओर चलते हैं, लेकिन शायद आप पेट्रोल के पैसे बांटने के लिए अपने 3 दोस्तों को साथ ले सकते हैं ताकि यह आपके बजट में फिट हो सके।"

इसे कॉन्टेक्स्टुअल इनर्शिया (Contextual Inertia) कहते हैं। AI अपने पहले विचार (अपने "रीजनिंग ट्रेस") से इतना चिपका रहता है कि जब आप उसे नई, महत्वपूर्ण जानकारी (बजट) देते हैं, तब भी वह नए तथ्यों को नज़रअंदाज़ कर देता है और पुराने प्लान को जबरदस्ती सही साबित करने की कोशिश करता है। वह "बातचीत में खो" (Lost in Conversation) जाता है।

निदान: ऐसा क्यों होता है?

शोधकर्ताओं ने पाया कि यह केवल एक रैंडम गलती नहीं है। यह एक विशिष्ट व्यवहार है जहाँ AI अपने पिछले चरणों का अंधाधुंध पालन करता है, भले ही वे चरण गलत हों।

प्रमाण: उन्होंने कई मॉडल्स (जैसे Llama, Qwen, और GPT-4) का परीक्षण किया और पाया कि मल्टी-टर्न विफलताओं के 70% से 90% मामलों में, AI इसलिए विफल नहीं हुआ क्योंकि वह अंतिम चरण में गणित या तर्क में खराब था। बल्कि, वह इसलिए विफल हुआ क्योंकि वह उस गलत उत्तर का बोझ (baggage) ढो रहा था जो उसने पहले चरण में दिया था।
निरंकुश प्रकृति (Indiscriminate Nature): AI को इस बात से फर्क नहीं पड़ता कि पिछली बातचीत मददगार थी या हानिकारक। वह बस गति बनाए रखता है, जैसे एक ट्रेन जो ब्रेक नहीं लगा सकती।

समाधान: RLSTA (द "इंटरनल कम्पास")

यह शोध पत्र एक नई प्रशिक्षण विधि प्रस्तावित करता है जिसे Reinforcement Learning with Single-Turn Anchors (RLSTA) कहा जाता है।

यह कैसे काम करता है, इसे एक शेफ (Chef) की उपमा से समझते हैं:

परिदृश्य: एक शेफ (AI) एक जटिल व्यंजन बना रहा है।
- सिंगल-टर्न (Single-Turn): यदि आप शेफ को एक बार में पूरी रेसिपी दे देते हैं, तो वह एक बेहतरीन डिश बनाता है।
- मल्टी-टर्न (Multi-Turn): यदि आप शेफ को एक-एक करके सामग्री देते हैं, तो शेफ तुरंत खाना बनाना शुरू कर देता है। फिर आप कहते हैं, "ओह, मैं बताना भूल गया, मुझे नट्स (nuts) से एलर्जी है!" शेफ, अपने "इनर्शिया" में फंसा हुआ, नट्स डालना जारी रखता है क्योंकि उसने पहले ही वह स्टेप शुरू कर दिया है।
सुधार (The Anchor/लंगर):
केवल शेफ को यह कहने के बजाय कि "ऐसा मत करो," शोधकर्ता शेफ को अपनी डिश को फाइनल करने से पहले अपने आंतरिक "परफेक्ट रेसिपी" मेमोरी को चेक करना सिखाते हैं।
- AI को प्रशिक्षित किया जाता है कि: "अगर मेरे पास शुरुआत में ही सारी जानकारी होती, तो मुझे पता होता कि उत्तर X है।"
- जब बातचीत उलझ जाती है, तो AI उस "परफेक्ट सिंगल-टर्न उत्तर" का उपयोग एक एंकर (Anchor - लंगर) के रूप में करता है (एक स्थिर संदर्भ बिंदु)।
- वह खुद से पूछता है: "क्या मेरा वर्तमान उत्तर उस चीज़ से मेल खाता है जो मुझे पता है कि मुझे करना चाहिए था यदि मेरे पास सभी तथ्य होते? यदि नहीं, तो वह इनर्शिया को तोड़ता है और खुद को सुधारता है।"

उन्होंने इसे कैसे सिखाया (ट्रेनिंग कैंप)

उन्होंने केवल AI को "बेहतर बनने" के लिए नहीं कहा। उन्होंने एक रीइन्फोर्समेंट लर्निंग गेम का उपयोग किया:

फ़िल्टर: उन्होंने AI को केवल उन समस्याओं पर प्रशिक्षित किया जहाँ AI एक बार में सारी जानकारी मिलने पर उसे पूरी तरह से हल कर सकता था, लेकिन जानकारी अलग-अलग मिलने पर विफल हो जाता था। यह सुनिश्चित करता है कि AI वास्तव में उत्तर जानता है; उसे बस अपनी ज़िद छोड़नी है।
रिवॉर्ड (पुरस्कार):
- यदि AI अपनी गलती सुधारता है और अपने "सिंगल-टर्न एंकर" से मेल खाता है, तो उसे उच्च स्कोर मिलता है।
- यदि वह ज़िद के साथ गलत रास्ते पर चलता रहता है, तो उसे कम स्कोर मिलता है।
- महत्वपूर्ण बात यह है कि उन्होंने यह सब बिना किसी बाहरी शिक्षक के किया जिसे हर उत्तर की जांच करनी पड़े। AI ने अपने ही "सिंगल-टर्न सेल्फ" को शिक्षक के रूप में इस्तेमाल किया।

परिणाम: यह क्यों मायने रखता है

यह शोध पत्र दिखाता है कि यह तरीका गेम-चेंजर है:

यह हर जगह काम करता है: उन्होंने AI को गणित की समस्याओं पर प्रशिक्षित किया, लेकिन इससे उसकी कोडिंग और टेक्स्ट समराइज करने की क्षमता भी बेहतर हुई। उसने एक सामान्य कौशल सीखा: "जब कहानी बदल जाए, तो ज़िद मत करो।"
यह तेज़ और स्मार्ट है: अन्य तरीकों के विपरीत जो AI को भ्रमित होने पर "हार मानने" (abstain) के लिए कहते हैं, RLSTA AI को अपनी गलतियों को सुधारने और आगे बढ़ने के लिए सिखाता है।
यह अच्छी चीज़ों को बनाए रखता है: AI ने लंबी बातचीत संभालने या सिंगल-टर्न समस्याओं को हल करने की अपनी क्षमता नहीं खोई। इसने बस अपने दिमाग को अपडेट करने में बेहतर होना सीखा।

निष्कर्ष (Bottom Line)

वर्तमान AI एक ऐसे प्रतिभाशाली छात्र की तरह है जो एक बार अपना उत्तर लिख देने के बाद उसे बदलने से डरता है। RLSTA वह प्रशिक्षण है जो छात्र को सिखाता है: "अपना विचार बदलना ठीक है। वास्तव में, यदि आपके पास नई जानकारी है, तो आपको अपने उत्तर को उस चीज़ से मिलाने के लिए अपडेट करना ही होगा जो आप जानते हैं कि सच है।"

AI को उसकी अपनी सर्वश्रेष्ठ क्षमताओं से जोड़कर, उन्होंने "इनर्शिया" को तोड़ दिया और मल्टी-टर्न बातचीत को वास्तव में विश्वसनीय बना दिया।

यहाँ शोध पत्र "Breaking Contextual Inertia: Reinforcement Learning with Single-Turn Anchors for Stable Multi-Turn Interaction" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा: कॉन्टेक्स्टुअल इनर्शिया (Contextual Inertia)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) में एक महत्वपूर्ण भेद्यता (vulnerability) की पहचान करता है जिसे कॉन्टेक्स्टुअल इनर्शिया (Contextual Inertia) कहा जाता है। जबकि LLMs सिंगल-टर्न सेटिंग्स (जहाँ सारी जानकारी एक साथ दी जाती है) में मजबूत तर्क क्षमता प्रदर्शित करते हैं, मल्टी-टर्न इंटरैक्शन में उनका प्रदर्शन काफी गिर जाता है।

घटना (The Phenomenon): मल्टी-टर्न संवादों में, मॉडल पिछले रीजनिंग ट्रेसेस (reasoning traces) का सख्ती से पालन करने की प्रवृत्ति रखते हैं, भले ही बाद के यूजर इनपुट उन ट्रेसेस को स्पष्ट रूप से विरोधाभासी, सुधारात्मक या अपडेटेड करते हों।
परिणाम (The Consequence): नई जानकारी के आधार पर पुनर्गणना (recalibrate) करने के बजाय, मॉडल पिछले टर्न्स से त्रुटियों या भ्रामक संदर्भों को आगे बढ़ाते रहते हैं, जिससे सिंगल-टर्न बेसलाइन्स की तुलना में प्रदर्शन में "पतन" (collapse) आता है।
मूल कारण विश्लेषण (Root Cause Analysis): लेखक इसे अनिश्चित पालन (indiscriminate adherence) के रूप में परिभाषित करते हैं। मात्रात्मक विश्लेषण के माध्यम से, उन्होंने पाया कि मल्टी-टर्न विफलताओं का 70%–90% हिस्सा अंतिम टर्न में नई रीजनिंग त्रुटियों के कारण नहीं, बल्कि पिछले टर्न्स से "भ्रामक संदर्भ" (Misleading Context) या "प्रसारित त्रुटियों" (Propagated Errors) के प्रसार के कारण होता है।
मौजूदा समाधानों की सीमाएँ:
- फाइन-ट्यूनिंग (SFT/DPO): अक्सर बाहरी पर्यवेक्षण (external supervision) पर निर्भर करती है और विफलता के आंतरिक तंत्र को दरकिनार कर देती है।
- एब्स्टेंशन/क्लैरिफिकेशन (Abstention/Clarification): ऐसी रणनीतियाँ जो मॉडल को चुप रहने या स्पष्टीकरण माँगने के लिए कहती हैं (जैसे RLAAR, CollabLLM), उन परिदृश्यों में विफल रहती हैं जहाँ स्टेट अपडेट (state updates) की आवश्यकता होती है (जैसे "MT-Refine" जहाँ एक यूजर गलत धारणा को सुधारता है)। इन मामलों में, मॉडल को जवाब देना चाहिए और खुद को सुधारना चाहिए, न कि चुप रहना चाहिए।

2. कार्यप्रणाली: सिंगल-टर्न एंकर्स के साथ रीइन्फोर्समेंट लर्निंग (RLSTA)

लेखक RLSTA का प्रस्ताव करते हैं, जो एक ऐसा ट्रेनिंग फ्रेमवर्क है जिसे मॉडल की अपनी श्रेष्ठ सिंगल-टर्न क्षमताओं को एक स्थिर आंतरिक मार्गदर्शक के रूप में उपयोग करके कॉन्टेक्स्टुअल इनर्शिया को तोड़ने के लिए डिज़ाइन किया गया है।

A. लेटेंट कैपेबिलिटी फ़िल्टरिंग (Latent Capability Filtering)

ट्रेनिंग से पहले, लेखक डेटासेट को फ़िल्टर करते हैं ताकि यह सुनिश्चित हो सके कि मॉडल के पास समस्या को हल करने की "लेटेंट कैपेबिलिटी" (अंतर्निहित क्षमता) है यदि उसे पूरी जानकारी दी जाए।

शर्त (Condition): वे उन बातचीत के इतिहास को रखते हैं जहाँ मॉडल का सिंगल-टर्न प्रदर्शन (पूरी जानकारी $i_{full}$ दिए जाने पर) उसके मल्टी-टर्न प्रदर्शन (क्रमिक इतिहास $H$ दिए जाने पर) की तुलना में काफी बेहतर होता है।
उद्देश्य: यह सुनिश्चित करता है कि ट्रेनिंग सिग्नल उन मामलों से प्राप्त किया गया है जहाँ मॉडल उत्तर जानता है लेकिन इनर्शिया के कारण विफल हो जाता है, न कि उन मामलों से जहाँ उसमें ज्ञान की कमी है।

B. ट्रेनिंग एल्गोरिदम (GRPO)

यह विधि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करती है। मुख्य नवाचार रिवॉर्ड फंक्शन में निहित है, जो एक आउटकम रिवॉर्ड को एक नवीन सिंगल-टर्न एंकर रिवॉर्ड के साथ जोड़ता है।

आउटकम रिवॉर्ड ( $R_v$ ): एक मानक बाइनरी रिवॉर्ड (0 या 1) जो इस आधार पर है कि क्या अंतिम उत्तर सही है (एक वेरीफायर द्वारा सत्यापित)।
सिंगल-टर्न एंकर रिवॉर्ड ( $R_s$ ):
- यह मुख्य योगदान है। यह मॉडल के सिंगल-टर्न पॉलिसी ( $\pi_{ref}$ ) के तहत मल्टी-टर्न रिस्पॉन्स ( $m_n$ ) की संभावना की गणना करता है जब उसे पूरी जानकारी ( $i_{full}$ ) दी जाती है।
- फॉर्मूला: $R_s = \left( \prod_{t=1}^{|m_n|} \pi_{ref}(m_{n,t} | i_{full}, m_{n,<t}) \right)^{1/|m_n|}$
- तंत्र (Mechanism): $R_s$ को अधिकतम करके, मॉडल को अपने मल्टी-टर्न जनरेशन को उस रीजनिंग पाथ के साथ संरेखित करने के लिए प्रोत्साहित किया जाता है जो उसने तब अपनाया होता यदि उसे सारी जानकारी एक साथ मिली होती। यह बातचीत के इतिहास द्वारा बनाए गए पक्षपाती प्रक्षेपवक्र (biased trajectory) से दूर खींचने वाले "पुल" (pull) के रूप में कार्य करता है।
कुल रिवॉर्ड (Total Reward): $R = R_v + \alpha R_s$ (जहाँ $\alpha$ एक हाइपरपैरामीटर है)।

3. मुख्य योगदान

कॉन्टेक्स्टुअल इनर्शिया की पहचान: यह पेपर औपचारिक रूप से "कॉन्टेक्स्टुअल इनर्शिया" को परिभाषित और मात्रात्मक रूप से सिद्ध करता है, यह दिखाते हुए कि यह एक अनिश्चित घटना है जो उच्च-गुणवत्ता और निम्न-गुणवत्ता दोनों प्रकार के कन्वर्सेशन हिस्ट्री को प्रभावित करती है, और मल्टी-टर्न गिरावट का प्राथमिक चालक है।
RLSTA फ्रेमवर्क: एक सामान्यीकरण योग्य (generalizable) ट्रेनिंग दृष्टिकोण जो मॉडल के आंतरिक सिंगल-टर्न रीजनिंग को रिवॉर्ड सिग्नल (एंकर) के रूप में उपयोग करता है, जिससे हर स्टेप के लिए बाहरी वेरीफायर पर निर्भर किए बिना मल्टी-टर्न इंटरैक्शन को स्थिर किया जा सकता है।
क्रॉस-डोमेन जनरलाइजेशन: यह विधि विभिन्न डोमेन (मैथ, कोड, समराइजेशन) में प्रभावी रूप से काम करती है, भले ही इसे विशेष रूप से मैथ डेटा पर प्रशिक्षित किया गया हो।
वेरिफायर इंडिपेंडेंस: यह विधि सिद्ध करती है कि यह बाहरी ग्राउंड-ट्रुथ वेरीफायर के बिना भी प्रभावी है, जो पूरी तरह से सिंगल-टर्न और मल्टी-टर्न रीजनिंग के बीच आंतरिक निरंतरता पर निर्भर करती है।

4. प्रयोगात्मक परिणाम

लेखकों ने Qwen2.5 (3B/7B), Qwen3-4B, और Llama-3.2-3B जैसे मॉडल्स पर MT-Add (इन्क्रीमेंटल इन्फो) और MT-Refine (एरर करेक्शन) परिदृश्यों में RLSTA का मूल्यांकन किया।

प्रदर्शन में वृद्धि: RLSTA, स्टैंडर्ड SFT, DPO और वैनिला GRPO से काफी बेहतर प्रदर्शन करता है।
- उदाहरण: Qwen2.5-7B पर, RLSTA ने औसत मैथ स्कोर को MT-Add में 0.638 (बेस) से बढ़ाकर 0.857 और MT-Refine में 0.350 से 0.822 कर दिया।
इनर्शिया को तोड़ना: पोस्ट-ट्रेनिंग विश्लेषण (चित्र 6) दिखाता है कि RLSTA सफलतापूर्वक निम्न-गुणवत्ता वाले इतिहास (जहाँ मॉडल पहले विफल हो गया था) के लिए "इनर्शिया तीव्रता" को कम करता है, जबकि उच्च-गुणवत्ता वाले इतिहास के लिए उच्च समानता बनाए रखता है।
बेसलाइन के साथ तुलना:
- RLSTA डायनेमिक सेटिंग्स में, विशेष रूप से MT-Refine परिदृश्यों में जहाँ एब्स्टेंशन (abstention) का विकल्प नहीं है, RLAAR (एब्स्टेंशन-आधारित) और CollabLLM (एक्टिव इंक्वायरी) से बेहतर प्रदर्शन करता है।
- यह एब्स्टेंशन विधियों के तुलनीय या बेहतर प्रदर्शन प्राप्त करता है और अधिक व्यापक इंटरैक्शन प्रकारों पर लागू होने योग्य है।
जनरलाइजेशन: मैथ डेटा पर ट्रेनिंग करने से कोड और समराइजेशन कार्यों में महत्वपूर्ण प्रदर्शन सुधार हुआ, जो दर्शाता है कि यह विधि कार्य-विशिष्ट पैटर्न के बजाय एक मौलिक रीजनिंग स्थिरता सीखती है।
लॉन्ग-कॉन्टेक्स्ट संरक्षण: RLSTA समराइजेशन कार्यों में कवरेज स्कोर (Coverage Score) द्वारा मापे गए लॉन्ग-कॉन्टेक्स्ट को प्रोसेस करने की मॉडल की क्षमता को बनाए रखता है या सुधारता है, जो यह सिद्ध करता है कि इनर्शिया को तोड़ने से लॉन्ग-कॉन्टेक्स्ट क्षमताओं में गिरावट नहीं आती है।

5. महत्व और प्रभाव

पैराडाइम शिफ्ट: यह पेपर मल्टी-टर्न विफलताओं को सूचना की कमी या "स्पष्टीकरण" की आवश्यकता के रूप में देखने के बजाय, इसे एक रीजनिंग अलाइनमेंट समस्या के रूप में देखता है जहाँ मॉडल को अपने ऐतिहासिक पूर्वाग्रहों को ओवरराइड करना सीखना होगा।
व्यावहारिक प्रयोज्यता: बाहरी वेरीफायर या जटिल टर्न-लेवल रिवॉर्ड इंजीनियरिंग की आवश्यकता के बिना, RLSTA सामान्य-डोमेन अनुप्रयोगों के लिए अत्यधिक स्केलेबल है।
मजबूती (Robustness): यह विधि "थिंकिंग" मॉडल्स (रीजनिंग-हैवी LLMs) के साथ भी काम करती है और विषम डेटा स्रोतों में भी प्रभावी है, जो विश्वसनीय, अनुकूलन योग्य AI एजेंट बनाने के लिए एक मजबूत समाधान का सुझाव देती है जो वास्तविक दुनिया के गतिशील यूजर इंटरैक्शन को संभालने में सक्षम है।

संक्षेप में, RLSTA मल्टी-टर्न संवाद की जटिलताओं को नेविगेट करने के लिए मॉडल के अपने "आदर्श" सिंगल-टर्न रीजनिंग को एक दिशा-सूचक (compass) के रूप में उपयोग करके "लॉस्ट इन कन्वर्सेशन" समस्या के लिए एक सिद्धांत-आधारित समाधान प्रदान करता है, जिससे प्रभावी रूप से उस इनर्शिया को तोड़ा जाता है जो मॉडल्स को पिछली गलतियों को दोहराने के लिए मजबूर करता है।