Beyond Continuity: Challenges of Context Switching in Multi-Turn Dialogue with LLMs
यह शोध पत्र दस एलएलएम (LLMs) द्वारा बहु-चरण (multi-turn) संवादों में संदर्भ स्विचिंग (context switching) को संभालने की क्षमता का मूल्यांकन करने के लिए एक सिंथेटिक बेंचमार्क प्रस्तुत करता है, जो यह प्रकट करता है कि जहाँ कुछ तर्कसंगत और कड़े निर्देश वाले मॉडल विषय परिवर्तन का पता लगा सकते हैं, वहीं अधिकांश पुराने संदर्भ (stale context) और स्थिति पूर्वाग्रह (position bias) के साथ संघर्ष करते हैं, जो दीर्घकालिक संवाद सुदृढ़ता में सुधार के लिए महत्वपूर्ण चुनौतियों को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े जिद्दी दोस्त के साथ बातचीत कर रहे हैं, जिसने बहुत सारी किताबें पढ़ी हैं लेकिन अभी तक "विषय बदलने" की कला में महारत हासिल नहीं की है।
यह पेपर, जिसे ICLR 2026 कॉन्फ्रेंस के लिए एक वर्कशॉप में प्रस्तुत किया गया है, मूल रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एक स्ट्रेस टेस्ट है, यह देखने के लिए कि वे कैसा व्यवहार करते हैं जब कोई इंसान बातचीत के बीच में अचानक विषय बदल देता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
मुख्य समस्या: "चिपकू" दोस्त
वास्तविक जीवन में, यदि आप अपने कुत्ते के बारे में बात कर रहे हैं और फिर अचानक कहते हैं, "वैसे, मौसम कैसा है?", तो एक मानव मित्र तुरंत समझ जाता है कि अब कुत्ते के बारे में सोचना बंद करना है और आकाश के बारे में सोचना शुरू करना है।
हालाँकि, LLMs अक्सर उस जिद्दी दोस्त की तरह व्यवहार करते हैं जो तब भी कुत्ते के बारे में बात करता रहता है जब आपने मौसम के बारे में पूछा हो। वे चैट के पहले के पुराने, अप्रासंगिक डेटा (जिसे stale context कहा जाता है) को ढोते रहते हैं, जिससे वे भ्रमित या गलत उत्तर देते हैं।
शोधकर्ताओं ने दो विशिष्ट कौशलों का परीक्षण करना चाहा:
- द पिवट (The Pivot): क्या मॉडल यह महसूस कर पाता है कि, "ओह, अब हम विषय बदल रहे हैं"?
- द रिसेट (The Reset): क्या मॉडल वास्तव में पुराने विषय को छोड़कर नई शुरुआत कर सकता है, बजाय इसके कि वह पुराने विषय को साथ में खींचता रहे?
प्रयोग: "फ्रेंकेंस्टीन" बातचीत
यह परीक्षण करने के लिए कि मॉडल कैसे व्यवहार करते हैं, शोधकर्ताओं ने केवल स्वाभाविक रूप से चैट नहीं की। उन्होंने एक "फ्रेंकेंस्टीन" डेटासेट बनाया। उन्होंने एक बातचीत की शुरुआत (जैसे, फिल्मों के बारे में) ली और उसे दूसरी पूरी तरह से अलग बातचीत (जैसे, खाना पकाने के बारे में) की शुरुआत के साथ सीधे जोड़ दिया।
उन्होंने इस परीक्षण के तीन संस्करण बनाए:
- द हार्ड स्विच (V1 - कठिन बदलाव): उन्होंने बिना किसी चेतावनी के दोनों चैट्स को आपस में जोड़ दिया।
- द हिंटेड स्विच (V2 - संकेत वाला बदलाव): उन्होंने नए विषय की शुरुआत में "Switching gears..." जैसा वाक्यांश जोड़ा ताकि यह देखा जा सके कि क्या थोड़ा सा इशारा मदद करता है।
- द पोजीशन टेस्ट (V3 - स्थिति परीक्षण): उन्होंने बातचीत में स्विच पॉइंट (बदलाव के बिंदु) को अलग-अलग स्थानों (शुरुआत में, बीच में, या अंत में) पर रखा ताकि यह देखा जा सके कि चैट की लंबाई ने इसे कितना कठिन बना दिया।
उन्होंने 10 अलग-अलग AI मॉडल्स का परीक्षण किया, जिनमें मुफ्त, ओपन-सोर्स से लेकर महंगे, क्लोज्ड-सोर्स मॉडल और कुछ ऐसे मॉडल भी शामिल थे जिन्हें बोलने से पहले "सोचने" (Reasoning models) के लिए विशेष रूप से डिज़ाइन किया गया है।
परिणाम: कौन पास हुआ और कौन फेल?
1. "चिपकू" ओपन-सोर्स मॉडल्स
कई मुफ्त, ओपन-वेट मॉडल्स (जैसे Llama और Gemma) पुराने डेटा के लिए चुंबक की तरह व्यवहार करते हैं। भले ही वे सही ढंग से पहचान लेते थे कि विषय बदल गया है, फिर भी वे पुराने संदर्भ (context) को अपनी "पिछली जेब" में रखते थे।
- उपमा: यह एक वेटर की तरह है जो सुनता है कि आपने सलाद ऑर्डर किया है, लेकिन फिर भी वह वही स्टेक लेकर आता है जो आपने पाँच मिनट पहले ऑर्डर किया था क्योंकि वह "भूल" गया था कि टेबल साफ करनी है। वे जानते थे कि ऑर्डर बदल गया है, लेकिन वे पुराना खाना परोसना बंद नहीं कर सके।
2. "रीज़निंग" मॉडल्स (तर्क करने वाले मॉडल्स)
जो मॉडल्स "रीज़न" करने के लिए डिज़ाइन किए गए हैं (चरण-दर-चरण सोचने के लिए), उन्होंने बहुत बेहतर प्रदर्शन किया। वे यह पहचानने में बहुत बेहतर थे कि, "रुको, यह एक नया विषय है, मुझे पिछले 10 संदेशों को अनदेखा करना चाहिए।"
- उपमा: ये मॉडल्स एक लाइब्रेरियन की तरह हैं जो, जब आप बागवानी पर किताब मांगते हैं, तो आपको बागवानी गाइड देने से पहले इतिहास की किताबों को तुरंत वापस शेल्फ पर रख देते हैं।
3. "पोजीशन बायस" (लंबी बातचीत का जाल)
शोधकर्ताओं ने एक अजीब खामी पाई: स्विच होने से पहले बातचीत जितनी लंबी होती गई, मॉडल्स के लिए स्विच को नोटिस करना उतना ही कठिन होता गया।
- उपमा: कल्पना कीजिए कि एक फिल्म दो घंटे से चल रही है। यदि आखिरी 10 मिनट में शैली अचानक कॉमेडी से हॉरर में बदल जाती है, तो दर्शक अभी भी चुटकुलों पर हंस रहे होंगे। मॉडल्स को अपनी उम्मीदों को "रिसेट" करने में संघर्ष करना पड़ा क्योंकि चैट लंबी होती गई।
4. संकेतों की शक्ति
जब शोधकर्ताओं ने "On a different note" जैसा एक साधारण वाक्यांश जोड़ा, तो लगभग सभी मॉडल्स बेहतर हो गए।
- उपमा: यह एक शिक्षक की तरह है जो कहता है, "ठीक है क्लास, अपनी गणित की किताबें रखें और इतिहास की किताबें खोलें।" यहाँ तक कि एक विचलित छात्र भी इस निर्देश का पालन कर सकता है। इस वाक्यांश के बिना, मॉडल्स अक्सर भ्रमित थे।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि कुछ शीर्ष-स्तरीय AI मॉडल्स विषय परिवर्तन को पहचानने में अच्छे हो रहे हैं, लेकिन कई अभी भी पुराने विषय को वास्तव में "छोड़ने" के लिए संघर्ष करते हैं। वे "रिफाइनिंग" (एक विचार को जारी रखना) में अच्छे हैं लेकिन "पिवोटिंग" (एक नया विचार शुरू करना) में खराब हैं, जब तक कि उन्हें स्पष्ट मदद न मिले।
लेखक सुझाव देते हैं कि इसे ठीक करने के लिए, हमें शायद इन मॉडल्स को नया विषय शुरू होने पर "टेबल साफ करने" के बेहतर नियम सिखाने की आवश्यकता है, या ऐसे सिस्टम डिजाइन करने की आवश्यकता है जो स्विच का पता चलते ही पुराने डेटा को छोड़ने के लिए मजबूर करें।
यह पेपर क्या दावा नहीं करता है:
- यह दावा नहीं करता कि ये मॉडल्स मेडिकल या कानूनी सलाह के लिए तैयार हैं।
- यह दावा नहीं करता कि "रीज़निंग" जोड़ने से सभी समस्याएं हल हो जाती हैं (वे अभी भी लंबी बातचीत के साथ संघर्ष करते हैं)।
- यह सुझाव नहीं देता कि ये मॉडल्स "चेतन" हैं या बातचीत को मानवीय तरीके से "समझते" हैं; वे केवल पैटर्न का पालन कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।