Evaluating Temporal Consistency in Multi-Turn Language Models
यह शोध पत्र ChronoScope प्रस्तुत करता है, जो एक बड़े पैमाने का बेंचमार्क है जिसे यह मूल्यांकन करने के लिए डिज़ाइन किया गया है कि क्या भाषा मॉडल मल्टी-टर्न संवादों में टेम्पोरल (सामयिक) संदर्भ को बनाए रख सकते हैं या अपडेट कर सकते हैं, जो यह प्रकट करता है कि मॉडल अक्सर टेम्पोरल निरंतरता बनाए रखने में विफल रहते हैं, भले ही उनके पास सही अंतर्निहित तथ्यात्मक ज्ञान मौजूद हो।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऐतिहासिक फिल्म के बारे में अपने एक दोस्त से बातचीत कर रहे हैं। आप पूछते हैं, "1789 में फ्रांस का राजा कौन था?" आपका दोस्त सही उत्तर देता है, "लुई XVI।"
फिर, आप एक स्वाभाविक, अनौपचारिक सवाल पूछते हैं: "उसकी मुख्य समस्या क्या थी?"
एक अच्छा दोस्त जानता है कि आप अभी भी 1789 की ही बात कर रहे हैं, इसलिए वह उत्तर देता है, "फ्रांसीसी क्रांति।" लेकिन एक "टूटा हुआ" (broken) दोस्त अचानक इतिहास के पाठ से बाहर आ सकता है और उत्तर दे सकता है, "खैर, आधुनिक फ्रांस में एक राष्ट्रपति है, और उनकी मुख्य समस्या मुद्रास्फीति (inflation) है।"
भले ही दूसरा उत्तर एक "तथ्य" है, लेकिन यह एक संवाद हत्यारा (conversation killer) है क्योंकि यह उस "समय के बुलबुले" (time bubble) को नजरअंदाज करता है जिसे आप दोनों ने स्थापित किया था।
मुख्य समस्या: "समय-यात्री की भूलने की बीमारी" (The Time-Traveler’s Amnesia)
यह शोध पत्र, जिसका शीर्षक ChronoScope है, आधुनिक AI (जैसे ChatGPT या Gemini) में एक विशिष्ट खामी की पहचान करता है। शोधकर्ताओं ने पाया कि जबकि AI मॉडल एकल प्रश्नों के उत्तर देने में अविश्वसनीय रूप से स्मार्ट हैं, उन्हें एक लंबी बातचीत के दौरान एक "समय के बुलबुले" के भीतर बने रहने में कठिनाई होती है।
शोधकर्ता इसे टेम्पोरल स्कोप ड्रिफ्ट (Temporal Scope Drift) कहते हैं।
इसे इस तरह सोचें: AI एक बुद्धिमान इतिहासकार है जो अल्पकालिक स्मृति लोप (short-term amnesia) से ग्रस्त है। वह अतीत के बारे में सब कुछ जानता है, लेकिन जैसे ही आप उससे दूसरा या तीसरा प्रश्न पूछते हैं, वह "भूल" जाता है कि आप किस वर्ष के बारे में बात कर रहे थे और डिफ़ॉल्ट रूप से वर्तमान समय (present day) पर आ जाता है।
उन्होंने इसका परीक्षण कैसे किया: "ChronoScope" माइक्रोस्कोप
इसे सिद्ध करने के लिए, शोधकर्ताओं ने ChronoScope नामक एक विशाल परीक्षण मशीन बनाई।
एक विशाल पुस्तकालय की कल्पना करें जिसमें 1.4 मिलियन से अधिक पूर्णतः निर्मित "बातचीत श्रृंखलाएं" (conversation chains) हैं। प्रत्येक श्रृंखला कदमों के एक क्रम की तरह है:
- एंकर स्टोन (The Anchor Stone): पहला प्रश्न वर्ष निर्धारित करता है (जैसे, "1995 में, राष्ट्रपति कौन थे?")।
- अदृश्य पत्थर (The Invisible Stones): अगले प्रश्नों में वर्ष का उल्लेख नहीं होता है (जैसे, "उनकी सबसे बड़ी नीति क्या थी?")।
शोधकर्ता यह देखना चाहते थे कि क्या AI उन "अदृश्य" पत्थरों पर बिना गलती किए चल सकता है या वह गलती से "वर्तमान काल" के समुद्र में गिर जाता है।
आश्चर्यजनक परिणाम: "स्केल विरोधाभास" (The Scale Paradox)
शोधकर्ताओं ने तीन बहुत महत्वपूर्ण चीजें खोजीं:
- "ड्रिफ्ट" (Drift) वास्तविक है: अधिकांश AI मॉडल केवल गलत उत्तर ही नहीं देते; वे आज के संदर्भ में सही उत्तर देते हैं लेकिन बातचीत के संदर्भ में गलत होते हैं। वे "भ्रमित" (hallucinating) नहीं हो रहे हैं; वे बस बिना अनुमति के "समय यात्रा" करके वर्तमान में आ जाते हैं।
- "स्नोबॉल प्रभाव" (The Snowball Effect): यदि AI दूसरे टर्न में समय के बारे में एक छोटी सी गलती करता है, तो पूरी बातचीत ढह जाती है। यह एक भूलभुलैया में गलत मोड़ लेने जैसा है—एक बार जब AI समय के संदर्भ में अपना स्थान खो देता है, तो वह लगभग कभी भी वापस नहीं लौट पाता।
- "स्मार्टनेस विरोधाभास" (The Smartness Paradox): आश्चर्यजनक रूप से, जितना बड़ा और "स्मार्ट" AI होता है, वह उतना ही अधिक संघर्ष करता है। क्योंकि विशाल AI मॉडल को आधुनिक इंटरनेट डेटा पर बहुत अधिक प्रशिक्षित किया गया है, इसलिए उनका "वर्तमान-काल" का ज्ञान इतना शक्तिशाली है कि वह आपके द्वारा दिए गए "ऐतिहासिक" संदर्भ को दबा देता है। यह एक जेट इंजन के बगल में खड़े व्यक्ति को धीरे से कोई ऐतिहासिक रहस्य फुसफुसाने की कोशिश करने जैसा है।
यह क्यों मायने रखता है?
यदि हम चाहते हैं कि हम गंभीर कार्यों के लिए AI का उपयोग करें—जैसे कानूनी अनुसंधान, ऐतिहासिक विश्लेषण, या यहाँ तक कि रोल-प्लेइंग गेम खेलने के लिए—तो हमें यह आवश्यकता है कि AI "समय के बुलबुले" का सम्मान करे।
यदि आप किसी कानूनी AI से 1980 के कानून के बारे में पूछते हैं, और वह गलती से आपको 2024 का कानून दे देता है क्योंकि वह "ड्रिफ्ट" हो गया था, तो यह केवल एक छोटी सी गलती नहीं है—यह एक खतरनाक त्रुटि है।
संक्षेप में: यह पेपर साबित करता है कि "स्मार्ट" होना "सुसंगत" (consistent) होने के समान नहीं है। हमें वास्तव में समझने के लिए, AI को उस क्षण (moment) में रहना सीखना होगा जिसे हमने बनाया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।