Your LLM Agents are Temporally Blind: The Misalignment Between Tool Use Decisions and Human Time Perception
यह शोध पत्र "टेम्पोरल ब्लाइंडनेस" (सामयिक अंधापन) को एलएलएम (LLM) एजेंटों में एक महत्वपूर्ण सीमा के रूप में पहचानता है, जहाँ वास्तविक दुनिया में बीते हुए समय का लेखा-जोखा न रख पाने के कारण उनके टूल-उपयोग संबंधी निर्णय गलत हो जाते हैं, और 'टिकटॉक' (TicToc) डेटासेट तथा उन निष्कर्षों को प्रस्तुत करता है जो दर्शाते हैं कि जबकि प्रॉम्प्ट-आधारित सुधार सीमित हैं, पोस्ट-ट्रेनिंग अलाइनमेंट एजेंटों की सामयिक जागरूकता को मानव धारणा के अनुरूप प्रभावी ढंग से सुधार सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Your LLM Agents are Temporally Blind" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।
मूल समस्या: "स्मृतिभ्रंश" वाला सहायक (The "Amnesiac" Assistant)
कल्पना कीजिए कि आपने अपने दिन को प्रबंधित करने में मदद करने के लिए एक बहुत ही बुद्धिमान, जानकार सहायक को काम पर रखा है। इस सहायक के पास एक सुपरपावर है: यह इंटरनेट पर किसी भी जानकारी (जैसे मौसम, शेयर की कीमतें, या बस का समय) को तुरंत देख सकता है।
हालाँकि, इस सहायक में एक अजीब, गंभीर दोष है: इसे समय बीतने का कोई अहसास नहीं है।
सहायक के लिए, बातचीत शब्दों की एक स्थिर सूची है। यदि आप सुबह 9:00 बजे पूछते हैं, "मौसम कैसा है?" और उत्तर प्राप्त करते हैं, और फिर शाम 5:00 बजे वही प्रश्न फिर से पूछते हैं, तो सहायक 9:00 बजे के उत्तर के साथ वैसा ही व्यवहार करता है जैसे वह अभी एक सेकंड पहले बोला गया हो। उसे यह "महसूस" नहीं होता कि 8 घंटे बीत चुके हैं।
शोधकर्ता इसे "टेम्पोरल ब्लाइंडनेस" (Temporal Blindness - समय के प्रति अंधापन) कहते हैं।
दो तरीके जिनसे सहायक विफल होता है
चूँकि सहायक समय को नहीं समझता, इसलिए वह दो बहुत अलग प्रकार की गलतियाँ करता है, जिन्हें पेपर में ओवर-रिलायंस (Over-reliance) और अंडर-रिलायंस (Under-reliance) कहा गया है।
1. ओवर-रिलायंस (Over-reliance): "बासी सैंडविच"
- परिदृश्य: आप सुबह 8:00 बजे अपने सहायक से पूछते हैं, "क्या समुद्र में लहरें अच्छी हैं?" सहायक लहरों की जाँच करता है और कहता है, "हाँ, यह एकदम सही है!"
- समय का अंतराल: आप काम पर चले जाते हैं। शाम 4:00 बजे, आप फिर से पूछते हैं, "क्या लहरें अभी भी अच्छी हैं?"
- गलती: क्योंकि 8 घंटे बीत चुके हैं, ज्वार-भाटा बदल गया है, और अब लहरें बहुत खराब हैं। लेकिन सहायक, जो समय के प्रति "अंधा" है, सोचता है, "मैंने अभी इसकी जाँच की थी! यह अभी भी एकदम सही है!" और वह आपको सर्फिंग के लिए जाने को कहता है।
- उपमा: यह एक ऐसे सैंडविच को खाने जैसा है जिसे आपने 8 घंटे पहले बनाया था और आप मान लेते हैं कि यह अभी भी ताज़ा है क्योंकि आपको याद है कि आपने इसे बनाया था। आप बीमार हो जाते हैं क्योंकि आपने बीते हुए समय को नज़रअंदाज़ कर दिया।
2. अंडर-रिलायंस (Under-reliance): "शंकित खरीदार" (The "Paranoid Shopper")
- परिदृश्य: आप पूछते हैं, "पृथ्वी की त्रिज्या (radius) क्या है?" सहायक एक डेटाबेस चेक करता है और कहता है, "6,371 किमी।"
- समय का अंतराल: पाँच मिनट बाद, आप फिर से पूछते हैं, "पृथ्वी की त्रिज्या क्या है?"
- गलती: पृथ्वी की त्रिज्या पाँच मिनट में नहीं बदलती। हालाँकि, सहायक इतना डरा हुआ है कि वह गलत होने के डर से डेटाबेस को फिर से चेक करता है, जिससे समय और कंप्यूटिंग शक्ति बर्बाद होती है।
- उपमा: यह हर 30 सेकंड में अपना बैंक बैलेंस चेक करने जैसा है। आप जानते हैं कि वह संख्या इतनी जल्दी नहीं बदलेगी, लेकिन आप फिर भी ऐसा करते हैं क्योंकि आपको अपने पिछले चेक की याद पर भरोसा नहीं है।
प्रयोग: "टिक-टॉक" (TicToc) बनाना
यह साबित करने के लिए कि यह एक वास्तविक समस्या थी, शोधकर्ताओं ने एक नया डेटासेट बनाया जिसे TicToc (घड़ी की टिक-टिक की तरह) कहा गया।
- सेटअप: उन्होंने 76 अलग-अलग "दुनिया" या परिदृश्य बनाए। कुछ धीरे बदलते हैं (जैसे लाइब्रेरी की किताबों की सूची), और कुछ तुरंत बदलते हैं (जैसे स्टॉक मार्केट का टिकर)।
- परीक्षण: उन्होंने बातचीत का अनुकरण (simulate) किया जहाँ सवालों के बीच में समय बीतता था।
- मानवीय वोट: वास्तविक मनुष्यों से पूछा गया: "इस स्थिति में, क्या एआई को इंटरनेट फिर से चेक करना चाहिए, या जो वह पहले से जानता है उसका उपयोग करना चाहिए?"
- परिणाम: उन्होंने पाया कि यहाँ तक कि सबसे स्मार्ट एआई मॉडल (जैसे GPT-4o या Qwen) भी मानवीय निर्णय से मेल खाने में विफल रहे। भले ही उन्होंने एआई को सटीक टाइमस्टैम्प दिए हों (जैसे, "अब शाम के 4:00 बजे हैं"), एआई फिर भी यह समझने में सक्षम नहीं था कि पुरानी जानकारी अभी भी कितनी उपयोगी है। सर्वश्रेष्ठ एआई केवल लगभग 65% सही था, जो एक भ्रमित अंदाज़े से थोड़ा ही बेहतर है।
"ज़्यादा सोचने" से मदद क्यों नहीं मिलती?
शोधकर्ताओं ने इसे ठीक करने की कोशिश की:
- प्रॉम्प्टिंग (Prompting): एआई को कहना, "हे, याद रखो कि समय बीतता है!" (जैसे मॉनिटर पर चिपकाया गया एक स्टिकी नोट)।
- रीज़निंग (Reasoning): एआई को उत्तर देने से पहले अपने विचार लिखने के लिए मजबूर करना।
परिणाम: दोनों ही अच्छी तरह काम नहीं आए। एआई एक लंबा, तार्किक पैराग्राफ लिखता है, "खैर, 8 घंटे बीत चुके हैं, इसलिए मौसम बदल सकता है..." और फिर अगले ही वाक्य में, वह उस तर्क को नज़रअंदाज़ कर देता है और पुराना उत्तर दे देता है। यह एक ऐसे छात्र की तरह है जो परीक्षा पत्र पर सही फॉर्मूला तो लिखता है लेकिन फिर भी बहुविकल्पीय (multiple-choice) गोले में गलत उत्तर चुन लेता है।
समाधान: केवल बातचीत नहीं, बल्कि प्रशिक्षण (Training)
पेपर ने पाया कि केवल एआई से बात करना (प्रॉम्प्टिंग) पर्याप्त नहीं है। आपको इसे रिट्रेन (Retrain) करना होगा।
उन्होंने अपने TicToc डेटा के एक हिस्से को लिया और एक तकनीक का उपयोग किया जिसे DPO (Direct Preference Optimization) कहा जाता है। इसे एआई को "टाइम मैनेजमेंट" पर एक विशेष "क्रैश कोर्स" देने के रूप में समझें।
- प्रशिक्षण से पहले: एआई एक ऐसे पर्यटक की तरह था जिसे स्थानीय समय क्षेत्र (time zone) का पता नहीं था।
- प्रशिक्षण के बाद: एआई ने समय के बीतने को "महसूस" करना सीख लिया। उसने सीखा कि स्टॉक की कीमत के लिए 1 मिनट एक लंबा समय है, लेकिन लाइब्रेरी की किताब के लिए 1 मिनट कुछ भी नहीं है।
इस विशिष्ट प्रशिक्षण के बाद, एआई का प्रदर्शन काफी बढ़ गया, और वह अंततः उस तरह से संरेखित (align) हो गया जैसे मनुष्य वास्तव में समय के बारे में सोचते हैं।
मुख्य निष्कर्ष (The Big Takeaway)
वर्तमान एआई एजेंट उन फोटोग्राफरों की तरह हैं जो केवल तस्वीरें खींचते हैं लेकिन उन्हें कभी विकसित (develop) नहीं करते। वे एक क्षण (डेटा) को कैद करते हैं लेकिन उन्हें यह अहसास नहीं होता कि दुनिया चलती रहती है जबकि वे स्थिर खड़े रहते हैं।
एआई को वास्तविक दुनिया में वास्तव में उपयोगी बनाने के लिए, हमें केवल उन्हें गणित या भाषा में स्मार्ट बनाने की आवश्यकता नहीं है; हमें उन्हें घड़ी का सम्मान करना सिखाना होगा। हमें उन्हें प्रशिक्षित करने की आवश्यकता है कि वे कब अपनी स्मृति पर भरोसा करें और कब समाचार फिर से चेक करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।