Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams
यह शोधपत्र OAKS का परिचय देता है, जो निरंतर विकसित होते ज्ञान प्रवाह के अनुकूल ढलने की लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान अत्याधुनिक मॉडल्स और एजेंटिक मेमोरी सिस्टम सटीक स्टेट-ट्रैकिंग करने में संघर्ष करते हैं और गतिशील वातावरण में विचलित होने के प्रति अत्यधिक संवेदनशील हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यक्तिगत सहायक (personal assistant) को काम पर रख रहे हैं जो आपके बहुत ही अस्त-व्यस्त और तेज़ गति से चलने वाले जीवन को प्रबंधित करने में आपकी मदद करेगा। हर दिन, नई जानकारी आती है: आपके बॉस ने मीटिंग का समय बदल दिया, आपका दोस्त नए घर में शिफ्ट हो गया, और मौसम का पूर्वानुमान हर घंटे अपडेट हो रहा है।
आपका लक्ष्य यह देखना है कि क्या यह सहायक तालमेल बिठा पाता है। क्या वह पुरानी जानकारी को तुरंत भूल सकता है और नई जानकारी को याद रख सकता है बिना भ्रमित हुए? क्या वह अभी के अभी सवालों के सही जवाब दे सकता है, भले ही पाँच मिनट पहले जवाब कुछ और था?
यह शोध पत्र एक नया परीक्षण पेश करता है जिसे OAKS (Online Adaptation to Continual Knowledge Streams) कहा जाता है, ताकि यह देखा जा सके कि आधुनिक AI मॉडल (Large Language Models) वास्तव में यह कर सकते हैं या नहीं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. परीक्षण: एक कहानी जो लगातार बदल रही है
शोधकर्ताओं ने AI के लिए दो "कहानी की किताबें" बनाईं, लेकिन एक ट्विस्ट के साथ:
- सिंथेटिक बुक (OAKS-B): कल्पना कीजिए कि एक कहानी है जहाँ "बॉब" नाम का एक पात्र किचन से लिविंग रूम में, फिर गैरेज में, फिर वापस किचन में, और फिर बेसमेंट में जाता है। हर कुछ वाक्यों के बाद, बॉब फिर से कहीं और चला जाता है। AI से हर वाक्य के बाद पूछा जाता है, "बॉब कहाँ है?"
- असली किताब (OAKS-N): उन्होंने वास्तविक उपन्यासों (जैसे प्राइड एंड प्रेजुडिस या फ्रेंकेंस्टीन) को लिया और उन्हें छोटे-छोटे टुकड़ों में बाँट दिया। इन कहानियों में, पात्रों की भावनाएं, रिश्ते और स्थान लगातार बदलते रहते हैं।
चुनौती: AI को कहानी को उसके आने के क्रम में, टुकड़ों में पढ़ना होता है। वह पूरी किताब को दोबारा नहीं पढ़ सकता। उसे केवल उस जानकारी के आधार पर उत्तर देना होगा जो उसने अब तक पढ़ी है, और हर बार जब कहानी बदलती है तो उसे अपना उत्तर अपडेट करना होगा।
2. परिणाम: AI शोर में खो जाता है
शोधकर्ताओं ने आज के सबसे स्मार्ट मॉडलों (जैसे जेमिनी 3 और क्वेन) सहित 14 अलग-अलग AI मॉडलों का परीक्षण किया। परिणाम आश्चर्यजनक और थोड़े निराशाजनक थे:
- "भुलक्कड़" वाली समस्या: सबसे स्मार्ट मॉडल भी संघर्ष करते दिखे। वे शुरुआत में तो सही उत्तर देते थे, लेकिन जब कहानी बदलती थी, तो वे या तो अपडेट नहीं करते थे (पुराने उत्तर पर ही अटके रहते थे) या बहुत अधिक अपडेट कर देते थे (अपना उत्तर तब बदल देते थे जब उन्हें नहीं बदलना चाहिए था)।
- "भटकाव" वाली समस्या: जैसे-जैसे कहानी लंबी होती गई, AI पहले पढ़ी गई सारी टेक्स्ट सामग्री से भ्रमित होने लगा। यह वैसा ही है जैसे अपने किसी दोस्त की नई नौकरी के बारे में सुनने की कोशिश करना जबकि वह अपनी पुरानी नौकरी, मौसम और दोपहर के भोजन के बारे में भी चिल्ला रहा हो। AI अक्सर वर्तमान तथ्य का ट्रैक खो देता था।
- आंकड़े: सबसे अच्छे मॉडलों ने सिंथेटिक टेस्ट पर लगभग 66% और असली उपन्यासों पर 75% सही उत्तर दिए। यह ठीक लग सकता है, लेकिन एक "सुपर-इंटेलिजेंट" AI के लिए, इसका मतलब है कि वे गतिशील स्थिति में हर 3 या 4 में से 1 बार विफल हो रहे हैं।
3. वे क्यों विफल हुए? ("ओवर-थिंकर" बनाम "ज़िद्दी" रोबोट)
शोधकर्ताओं ने विश्लेषण किया कि AI कैसे विफल हुआ और उन्हें त्रुटियों के दो व्यक्तित्व प्रकार मिले:
- "ओवर-थिंकर" (Volatility/अस्थिरता): कुछ मॉडल बहुत अधिक चंचल थे। यदि कहानी में किसी पात्र के हिलने-डुलने का ज़िक्र होता, तो वे तुरंत अपना उत्तर बदल देते थे, भले ही कहानी बाद में कहती कि, "मज़ाक कर रहा हूँ, वह वहीं रुका हुआ है।" वे एक अस्थायी उल्लेख और एक स्थायी परिवर्तन के बीच अंतर नहीं कर सके।
- "ज़िद्दी" रोबोट (Obstinacy/हठ): अन्य मॉडल बहुत धीमे थे। वे तब भी कहते रहे "बॉब किचन में है" जबकि कहानी ने स्पष्ट रूप से कहा था, "बॉब अब बेसमेंट में है।" उन्होंने पुरानी जानकारी को छोड़ने से इनकार कर दिया।
4. क्या "ज़्यादा सोचने" से मदद मिली?
शोधकर्ताओं ने "थिंकिंग मोड" (जहाँ AI जवाब देने से पहले तर्क करने के लिए रुकता है) को चालू करके देखा।
- अच्छी खबर: इसने AI को जटिल लॉजिक पहेलियों (जैसे दो पात्रों की तुलना करना) को हल करने में बेहतर बनाया।
- बुरी खबर: इसने मूल समस्या को ठीक नहीं किया। AI अभी भी टेक्स्ट के लंबे प्रवाह से विचलित हो रहा था। ज़्यादा गहराई से सोचने से उन्हें हालिया अपडेट को भूलने से रोकने में मदद नहीं मिली।
5. "रिट्रीवल" (Retrieval) शॉर्टकट भी काम नहीं आया
शोधकर्ताओं ने AI को एक "सर्च इंजन" (RAG) दिया ताकि वह केवल याद रखने के बजाय कहानी को पीछे जाकर ढूँढ सके।
- परिणाम: इससे ज्यादा मदद नहीं मिली। जब कहानी लगातार बदल रही हो, तो सही जानकारी ढूँढना उस किताब के एक विशिष्ट पन्ने को खोजने जैसा है जिसे आप पढ़ते समय ही दोबारा लिखा जा रहा है। AI अक्सर गलत पन्ना चुन लेता था या सर्च परिणामों से भ्रमित हो जाता था।
मुख्य निष्कर्ष
वर्तमान AI एक स्थिर किताब पढ़ने और उसके बारे में सवाल पूछने में बहुत अच्छा है। लेकिन यदि आप उसी AI को वास्तविक दुनिया के परिदृश्य में रखते हैं जहाँ तथ्य हर सेकंड बदलते हैं (जैसे शेयर बाज़ार, लाइव न्यूज़ फीड, या वास्तविक समय की बातचीत), तो यह बिखर जाता है।
यह एक ऐसे लाइब्रेरियन की तरह है जिसने दुनिया की हर किताब पढ़ ली है लेकिन अगर आप उससे पूछें, "अभी मौसम क्या है?" तो वह भ्रमित हो जाता है क्योंकि वह पिछले हफ्ते की मौसम रिपोर्ट सुना रहा होता है।
निष्कर्ष: हमें एक नई पीढ़ी के AI की आवश्यकता है जो न केवल चीज़ों को "जानता" हो, बल्कि एक बदलती दुनिया में जी सके, यानी बिना विचलित हुए या ज़िद्दी हुए वास्तविक समय में अपनी याददाश्त को अपडेट कर सके। हम अभी वहां तक नहीं पहुँचे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।