Continuous Latent Contexts Enable Efficient Online Learning in Transformers
यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर्स को निरंतर लेटेंट कॉन्टेक्स्ट टोकन (continuous latent context tokens) से सुसज्जित करने से वे वेटेड मेजॉरिटी (weighted majority) और क्यू-लर्निंग (Q-learning) जैसे ऑनलाइन लर्निंग एल्गोरिदम को कुशलतापूर्वक लागू करने में सक्षम होते हैं, जिससे छोटे मॉडल दीर्घकालिक अनुकूली कार्यों (long-term adaptive tasks) पर काफी बड़े एलएलएम (LLMs) से बेहतर प्रदर्शन कर पाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप चार विशेषज्ञों के एक समूह को खेलते हुए देखकर एक नया खेल सीखने की कोशिश कर रहे हैं। हर दौर में, विशेषज्ञ एक अनुमान लगाते हैं, और फिर आपको पता चलता है कि कौन सही था। आपका लक्ष्य यह पता लगाकर समय के साथ सबसे अच्छा अनुमान लगाना है कि कौन सा विशेषज्ञ सबसे अधिक विश्वसनीय है।
यह शोध पत्र इस बारे में है कि कैसे AI मॉडल्स (विशेष रूप से "Transformers") को इस तरह के सीखने के लिए कुशलतापूर्वक कैसे सिखाया जाए, बिना हर बार नई जानकारी मिलने पर उनके पूरे "मस्तिष्क" (पैरामीटर्स) को दोबारा लिखे।
यहाँ उनकी खोज का सरल उपमाओं के माध्यम से विवरण दिया गया है:
1. समस्या: "शॉर्ट-टर्म मेमोरी" वाला AI
मानक लार्ज लैंग्वेज मॉडल्स (LLMs) लंबी बातचीत को देखने और यह अनुमान लगाने में बहुत अच्छे होते हैं कि आगे क्या होगा। इसे "इन-कॉन्टेक्स्ट लर्निंग" कहा जाता है। हालाँकि, जब खेल लंबे समय तक चलता है (सैकड़ों दौर), तो ये मॉडल संघर्ष करते हैं। वे बड़े चित्र (big picture) को भूलने लगते हैं या पिछले अनुमानों की भारी मात्रा से भ्रमित हो जाते हैं। वे उस व्यक्ति की तरह व्यवहार करते हैं जो केवल पिछली कुछ पंक्तियों को देखकर 100 पन्नों की कहानी याद रखने की कोशिश कर रहा है, बजाय इसके कि वह अपने दिमाग में एक सारांश रखता।
2. समाधान: "कंटीन्यूअस स्क्रैचपैड" (निरंतर रफ नोट)
लेखक AI को एक विशेष उपकरण देने का प्रस्ताव करते हैं: कंटीन्यूअस लेटेंट कॉन्टेक्स्ट टोकन्स (Continuous Latent Context Tokens)।
- पुराना तरीका (डिस्क्रीट टोकन्स): कल्पना कीजिए कि AI स्कोरकार्ड रखने के लिए "विशेषज्ञ A अच्छा है" या "विशेषज्ञ B बुरा है" जैसे शब्द लिख रहा है। इसमें बहुत जगह लगती है और यह अस्त-व्यस्त हो जाता है।
- नया तरीका (कंटीन्यूअस टोकन्स): कल्पना कीजिए कि AI के पास एक छोटा, अदृश्य स्क्रैचपैड है जहाँ वह ऐसे नंबर लिख सकता है जो शब्द नहीं हैं। वह इन नंबरों को रंगों की तरह आपस में मिला सकता है।
- "विशेषज्ञ A 80% विश्वसनीय है" लिखने के बजाय, वह उस 80% विश्वसनीयता को दर्शाने वाला एक एकल, सुचारू "रंग" थामे रहता है।
- जब एक नया दौर होता है, तो उसे एक नया वाक्य लिखने की आवश्यकता नहीं होती। वह बस स्कोर को अपडेट करने के लिए स्क्रैचपैड पर उस रंग को सूक्ष्म रूप से बदल देता है।
यह "स्क्रैचपैड" कॉम्पैक्ट (इसमें बहुत कम जगह लगती है) और परसिस्टेंट (यह एक दौर से दूसरे दौर तक AI के साथ बना रहता है) है।
3. प्रमाण: AI को गणित सिखाना
शोधकर्ताओं ने केवल उम्मीद नहीं की कि यह काम करेगा; उन्होंने गणितीय रूप से इसे सिद्ध किया और फिर एक छोटे AI को इसे करने के लिए प्रशिक्षित किया।
- वेटेड मेजॉरिटी एल्गोरिदम (Weighted Majority Algorithm): उन्होंने दिखाया कि इस स्क्रैचपैड के साथ, एक छोटा AI विशेषज्ञ विश्वसनीयता को ट्रैक करने वाले एक प्रसिद्ध गणितीय एल्गोरिदम की पूरी तरह से नकल कर सकता है। यह एक कैलकुलेटर देने जैसा है जो हर विशेषज्ञ के लिए "ट्रस्ट स्कोर" को तुरंत अपडेट करता है।
- Q-लर्निंग (वीडियो गेम की उपमा): उन्होंने AI को एक साधारण वीडियो गेम (मार्कोव डिसीजन प्रोसेस) भी खिलाया। इस खेल में, AI को यह सीखना होता है कि कौन सी चालें सबसे अधिक पुरस्कार देती हैं।
- सामान्यतः, एक AI को हर संभावित चाल के मूल्य को याद रखने के लिए एक विशाल टेबल की आवश्यकता होती है।
- इस निरंतर स्क्रैचपैड के साथ, AI इन सभी "वैल्यू टेबल" को कुछ मिश्रित नंबरों के रूप में संग्रहीत करता है। वह हर चाल के बाद अपनी रणनीति को तुरंत अपडेट कर सकता है, ठीक वैसे ही जैसे एक मानव खिलाड़ी अनुभव से सीखता है।
4. आश्चर्य: छोटा AI बनाम विशाल AI
इस शोध पत्र का सबसे आश्चर्यजनक हिस्सा "फ्रंटियर" मॉडल्स (विशाल, शक्तिशाली AI जैसे DeepSeek-V3 और Qwen-3-14B) के साथ प्रयोग है।
- सेटअप: उन्होंने इन विशाल AI को विशेषज्ञ-अनुमान लगाने वाले खेल को खेलने के लिए कहा।
- परिणाम:
- स्क्रैचपैड के बिना: विशाल AI संघर्ष करते रहे। वे अल्पकालिक स्मृति (जैसे "पिछला व्यक्ति सही था, इसलिए मैं वही अनुमान लगाऊंगा") पर निर्भर थे और लंबे अनुक्रमों (sequences) में खराब प्रदर्शन करते रहे।
- स्क्रैचपैड के साथ (द "नोट"): शोधकर्ताओं ने इन विशाल AI को यह अनुमति दी कि वे जो कुछ भी सीखा है उसका सारांश देने के लिए हर दौर के बाद एक छोटा "नोट" लिखें।
- परिणाम: जब विशाल AI को ये नोट्स लिखने की अनुमति दी गई, तो उनका प्रदर्शन आसमान छू गया। वे उस छोटे, गणितीय रूप से सटीक AI की तरह व्यवहार करने लगे जिसे लेखकों ने बनाया था।
कैच (Catch): विशाल AI स्वाभाविक रूप से यह नहीं जानते थे कि एक अच्छा नोट कैसे लिखा जाए। उन्हें ऐसा करने के लिए प्रॉम्प्ट (निर्देश) देना पड़ा। जब उन्होंने ऐसा किया, तो उन्हें एहसास हुआ कि अतीत का सारांश लिखना (जैसे, "विशेषज्ञ A 90% सटीक है") कच्चे इतिहास को याद रखने से कहीं बेहतर है।
5. निष्कर्ष (The Bottom Line)
यह शोध पत्र तर्क देता है कि कंटीन्यूअस लेटेंट कॉन्टेक्स्ट्स (अदृश्य, मिश्रित-नंबर वाला स्क्रैचपैड) लंबे समय तक सीखने में AI को कुशल बनाने की कुंजी हैं।
- छोटा AI + स्क्रैचपैड: जटिल ऑनलाइन रणनीतियों को पूरी तरह से और कुशलता से सीख सकता है।
- विशाल AI + स्क्रैचपैड: लंबे समय तक निर्णय लेने में अचानक बहुत बेहतर हो सकते हैं, और उन बड़े मॉडल्स से भी बेहतर प्रदर्शन कर सकते हैं जिनके पास यह "स्टेट" (state) तंत्र नहीं है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि AI को समय के साथ सीखने में वास्तव में स्मार्ट बनाने के लिए, हमें केवल मॉडल्स को बड़ा नहीं बनाना चाहिए; हमें उन्हें जो कुछ भी सीखा है उसका सारांश रखने का एक बेहतर तरीका देना चाहिए, जिसका उपयोग शब्दों की एक लंबी सूची के बजाय एक "कंटीन्यूअस" आंतरिक अवस्था (internal state) के रूप में किया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।