TokMem: One-Token Procedural Memory for Large Language Models
TokMem एक प्रक्रियात्मक स्मृति (procedural memory) ढांचे को पेश करता है जो पुन: प्रयोज्य कार्य प्रक्रियाओं को एकल प्रशिक्षण योग्य टोकन (single trainable tokens) में संकलित करता है ताकि स्थिर ओवरहेड के साथ लार्ज लैंग्वेज मॉडल जनरेशन को निर्देशित किया जा सके, जिससे नए व्यवहारों को निरंतर जोड़ना सक्षम होता है और यह रिट्रीवल-ऑगमेंटेड प्रॉम्प्टिंग से बेहतर प्रदर्शन करते हुए कम मापदंडों के साथ पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग के बराबर पहुँचता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान, उच्च शिक्षित सहायक (एक Large Language Model, या LLM) है जो सामान्य तथ्यों के बारे में बहुत कुछ जानता है लेकिन उसे आपकी विशिष्ट आदतों या आपके विशिष्ट कार्यों को करने का तरीका नहीं पता है।
वर्तमान में, यदि आप चाहते हैं कि यह सहायक एक विशिष्ट कार्य करे—जैसे कि "मेरे आहार के आधार पर एक स्वस्थ रात्रिभोज की खरीदारी सूची लिखें"—तो आपको हर बार जब आप पूछते हैं, तो आपको निर्देशों का एक लंबा, विस्तृत सेट लिखना पड़ता है। आप कह सकते हैं: "यहाँ मेरा आहार है: ग्लूटेन मुक्त, लो कार्ब। यहाँ वह प्रारूप है जो मुझे चाहिए: आइटम और वजन के कॉलम के साथ एक तालिका। कृपया टोफू, ब्रोकली और चावल खोजें..."
यह ऐसा है जैसे आप हर बार एक गिलास पानी माँगने के लिए अपने सहायक को 10 पन्नों का मैनुअल दे रहे हों। यह धीमा है, यह उनकी अल्पकालिक स्मृति (short-term memory) में बहुत अधिक जगह लेता है, और यदि आपके पास 1,000 अलग-अलग काम हैं, तो आपको शुरू करने के लिए मैनुअल की एक पूरी लाइब्रेरी की आवश्यकता होगी।
TokMem (One-Token Procedural Memory) इस सहायक को सिखाने का एक नया तरीका है। हर बार एक 10 पन्नों का मैनुअल देने के बजाय, आप उसे एक एकल जादुई शब्द (एक टोकन) सिखाते हैं जो पूरे कार्य का प्रतिनिधित्व करता है।
यह कैसे काम करता है, इसे सरल उपमाओं के साथ यहाँ समझाया गया है:
1. "जादुई शब्द" बनाम "निर्देश पुस्तिका" (The "Magic Word" vs. The "Instruction Manual")
- पुराना तरीका (प्रॉम्प्ट्स): कल्पना कीजिए कि आप केक बनाना चाहते हैं। हर बार जब आप केक बनाना चाहते हैं, तो आपको बेकर को पूरी रेसिपी शब्द दर शब्द बोलकर पढ़नी पड़ती है। यदि आप एक केक बनाना चाहते हैं और फिर रसोई साफ करना चाहते हैं, तो आपको पहले केक की रेसिपी पढ़नी होगी, फिर सफाई के निर्देश, और फिर यदि आपको कुछ जांचना हो तो केक की रेसिपी फिर से पढ़नी होगी। यह थकाऊ और धीमा है।
- TokMem का तरीका: आप बेकर को एक एकल जादु "जादुई शब्द" सिखाते हैं, जैसे "CAKE-PROCEDURE"। एक बार जब वे इस शब्द को सीख लेते हैं, तो वे ठीक से जानते हैं कि क्या करना है: सामग्री मिलाएं, बेक करें, ठंडा करें और परोसें। आप बस "CAKE-PROCEDURE" कहते हैं, और वे सब कुछ तुरंत कर देते हैं। किसी लंबे निर्देश की आवश्यकता नहीं है।
2. "फाइलिंग कैबिनेट" (The "Filing Cabinet" - द मेमोरी बैंक)
TokMem प्रणाली में, मॉडल के पास एक विशेष फाइलिंग कैबिनेट (जिसे मेमोरी बैंक कहा जाता है) होता है।
- कैबिनेट में प्रत्येक फ़ाइल केवल एक छोटा, अदृश्य लेबल (एक टोकन) है।
- एक लेबल "Parse-Diet" हो सकता है।
- दूसरा "Search-Food" हो सकता है।
- तीसरा "Format-Output" हो सकता है।
जब आप कोई प्रश्न पूछते हैं, तो मॉडल लंबा टेक्स्ट नहीं पढ़ता। वह आपके प्रश्न को देखता है, कैबिनेट से सही "जादुई शब्द" चुनता है, और तुरंत जान जाता है कि क्या करना है।
3. "चेनिंग" का कमाल (The "Chaining" Trick - जटिल चीजें करना)
मान लीजिए आपको एक जटिल कार्य करने की आवश्यकता है, जैसे "यात्रा की योजना बनाना"?
- पुराना तरीका: आप 50 चरणों वाला एक विशाल प्रॉम्प्ट लिखते हैं।
- TokMem का तरीका: मॉडल जादुई शब्दों का एक क्रम चुनता है:
- यह "Find-Flight" चुनता है।
- फिर, यह "Check-Hotel" चुनता है।
- फिर, यह "Book-Car" चुनता है।
यह एक कंडक्टर (संगीत निर्देशक) के हाथ में बटो (baton) लहराने जैसा है। पूरी सिम्फनी लिखने के बजाय, कंडक्टर बस "वायलिन", फिर "ट्रम्पेट", और फिर "ड्रम्स" की ओर इशारा करता है, और ऑर्केस्ट्रा क्रम में संगीत बजाता है। मॉडल जटिल व्यवहारों का निर्माण करने के लिए इन छोटे टोकनों को एक साथ जोड़ता है (chain करता है), जिसके लिए किसी विशाल प्रॉम्प्ट की आवश्यकता नहीं होती।
4. यह एक बड़ी बात क्यों है
यह पेपर TokMem की तीन मुख्य महाशक्तियों पर प्रकाश डालता है:
यह कभी नहीं भूलता (The "Sticky" Note - चिपचिपा नोट):
आमतौर पर, यदि आप कंप्यूटर को कोई नया करतब सिखाते हैं, तो वह पुराना वाला भूल सकता है (इसे "कैटास्ट्रोफिक फॉरगेटिंग" कहा जाता है)। TokMem एक कॉर्कबोर्ड पर नया स्टिकी नोट जोड़ने जैसा है बिना पुराने नोटों को मिटाए। क्योंकि "जादुई शब्द" मॉडल के मुख्य मस्तिष्क से अलग संग्रहीत होते हैं, आप 1,000 नए कौशल जोड़ सकते हैं बिना उन 1,000 कौशलों को बिगाड़े जो वह पहले से जानता है।यह सुपर फास्ट और हल्का है:
10 पन्नों का मैनुअल पढ़ने में समय और ऊर्जा लगती है। एक शब्द पढ़ने में एक सेकंड का भी समय नहीं लगता। क्योंकि TokMem लंबे टेक्स्ट को एक एकल टोकन से बदल देता है, कंप्यूटर को आपके अनुरोध को प्रोसेस करने के लिए बहुत अधिक गणित (quadratic attention) करने की आवश्यकता नहीं होती है। यह फोन नंबर खोजने के लिए उपन्यास पढ़ने बनाम सीधे कॉन्टैक्ट डायल करने के बीच का अंतर है।इसे प्रशिक्षित करना सस्ता है:
एक मॉडल को नया कौशल सिखाने के लिए, अक्सर आपको पूरे मॉडल को फिर से प्रशिक्षित करना पड़ता है (जैसे पूरे मस्तिष्क को पुन: शिक्षित करना)। TokMem केवल उस छोटे "जादुई शब्द" को ही प्रशिक्षित करता है। यह डांसर के पूरे शरीर को प्रशिक्षित करने के बजाय केवल उसके पैरों को प्रशिक्षित करके एक नया डांस स्टेप सिखाने जैसा है। यह 10 से 100 गुना कम कंप्यूटिंग संसाधनों का उपयोग करता है।
निचोड़ (The Bottom Line)
TokMem AI के "लंबे, अव्यवस्थित निर्देशों" को एक संक्षिप्त, कुशल शॉर्टकट लाइब्रेरी में बदल देता है।
AI से हर बार "नियम पढ़ने" के लिए कहने के बजाय, आप उसे एक चाबी देते हैं। यह उस विशिष्ट व्यवहार को अनलॉक करता है जिसकी आपको आवश्यकता है, बिना धीमे हुए या यह भूले बिना कि उसने कल क्या सीखा था। यह अपने बैकपैक में एक लाइब्रेरी ले जाने और केवल एक ऐसी चाबी ले जाने के बीच का अंतर है जो जरूरत पड़ने पर लाइब्रेरी का दरवाजा खोल देती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।