Structured Distillation for Personalized Agent Memory: 11x Token Reduction with Retrieval Preservation
यह शोध पत्र एक संरचित डिस्टिलेशन पद्धति प्रस्तुत करता है जो व्यक्तिगत एजेंट बातचीत के इतिहास को सघन, चार-क्षेत्रीय सारांशों में संकुचित करती है जो प्रति विनिमय औसतन 38 टोकन होते हैं, जिससे हजारों सॉफ्टवेयर इंजीनियरिंग बातचीत में वर्बेटिम (शब्दशः) बेसलाइन के समान या उससे बेहतर रिट्रीवल गुणवत्ता बनाए रखते हुए टोकन उपयोग में 11 गुना की कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन बहुत भुलक्कड़ डिजिटल असिस्टेंट से बात कर रहे हैं। आप महीनों से मिलकर काम कर रहे हैं, जटिल कोडिंग समस्याओं को हल कर रहे हैं, त्रुटियों (errors) को ठीक कर रहे हैं और परियोजनाओं की योजना बना रहे हैं। आप बड़ी तस्वीर को याद रखते हैं: "ओह हाँ, हमने तीन सप्ताह पहले वह अजीब डेटाबेस टाइमआउट समस्या ठीक की थी।"
लेकिन आपका असिस्टेंट? उसे स्मृति लोप (amnesia) है। हर बार जब आप एक नई चैट शुरू करते हैं, तो ऐसा लगता है जैसे आप पहली बार मिल रहे हों। उसे उस डेटाबेस समस्या के बारे में तब तक पता नहीं चलता जब तक आप उसे फिर से न बता दें।
समस्या यह है कि यदि आप अपने असिस्टेंट को यह याद दिलाने के लिए अपने पिछले सभी संवादों को खिलाने की कोशिश करते हैं कि क्या हुआ था, तो आपके पास जगह खत्म हो जाती है। यह एक 500 पन्नों के विश्वकोश (encyclopedia) को अपनी जेब में रखने जैसा है ताकि केवल एक फोन नंबर याद रखा जा सके। यह बहुत भारी, बहुत महंगा और बहुत धीमा है।
यह शोध पत्र एक चतुर समाधान प्रस्तावित करता है: स्ट्रक्चर्ड डिस्टिलेशन (Structured Distillation)। इसे अपने विशाल, अव्यवस्थित इतिहास को अत्यधिक व्यवस्थित, छोटे इंडेक्स कार्डों में बदलने के रूप में सोचें।
समस्या: "विश्वकोश" बनाम "इंडेक्स कार्ड"
पुराने तरीके में, किसी पिछली बातचीत को याद करने के लिए, आपको पूरे ट्रांसक्रिप्ट ( "विश्वकोश") को असिस्टेंट के मस्तिष्क में लोड करना पड़ता था।
- लागत: एक एकल बातचीत का आदान-प्रदान 371 शब्दों लंबा हो सकता है। यदि आपके पास 1,000 आदान-प्रदान हैं, तो यह लगभग 4,00,000 शब्दों के करीब है। असिस्टेंट के लिए एक साथ इतना सब थामना बहुत अधिक है।
- पुराना समाधान (Summarization): आमतौर पर, लोग इन चैट्स का सारांश (summarize) बनाने की कोशिश करते हैं। लेकिन सामान्य सारांश एक खराब फोटोकॉपी मशीन की तरह है जो लगातार कॉपियों की कॉपियां बनाती रहती है। आप जितनी अधिक कॉपियां बनाएंगे, छवि उतनी ही धुंधली होती जाएगी। महत्वपूर्ण विवरण (जैसे विशिष्ट एरर कोड या फ़ाइल नाम) इस धुंधलेपन में खो जाते हैं।
समाधान: "मेमोरी पैलेस" (स्मृति महल)
लेखकों ने एक ऐसी प्रणाली बनाई है जो केवल सारांश नहीं देती; यह डिस्टिल (distill) करती है। वे प्रत्येक बातचीत को लेते हैं और उसे चार विशिष्ट भागों वाले एक संरचित "कंपाउंड ऑब्जेक्ट" में तोड़ देते हैं, जो एक फाइलिंग सिस्टम की तरह है:
- कोर (The "What"): वास्तव में क्या हासिल किया गया था, उसका 1-2 वाक्यों का सारांश। उपमा: एक पुस्तक के अध्याय का शीर्षक।
- कॉन्टेक्स्ट (The "Details"): विशिष्ट तकनीकी विवरण, जैसे एरर मैसेज या पैरामीटर के नाम। उपमा: एक रेसिपी में विशिष्ट सामग्रियां।
- रूम्स (The "Where"): विषयगत टैग जो आपकी बातचीत को विशिष्ट "कमरों" (जैसे, "डेटाबेस," "सुरक्षा," "डिप्लॉयमेंट") में वर्गीकृत करते हैं। उपमा: घर में अपनी ज़रूरत की चीज़ खोजने के लिए एक विशिष्ट कमरे में प्रवेश करना।
- फाइल्स (The "Evidence"): उन वास्तविक फ़ाइल पथों (file paths) की सूची जिन्हें चैट के दौरान छुआ गया था। उपमा: एक मैनुअल के विशिष्ट पृष्ठ जिन्हें आपने खोला।
जादू: वे एक 371-शब्द की बातचीत को केवल 38 शब्दों में सिकोड़ देते हैं (11 गुना कमी)। यह एक पूरे उपन्यास को एक सिंगल स्टिकी नोट में सिकोड़ने जैसा है, लेकिन उस स्टिकी नोट को इतना व्यवस्थित रखना कि आप तुरंत सही चीज़ ढूंढ सकें।
परीक्षण: क्या "स्टिकी नोट" काम करता है?
बड़ा सवाल यह था: यदि हम 90% टेक्स्ट हटा देते हैं, तो क्या असिस्टेंट आपके प्रश्न पूछने पर सही स्मृति ढूँढ पाएगा?
उन्होंने 201 प्रश्नों (जैसे, "हमने लॉगिन बग को कैसे ठीक किया?") के साथ हजारों बातचीत का परीक्षण किया। उन्होंने दो तरीकों से खोज (search) की:
- कीवर्ड सर्च (BM25): सटीक शब्दों को खोजना।
- सिमेंटिक सर्च (वेक्टर सर्च): अर्थ और अवधारणाओं (concepts) को खोजना, भले ही सटीक शब्द अलग हों।
परिणाम:
- कीवर्ड सर्च: जब उन्होंने सटीक कीवर्ड का उपयोग करके छोटे "स्टिकी नोट्स" को खोजने की कोशिश की, तो यह विफल रहा। क्यों? क्योंकि डिस्टिलेशन प्रक्रिया ने कीवर्ड मिलान के लिए आवश्यक विशिष्ट शब्दावली (jargon) को हटा दिया था। यह एक किताब को उसके इंडेक्स कार्ड से हटाए गए शब्द से खोजने जैसा है।
- सिमेंटिक सर्च: जब उन्होंने "अर्थ-आधारित" खोज का उपयोग किया, तो छोटे स्टिकी नोट्स लगभग पूरी तरह से काम कर गए (फुल टेक्स्ट जितना ही अच्छा - 96%)। असिस्टेंट बिना पूर्ण टेक्स्ट के भी बातचीत की अवधारणा को समझ सका।
- हाइब्रिड विजेता: सबसे अच्छा परिणाम एक "दो-स्तरीय" दृष्टिकोण से आया। आप सही बातचीत को जल्दी से खोजने के लिए छोटे स्टिकी नोट्स का उपयोग करते हैं (सिमेंटिक सर्च), और फिर विवरण पढ़ने के लिए मूल, पूर्ण टेक्स्ट को निकालते हैं।
वास्तविक दुनिया का प्रभाव
यह केवल स्थान बचाने के बारे में नहीं है; यह व्यक्तिगत स्मृति (personalized memory) के बारे में है।
- पहले: आपका असिस्टेंट हर दिन एक खाली स्लेट के साथ शुरू करता है।
- बाद में: आपका असिस्टेंट अपनी जेब में एक संक्षिप्त "मेमोरी पैलेस" लेकर चलता है। वह तुरंत याद कर सकता है, "आह, 'डेटाबेस' वाले कमरे में, हमने टाइमआउट समस्या पर चर्चा की थी।" इसके बाद वह आपके पढ़ने के लिए मूल, पूर्ण बातचीत को निकाल लेता है।
मुख्य निष्कर्ष
किसी विशिष्ट पुस्तक को खोजने के लिए आपको पूरा पुस्तकालय ले जाने की आवश्यकता नहीं है। आपको बस एक बहुत अच्छा, व्यवस्थित कैटलॉग चाहिए।
यह पेपर सिद्ध करता है कि अव्यवस्थित बातचीत को संरचित, छोटे सारांशों में बदलकर, हम AI एजेंटों को एक लंबी अवधि की स्मृति दे सकते हैं जो उनकी जेब में समा सके, बिना यह खोए कि उन्हें वास्तव में क्या खोजने की आवश्यकता है। मूल टेक्स्ट हटाया नहीं गया है; इसे बस "आर्काइव" में छिपा दिया गया है, जो तब बाहर निकाला जाने के लिए तैयार है जब छोटा इंडेक्स कार्ड रास्ता दिखाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।