तकनीकी सारांश: केवल अनुमान-आधारित परिनियोजन से परे (Beyond Inference-Only Deployment)

समस्या विवरण

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) प्लेटफॉर्म मुख्य रूप से एक केवल-अनुमान (inference-only) विन्यास में संचालित होते हैं, जहाँ परिनियोजन के बाद मॉडल के वेट्स (weights) स्थिर रहते हैं। जबकि उपयोगकर्ता हफ्तों या महीनों तक सहायकों के साथ बातचीत करते हैं, अपनी पसंद, प्रोजेक्ट संदर्भ और सुधारों को संचित करते हैं, मॉडल इन अंतःक्रियाओं से सीखता नहीं है। इसके बजाय, सिस्टम संदर्भ-आधारित वर्कअराउंड (context-based workarounds) पर निर्भर करते हैं, जैसे कि रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) या कैस्केडिंग कॉम्पैक्शन (cascading compaction) (सीमित विंडो सीमाओं के भीतर फिट होने के लिए पूर्व संदर्भ का सारांश बनाना)।

यह शोध तर्क देता है कि ये वर्कअराउंड अपर्याप्त हैं। संदर्भ-आधारित जानकारी सीमित स्थान के लिए प्रतिस्पर्धा करती है और बार-बार सारांश बनाने से खराब हो जाती है। फलस्वरूप, उपयोगकर्ताओं को अपनी प्राथमिकताओं और प्रोजेक्ट तथ्यों को बार-बार सिखाना पड़ता है, और मॉडल उपयोगकर्ता के वर्कफ़्लो की एक स्थायी, व्यक्तिगत समझ विकसित करने में विफल रहता है। यह सीमा जैविक स्मृति प्रतिधारण (memory retention) की चुनौती को दर्शाती है, जहाँ मस्तिष्क एक कॉम्प्लीमेंटरी लर्निंग सिस्टम्स (CLS) फ्रेमवर्क का उपयोग करके सूचना को एक तेज़, अस्थायी प्रणाली (हिप्पोकैम्पस) से एक धीमी, स्थायी प्रणाली (नियोकोर्टेक्स) में स्थानांतरित करने के लिए करता है।

कार्यप्रणाली (Methodology)

लेखक एक तीन-चरणीय समेकन पाइपलाइन (three-stage consolidation pipeline) का प्रस्ताव और मूल्यांकन करते हैं, जिसे नाइटली फाइन-ट्यूनिंग के माध्यम से ज्ञान को कॉन्टेक्स्ट विंडो से मॉडल के वेट्स में ले जाने के लिए डिज़ाइन किया गया है। यह प्रक्रिया जैविक नींद-जागने के चक्र की नकल करती है: मॉडल दिन के दौरान सामान्य रूप से कार्य करता है, और रात में, यह अपने मापदंडों (parameters) को अपडेट करने के लिए दिन की अंतःक्रियाओं को प्रोसेस करता है।

1. स्मृति वर्गीकरण (Memory Taxonomy)

अध्ययन संज्ञानात्मक मनोविज्ञान से अनुकूलित करते हुए उपयोगकर्ता की अंतःक्रियाओं को तीन विशिष्ट स्मृति प्रकारों में वर्गीकृत करता है:

• प्रक्रियात्मक (Procedural): गलतियों से सीखे गए सबक (जैसे, "hmac.new() का उपयोग न करें, hmac.digest() का उपयोग करें")। लक्ष्य भविष्य के मामलों में सही दृष्टिकोण को तुरंत निष्पादित करना है।
• सिमेंटिक (Semantic): उपयोगकर्ता की प्राथमिकताओं और परंपराओं के बारे में स्व-संदर्भित, स्थिर तथ्य (जैसे, "snake_case का उपयोग करें," "पूर्णता घोषित करने से पहले टेस्ट चलाएं")।
• एपिसोडिक (Episodic): प्रोजेक्ट-विशिष्ट इतिहास, निर्णय और कॉन्फ़िगरेशन (जैसे, "Redis के माध्यम से API दर सीमा 100 req/min है")।

2. समेकन पाइपलाइन (The Consolidation Pipeline)

पाइपलाइन में बातचीत के लॉग्स पर लागू होने वाले तीन चरण शामिल हैं:

• चिंतन (Reflection): एक LLM (Claude Sonnet 4) संरचित तथ्यों को निकालने के लिए बातचीत के ट्रांसक्रिप्ट का विश्लेषण करता है। मजबूती सुनिश्चित करने के लिए तीन स्वतंत्र निष्कर्षण पास (extraction passes) को यूनियन और डीडुप्लिकेट किया जाता है।
• संश्लेषण (Synthesis): प्रत्येक निकाले गए तथ्य को सिंथेटिक उपयोगकर्ता-सहायक बातचीत के विविध सेट (लगभग 20 तथ्य प्रति तथ्य) में परिवर्तित किया जाता है। यह "पैराफ्रास्टिक रिहर्सल" (paraphrastic rehearsal) प्रश्न शैलियों (प्रत्यक्ष, परिदृश्य-आधारित, निषेध) और उत्तर के लहजे को भिन्न करता है ताकि एकल सतही रूप (surface form) पर ओवरफिटिंग को रोका जा सके, जो तथ्य स्मृति (fact memorization) पर पिछले कार्यों द्वारा समर्थित एक तकनीक है।
• प्रशिक्षण (Training): एक लो-रैंक एडेप्टेशन (LoRA) एडेप्टर को बेस मॉडल (Qwen2.5-7B-Instruct) का उपयोग करके सिंथेसाइज किए गए डेटा पर फाइन-ट्यून किया जाता है। प्रशिक्षण $r=16$ और $\alpha=32$ के रैंक के साथ अटेंशन प्रोजेक्शन को लक्षित करता है। यह प्रक्रिया 8 इपोक (epochs) के लिए चलती है, जिसकी अवधि कार्य विफलता दरों को न्यूनतम करने के लिए अनुभवजन्य रूप से निर्धारित की गई है।

3. प्रयोगात्मक डिजाइन (Experimental Design)

लेखकों ने दस यथार्थवादी सॉफ्टवेयर विकास बातचीत (लगभग 50k–65k टोकन प्रत्येक) में एक मैच किया गया प्रयोग आयोजित किया, जिससे तीन स्मृति प्रकारों के तहत 1,146 परीक्षण प्रश्न उत्पन्न हुए।

• बेसलाइन (Compaction): मानक उद्योग दृष्टिकोण का अनुकरण करता है जहाँ संदर्भ को 6:1 के अनुपात में सारांशित किया जाता है और नई बातचीत के निरंतरता के साथ जोड़ा जाता है। इसे तीन चक्रों के लिए चलाया गया।
• प्रस्तावित (Consolidation): मूल बातचीत और उसके निरंतरता से निकाले गए तथ्यों पर मॉडल को फाइन-ट्यून किया गया। परीक्षण के समय, समेकित मॉडल को कोई संदर्भ नहीं प्राप्त होता है, वह केवल अपने वेट्स पर निर्भर रहता है।
• मूल्यांकन: एक LLM जज (Claude Sonnet 4) ने अपेक्षित उत्तरों के विरुद्ध प्रतिक्रियाओं की सटीकता का मूल्यांकन किया।

मुख्य परिणाम

ज्ञान प्रतिधारण (Knowledge Retention)

अध्ययन प्रदर्शित करता है कि वेट-आधारित समेकन, कैस्केडिंग कॉम्पैक्शन की तुलना में काफी बेहतर प्रदर्शन करता है:

• कुल प्रतिधारण: कॉम्पैक्शन के तीन चक्रों के बाद, मॉडल केवल 36.8% मूल ज्ञान बनाए रखता है। इसके विपरीत, समेकित मॉडल परीक्षण के समय बिना किसी संदर्भ के 80.4% ज्ञान बनाए रखता है। यह 43.6 प्रतिशत अंक की वृद्धि ($p < 0.001$) है, जो कॉम्पैक्शन रणनीति के प्रतिधारण को दोगुने से अधिक कर देता है।
• स्मृति प्रकार भिन्नता:
  • सिमेंटिक: दोनों विधियाँ अपेक्षाकृत अच्छा प्रदर्शन करती हैं, लेकिन समेकन ने (62.0%) कॉम्पैक्शन की तुलना में लगभग पूर्ण प्रतिधारण (94.3%) प्राप्त किया।
  • प्रक्रियात्मक: कॉम्पैक्शन केवल 36.3% बरकरार रखता है, जबकि समेकन 74.6% को रिकवर करता है।
  • एपिसोडिक: यहाँ कॉम्पैक्शन सबसे अधिक असुरक्षित था (31.5%), जबकि समेकन ने 78.2% को संरक्षित किया।
• स्थिरता: जबकि कॉम्पैक्शन की सटीकता प्रत्येक चक्र के साथ तेजी से गिरती है (लगभग 90% से गिरकर ~37% हो जाना), समेकन की सटीकता चक्रों के पार स्थिर (80–82%) रहती है, क्योंकि ज्ञान को संपीड़ित संदर्भ के बजाय वेट्स में एनकोड किया गया था।

पद्धतिगत अंतर्दृष्टि: प्रशिक्षण संकेत (Methodological Insight: Training Signals)

पेपर प्रशिक्षण मूल्यांकन मेट्रिक्स में एक महत्वपूर्ण विसंगति की पहचान करता है। मानक मीन पर-टोकन क्रॉस-एंट्रॉपी (mean per-token cross-entropy) ने एक U-आकार का वक्र दिखाया (जो एपोक 3 के बाद ओवरफिटिंग का सुझाव देता है), फिर भी वास्तविक कार्य विफलता दर इपोक 8 तक सुधरती रही।

• मीन क्रॉस-एंट्रॉपी उन भारी पूंछ (heavy tail) वाले टोकन द्वारा संचालित थी जहाँ मॉडल ने सही टोकन को लगभग शून्य संभाव्यता दी थी।
• मीडियन पर-टोकन क्रॉस-एंट्रॉपी (median per-token cross-entropy) ने कार्य सटीकता के साथ लगभग पूर्ण सहसंबंध ($r = +0.99$) दिखाया।
• निष्कर्ष: उन मूल्यांकनकर्ताओं के लिए जो सतही-रूप भिन्नता (surface-form variation) के प्रति सहिष्णु हैं, मीन लॉस भ्रामक है; मीडियन लॉस प्रशिक्षण प्रगति के लिए एक सच्चा संकेत है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि निरंतर वैयक्तिकरण (personalization) के लिए केवल-अनुमान परिनियोजन से हटकर उन आर्किटेक्चर की ओर एक मौलिक बदलाव की आवश्यकता है जो ज्ञान को वेट्स में समेकित (consolidate) करते हैं।

• व्यवहार्यता (Feasibility): समेकन पाइपलाइन उपभोक्ता हार्डवेयर पर कम्प्यूटेशनल रूप से व्यवहार्य है। एक बातचीत के लिए एक LoRA एडेप्टर को प्रशिक्षित करने में NVIDIA A100 पर लगभग 1.5 घंटे या RTX 5090 पर 8.2 घंटे लगते है, जिससे "नाइटली" समेकन व्यावहारिक हो जाता है।
• गोपनीयता और अर्थशास्त्र: उपयोगकर्ता के स्वामित्व वाले हार्डवेयर पर समेकन चलाने से संचित ज्ञान उपयोगकर्ता के वेट्स में रहता है, न कि प्लेटफॉर्म-होस्टेड स्टोर में, जिससे डेटा-लीकेज जोखिम और सब्सक्रिप्शन लॉक-इन कम होता है। यह बड़े कॉन्टेक्स्ट विंडो के प्रति-प्रश्न लागत को भी समाप्त करता है।
• सीमाएँ: अध्ययन सॉफ्टवेयर विकास डोमेन तक सीमित है; अन्य क्षेत्रों में सामान्यीकरण अपरीक्षित है। इसके अतिरिक्त, पाइपलाइन तथ्य निष्कर्षण और संश्लेषण के लिए बाहरी LLM API पर निर्भर करती है, और बेस-मॉडल सुरक्षा व्यवहारों (refusals) पर समेकन के प्रभाव को मापा नहीं गया है।

लेखक निष्कर्ष निकालते हैं कि लंबे समय तक चलने वाले व्यक्तिगत सहायकों के लिए, कैस्केडिंग कॉम्पैक्शन को नाइटली वेट-आधारित समेकन से बदलना एक बेहतर इंजीनियरिंग विकल्प है: यह प्रति प्रश्न कम लागत लेता है, काफी अधिक ज्ञान बनाए रखता है, और जैसे-जैसे उपयोगकर्ता का सहायक के साथ संबंध लंबा होता जाता है, प्रदर्शन का अंतर बढ़ता जाता है।