Understanding Is Done Early: A Depth Division of Labor in Large Language Models and Its Use for Unbounded-Context Memory
यह शोध पत्र CoMem प्रस्तुत करता है, जो एक मेमोरी मैकेनिज्म है जो इंटरमीडिएट रेसिडुअल स्टेट्स (intermediate residual states) को कैश करने और ऊपरी परतों को पुनर्गणना (recompute) करने के माध्यम से ट्रांसफॉर्मर परतों के गैर-समान उपयोग का लाभ उठाता है, जिससे स्थिर कंप्यूट और मेमोरी लागत के साथ अनबाउंडेड-कॉन्टेक्स्ट मेमोरी प्राप्त होती है और साथ ही लॉन्ग-कॉन्टेक्स्ट बेंचमार्क पर फुल-कॉन्टेक्स्ट बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे सुपर-स्मार्ट रोबोट की कल्पना करें जो एक सेकंड में पूरी लाइब्रेरी की किताबें पढ़ सकता है। यह रोबोट आर्टिफिशियल इंटेलिजेंस का एक प्रकार है जिसे "लार्ज लैंग्वेज मॉडल" (Large Language Model) कहा जाता है। एक कहानी को समझने के लिए, रोबोट को अब तक पढ़ी गई हर एक बात को याद रखना होता है। इसके मेमोरी को एक विशाल व्हाइटबोर्ड की तरह समझें। पुराने रोबोटों में, हर बार जब वे एक नया शब्द पढ़ते थे, तो उन्हें अपने द्वारा देखे गए हर एक शब्द के लिए बोर्ड पर एक नया नोट लिखना पड़ता था। यदि कहानी बहुत लंबी हो जाती, तो व्हाइटबोर्ड की जगह खत्म हो जाती, या रोबोट अपने ही नोट्स पढ़ने में इतना थक जाता कि वह अविश्वसनीय रूप से धीमा हो जाता। यह एक बड़ी समस्या है जिसे वैज्ञानिक हल करने की कोशिश कर रहे हैं: यह कैसे तय किया जाए कि ये रोबोट बिना जगह या समय खत्म किए सूचना की विशाल मात्रा को याद रख सकें।
इन रोबोटों के सोचने का रहस्य परतों (layers) में छिपा है, जो एक बहु-मंजिला इमारत की तरह है। निचली मंजिलें शब्दों के बुनियादी अर्थ को समझने में माहिर होती हैं (जैसे यह जानना कि "सेब" एक फल है)। ऊपरी मंजिलें वह जगह हैं जहाँ रोबोट वास्तव में स्मार्ट हो जाता है, और उस बुनियादी अर्थ का उपयोग करके विशिष्ट प्रश्नों के उत्तर देता है या भविष्यवाणी करता है कि आगे क्या होगा। आमतौर पर, रोबोट को कोई प्रश्न पूछने के लिए नीचे की मंजिल से लेकर ऊपर की मंजिल तक पूरी कहानी को प्रोसेस करना पड़ता है। यह पेपर एक चतुर शॉर्टकट का सुझाव देता है: क्या होगा अगर हम रोबोट को केवल बीच की मंजिल तक पूरी कहानी पढ़ने दें, उस "आधी-पकी" समझ को सुरक्षित कर लें, और फिर केवल तभी ऊपरी मंजिल का काम पूरा करें जब हमें वास्तव में एक उत्तर की आवश्यकता हो?
यह बिल्कुल वैसा ही है जैसा कि CoMem (कॉम्प्रिहेन्शन मेमोरी) नामक एक नए तरीके के पीछे के शोधकर्ताओं ने खोजा है। उन्होंने पाया कि एक विशाल दस्तावेज़ के हर एक विवरण को एक साथ याद रखने के बजाय, रोबोट सूचना को स्टोर और रिट्रीव (निकालने) करने में कहीं अधिक स्मार्ट हो सकता है। उन्होंने महसूस किया कि टेक्स्ट के एक हिस्से की "समझ" अधिकांशतः तब तैयार हो जाती है जब वह उसके मस्तिष्क के मध्य भाग (मिडल लेयर्स) तक पहुँचती है। इसलिए, CoMem एक ऐसे लाइब्रेरियन की तरह काम करता है जो पूरी किताब डेस्क पर नहीं रखता। इसके बजाय, लाइब्रेरियन अध्याय का पहला आधा हिस्सा पढ़ता है, एक स्टिकी नोट पर एक त्वरित सारांश लिखता है, और उस नोट को एक शेल्फ पर चिपका देता है। जब आप कोई प्रश्न पूछते हैं, तो लाइब्रेरियन पूरी किताब नहीं निकालता। वे बस प्रासंगिक स्टिकी नोट्स उठाते हैं, अध्याय को अपने दिमाग में बाकी बचा हुआ हिस्सा पढ़ते हैं, और आपको उत्तर देते हैं।
यह पेपर दिखाता है कि यह "डेप्थ डिवीज़न ऑफ लेबर" (गहराई का श्रम विभाजन) अविश्वसनीय रूप से अच्छा काम करता है। पहले आधे हिस्से को प्रोसेस करके और उस मध्यवर्ती परिणाम को कैश (सुरक्षित) करके, रोबोट मेमोरी की एक विशाल मात्रा बचाता है। अपने परीक्षणों में, Qwen3-8B नामक मॉडल का उपयोग करते हुए, CoMem ने 128k टोकन कॉन्टेक्स्ट को संभालने के लिए केवल 18.26 GB मेमोरी का उपयोग किया, जबकि पारंपरिक तरीके को 89.36 GB की आवश्यकता थी। यह एक बहुत बड़ा अंतर है! इसने रोबोट को बहुत तेज़ भी बना दिया, जिससे प्रश्न का उत्तर देने की तैयारी में 7.83× की गति वृद्धि (speedup) प्राप्त हुई।
हालाँकि, शोधकर्ता सावधानी से यह भी बताते हैं कि यह कोई जादू नहीं है। आप बस आधा पढ़ने के बाद रुक नहीं सकते और एक सटीक उत्तर की उम्मीद नहीं कर सकते। यदि आप बहुत जल्दी रुक जाते हैं, तो रोबोट विवरण भूल जाता है। यदि आप बहुत देर से रुकते हैं, तो आप गति का लाभ खो देते है। टीम ने मध्य परतों (विशेष रूप से 36 में से परत 12) में एक "स्वीट स्पॉट" पाया जहाँ रोबोट अर्थ को अच्छी तरह से समझ लेता है, लेकिन अभी तक किसी विशिष्ट प्रश्न के लिए विशेषज्ञ नहीं हुआ है। उन्होंने यह भी पाया कि केवल नोट्स को सुरक्षित करना पर्याप्त नहीं है; रोबet को डॉट्स जोड़ने के लिए अभी भी एक साथ सभी प्रासंगिक नोट्स को देखने में सक्षम होना चाहिए।
परिणाम प्रभावशाली लेकिन विशिष्ट हैं। RULR नामक एक टेस्ट पर, जो यह जांचता है कि क्या एक रोबोट विशाल टेक्स्ट में "घास के ढेर में सुई" (एक विशिष्ट तथ्य) ढूंढ सकता है, CoMem ने 97.05 स्कोर किया, जो मानक पद्धति को पछाड़ देता है जिसने 78.80 स्कोर किया था। एक लंबी बातचीत वाले टेस्ट LoCoMo पर, CoMem ने 38.27 स्कोर किया, जबकि मानक पद्धति के लिए यह 34.59 था। पेपर सुझाव देता है कि यह दृष्टिकोण मेमोरी को व्यवस्थित करने का एक मजबूत तरीका है, लेकिन यह हर एकल कार्य के लिए पूर्ण समाधान नहीं है। उदाहरण के लिए, रोबोट अभी भी कुछ प्रकार के जटिल प्रश्नों (जैसे BABILong टेस्ट में कुछ "qa2" कार्य) के साथ संघर्ष करता है, जो यह दर्शाता है कि हालांकि यह तरीका दक्षता के मामले में एक बड़ा कदम है, लेकिन यह रोबोट को हर चीज़ में पूर्ण नहीं बनाता है।
संक्षेप में, CoMem सुझाव देता है कि हमें हर बार प्रश्न पूछने पर रोबोट को पूरी लाइब्रेरी को फिर से पढ़ने के लिए मजबूर करने की आवश्यकता नहीं है। काम को विभाजित करके—निचली परतों को समझने का भारी काम करने देकर और ऊपरी परतों को विशिष्ट उत्तर देने के लिए—हम ऐसे रोबोट बना सकते हैं जो अधिक याद रख सकते हैं, तेजी से सोच सकते हैं और कम ऊर्जा का उपयोग कर सकते हैं। यह कुछ ऐसा है जैसे यह महसूस करना कि आपको अपने बैकपैक में पूरी विश्वकोश (encyclopedia) ले जाने की आवश्यकता नहीं है; आपको बस यह जानने की आवश्यकता है कि जब आपको ज़रूरत हो तो कौन से पन्ने निकालने हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।