The Query Knows What to Forget: A Second Erase Direction for Linear Attention

कल्पना कीजिए कि आप एक ऐसी कहानी याद करने की कोशिश कर रहे हैं जो आपने बहुत समय पहले सुनी थी। आपके मस्तिष्क के पास इन यादों को रखने के लिए सीमित स्थान होता है। यदि आप उस छोटे से स्थान में बहुत सारी कहानियाँ भरने की कोशिश करते हैं, तो विवरण आपस में धुंधले होने लगते हैं, और आप एक कहानी के अंत को दूसरी कहानी की शुरुआत के साथ मिला सकते हैं। यह कुछ वैसा ही है जैसा कि आधुनिक AI मॉडल लंबी बातचीत को संभालने के लिए करते हैं। वे अब तक कही गई हर बात को ट्रैक रखने के लिए "लीनियर अटेंशन" (linear attention) नामक एक विशेष प्रकार की स्मृति का उपयोग करते हैं ताकि जगह खत्म न हो जाए। हर एक शब्द को एक विशाल, बढ़ते हुए ढेर के रूप में सहेजने के बजाय, वे जानकारी को एक निश्चित आकार के "स्टेट" (state) में संकुचित कर देते हैं, जो एक जादुई नोटपैड की तरह है जो नए शब्द आने पर खुद को अपडेट करता रहता है।

हालाँकि, इसमें एक पेंच है। जैसे-जैसे बातचीत लंबी होती जाती है, उस नोटपैड पर पुरानी यादें एक-दूसरे के साथ हस्तक्षेप करने लगती हैं। जब AI किसी विशिष्ट जानकारी (जैसे कि 10,000 शब्द पहले उल्लेख किया गया कोई नाम) को खोजने की कोशिश करता है, तो सभी शब्दों से पैदा होने वाला शोर सही उत्तर खोजने में बाधा डालता है। वैज्ञानिक इसे ठीक करने के लिए AI को यह सिखाने की कोशिश कर रहे हैं कि क्या मिटाना है। उन्होंने ऐसे सिस्टम बनाए हैं जो नई जानकारी के लिए जगह बनाने के लिए पुरानी, अप्रासंगिक जानकारी को "मिटा" (erase) सकते हैं, लेकिन अब तक, ये मिटाने वाले उपकरण थोड़े अनाड़ी रहे हैं। वे केवल वर्तमान में प्रोसेस किए जा रहे शब्द के आधार पर यह तय करते हैं कि क्या मिटाना है, न कि इस आधार पर कि AI वास्तव में क्या खोज रहा है।

यह पेपर एक चतुर नई तकनीक पेश करता है जिसे QED (Query-derived Erase Direction) कहा जाता है ताकि इस अनाड़ीपन को ठीक किया जा सके। शोधकर्ताओं ने, 340 मिलियन पैरामीटर्स वाले मॉडल्स के साथ काम करते हुए, यह खोजा कि यदि वे AI के "खोज प्रश्न" (query) को यह तय करने में मदद करने दें कि क्या मिटाना है, तो मॉडल बहुत लंबे समय तक महत्वपूर्ण जानकारी को थामे रख सकता है। उन्होंने अपने मॉडल्स को 15 बिलियन टोकन के विशाल डेटासेट पर प्रशिक्षित किया और पाया कि यह नई विधि AI को बातचीत में बहुत पीछे से विवरणों को याद रखने में सक्षम बनाती है। विशेष रूप से, S-NIAH-1 नामक एक टेस्ट पर, नई विधि ने टेक्स्ट को पढ़ने की मॉडल की उपयोगी क्षमता को लगभग दोगुना कर दिया, जिससे इसकी उपयोगी सीमा लगभग 8,000 शब्दों से बढ़कर 16,000 शब्द हो गई। यह पेपर सुझाव देता है कि यह लंबे दस्तावेज़ों को पढ़ने में AI को बेहतर बनाने की दिशा में एक महत्वपूर्ण कदम है, हालांकि लेखक नोट करते हैं कि उनके नए टूल के कुछ विशिष्ट हिस्सों को और अधिक परीक्षण की आवश्यकता हो सकती है ताकि यह देखा जा सके कि वे सख्ती से आवश्यक हैं या नहीं।

समस्या: "एक-तरफा" इरेज़र (The "One-Way" Eraser)

इस सफलता को समझने के लिए, आइए देखें कि ये AI मॉडल वर्तमान में कैसे काम करते हैं। कल्पना कीजिए कि AI की मेमोरी एक व्यस्त लाइब्रेरी है जहाँ किताबों (जानकारी) को लगातार बदला जा रहा है। जब एक नई किताब आती है, तो लाइब्रेरियन (मॉडल) को यह तय करना होता है कि जगह बनाने के लिए कौन सी पुरानी किताब फेंक देनी चाहिए।

इस पेपर से पहले के मॉडल्स (जैसे Gated DeltaNet-2) में, लाइब्रेरियन केवल नई किताब (the "key") को देखता है ताकि यह तय किया जा सके कि क्या फेंकना है। यह ऐसा है जैसे कहना, "यह नई किताब बिल्लियों के बारे में है, इसलिए मैं बिल्लियों के बारे में पुरानी किताब फेंक दूँगा।" यह ठीक-ठाक काम करता है, लेकिन इसमें एक कमी है।

समस्या यह है कि AI केवल नई किताब को ही नहीं देखता; उसके पास एक विशिष्ट प्रश्न भी होता है जिसका वह उत्तर देने की कोशिश कर रहा है (the "query")। शायद प्रश्न यह है, "मुख्य पात्र कौन है?" लाइब्रेरियन को उस विशिष्ट प्रश्न का उत्तर खोजना है। लेकिन पुराना "एक-तरफा" इरेज़र केवल नए बुक के विषय के आधार पर यह जानता है कि क्या मिटाना है, न कि पूछे गए प्रश्न के आधार पर।

लेखकों ने महसूस किया कि "हस्तक्षेप" (interference)—वह शोर जो AI को भ्रमित करता है—ठीक वहीं होता है जहाँ प्रश्न देख रहा होता है। यदि प्रश्न एक विशिष्ट विवरण की तलाश कर रहा है, लेकिन लाइब्रेरियन केवल नई किताब के विषय के आधार पर मिटाता है, तो भ्रमित करने वाला शोर प्रश्न के रास्ते में बना रह सकता है। यह घास के ढेर में सुई खोजने की कोशिश करने जैसा है जबकि लाइब्रेरियन केवल उस घास को हटा रहा है जो सुई के रंग जैसी दिखती है, इस बात को नजरअंदाज करते हुए कि सुई वास्तव में पुआल के ढेर के नीचे छिपी है।

समाधान: "दो-तरफा" इरेज़र (The "Two-Way" Eraser)

पेपर एक समाधान प्रस्तावित करता है जिसे QED कहा जाता है। केवल एक इरेज़र के बजाय, वे एक दूसरा इरेज़र जोड़ते हैं जो स्वयं प्रश्न द्वारा निर्देशित होता है।

इसे इस तरह सोचें: अब AI के पास एक "Key-Directed Eraser" (पुराना वाला) और एक नया "Query-Directed Eraser" है।

1. Key-Directed Eraser अपना काम करता रहता है: यह नई जानकारी को देखता है और उससे मेल खाने वाली पुरानी चीजों को साफ कर देता है।
2. Query-Directed Eraser यह देखता है कि AI वर्तमान में क्या पूछ रहा है। यदि प्रश्न "विलेन कौन है?" है, तो यह इरेज़र विशेष रूप से उस पुरानी, भ्रमित करने वाली जानकारी को लक्षित करता है और हटाता है जो उस प्रश्न का उत्तर छिपा सकती है।

महत्वपूर्ण रूप से, यह नया इरेज़र पुराने वाले के "ऑर्थोगोनल" (orthogonal) होने के लिए डिज़ाइन किया गया है। सरल शब्दों में, इसका मतलब है कि यह उन हिस्सों की सफाई करता है जहाँ पुराना इरेज़र नहीं पहुँच पाता। यह एक वैक्यूम क्लीनर होने जैसा है जो कमरे के उन कोनों से धूल खींच सकता है जहाँ झाड़ू नहीं पहुँच पाती।

शोधकर्ताओं ने इसे 15 बिलियन टोकन के टेक्स्ट पर मॉडल्स को प्रशिक्षित करके टेस्ट किया। उन्होंने पाया कि जब उन्होंने "प्रश्न" को इरेज़र को निर्देशित करने दिया, तो मॉडल लंबे टेक्स्ट में विशिष्ट तथ्यों को खोजने में बहुत बेहतर हो गया।

उन्होंने क्या पाया (और क्या नहीं)

परिणाम काफी उत्साहजनक थे, लेकिन लेखक अतिशयोक्ति करने से बचते रहे। डेटा ने वास्तव में क्या दिखाया:

• लॉन्ग-कॉन्टेक्स्ट सुपरपावर: S-NIAH-1 नामक एक टेस्ट पर (जो यह जाँचता है कि क्या मॉडल टेक्स्ट के "घास के ढेर में सुई" को ढूंढ सकता है), नई विधि ने सटीकता में काफी सुधार किया। उदाहरण के लिए, 16,000 टोकन (शब्दों) की लंबाई पर, मानक मॉडल लगभग 21.8% सही था, जबकि नया QED मॉडल 39.8% सही था। 32,000 टोकन पर, उछाल और भी नाटकीय था, जो 9.4% से बढ़कर 15.8% हो गया।
• उपयोगी लंबाई को दोगुना करना: लेखक कहते हैं कि यह सुधार प्रभावी रूप से संदर्भ की लंबाई (context length) को दोगुना कर देता है। पहले, मॉडल 8,000 टोकन के आसपास भ्रमित होने लगता था; QED के साथ, यह 16,000 टोकन तक विश्वसनीय बना रहा।
• कोई मैजिक परप्लेक्सिटी नहीं: दिलचस्प बात यह है कि नई विधि ने AI को लिखने या वाक्य में अगले शब्द की भविष्यवाणी करने में बेहतर नहीं बनाया (जिसे "वैलिडेशन लॉस" कहा जाता है)। लॉस बिल्कुल समान रहा। इससे पता चलता है कि QED AI को सामान्य अर्थों में "स्मार्टर" नहीं बनाता है; यह बस इसे अपने संकुचित स्टेट से विशिष्ट यादों को रिट्रीव (निकालने) में बेहतर बनाता है।

"एब्लेशन मिस्ट्री": कौन से हिस्से मायने रखते हैं?

यह जानने के लिए कि QED वास्तव में क्यों काम कर रहा है, शोधकर्ताओं ने प्रयोग किए जहाँ उन्होंने नए सिस्टम के विभिन्न हिस्सों को बंद कर दिया। यह एक कार के इंजन को अलग-अलग पुर्जों में खोलने जैसा है यह देखने के लिए कि कौन सा बोल्ट वास्तव में कार को तेज़ चला रहा है।

उन्होंने तीन मुख्य घटकों का परीक्षण किया:

1. दिशा (Direction): मिटाने के लिए "प्रश्न" (query) का उपयोग करना।
2. गेट (Gate): एक स्विच जो यह तय करता है कि कब मिटाना है (ताकि वह चीजें न मिटा दे जिनकी AI को अभी भी आवश्यकता है)।
3. प्रोजेक्शन (Projection): एक गणितीय नियम यह सुनिश्चित करने के लिए कि नया इरेज़र गलती से पुराने इरेज़र के काम को खराब न कर दे।

यहाँ मोड़ यह है: परिणाम थोड़े मिले-जुले थे।

• दिशा ही कुंजी है: हर बार जब उन्होंने मिटाने के लिए "प्रश्न" का उपयोग किया, तो मॉडल बेहतर हुआ। यह हिस्सा असली हीरो लगता है।
• गेट और प्रोजेक्शन अनिश्चित हैं: जब उन्होंने "गेट" या "प्रोजेक्शन" को बंद किया, तो परिणाम असंगत रहे। कभी मॉडल बेहतर प्रदर्शन करता था, कभी खराब, जो इस बात पर निर्भर करता था कि प्रशिक्षण के लिए किस रैंडम सीड (शुरुआती बिंदु) का उपयोग किया गया था। लेखक सुझाव देते हैं कि हालांकि ये हिस्से मदद कर सकते हैं, प्रयोगों ने यह साबित नहीं किया कि वे सख्ती से आवश्यक हैं। यह संभव है कि उनके द्वारा उपयोग किए गए विशिष्ट आकार के मॉडल के लिए, "प्रोजेक्शन" वास्तव में बहुत कुछ नहीं कर रहा था क्योंकि मॉडल स्वाभाविक रूप से उन समस्याओं से बच जाता था जिन्हें ठीक करने के लिए इसे बनाया गया था।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि QED लंबी बातचीत में AI मॉडल्स को चीजें याद रखने में मदद करने का एक सफल तरीका है। "प्रश्न" को यह तय करने में मदद करने देकर कि क्या भूलना है, मॉडल उस शोर को साफ कर सकता है जो आमतौर पर उसकी याददाश्त को बाधित करता है।

हालाँकि, लेखक अपने निष्कर्षों की सीमाओं के बारे में ईमानदार हैं। उन्होंने यह साबित नहीं किया कि "गेट" या "प्रोजेक्शन" अनिवार्य हैं; उन्होंने केवल यह साबित किया कि मिटाने के लिए "क्वेरी" (query) का उपयोग करना सबसे सुसंगत सुधार है। उन्होंने यह भी नोट किया कि इस नए इरेज़र की ताकत को विशिष्ट कार्य के आधार पर ट्यून करने की आवश्यकता हो सकती है, क्योंकि टेस्ट के समय इरेज़र की "शक्ति" बदलने से अलग-अलग मॉडल्स के लिए अलग-अलग परिणाम मिले।

संक्षेप में, पेपर सुझाव देता है कि यदि आप चाहते हैं कि एक AI पूरा उपन्यास पढ़े और अंतिम अध्याय में विलेन का नाम याद रखे, तो आपको उसे "क्वेरी-गाइडेड इरेज़र" देना चाहिए। लेकिन आपको यह पता लगाने के लिए कि उस नई मशीन के अन्य बटनों को ठीक से कैसे ट्यून किया जाए, अभी और अधिक परीक्षण करने की आवश्यकता हो सकती है।