🤖 machine learning

Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning

यह शोध पत्र सपोर्ट वेक्टर अटेंशन (SV-Attention) को प्रस्तुत करता है, जो एक प्रशिक्षित मेमोरी तंत्र है जो प्रमाणित टोकन इविक्शन (token eviction) और सटीक अनलर्निंग (unlearning) क्षमताएं प्रदान करने के लिए वन-क्लास एसवीएम (one-class SVM) सिद्धांतों का लाभ उठाता है, जो वास्तविक दुनिया के डेटासेट्स पर प्रतिस्पर्धी लैंग्वेज मॉडलिंग परिणामों को प्राप्त करते हुए बेहतर दुर्लभ-आइटम रिकॉल (rare-item recall) और डेटा विलोपन प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Vishwajith Ramesh

प्रकाशित 2026-07-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vishwajith Ramesh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट लाइब्रेरी चला रहे हैं जहाँ एक रोबोट लाइब्रेरियन आपके सवालों के जवाब देने के लिए एक विशाल, अंतहीन कहानी पढ़ता है। आमतौर पर, यह लाइब्रेरियन कहानी के हर एक शब्द को अपने दिमाग में रखता है, लेकिन जैसे-जैसे कहानी लंबी होती जाती है, वह महत्वपूर्ण हिस्सों को भूलने लगता है या उबाऊ, दोहराव वाले हिस्सों से भ्रमित हो जाता है।

अधिकांश आधुनिक AI लाइब्रेरी इसे केवल धीरे-धीरे "भूलने" के तरीके से हल करने की कोशिश करती हैं, जैसे कि ज्वार-भाटे से एक रेत के महल को धीरे-धीरे मिटने देना। वे एक शब्द की स्मृति को छोटा करते जा रहे हैं, लेकिन यह अव्यवachtig है। रेत अभी भी वहीं है, बस छोटी हो गई है, और आप 100% निश्चित नहीं हो सकते कि वह पूरी तरह गायब है।

इस शोध पत्र के लेखक, विश्वाजीत रमेश और उनकी टीम ने एक नए प्रकार का लाइब्रेरियन बनाया है जिसे SV-Attention कहा जाता है। एक रेत के महल के बजाय, उन्होंने एक सख्त बाउंसर बनाया है जिसके पास एक विशेष नियम पुस्तिका है।

बाउंसर की नियम पुस्तिका: "शून्य या पूर्ण"

यह लाइब्रेरियन केवल यादों को छोटा नहीं करता; यह निर्णय लेता है कि क्या कोई शब्द इतना महत्वपूर्ण है कि उसे रखा जाए या नहीं। यह एक चतुर गणितीय ट्रिक (एक वन-क्लास सपोर्ट वेक्टर मशीन) का उपयोग करता है ताकि कहानी के शब्दों को देखता है और उन्हें दो ढेरों में विभाजित करता है:

VIPs: वे शब्द जो अद्वितीय या महत्वपूर्ण हैं। इन्हें एक पूर्ण, तेज़ आवाज़ मिलती है।
Ghosts (भूत): वे शब्द जो उबाऊ, दोहराव वाले, या केवल शोर हैं। इन्हें एक परफेक्ट ज़ीरो (पूर्ण शून्य) मिलता है।

यहाँ जादू है: यदि किसी शब्द को ज़ीरो मिलता है, तो वह केवल "शांत" नहीं होता। वह गणितीय रूप से अदृश्य हो जाता है। पेपर यह सिद्ध करता है कि यदि आप एक "Ghost" शब्द को हटा देते हैं, तो आपके सवाल का जवाब बिल्कुल वैसा ही रहता है जैसा कि वह शब्द वहां कभी था ही नहीं। यह ऐसा है जैसे आपने एक किताब से एक पन्ना मिटा दिया हो, और कहानी में कोई बदलाव नहीं आया क्योंकि वह पन्ना पिछले पन्ने की ही एक खाली प्रति थी।

"परफेक्ट इरेज़र" (पूर्ण मिटाने वाला)

पेपर दिखाता है कि यह लाइब्रेरियन एक विशिष्ट शब्द को मिटा सकता है और यह 100% सुनिश्चित हो सकता है कि वह मिट गया है।

परीक्षण: उन्होंने एक कहानी से एक "गुप्त" शब्द को मिटाने की कोशिश की। पुराना तरीका (स्मृति को छोटा करना) अभी भी उस गुप्त शब्द को 80% बार झाँकने देता था, भले ही उन्होंने उसे बहुत छोटा करने की कोशिश की हो।
SV-Attention का तरीका: जब उन्होंने गुप्त शब्द को हटाया, तो वह पूरी तरह गायब हो गया। लाइब्रेरियन का उत्तर एक अरबवें हिस्से से भी कम बदला (लगभग $10^{-9}$ ), जो कि लगभग शून्य है।
गारंटी: वे इसे "सटीक अनलर्निंग" (exact unlearning) कहते हैं। यह कोई अनुमान नहीं है। यह एक प्रमाण पत्र है। यदि आप लाइब्रेरियन को किसी विशेष मरीज का रिकॉर्ड भूलने के लिए कहते हैं (जैसे अस्पताल में), तो यह साबित कर सकता है कि इसने उस रिकॉर्ड को बिना किसी निशान के मिटा दिया है, जबकि अन्य मरीजों के रिकॉर्ड को सुरक्षित रखा है।

"बाउंसर" बनाम "पॉपुलर किड"

पेपर ने यह भी परीक्षण किया कि जब कहानी डुप्लिकेट्स से भरी हो, तो यह लाइब्रेरियन सही शब्दों को चुनने में कितना अच्छा है।

पुराना तरीका (Heavy-Hitter): कल्पना कीजिए कि एक बाउंसर है जो केवल "लोकप्रिय बच्चों" को अंदर आने देता है—वे शब्द जो सबसे अधिक बार आते हैं। यदि एक कहानी में "the" शब्द की 100 क प्रतियां हैं और केवल एक दुर्लभ, महत्वपूर्ण शब्द जैसे "explosion" की एक प्रति है, तो पुराना बाउंसर "explosion" को बाहर निकाल देता है क्योंकि "the" अधिक लोकप्रिय है।
SV-Attention का तरीका: यह बाउंसर अद्वितीय चीजों को खोजता है। दुर्लभ वस्तुओं के परीक्षणों में, पुराने तरीके ने उन्हें केवल 32% बार रखा। नया बाउंसर उन्हें 86% बार रखता है। यह एक ऐसे बाउंसर की तरह है जो भीड़ को अनदेखा करता है और केवल उस एक व्यक्ति को अंदर आने देता है जिसने नियॉन टोपी पहनी है।

कमी: यह थोड़ा धीमा है

यहाँ वह हिस्सा है जहाँ पेपर कहता है, "अभी बहुत उत्साहित न हों।"
जबकि यह लाइब्रेरियन बहुत स्मार्ट है और चीज़ों को मिटाने में परफेक्ट है, यह धीमा है।

एक मानक कंप्यूटर चिप पर, यह सबसे तेज़, मानक अटेंशन विधि की तुलना में लगभग 36 गुना धीमा है।
यह छोटी समस्याओं या विशिष्ट कार्यों (जैसे मेडिकल रिकॉर्ड या दुर्लभ तथ्यों को खोजने) के लिए सबसे अच्छा काम करता है, लेकिन पेपर स्वीकार करता है कि यह अभी बड़े चैटबॉट्स में उपयोग किए जाने वाले सुपर-फास्ट अटेंशन को बदलने के लिए तैयार नहीं है।
लेखकों ने एक छोटे भाषा मॉडल (3.22 मिलियन पैरामीटर्स) पर इसका परीक्षण किया और पाया कि यह अगले शब्द की भविष्यवाणी करने में थोड़ा बेहतर था, लेकिन जब उन्होंने इसे एक बड़े मॉडल (10 मिलियन पैरामीटर्स) पर आजमाया, तो इसका लाभ गायब हो गया। उनका सुझाव है कि ऐसा इसलिए है क्योंकि जब कहानी बहुत बड़ी हो जाती है, तो "बाउंसर" को सीखने में बहुत समय लगता है।

यह क्या नहीं है

पेपर बहुत स्पष्ट है कि यह तकनीक क्या नहीं करती है:

यह जादू से AI को तेज़ नहीं बनाती। वास्तव में, यह धीमी है।
यह हर प्रकार की मेमोरी के लिए काम नहीं करती है। यदि किसी कहानी में कोई दोहराव वाले शब्द या उबाऊ हिस्से नहीं हैं, तो बाउंसर ज्यादा मदद नहीं करता।
यह कानूनी अर्थ में गोपनीयता (privacy) की गारंटी नहीं देता (जैसे कि यह साबित करना कि कोई यह अनुमान नहीं लगा सकता कि डेटा में कौन था)। यह केवल यह गारंटी देता है कि AI का आउटपुट उस शब्द को हटाने से नहीं बदलता है। आपको गोपनीयता कानूनों के लिए अन्य परीक्षणों की आवश्यकता होगी।

निचोड़

पेपर एक नए तरीके को पेश करता है जिससे AI चीजों को याद रखता है, जो भूलने में गणितीय रूप से पूर्ण है। यदि आपको किसी विशिष्ट जानकारी को मिटाने की आवश्यकता है और यह सुनिश्चित करने की आवश्यकता है कि वह पूरी तरह से मिट गई है—जैसे कि किसी मरीज का रिकॉर्ड मिटाना या किसी गलत तथ्य को सुधारना—तो यह "बाउंसर" पहला उपकरण है जो आपको एक प्रमाण पत्र दे सकता है कि, "मैं वादा करता हूँ, यह मिट गया है।"

यह विशिष्ट कार्यों के लिए एक शक्तिशाली उपकरण है जहाँ मिटाने के बारे में सही होना गति से अधिक महत्वपूर्ण है, लेकिन फिलहाल, यह एक विशेष गैजेट है, पूरे पुस्तकालय का विकल्प नहीं।

तकनीकी सारांश: फॉर्गेटफुल अटेंशन: एक ट्रेन करने योग्य सपोर्ट-वेक्टर मेमोरी विथ सर्टिफाइड सिलेक्शन एंड एग्जैक्ट अनलर्निंग

समस्या विवरण

वर्तमान टेस्ट-टाइम लर्निंग (TTL) अटेंशन तंत्र, जैसे कि डेल्टानेट (DeltaNet), लीनियर अटेंशन, और सिलेक्टिव स्टेट-स्पेस मॉडल, अनकन्स्ट्रेंड (unconstrained), डेंस मेमोरी स्टेट्स (आमतौर पर लीस्ट-स्क्वायर्स या रिकरेंट) को बनाए रखकर कार्य करते हैं। इन प्रणालियों में, प्रत्येक टोकन का एक गैर-शून्य (non-zero) भार बना रहता है, और टोकन को हटाने का एकमात्र तंत्र एक्सपोनेंशियल डिके (exponential decay) है। यह दृष्टिकोण दो मौलिक सीमाएँ प्रस्तुत करता है:

प्रमाणित चयन का अभाव (Lack of Certified Selection): ऐसा कोई सिद्धांतगत तरीका नहीं है जिससे यह निर्धारित किया जा सके कि किन कॉन्टेक्स्ट टोकन्स को बिना मॉडल के आउटपुट को बदले हटाया जा सकता है। मौजूदा प्रूनिंग ह्यूरिस्टिक्स (जैसे H2O, SnapKV) स्कोर किए गए मेट्रिक्स पर निर्भर करते हैं जिनमें यह गारंटी नहीं होती कि इविक्शन (eviction) से रीडआउट सुरक्षित रहेगा।
अपूर्ण अनलर्निंग (Imperfect Unlearning): नियामक आवश्यकताएं (जैसे GDPR का राइट टू इरेज़र) और क्लिनिकल ज़रूरतें किसी विशिष्ट टोकन के प्रभाव को पूरी तरह से मिटाने की मांग करती हैं। ग्रेडिएंट-आधारित अनलर्निंग विधियाँ (जैसे ग्रेडिएंट एसेंट, कोएफिशिएंट स्केलिंग) अवशेष प्रभाव (residual influences) छोड़ देती हैं जिन्हें नियंत्रित करना और ऑडिटर्स को सिद्ध करना कठिन होता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र सपोर्ट वेक्टर अटेंशन (SV-Attention) पेश करता है, जो एक कंस्ट्रेंड, मैक्स-मार्जिन मेमोरी लेयर है, जो अटेंशन को कॉन्टेक्स्ट कीज़ (context keys) पर फिट होने वाले एक वन-क्लास सपोर्ट वेक्टर डेटा डिस्क्रिप्शन (SVDD) समस्या के रूप में पुनर्गठित करता है।

मुख्य तंत्र (Core Mechanism)

कॉन्टेक्सट कीज़ $x_i$ और वैल्यूज़ $v_i$ को देखते हुए, SV-Attention एक वेटेड एवरेज की गणना करता है जहाँ वेट्स एक वन-क्लास SVM के सपोर्ट कोएफिशिएंट्स $\alpha$ हैं:
$o(q) = \frac{\sum_i \alpha_i \kappa(q, x_i) v_i}{\sum_i \alpha_i \kappa(q, x_i)}$
कोएफिशिएंट्स $\alpha$ एक फिक्स्ड बॉक्स पैरामीटर $C$ के साथ एक कॉनवेक्स क्वाड्रेटिक प्रोग्राम को हल करते हैं:
$\min_{\alpha} \alpha^\top K \alpha - \text{diag}(K)^\top \alpha \quad \text{s.t.} \quad \sum \alpha_i = 1, \quad 0 \le \alpha_i \le C$
जहाँ $K$ की ग्राम मैट्रिक्स (Gram matrix) है।

एक्टिव-सेट पार्टीशन (The Active-Set Partition)

समाधान KKT (Karush–Kuhn–Tucker) स्थितियों के आधार पर टोकन्स को तीन सेटों में विभाजित करता है:

मार्जिन सेट ( $S$ ): $0 < \alpha_i < C$ । ये टोकन्स रीडआउट को वहन करते हैं।
एरर सेट ( $E$ ): $\alpha_i = C$ । बाउंड्री या आउटलायर कीज़।
रिजर्व सेट ( $R$ ): $\alpha_i = 0$ । डिस्क्रिप्शन के भीतर के टोकन्स।

प्रमाणित चयन (Certified Selection): कॉम्प्लीमेंटरी स्लैकनेस (complementary slackness) द्वारा, रिजर्व सेट ( $R$ ) के टोकन्स का भार बिल्कुल शून्य होता है। उन्हें हटाना प्रमाणित रूप से आउटपुट-प्रिजर्विंग (output-preserving) है।
सटीक विस्मरण (Exact Forgetting): सिस्टम एक इंक्रीमेंटल सॉल्वर (Cauwenberghs & Poggio, 2000) का उपयोग करता है जो बॉर्डरड KKT मैट्रिक्स के इनवर्स को बनाए रखता है। यह निम्नलिखित की अनुमति देता है:

इंक्रीमेंटल एडिशन: KKT स्थितियों को बनाए रखते हुए एक टोकन जोड़ना।
डिक्रीमेंटल रिमूवल: टोकन को हटाने के लिए प्रक्रिया को उलटना, जिससे सॉल्वर उसी सटीक अवस्था में वापस आ जाता है जिसमें वह तब होता यदि उस टोकन को कभी देखा ही न गया होता (समान फिक्स्ड $C$ के तहत)।

प्रशिक्षण और कार्यान्वयन (Training and Implementation)

शोध पत्र दो अलग-अलग संख्यात्मक पथों (numerical paths) का उपयोग करता है:

एग्जैक्ट मेंटेन्ड पाथ (fp64): इंफरेंस और सर्टिफिकेट वेरिफिकेशन के लिए उपयोग किया जाता है। यह KKT इनवर्स को बनाए रखता है, जो एक कस्टम बैकवर्ड पास को सक्षम बनाता है जो इस इनवर्स का पुन: उपयोग करता है (दूसरे सॉल्व की आवश्यकता नहीं होती) और सटीक डिक्रीमेंटल डिलीशन का समर्थन करता है।
स्टेबलाइज्ड बैचड पाथ (प्रशिक्षण): GPU पर प्रशिक्षण सक्षम करने के लिए, लेखक एक अलग सन्निकटन (approximation) का उपयोग करते हैं। यह एक्टिव-सेट मास्क का अनुमान लगाने के लिए एक बैचड FISTA सॉल्वर का उपयोग करता है, उसके बाद कोएफिशिएंट्स के लिए एक रिज-रेगुलराइज्ड ( $10^{-3}$ ) torch.linalg.solve का उपयोग किया जाता है। यह पाथ ऑटोग्रेड (autograd) के माध्यम से डिफरेंशिएबल है लेकिन सटीक डिलीशन सर्टिफिकेट या KKT इनवर्स का पुन: उपयोग प्रदान नहीं करता है।

एक हाइब्रिड लेयर इन्हें जोड़ती है: एक लॉन्ग-रेंज ग्लोबल मेमोरी (जिसे सटीक पथ या उसके सन्निकटन द्वारा हल किया जाता है) प्रीफिक्स को संभालती है, जबकि एक डेंस लोकल पाथ (स्टैंडर्ड सॉफ्टमैक्स) वर्तमान चंक को संभालती है।

मुख्य योगदान (Key Contributions)

सटीक विस्मरण (Exact Forgetting): fp64 द्वारा मेंटेन किया गया सॉल्वर "परफेक्ट" अनलर्निंग प्राप्त करता है, जिसे डेटा के बिना पुनः प्रशिक्षित (retraining) करने के समान परिभाषित किया गया है। प्रयोग दिखाते हैं कि डिक्रीमेंटल रिमूवल, रिट्रेंड मॉडल की तुलना में समान एक्टिव-सेट पार्टीशन और डिसीजन फंक्शन (मीडियन डेविएशन $\sim 10^{-9}$ से $10^{-13}$ ) को रिकवर करता है, बशर्ते ऑप्टिमम अद्वितीय हो।
प्रमाणित चयन (Certified Selection): एक्टिव-सेट पार्टीशन एक ह्यूरिस्टिक स्कोर के बजाय एक गणितीय प्रमाण के रूप में कार्य करता है। रिजर्व टोकन्स को हटाना गारंटी देता है कि आउटपुट नहीं बदलेगा।
ट्रेन करने योग्य मैक्स-मार्जिन मेमोरी: लेखक एक कस्टम बैकवर्ड पास का उपयोग करके एक प्रेडिक्टेबल लेयर का प्रदर्शन करते हैं जो फॉरवर्ड-मेंटेन किए गए KKT इनवर्स का पुन: उपयोग करता है, जिससे सटीक पथ के लिए दूसरे सिस्टम सॉल्व की कम्प्यूटेशनल लागत बच जाती है।
वास्तविक क्षमताएं: सिस्टम MIMIC-IV ICU स्ट्रीम्स पर सर्जिकल फैक्ट फॉरगेटिंग, सटीक नॉलेज एडिटिंग, और "राइट-टू-बी-फॉर्गॉटन" पेशेंट रिकॉर्ड डिलीशन को ज़ीरो लीकेज के साथ प्रदर्शित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

सटीक विस्मरण सत्यापन (Exact Forgetting Verification)

पार्टीशन मैच: गौसियन, वास्तविक MIMIC-IV, और प्रशिक्षित-मॉडल कीज़ पर, डिक्रीमेंटल पाथ ने रिट्रेंड मॉडल के समान एक्टिव-सेट पार्टीशन को 98–100% ट्रायल्स (यूनिक ऑप्टिमा) में रिकवर किया।
डिसीजन फंक्शन डेविएशन: डिक्रीमेंटल सॉल्यूशन और रिट्रेंड सॉल्यूशन के बीच मीडियन डेविएशन $\sim 10^{-9}$ (गौसियन/ICU) और $10^{-13}$ (लर्न कीज़) था। सबसे खराब मामला ( $1.1 \times 10^{-2}$ ) केवल इल-कंडीशनड (ill-conditioned) नियर-डुप्लिकेट स्ट्रीम्स में देखा गया।
डिके के साथ तुलना: कोएफिशिएंट डिके (मानक बेसलाइन) ने ऑर्डर्स ऑफ मैग्नीट्यूड बड़े डेविएशन ( $10^{-2}$ से $10^{-1}$ ) दिखाए क्योंकि यह शेष टोकन्स को पुनः हल नहीं करता है।

प्रमाणित चयन प्रदर्शन (Certified Selection Performance)

रेयर आइटम रिकॉल: स्क्यूड रेडंडेंसी के तहत, प्रमाणित चयन ने 0.86 रिकॉल के साथ दुर्लभ वस्तुओं को बनाए रखा, जबकि H2O-स्टाइल हैवी-हिटर इविक्शन ने 0.32 दिखाया (भले ही H2H2O के पास ऑरेकल एक्सेस हो)।

एडाप्टिव स्टेट: बढ़ते फिलर के साथ सिलेक्टिव कॉपीइंग कार्यों में, SV-Attention ने $\sim 0.99$ रिकॉल बनाए रखा जबकि सपोर्ट सेट का आकार सीमित (11–14 टोकन्स) रहा, जबकि फिक्स्ड-स्टेट बेसलाइन्स (DeltaNet, linear) चांस (chance) पर गिर गए।

ICU स्ट्रीम्स: MIMIC-IV डेटा पर, प्रमाणित चयन ने एक मैचड बजट पर 0.80 क्रिटिकल डिटेरियॉरेशन ऑवर्स को बनाए रखा, जबकि हैवी-हिटर इविक्शन के लिए यह 0.05 था।

लैंग्वेज मॉडलिंग प्रदर्शन (Language Modeling Performance)

छोटे पैमाने पर (3.22M params): enwik8 पर, हाइब्रिड SV-Attention ने 2.178 BPC प्राप्त किया, जबकि एक मैचड-स्टेट स्लाइडिंग-विंडो ट्रांसफार्मर (8.6% सुधार, $p=0.001$ ) ने 2.383 BPC दिया।

स्केलेबिलिटी: 10M पैरामीटर्स पर, लाभ समाप्त हो गया (wash), जिसका कारण यह है कि चंक-फ्रोजन गेट, बड़े स्केल पर सॉफ्टमैक्स की तुलना में धीरे और कम स्थिरता से कन्वर्ज होता है।

थ्रूपुट: 3.22M मॉडल पर हाइब्रिड ट्रेनिंग पाथ 9,125 टोकन्स/सेकंड तक पहुँचता है, जो कि स्टैंडर्ड MPS सॉफ्टमैक्स रेफरेंस से 35.8× धीमा है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र SV-Attention को एक सामान्य-उद्देश्य वाले अटेंशन के विकल्प के रूप में नहीं, बल्कि एक विशेष तंत्र के रूप में स्थापित करता है जिसकी आवश्यकता उन परिदृश्यों में होती है जहाँ ऑडिटेबल गारंटी की आवश्यकता होती है।

नियामक और क्लिनिकल मूल्य: प्राथमिक महत्व एक ऐसे तंत्र को प्रदान करने में है जहाँ टोकन हटाना प्रमाणित (provable) है न कि अनुमानित। उन अनुप्रयोगों के लिए जो "राइट टू बी फॉर्गॉटन" या क्लिनिकल सहमति वापसी के अधीन हैं, यह प्रदर्शित करने की क्षमता कि मॉडल का आउटपुट गणितीय रूप से उस मॉडल के समान है जिसने डेटा कभी देखा ही नहीं था, इसे ग्रेडिएंट-आधारित अनलर्निंग से अलग करता है।

संरचनात्मक लाभ: शोध पत्र तर्क देता है कि मैक्स-मार्जिन कंस्ट्रेंट एक संरचनात्मक "एक्टिव सेट" पेश करता है जो डेंस लीस्ट-स्क्वायर्स मेमोरीज़ में नहीं होता। यह संरचना आउटलेर्स के प्रमाणित चयन और सटीक विस्मरण की अनुमति देती है, जो रेडंडेंट, एनोमली-ड्रिवन स्ट्रीम्स (जैसे मेडिकल वाइटल्स, बॉयलरप्लेट डॉक्यूमेंट्स) में विशेष रूप से मूल्यवान है।

सीमाएँ: लेखक स्पष्ट रूप से कहते हैं कि सटीक डिलीशन सर्टिफिकेट केवल लॉन्ग-रेंज ग्लोबल मेमोरी के लिए लागू होता है जिसे सटीक fp64 पाथ द्वारा हल किया गया है। लोकल चंक पाथ और बैचड ट्रेनिंग एप्रोक्सिमेशन इस सर्टिफिकेट को नहीं रखते हैं। इसके अलावा, प्रदर्शन लाभ वर्तमान में छोटे पैमाने के लैंग्वेज मॉडलिंग तक सीमित है, और सिस्टम मानक अटेंशन कार्यान्वयन की तुलना में काफी धीमा है।

संक्षेप में, SV-Attention कच्चे थ्रूपुट या बड़े पैमाने की पर्प्लेक्सिटी डोमिनेंस के बजाय प्रमाणित गुणों (certifiable properties) के लिए ट्रेड-ऑफ करता है: यह सिद्ध करने की क्षमता कि विशिष्ट टोकन अनदेखे हैं (चयन) और विशिष्ट टोकन को पूरी तरह से मिटाया जा गया है (अनलर्निंग)।