← नवीनतम पेपर
🤖 AI

S2O: Early Stopping for Sparse Attention via Online Permutation

S2O एक नवीन स्पार्स-अटेंशन विधि है जो गैर-निरंतर उच्च-प्राथमिकता वाले टोकन को लोड करने के लिए एक ऑनलाइन परम्यूटेशन को कम योगदान देने वाले ब्लॉक्स को गतिशील रूप से छोड़ने के लिए एक अर्ली-स्टॉपिंग मैकेनिज्म के साथ जोड़ती है, जिससे सटीकता बनाए रखते हुए लॉन्ग-कॉन्टेक्स्ट इन्फरेंस में कंप्यूटेशनल लागत और लेटेंसी को काफी कम किया जाता है।

मूल लेखक: Yu Zhang, Songwei Liu, Chenqian Yan, Sheng Lin, Beichen Ning, Fangmin Chen, Xing Wang

प्रकाशित 2026-05-06
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Yu Zhang, Songwei Liu, Chenqian Yan, Sheng Lin, Beichen Ning, Fangmin Chen, Xing Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक एकल प्रश्न का उत्तर देने के लिए 128,000 पृष्ठों वाली एक विशाल पुस्तक (एक "लॉन्ग कॉन्टेक्स्ट") पढ़ने की कोशिश कर रहे हैं। AI की दुनिया में, एक लार्ज लैंग्वेज मॉडल (LLM) बिल्कुल यही करता है।

समस्या यह है कि पारंपरिक AI मॉडल कनेक्शन खोजने के लिए हर एक पृष्ठ की हर दूसरे पृष्ठ के साथ तुलना करने का प्रयास करते हैं। यह पुस्तक के हर शब्द की तुलना उसके हर दूसरे शब्द से करने के समान है। जैसे-जैसे पुस्तक लंबी होती जाती है, न केवल आवश्यक कार्य बढ़ता है; बल्कि वह विस्फोट की तरह बढ़ता जाता है। यह वह "क्वाड्रेटिक बॉटलनेक" (quadratic bottleneck) है जिसका उल्लेख पेपर में किया गया है।

गति बढ़ाने के लिए, इंजीनियरों ने "स्पार्स अटेंशन" (sparse attention) का उपयोग करने की कोशिश की है। कल्पना कीजिए कि आप AI को कह रहे हैं: "पूरी किताब मत पढ़ो; केवल उन अध्यायों को पढ़ो जो महत्वपूर्ण लगते हैं।" हालाँकि, वर्तमान तरीके पूरे अध्यायों को एक साथ पढ़ने जैसे हैं। भले ही कोई अध्याय काफी उबाऊ हो, एक बार जब AI यह तय कर लेता है कि अध्याय "महत्वपूर्ण" है, तो वह उसमें मौजूद हर शब्द को पढ़ता है। इससे उन अध्यायों के भीतर बहुत अधिक प्रयास बर्बाद होता है।

यहाँ S2O (ऑनलाइन परम्यूटेशन के माध्यम से स्पार्स अटेंशन) काम आता है।

इस पेपर के लेखक पुस्तक को पढ़ने का एक स्मार्ट तरीका प्रस्तावित करते हैं। वे आगे कैसे बढ़ते हैं, इसे सरल उपमाओं का उपयोग करके यहाँ समझाया गया है:

1. "लाइब्रेरी कैटलॉग" बनाम किताबों को हिलाना

एक ऐसी लाइब्रेरी की कल्पना करें जहाँ किताबें भारी हैं और उन्हें हिलाना कठिन है।

  • पुराने तरीके (ऑफलाइन परम्यूटेशन): सबसे महत्वपूर्ण किताबों को खोजने के लिए, आप सबसे महत्वपूर्ण किताबों को शेल्फ के सामने और उबाऊ किताबों को पीछे की ओर शारीरिक रूप रूप से स्थानांतरित करते हैं। शेल्फ को फिर से व्यवस्थित करने में ही बहुत समय और प्रयास लगता है।
  • S2O (ऑनलाइन परम्यूटेशन): भारी किताबों को हिलाने के बजाय, आप एक छोटा, हल्का कैटलॉग कार्ड (संख्याओं की एक सूची) बनाते हैं। यह कार्ड लाइब्रेरियन को बताता है: "शेल्फ 5 पर जाएँ, फिर शेल्फ 102 पर कूदें, फिर शेल्फ 4 पर जाएँ।" आप किताबों को नहीं हिलाते; आप केवल उनके पास जाने के क्रम को बदलते हैं। यह "ऑनलाइन परम्यूटेशन" है। यह अविश्वसनीय रूप से तेज़ है क्योंकि आप भारी डेटा को इधर-उधर घुमा नहीं रहे हैं, बल्कि केवल निर्देशों की एक छोटी सूची पढ़ रहे हैं।

2. "स्ट्राइप" (धारियों) की खोज

शोधकर्ताओं ने गौर किया कि AI कैसे "सोचता" है, इसके बारे में एक दिलचस्प बात। जब आप AI के अटेंशन मैप (एक हीटमैप जो दिखाता है कि वह किस पर ध्यान देता है) को देखते हैं, तो यह महत्व के ठोस ब्लॉकों जैसा नहीं दिखता। इसके बजाय, यह पतली धारियों या रेखाओं जैसा दिखता है।

  • समस्या: वर्तमान तरीके "ब्लॉक्स" (जैसे पृष्ठ का एक वर्गाकार टुकड़ा) में पढ़ते हैं। यदि एक ब्लॉक में महत्व की एक पतली स्ट्राइप (धार) है, तो AI अभी भी उस पूरे ब्लॉक को पढ़ता है, जिससे स्ट्राइप के आसपास के खाली स्थान पर समय बर्बाद होता है।
  • S2O समाधान: चूंकि S2O "कैटलॉग कार्ड" का उपयोग करके इधर-उधर कूद सकता है, इसलिए यह ठीक उन्हीं शब्दों को चुन सकता है जो इन पतली धारियों का निर्माण करते हैं और उनके बीच के खाली स्थान को अनदेखा कर सकता है। यह AI के ध्यान को जानकारी के "सार" (meat) पर पहले से कहीं अधिक सटीक रूप से केंद्रित करता है।

3. "अर्ली स्टॉप" (जल्दी रुकने) का नियम

यह दूसरा प्रमुख तरीका है।

  • पुराना तरीका: AI निर्णय लेता है: "मैं सबसे महत्वपूर्ण शीर्ष 10% पृष्ठ पढ़ूँगा," और फिर खुद को उन सभी को पढ़ने के लिए मजबूर करता है, भले ही उस शीर्ष 10% के अंतिम पृष्ठ पढ़ने लायक भी न हों।
  • S2O का तरीका: AI महत्व के क्रम में पृष्ठों को पढ़ता है (कैटलॉग कार्ड की मदद से)। यह कितनी "वैल्यू" (मूल्य) उसने एकत्र की है, इसका एक रनिंग स्कोर रखता है। जैसे ही वह एक नए पृष्ठ पर पहुँचता है जो लगभग कोई नया मूल्य नहीं जोड़ता (स्कोर एक सूक्ष्म सीमा से नीचे गिर जाता है), वह कहता है: "रुक जाओ! हमारे पास पर्याप्त है।" वह पूरी सूची को पूरी तरह से छोड़ देता है। यह "अर्ली स्टॉपिंग" है।

परिणाम: एक तेज़, स्मार्ट रीडर

इन दोनों ट्रिक्स (सही जगहों पर कूदना और वैल्यू गिरने पर रुक जाना) को मिलाकर, S2O वह हासिल करता है जिसे पेपर में "हायर स्पार्सिटी सीलिंग" (higher sparsity ceiling) कहा गया है।

Llama-3.1-8B मॉडल के साथ 128K कॉन्टेक्स्ट (एक बहुत लंबी पुस्तक) के परीक्षणों में:

  • सटीकता (Accuracy): इसने समान मात्रा में कार्य करते समय अन्य तरीकों की तुलना में कम गलतियाँ (कम त्रुटि) कीं।
  • गति (Speed): यह मानक पद्धति की तुलना में एंड-टू-एंड कार्य को पूरा करने में 3.81 गुना तेज़ था।
  • दक्षता (Efficiency): इसने समान स्तर की सटीकता बनाए रखते हुए आवश्यक कम्प्यूटेशनल प्रयास को 3.31 के कारक से कम कर दिया।

संक्षेप में: S2O एक अत्यंत कुशल लाइब्रेरियन की तरह है जो किताबों को इधर-उधर नहीं हिलाता, बल्कि केवल उन्हीं शब्दों पर जाने के लिए एक बुद्धिमान, गतिशील सूची का उपयोग करता है जो वास्तव में मायने रखते हैं, और उसे ठीक पता होता है कि कब पढ़ना बंद करना है क्योंकि बाकी किताब कुछ भी नया नहीं जोड़ेगी। यह AI को बहुत अधिक मात्रा में टेक्स्ट को बहुत तेज़ी से और अधिक सटीकता से संसाधित करने की अनुमति देता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →