← नवीनतम पेपर
🤖 machine learning

SOCKET: SOft Collision Kernel EsTimator for Sparse Attention

यह शोध पत्र SOCKET को प्रस्तुत करता है, जो एक नवीन स्पार्स अटेंशन मैकेनिज्म है जो कुशल, मेमोरी-लाइट टोकन चयन को सक्षम करने के लिए पारंपरिक हार्ड लोकैलिटी-सेंसिटिव हैशिंग को एक संभाव्य सॉफ्ट कोलिजन कर्नेल से बदल देता है और लॉन्ग-कॉन्टेक्स्ट इन्फरेंस के दौरान FlashAttention की तुलना में 1.5x तक अधिक थ्रूपुट प्राप्त करता है।

मूल लेखक: Sahil Joshi, Agniva Chowdhury, Wyatt Bellinger, Amar Kanakamedala, Ekam Singh, Hoang Anh Duy Le, Aditya Desai, Anshumali Shrivastava

प्रकाशित 2026-05-11
📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें
CC BY 4.0

मूल लेखक: Sahil Joshi, Agniva Chowdhury, Wyatt Bellinger, Amar Kanakamedala, Ekam Singh, Hoang Anh Duy Le, Aditya Desai, Anshumali Shrivastava

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप लाखों पन्नों की एक किताब में सबसे महत्वपूर्ण वाक्य खोजने की कोशिश कर रहे हैं। यदि आपको उस एक वाक्य को खोजने के लिए हर एक पन्ना पढ़ना पड़ा, तो इसमें अनंत समय लगेगा और इसके लिए भारी मात्रा में मेमोरी की आवश्यकता होगी। यह वह समस्या है जिसका सामना लार्ज लैंग्वेज मॉडल्स (LLMs) तब करते हैं जब वे बहुत लंबी बातचीत या दस्तावेजों को समझने की कोशिश करते हैं। वे "फँस" जाते हैं क्योंकि वे उन हर एक शब्द पर ध्यान देने की कोशिश करते हैं जिन्हें उन्होंने कभी देखा है, जिससे उनकी गति धीमी हो जाती है और उनकी कंप्यूटर मेमोरी भर जाती है।

यह शोध पत्र इस समस्या को हल करने के लिए SOCKET (SOft Collision Kernel EsTimator) नामक एक नया टूल पेश करता है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है:

समस्या: "हार्ड" बनाम "सॉफ्ट" सर्च

गति बढ़ाने के लिए, पिछले तरीकों ने अधिकांश शब्दों को अनदेखा करने और केवल कुछ "महत्वपूर्ण" शब्दों पर ध्यान केंद्रित करने की कोशिश की। उन्होंने LSH (Locality-Sensitive Hashing) नामक तकनीक का उपयोग किया।

  • पुराना तरीका (Hard LSH): कल्पना कीजिए कि आप एक विशाल स्टेडियम में अपने दोस्त को ढूंढ रहे हैं। पुराना तरीका सभी को एक सरल नियम के आधार पर बकेटों (buckets) में डाल देता है: "यदि आपने लाल शर्ट पहनी है, तो बकेट A में जाएँ।"

    • यदि आपका दोस्त बकेट A में है, तो आप उसे देखते हैं।
    • यदि वह बकेट B में है, तो आप उसे पूरी तरह से अनदेखा कर देते हैं।
    • खामी: यह बहुत कठोर है। आपका दोस्त गुलाबी शर्ट पहन सकता है (जो लाल के बहुत करीब है) लेकिन उसे बकेट B में डाल दिया जाता है। पुराना तरीका उन्हें पूरी तरह से अनदेखा कर देता है, भले ही वे सबसे महत्वपूर्ण व्यक्ति हों जिन्हें आपको ढूंढना है। यह एक "हाँ या ना" वाले स्विच की तरह है जो अक्सर गलत तरीके से काम करता है।

  • नया तरीका (SOCKET / Soft LSH): SOCKET नियमों को बदल देता है। "हाँ या ना" के बजाय, यह एक "प्रोबेबिलिटी डायल" (संभावना का डायल) का उपयोग करता है।

    • जब आप अपने दोस्त को ढूंढते हैं, तो सिस्टम केवल एक बकेट की जाँच नहीं करता है। वह पूछता है: "इस बात की कितनी संभावना है कि यह व्यक्ति बकेट A में है? बकेट B में? बकेट C में?"
    • यदि आपके दोस्त ने गुलाबी शर्ट पहनी है, तो सिस्टम कहता है, "इस बात की 70% संभावना है कि वे बकेट A में हैं, और 30% संभावना है कि वे बकेट B में हैं।"
    • इसके बाद यह कई अलग-अलग बकेटों से इन "संभावना स्कोर" (likelihood scores) को जोड़कर एक अंतिम स्कोर बनाता है।

यह क्यों महत्वपूर्ण है: "वोटिंग" की उपमा

पुराने तरीके को एक कठोर मतदान प्रणाली की तरह समझें जहाँ या तो आपको वोट मिलता है या नहीं मिलता। यदि आप कट-ऑफ से चूक जाते हैं, तो आपको शून्य समर्थन मिलता है, भले ही आप उसके बहुत करीब थे।

SOCKET एक वेटेड लोकप्रियता प्रतियोगिता (weighted popularity contest) की तरह है। बाइनरी जीत/हार के बजाय, प्रत्येक उम्मीदवार को कई श्रेणियों में मिले "वोटों" (या प्रोबेबिलिटी बिट्स) के आधार पर एक स्कोर मिलता है।

  • स्थिरता (Stability): क्योंकि यह इन सुचारू, क्रमिक स्कोर का उपयोग करता है, इसलिए "सबसे महत्वपूर्ण" कौन है, इसकी रैंकिंग बहुत अधिक स्थिर होती है। पुराना तरीका केवल एक मामूली यादृच्छिक बदलाव के कारण सबसे महत्वपूर्ण शब्द #1 और #2 के बीच अंतर कर सकता है। SOCKET क्रम को स्थिर रखता है क्योंकि यह केवल काले और सफेद को नहीं, बल्कि "ग्रे के शेड्स" (शेड्स ऑफ ग्रे) को भी देखता है।

परिणाम: तेज़ और स्मार्ट

इस "सॉफ्ट" स्कोरिंग पद्धति का उपयोग करके, SOCKET यह कर सकता है:

  1. सही शब्दों को तेज़ी से ढूँढना: इसे पूरा किताब पढ़ने की ज़रूरत नहीं है; यह केवल इसके स्मार्ट स्कोरिंग सिस्टम द्वारा पहचाने गए शीर्ष उम्मीदवारों को देखता है।
  2. कम मेमोरी का उपयोग करना: इसे निर्णय लेने के लिए भारी मात्रा में डेटा संग्रहीत करने की आवश्यकता नहीं है।
  3. अधिक सटीक होना: परीक्षणों में, इसने अत्यंत लंबे संदर्भ (जैसे 32,000 से 128,000 शब्द) में भी अन्य तरीकों के समान या उनसे बेहतर तरीके से सही जानकारी खोजी।

निचोड़

लेखकों ने इस गणित को अविश्वसनीय रूप से तेज़ बनाने के लिए एक कस्टम कंप्यूटर चिप निर्देश (एक "CUDA kernel") बनाया है। उनका दावा है कि SOCKET के साथ, AI मॉडल वर्तमान मानक तरीकों की तुलना में बिना सटीकता खोए, दस्तावेज़ों को 1.5 गुना तेज़ी से पढ़ और समझ सकते हैं।

संक्षेप में: SOCKET AI को "हाँ या ना" का अनुमान लगाने के बजाय "कितनी संभावना है?" पूछने के लिए प्रेरित करता है। यह छोटा सा बदलाव AI को विशाल मात्रा में टेक्स्ट के साथ काम करते समय बहुत अधिक कुशल, स्थिर और सटीक बनाता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →