💬 NLP

The Condensate Theorem: Transformers are O(n), Not $O(n^2)$

यह शोध पत्र "कंडेंसेट थ्योरम" (Condensate Theorem) प्रस्तुत करता है, जो यह सिद्ध करता है कि ट्रांसफार्मर अटेंशन एक सीखा हुआ टोपोलॉजिकल गुण है जिसे फुल अटेंशन के साथ 100% लॉसलेस पैरिटी प्राप्त करने के लिए गतिशील रूप से एक स्पार्स मैनिफोल्ड पर प्रोजेक्ट किया जा सकता है, जिससे भारी हार्डवेयर स्पीडअप सक्षम होता है और जटिलता $O(n^2)$ से घटकर $O(n)$ हो जाती है।

मूल लेखक: Jorge L. Ruiz Williams

प्रकाशित 2026-02-11

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Jorge L. Ruiz Williams

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

"स्पॉटलाइट" का रहस्य: AI को बिना कमज़ोर किए तेज़ कैसे बनाएं

कल्पना कीजिए कि आप 1,00,000 लोगों वाले एक विशाल, शोर-शराबे वाले संगीत समारोह में हैं। आप अपने सबसे अच्छे दोस्त के साथ बातचीत करने की कोशिश कर रहे हैं।

एक "मानक" (standard) AI मॉडल में (जैसे कि ChatGPT को चलाने वाले मॉडल), गणित इस तरह काम करता है जैसे आपको यह सुनिश्चित करने के लिए कि आप एक भी फुसफुसाहट मिस न कर दें, उस भीड़ में मौजूद हर एक व्यक्ति को एक ही समय में, एक ही वॉल्यूम पर सुनने की आवश्यकता हो। जैसे-जैसे भीड़ 1,000 से बढ़कर 1,000,000 होती जाती है, हर किसी को सुनने के लिए आवश्यक प्रयास इतना विशाल हो जाता है कि सिस्टम अंततः क्रैश हो जाता है या असंभव रूप से धीमा हो जाता है। वैज्ञानिक इसे $O(n^2)$ जटिलता (complexity) कहते हैं—जहाँ काम भीड़ के साथ तेजी से बढ़ता है।

कंडेंसेट थ्योरम (The Condensate Theorem) कहता है: "ठहरिए। हमें वास्तव में हर किसी को सुनने की ज़रूरत नहीं है। हमें केवल उन लोगों को सुनने की ज़रूरत है जो वास्तव में हमसे बात कर रहे हैं।"

मुख्य विचार: "स्मार्ट स्पॉटलाइट"

शोधकर्ता, जॉर्ज एल. रुइज़ विलियम्स ने पाया कि प्रशिक्षित AI मॉडल पहले से ही बहुत स्मार्ट तरीके से "आलसी" होते हैं। भले ही गणित AI को एक विशाल किताब के हर एक शब्द को देखने की अनुमति देता है, लेकिन AI ने प्रशिक्षण के माध्यम से केवल कुछ चुनिकी महत्वपूर्ण जगहों पर अपना "ध्यान" (attention) केंद्रित करना सीख लिया है।

वे इसे कंडेंसेट सेट (Condensate Set) कहते हैं। इसे एक अंधेरे स्टेडियम में स्पॉटलाइट की तरह समझें। भले ही स्टेडियम बहुत बड़ा है, लेकिन स्पॉटलाइट केवल तीन विशिष्ट क्षेत्रों पर पड़ती है:

द एंकर (The Anchor - "होम बेस"): बातचीत का सबसे पहला शब्द। यह एक स्थिर हाथ या "ग्लोबल बायस" की तरह कार्य करता है जिसका उपयोग AI अपनी स्थिति बनाए रखने के लिए करता है।
द विंडो (The Window - "हालिया स्मृति"): पिछली कुछ बातें जो अभी-अभी कही गई थीं। यदि आप वाक्य के बीच में हैं, तो आपका ध्यान मुख्य रूप से उन शब्दों पर होता है जो आपने अभी-अभी बोले हैं।
द डायनेमिक टॉप-के (The Dynamic Top-k - "प्रासंगिक सुराग"): यह जादुई हिस्सा है। यदि आप "पेरिस" के बारे में बात कर रहे हैं, तो AI का स्पॉटलाइट तुरंत "फ्रांस" या "एफिल टॉवर" जैसे शब्दों पर कूद जाता है, भले ही वे 50 पन्ने पहले क्यों न कहे गए हों।

यह बड़ी बात क्यों है: "संख्यात्मक सटीकता" (Numerical Exactness)

आमतौर पर, जब इंजीनियर AI को तेज़ बनाने की कोशिश करते हैं, तो वे "शॉर्टकट" का उपयोग करते हैं। यह एक किताब का सारांश पढ़ने के बजाय खुद किताब पढ़ने जैसा है। यह तेज़ है, लेकिन आप बारीकियों को खो देते हैं।

यह शोध पत्र कुछ बहुत अधिक क्रांतिकारी दावा करता है। कंप्यूटर जिस तरह से गणित को संभालते हैं (विशेष रूप से IEEE 754 फ्लोटिंग-पॉइंट नामक एक नियम), उसके कारण AI जिन शब्दों को अनदेखा करता है, वे इतने नगण्य हैं कि वे गणितीय रूप से "अदृश्य" हैं।

उपमा: कल्पना कीजिए कि आप एक तराजू पर एक विशाल क्रूज शिप (समुद्री जहाज) का वजन कर रहे हैं। यदि उस पर एक छोटी सी तितली उतरती है, तो तराजू नहीं हिलेगा। तितली "वहाँ" है, लेकिन जहाज की तुलना में उसका वजन इतना कम है कि वह डिस्प्ले पर दिखने वाले नंबर को नहीं बदलता।

शोधकर्ता ने पाया कि AI की स्मृति में "अनदेखे" शब्द बिल्कुल वैसे ही हैं जैसे वह तितली। उन्हें अनदेखा करके, आप केवल एक समान उत्तर नहीं पाते; बल्कि आप अंतिम दशमलव बिंदु तक बिल्कुल सटीक उत्तर प्राप्त करते हैं।

परिणाम: "घोंघे" से "सुपरकार" तक

इस "टोपोलॉजिकल अटेंशन" (स्मार्ट स्पॉटलाइट) का उपयोग करके, प्रदर्शन में सुधार चौंकाने वाला है:

गति में वृद्धि (The Speedup): विशाल स्तर पर (10 लाख शब्द), AI 1,200 गुना से अधिक तेज़ हो जाता है।
मेमोरी की बचत (The Memory Savings): यह "मेमोरी फुटप्रिंट" (KV कैश) को 99.9% तक कम कर देता है। यह अपने नोट्स रखने के लिए एक विशाल गोदाम की आवश्यकता होने बनाम एक सिंगल स्टिकी नोट की आवश्यकता के बीच का अंतर है।
"नीडल इन अ हेस्टैक" टेस्ट (The "Needle in a Haystack" Test): यहाँ तक कि जब जानकारी का एक छोटा सा टुकड़ा टेक्स्ट के पहाड़ में गहराई से दबा होता है, तब भी "डायनेमिक स्पॉटलाइट" उसे धीमी और महंगी विधि की तरह ही पूरी तरह से खोज लेता है।

एक वाक्य में सारांश

AI को एक साथ पूरे ब्रह्मांड को सुनने के लिए मजबूर करने के बजाय, यह थ्योरम AI को केवल महत्वपूर्ण चीजों पर ध्यान केंद्रित करने के लिए एक हाई-स्पीड, सटीक स्पॉटलाइट का उपयोग करने की अनुमति देता है, जिससे यह बुद्धिमत्ता का एक भी कतरा खोए बिना हजारों गुना तेज़ हो जाता है।

तकनीकी सारांश: द कंडेंसेट थ्योरम (The Condensate Theorem)

शीर्षक: द कंडेंसेट थ्योरम: ट्रांसफॉर्मर्स $O(n)$ हैं, $O(n^2)$ नहीं
लेखक: जॉर्ज एल. रुइज़ विलियम्स (NaNZeta LLC)
मूल अवधारणा: अटेंशन स्पैरसिटी (Attention sparsity) प्रशिक्षित ट्रांसफॉर्मर्स का एक उभरता हुआ, सीखा हुआ गुण है, न कि कोई आर्किटेक्चरल बाधा। टोकन के एक विशिष्ट उपसमुच्चय (subset) को गतिशील रूप से पहचानकर और केवल उसी पर ध्यान केंद्रित करके (जिसे "कंडेंसेट सेट" कहा जाता है), आप फुल अटेंशन के सटीक संख्यात्मक आउटपुट को लीनियर कॉम्प्लेक्सिटी के साथ प्राप्त कर सकते हैं।

1. समस्या: क्वाड्रेटिक बॉटलनेक (The Quadratic Bottleneck)

मानक सेल्फ-अटेंशन वाले ट्रांसफॉर्मर मॉडल में सीक्वेंस लेंथ $n$ के साथ गणना $O(n^2)$ की दर से बढ़ती है। जैसे-जैसे कॉन्टेक्स्ट विंडो लाखों टोकन की ओर बढ़ती है, कंप्यूटेशनल लागत और मेमोरी आवश्यकताएं (KV कैश) अत्यधिक कठिन होती जाती हैं। मौजूदा समाधान आमतौर पर दो श्रेणियों में आते हैं:

फिक्स्ड स्पैरसिटी (जैसे Longformer, BigBird): प्रशिक्षण के दौरान पैटर्न थोपते हैं, जिसके लिए रिट्रेनिंग की आवश्यकता होती है और इससे मॉडल के प्रदर्शन में गिरावट आ सकती है।
अनुमान/निकासी (जैसे StreamingLLM): मेमोरी प्रबंधित करने के लिए ह्यूरिस्टिक्स (जैसे "अटेंशन सिंक्स") का उपयोग करते हैं, लेकिन वे अटेंशन मैकेनिज्म की मौलिक एल्गोरिद्मिक जटिलता को हल नहीं करते हैं।

2. कार्यप्रणाली: द कंडेंसेट थ्योरम (The Condensate Theorem)

यह शोध पत्र प्रस्तावित करता है कि प्रशिक्षित मॉडल स्वाभाविक रूप से अनुक्रम के एक बहुत छोटे अंश पर अटेंशन मास को केंद्रित करते हैं। लेखक किसी भी क्वेरी $i$ के लिए कंडेंसेट सेट ( $C_i$ ) को तीन घटकों के संघ (union) के रूप में परिभाषित करता है:

द एंकर (The Anchor): पहला टोकन (पोजीशन 0), जो एक सीखा हुआ ग्लोबल बायस/सिंक के रूप में कार्य करता है।
लोकल नेबरहुड (Local Neighborhood): हाल के टोकनों का एक स्लाइडिंग विंडो (हालिया पूर्वाग्रह/recency bias)।
लर्नड लॉन्ग-रेंज (Learned Long-Range - डायनेमिक टॉप-k): उच्च $Q \cdot K^T$ स्कोर द्वारा पहचाने गए विशिष्ट दूरस्थ पदों का एक सेट।

"संख्यात्मक सटीकता" (Numerical Exactness) तंत्र:
यह शोध पत्र फ्लोटिंग-पॉइंट अंकगणित के संबंध में एक महत्वपूर्ण दावा करता है। प्रशिक्षित मॉडलों में, कंडेंसेट सेट के बाहर के टोकन के अटेंशन वेट्स इतने कम होते हैं (आमतौर पर $< 10^{-7}$ ) कि वे IEEE 754 float32 यूनिट इन द लास्ट प्लेस (ULP) से नीचे गिर जाते हैं। फलस्वरूप, इन बहिष्कृत टोकनों को सॉफ्टमैक्स सम (softmax sum) में जोड़ने से बिट-लेवल परिणाम में कोई परिवर्तन नहीं होता है। यह टोपोलॉजिकल अटेंशन (Topological Attention) की अनुमति देता है: पूर्ण अटेंशन के बिट-आईडेंटिकल परिणाम उत्पन्न करने के लिए केवल कंडेंसेट सेट पर सॉफ्टमैक्स की गणना करना।

3. मुख्य योगदान

द कंडेंसेट थ्योरम: एक अनुभवजन्य नियम (empirical law) जो बताता है कि प्रशिक्षित ऑटोरिग्रेसिव मॉडल्स के लिए, एक स्थिर आकार का सेट $C$ मौजूद है जो पूर्ण अटेंशन आउटपुट को रिकवर करता है।
टोपोलॉजिकल अटेंशन कर्नेल: एक उच्च-प्रदर्शन कार्यान्वयन (Triton के माध्यम से) जो इस डायनेमिक सिलेक्शन को लागू करता है।
प्लग-एंड-प्ले फ्रेमवर्क: पिछले स्पारस तरीकों के विपरीत, इसके लिए कोई रिट्रेनिंग, कोई फाइन-ट्यूनिंग और कोई आर्किटेक्चरल बदलाव नहीं चाहिए; इसे मौजूदा फ्रोजन चेकपॉइंट्स (GPT-2, Llama, Mistral, आदि) पर लागू किया जा सकता है।
कॉम्प्लेक्सिटी रिडक्शन: अधिकांश लेयर्स को एक कांस्टेंट-बजट स्पारस कंप्यूटेशन तक सीमित करके, यह प्रति-टोकन एमॉर्टाइज्ड कॉम्प्लेक्सिटी को $O(n^2)$ से घटाकर $O(n)$ कर देता है।

4. परिणाम और अनुभवजन्य सत्यापन

शोध पत्र 12 आर्किटेक्चरों में व्यापक सत्यापन प्रदान करता है:

संख्यात्मक समानता (Numerical Equivalence): GPT-2, Pythia, Qwen2, TinyLlama, और Mistral पर ग्रीडी डिकोडिंग के तहत 100% टोकन-लेवल मैचिंग प्राप्त की गई। यह सिद्ध करता है कि यह विधि एक अनुमान नहीं बल्कि एक संख्यात्मक रूप से सटीक प्रतिस्थापन है।
स्पीडअप:
- 131K टोकन्स पर, इस विधि ने RTX 4090 पर फ्लैश अटेंशन (Flash Attention) की तुलना में 159× स्पीडअप प्राप्त किया।
- 1M टोकन्स पर, अनुमानित स्पीडअप ~1,275× है, जिससे लेटेंसी ~40 सेकंड से घटकर ~31 मिलीसेकंड हो जाती है।
नीडल-इन-अ-हेस्टैक (Needle-in-a-Haystack): डायनेमिक टॉप-k मैकेनिज्म ने विशाल कॉन्टेक्स्ट (524K टोकन्स तक) से तथ्यों को सफलतापूर्वक निकाला, जहाँ स्टैटिक स्पारस मेथड्स विफल रहे थे, जो फुल $O(n^2)$ अटेंशन के प्रदर्शन से मेल खाता है।
मेमोरी एफिशिएंसी: लंबे कॉन्टेक्स्ट लेंथ पर 99.9% KV कैश आवश्यकताओं में कमी प्रदर्शित की गई।

5. महत्व

यह कार्य लॉन्ग-कॉन्टेक्स्ट मॉडलिंग के प्रति प्रतिमान (paradigm) को बदल देता है। यह सुझाव देता है कि ट्रांसफॉर्मर्स की "क्वाड्रेटिक वॉल" अनावश्यक इंटरैक्शन को कंप्यूट करने का एक आर्टिफैक्ट है। यह पहचानकर कि "ध्यान केंद्रित करना सीखना" प्रभावी रूप से "अनदेखा करना सीखना" है, कंडेंसेट थ्योरम मौजूदा हार्डवेयर पर लाखों टोकन तक ट्रांसफॉर्मर्स को स्केल करने का मार्ग प्रशस्त करता है, जिससे लेटेंसी और इन्फरेंस लागत में भारी कमी आती है। यह विवरे हुए अवलोकनों (अटेंशन सिंक्स, स्लाइडिंग विंडोज और रिट्रीवल) को एक एकल, गणितीय रूप से सुदृढ़ सिद्धांत में एकीकृत करता है।