💻 computer science

P-Cast Precision in FP8 Attention: Sink-Induced Collapse and the Optimality of S=2^8

यह शोध पत्र 'अटेंशन सिंक' (Attention Sink) घटना के कारण होने वाले FP8 अटेंशन प्रिसिजन लॉस का विश्लेषण करता है, यह प्रदर्शित करते हुए कि रिवर्स KV इटरेशन और $S=256$ का एक स्टैटिक स्केलिंग फैक्टर प्रभावी रूप से प्रोबेबिलिटी अंडरफ्लो को रोकता है और क्वांटाइजेशन एरर को न्यूनतम करता है, जिससे फ्लैशअटेंशन-3/4 (FlashAttention-3/4) में किए गए इंजीनियरिंग विकल्पों की व्याख्या होती है और प्रिसिजन लॉस का पूर्वानुमान लगाने के लिए एक क्लोज्ड-फॉर्म थ्रेशोल्ड प्राप्त होता है।

मूल लेखक: Reed Lau

प्रकाशित 2026-06-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Reed Lau

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर की व्याख्या दी गई है।

बड़ी तस्वीर: "नन्ही बाल्टी" की समस्या

कल्पना कीजिए कि आप एक शेफ हैं जो बहुत अधिक मात्रा में सूप (डेटा) को एक बहुत ही छोटे, विशिष्ट आकार के कप (कंप्यूटर की मेमोरी फॉर्मेट जिसे FP8 कहा जाता है) में डालने की कोशिश कर रहे हैं।

आधुनिक AI में, हम तेज़ खाना पकाना चाहते हैं, इसलिए हम इन नन्हे कपों का उपयोग करते हैं। हालाँकि, इस कप में एक दोष है: यह केवल कुछ विशिष्ट आकारों के तरल पदार्थ ही रख सकता है। यदि सूप बहुत पतला है (बहुत छोटा नंबर), तो कप उसे "कुछ नहीं" मानकर बाहर गिरा देता है। यदि सूप बहुत गाढ़ा है, तो यह छलक जाता है।

यह पेपर AI की एक विशिष्ट समस्या पर केंद्रित है जिसे अटेंशन (Attention) कहा जाता है। अटेंशन को ऐसे समझें जैसे AI यह तय कर रहा है कि वाक्य के कौन से शब्द महत्वपूर्ण हैं। आमतौर पर, AI हाल के शब्दों पर ध्यान देता है। लेकिन कभी-कभी, यह वाक्य के बिल्कुल पहले शब्दों के प्रति जुनूनी हो जाता है (जिन्हें "सिंक टोकन्स" कहा जाता है)। ये शुरुआती शब्द इतने शोर मचाने वाले और महत्वपूर्ण हो जाते हैं कि वे बाकी सब कुछ दबा देते हैं।

जब AI इन "तेज़" शुरुआती शब्दों और "शांत" बाद के शब्दों को हमारे नन्हे FP8 कप में दबाने की कोशिश करता है, तो शांत शब्द कुचल जाते हैं। वे इतने छोटे हो जाते हैं कि कप उन्हें जीरो (शून्य) के रूप में देखता है। इसे P-Collapse कहा जाता है। AI वाक्य के बीच के हिस्से को पूरी तरह से भूल जाता है।

दो समाधान: क्रम बदलना और स्केल (Scale) बदलना

लेखकों ने हार्डवेयर बदले बिना इस "कुचलने" वाली समस्या को ठीक करने के दो सरल तरीके खोजे।

समाधान 1: "उल्टा क्रम" की रणनीति

समस्या: कल्पना कीजिए कि आप एक बाल्टी भर रहे हैं। यदि आप पहले एक विशाल फायरहोज़ (तेज़ शुरुआती शब्द) डालते हैं, तो पानी का स्तर तुरंत बढ़ जाता है। जब आप उसके बाद एक बूंद (शांत बाद के शब्द) डालने की कोशिश करते हैं, तो वह बूंद फायरहोज़ की तुलना में इतनी छोटी होती है कि वह बैकग्राउंड के शोर में गायब हो जाती है।

समाधान: फायरहोज़ पहले डालने के बजाय, पहले बूंदें डालें, और फायरहोज़ को अंत के लिए बचाकर रखें।

यह कैसे काम करता है: AI वाक्य को अंत से शुरुआत की ओर प्रोसेस करता है (रिवर्स इटरेशन)।
परिणाम: शांत शब्दों को तब प्रोसेस किया जाता है जब "पानी का स्तर" अभी कम होता है, इसलिए वे कप में पूरी तरह फिट बैठते हैं। तेज़ फायरहोज़ (पहला शब्द) को सबसे अंत में जोड़ा जाता है, जहाँ वह पिछली बूंदों को कुचल नहीं पाता।

समाधान 2: "आवर्धक लेंस" की रणनीति (The $S=256$ खोज)

समस्या: भले ही आप बूंदों को सावधानी से डालें, कप फिर भी बहुत मोटा (coarse) है। इसमें सीढ़ी की तरह "कदम" या "रंग" (rungs) हैं। यदि एक बूंद दो कदमों के बीच गिरती है, तो उसे नीचे के कदम तक राउंड डाउन कर दिया जाता है। यदि वह बहुत छोटी है, तो वह नीचे के अंतिम पायदान से गिरकर जीरो हो जाती है।

समाधान: सूप को कप में डालने से पहले, लेखक एक आवर्धक लेंस (स्केलिंग फैक्टर) का उपयोग करने का सुझाव देते हैं ताकि सूप बड़ा दिखाई दे।

जादुई नंबर: उन्होंने कई आवर्धन स्तरों का परीक्षण किया। उन्होंने पाया कि 256 एकदम सही नंबर है।
256 क्यों?
1. यह एक "साफ" नंबर है: कंप्यूटर गणित में, 256 दो की घात ( $2^8$ ) है। इसका मतलब है कि कंप्यूटर बिना किसी जानकारी को खोए 256 से गुणा और भाग पूरी तरह से कर सकता है (अन्य नंबरों के विपरीत, जैसे 448, जो सूक्ष्म त्रुटियाँ पैदा करते हैं)।
2. यह सीढ़ी के साथ फिट बैठता है: FP8 कप का एक विशिष्ट आकार होता है। 256 सीढ़ी के "कदमों" के साथ पूरी तरह से संरेखित (align) होता है, जिससे यह सुनिश्चित होता है कि छोटी बूंदें नीचे से गिर न जाएँ।
3. यह सबसे बड़ा सुरक्षित आकार है: आप बहुत शक्तिशाली आवर्धक लेंस (जैसे 512) का उपयोग नहीं कर सकते, अन्यथा बड़ा फायरहोज़ कप से बाहर छलक जाएगा। 256 सबसे शक्तिशाली आवर्धक लेंस है जो सब कुछ कप के अंदर रखता है।

"सॉ टूथ" (Sawtooth) की खोज

लेखकों ने एक ग्राफ बनाया है जो एक सॉ टूथ (आरी के दांत जैसा/ऊबड़-खाबड़ पहाड़) जैसा दिखता है।

सॉ टूथ की "घाटियाँ" (valleys) सर्वोत्तम संभव शुद्धता (precision) का प्रतिनिधित्व करती हैं।
उन्होंने पाया कि केवल दो की घात वाले नंबर (1, 2, 4, 8... 256) इन आदर्श घाटियों में स्थित हैं।
अन्य नंबर, जैसे 448 (जो कुछ अन्य AI सिस्टम उपयोग करते हैं), सॉ टूथ के "ढलानों" पर स्थित हैं। वे ठीक हैं, लेकिन वे 256 जितने सटीक नहीं हैं।

परिणाम: क्या हुआ?

शोधकर्ताओं ने यह देखने के लिए परीक्षण किए कि क्या होता है जब AI पहले शब्द के प्रति जुनूनी हो जाता है (लगity 7 की "सिंक स्ट्रेंथ")।

सुधार से पहले (मानक विधि का उपयोग करते हुए): AI ने वाक्य के बीच की महत्वपूर्ण जानकारी का 30% से 40% हिस्सा खो दिया। यह एक ऐसी किताब को पढ़ने की कोशिश करने जैसा था जिसके आधे पन्ने खाली थे।
सुधार के बाद (रिवर्स ऑर्डर या S=256 का उपयोग करते हुए): त्रुटि 3 से 10 गुना कम हो गई। AI अब शांत शब्दों को "सुन" सकता था।
सबसे अच्छा संयोजन: दोनों सुधारों को एक साथ उपयोग करने से केवल एक का उपयोग करने से बहुत अधिक सुधार नहीं हुआ। यह सीटबेल्ट और एयरबैग रखने जैसा है; एक बार जब आपके पास सीटबेल्ट (एक सुधार) होती है, तो एयरबैग (दूसरा सुधार) अतिरिक्त सुरक्षा नहीं जोड़ता क्योंकि पहले वाले ने ही मुख्य समस्या हल कर दी है।

इंजीनियरों के लिए निचोड़

पेपर निष्कर्ष निकालता है कि यदि आप एक ऐसा AI सिस्टम बना रहे हैं जो इस विशिष्ट "नन्हे कप" (FP8 E4M3) का उपयोग करता है:

अपने स्केलिंग फैक्टर के रूप में नंबर 1 (डायरेक्ट कास्टिंग) या 448 का उपयोग करना बंद करें।
256 पर स्विच करें। यह गणितीय रूप से एकदम सही "स्वीट स्पॉट" है जो कंप्यूटर के गणित को साफ रखता है और AI को वाक्य के बीच को भूलने से रोकता है।
या फिर वाक्य को उल्टा (backwards) प्रोसेस करें। यह भी समस्या को हल करता है, लेकिन नंबर को बदलकर 256 करना अक्सर लागू करने में आसान होता है।

लेखकों ने अपने स्वयं के सॉफ्टवेयर (hpc-ops) को 256 का उपयोग करने के लिए अपडेट कर दिया है, और वे सुझाव देते हैं कि अन्य लोग भी सटीकता में मुफ्त, तत्काल सुधार पाने के लिए ऐसा ही करें।

तकनीकी सारांश: FP8 अटेंशन में P-Cast प्रिसिजन (Precision)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र LLMs (Large Language Models) के लिए FP8 (E4M3) अटेंशन एक्सेलेरेशन में एक महत्वपूर्ण प्रिसिजन बाधा (precision bottleneck) को संबोधित करता है। जबकि $P \cdot V$ मैट्रिक्स मल्टीप्लिकेशन से पहले सॉफ्टमैक्स प्रोबेबिलिटी मैट्रिक्स $P$ को E4M3 में कास्ट (cast) करना थ्रूपुट में महत्वपूर्ण लाभ प्रदान करता है, इस फॉर्मेट का 3-बिट मैंटिसा (mantissa) अटेंशन सिंक (Attention Sink) घटना के तहत गंभीर क्वांटाइजेशन त्रुटियां (quantization errors) उत्पन्न करता है।

अटेंशन सिंक घटना में, शुरुआती टोकन (initial tokens) अत्यधिक उच्च अटेंशन वेट प्राप्त करते हैं। जब इसे फॉरवर्ड KV ब्लॉक इटरेशन (टोकन $0 \to N$ को प्रोसेस करना) के साथ जोड़ा जाता है, तो सिंक टोकन्स के उच्च लॉजिट स्कोर रनिंग सॉफ्टमैक्स मैक्सिमम ( $m$ ) को बढ़ा देते हैं। यह बाद के नॉन-सिंक प्रोबेबिलिटी वैल्यूज ( $P$ ) को अत्यंत छोटा बना देता है। E4M3 क्वांटाइजेशन के तहत, ये छोटी वैल्यूज दर्शनीय रेंज (representable range) से नीचे गिर जाती हैं और शून्य में अंडरफ्लो हो जाती हैं (एक घटना जिसे P-collapse कहा जाता है)।

पेपर दो कार्यान्वयन विकल्पों (implementation choices) की पहचान करता है जो यह निर्धारित करते हैं कि यह कोलैप्स होगा या नहीं:

KV ब्लॉक इटरेशन ऑर्डर: क्या ऑनलाइन सॉफ्टमैक्स ब्लॉक्स को फॉरवर्ड ( $0 \to N$ ) या रिवर्स ( $N \to 0$ ) दिशा में प्रोसेस करता है।
स्टैटिक स्केलिंग फैक्टर ( $S$ ): वह निरंतर मल्टीप्लायर जो E4M3 में कास्ट करने से पहले $P$ पर लागू किया जाता है (और एपिलॉग में वापस विभाजित किया जाता है)।

2. कार्यप्रणाली और विश्लेषण (Methodology and Analysis)

सैद्धांतिक ढांचा (Theoretical Framework)

लेखक फॉरवर्ड इटरेशन और स्केल फैक्टर $S$ के तहत नॉन-सिंक $P$ वैल्यूज के शून्य में अंडरफ्लो होने के अंश के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन (closed-form expression) व्युत्पन्न करते हैं:
$F(\Delta, S) = \Phi(\Delta + \delta_k - 6.93 - \ln S)$
जहाँ:

$\Delta$ सिंक स्ट्रेंथ (सिंक और नॉन-सिंक टोकन्स के बीच लॉजिट गैप) है।
$\delta_k$ सिंक ब्लॉक के भीतर $k$ स्टैंडर्ड गौसियन वेरिएबल्स का अपेक्षित मैक्सिमम है ( $k=4$ के लिए लगभग 1.0)।
$6.93 \approx 10 \ln 2$ E4M3 राउंड-टू-ज़ीरो थ्रेसहोल्ड ( $2^{-10}$ ) को दर्शाता है।
$\Phi$ स्टैंडर्ड नॉर्मल CDF है।

यह विश्लेषण प्रकट करता है कि P-collapse एक थ्रेसहोल्ड प्रभाव है जो $\Delta \approx 6\text{--}7$ के आसपास सक्रिय होता है, जहाँ नॉन-सिंक प्रोबेबिलिटी मास का एक महत्वपूर्ण हिस्सा चुपचाप शून्य हो जाता है, जिससे आउटपुट में पर्याप्त मीन स्क्वेर्ड एरर (MSE) होता है।

अनुकूलन 1: रिवर्स KV इटरेशन (Reverse KV Iteration)

पेपर यह सिद्ध करता है कि इटरेशन ऑर्डर को उलटने ( $N \to 0$ ) से सिंक ब्लॉक की प्रोसेसिंग अंतिम चरण तक टल जाती है। सभी पूर्ववर्ती इटरेशन्स के दौरान, रनिंग मैक्सिमम केवल नॉन-सिंक टोकन्स द्वारा निर्धारित होता है। सैद्धांतिक सीमाएं दिखाती हैं कि व्यावहारिक सीक्वेंस लेंथ ( $N \le 10^6$ ) के लिए, प्री-सिंक मैक्सिमम इतना कम रहता है कि $S=256$ के साथ, किसी भी नॉन-सिंक $P$ वैल्यू के अंडरफ्लो होने की संभावना प्रभावी रूप से शून्य ( $< 10^{-12}$ ) है।

अनुकूलन 2: $S = 256$ की इष्टतमता (The Optimality of $S = 256$ )

पेपर इस बात का रचनात्मक लक्षण वर्णन (constructive characterization) प्रदान करता है कि क्यों $S=256$ ( $2^8$ ) इष्टतम स्टैटिक स्केल है, जो तीन साथ-साथ शर्तों को पूरा करता है:

बिट-एक्जेक्ट स्केलिंग (Bit-Exact Scaling): $2^k$ होने के नाते, $S$ द्वारा गुणा और विभाजन IEEE 754 FP32 में सटीक है, जो स्केलिंग/अनस्केलिंग प्रक्रिया के दौरान कोई राउंडिंग एरर पेश नहीं करता है। नॉन-पावर-ऑफ-टू स्केल्स (जैसे $S=448$ ) व्यवस्थित राउंडिंग एरर पेश करते हैं।
न्यूनतम क्वांटाइजेशन स्टेप ( $d_p$ ): लेखक $d_p(S)$ को नॉर्मलाइज्ड मैक्सिमम क्वांटाइजेशन स्टेप के रूप में परिभाषित करते हैं। वे प्रदर्शित करते हैं कि $d_p(S)$ , E4M3 नंबर लाइन पर एक "सॉ-टूथ" (sawtooth) फंक्शन बनाता है, जहाँ पावर-ऑफ-टू वैल्यूज ( $S=2^k$ ) न्यूनतम मान $2^{-4}$ के साथ लोअर एनवेलप (lower envelope) पर स्थित हैं। $S=448$ इस सॉ-टूथ पर 14% ऊपर स्थित है, जिसका अर्थ है कि इसमें अधिक वर्स्ट-केस क्वांटाइजेशन एरर है।
अधिकतम नॉर्मल-रेंज कवरेज: उन पावर-ऑफ-टू स्केल्स में जो ओवरफ्लो का कारण नहीं बनते ( $S \le 448$ ), $S=256$ सबसे बड़ा है, जो $P$ डोमेन के सबनॉर्मल रीजन ( $2^{-6}/256 = 2^{-14}$ ) में सबसे गहरा कवरेज प्रदान करता है।

3. मुख्य योगदान (Key Contributions)

P-Collapse का परिमाणीकरण (Quantification): पेपर P-cast विफलता की भविष्यवाणी करने के लिए क्लोज्ड-फॉर्म थ्रेसहोल्ड $\Delta_c = 6.93 + \ln S - \delta_k$ को व्युत्पन्न करता है, जो अनुभवजन्य अवलोकन (empirical observation) से आगे बढ़कर विश्लेषणात्मक भविष्यवाणी की ओर ले जाता है।
पर्याप्तता का प्रमाण (Proof of Sufficiency): यह कठोरता से प्रदर्शित करता है कि रिवर्स इटरेशन को $S=256$ के साथ मिलाने से व्यावहारिक परिदृश्यों में नॉन-सिंक वैल्यूज के लिए शून्य अंडरफ्लो सुनिश्चित होता है।
$S=256$ का लक्षण वर्णन: यह $S=256$ को बिट-एक्जेक्टनेस, न्यूनतम क्वांटाइजेशन स्टेप, और $2^k$ स्केल्स के बीच अधिकतम नॉर्मल कवरेज को संतुष्ट करने वाले अद्वितीय स्केल के रूप में स्थापित करता है।
कर्नेल-फिथफुल वैलिडेशन (Kernel-Faithful Validation): लेखक अपने सैद्धांतिक दावों को मान्य करने के लिए प्रोडक्शन कर्नेल सिमेंटिक्स का अनुकरण (simulate) करते हैं (Q, K, V को FP32 में रखकर P-cast प्रभाव को अलग करके)।

4. प्रयोगात्मक परिणाम (Experimental Results)

$N=4096$ और बदलते $\Delta$ (सिंक स्ट्रेंथ) के साथ कर्नेल-फिथफुल सिमुलेशन का उपयोग करते हुए:

MSE में सुधार: मध्यम सिंक स्ट्रेंथ ( $\Delta \approx 7$ ) पर, बेसलाइन कॉन्फ़िगरेशन (फॉरवर्ड इटरेशन, $S=1$ ) ऑप्टिमाइज्ड कॉन्फ़िगरेशन की तुलना में 3–10 गुणा अधिक MSE प्रदर्शित करता है।
स्केल्स की तुलना: फॉरवर्ड इटरेशन के साथ $S=256$ का उपयोग करने पर, फॉरवर्ड इटरेशन के साथ $S=448$ (जो FlashInfer और TensorRT-LLM में उपयोग किया जाता है) की तुलना में लगभग 10–15% कम MSE प्राप्त होता है, जो सैद्धांतिक $d_p$ अनुपात के अनुरूप है।
सैचुरेशन (Saturation): जब दोनों अनुकूलन (Reverse + $S=256$ ) लागू किए जाते हैं, तो परिणाम P-collapse रिजीम में फॉरवर्ड + $S=256$ से सांख्यिकीय रूप से अविभेदनीय (indistinguishable) होते हैं। दोनों ही अंतर्निहित E4M3 क्वांटाइजेशन नॉइज़ द्वारा निर्धारित समान प्रिसिजन फ्लोर तक पहुँचते हैं।
सीक्वेंस लेंथ: ऑप्टिमाइज्ड कॉन्फ़िगरेशन का बेसलाइन पर MSE सुधार सीक्वेंस लेंथ के साथ बढ़ता है, क्योंकि लंबी सीक्वेंस में जोखिम वाली नॉन-सिंक प्रोबेबिलिटी मास बढ़ जाती है।

5. महत्व और दावे (Significance and Claims)

यह पेपर खुद को एक नई तकनीक के प्रस्ताव के रूप में नहीं, बल्कि FlashAttention-3/4 (जो Reverse + $S=256$ का उपयोग करते हैं) में पहले से अपनाए गए कार्यान्वयन विकल्पों के लिए एक मात्रात्मक स्पष्टीकरण के रूप में प्रस्तुत करता है।

व्यावहारिक प्रभाव: इस विश्लेषण ने hpc-ops कर्नेल को $S=1$ से $S=256$ में अपडेट करने के लिए प्रेरित किया।
सिफारिशें: लेखक अनुशंसा करते हैं कि वर्तमान में $S=1$ या $S=448$ का उपयोग करने वाले कार्यान्वयन को $S=256$ पर स्विच करना चाहिए। यह एक "जीरो-कॉस्ट" परिवर्तन है (बिट-एक्जेक्ट स्केलिंग नगण्य लेटेंसी जोड़ती है) जो P-collapse को हटा देता है और P-cast प्रिसिजन को सख्ती से बेहतर या बनाए रखता है।
विनम्रता (Modesty): लेखक स्पष्ट रूप से कहते हैं कि हालांकि P-cast MSE सुधार महत्वपूर्ण (3–10×) है, लेकिन मॉडल परप्लेक्सिटी या टास्क एक्यूरेसी पर इसके एंड-टू-एंड प्रभाव की गारंटी नहीं दी जा सकती है, क्योंकि यह अन्य FP8 नॉइज़ स्रोतों (QKV क्वांटाइजेशन) द्वारा हावी हो सकता है। वे $S=256$ पर स्विच करने को "स्ट्रिक्टली-नो-वर्ज" (strictly-no-worse) के रूप में फ्रेम करते हैं, न कि सभी डाउनस्ट्रीम मेट्रिक्स के लिए गारंटीकृत क्वालिटी विन के रूप में।
दायरा (Scope): विश्लेषण E4M3 P-casting के लिए विशिष्ट है और अन्य फॉर्मेट (जैसे MXFP4) या प्रति-चैनल क्वांटाइजेशन रणनीतियों के लिए ट्रांसफरेबिलिटी का दावा नहीं करता है जहाँ पूर्व-शर्तें भिन्न होती हैं।