🤖 machine learning

Prism Transformer: Progressive Head Schedules for Hierarchical Attention Processing

प्रिज्म ट्रांसफार्मर एक पैरामीटर- और कंप्यूट-न्यूट्रल वास्तुशिल्प प्रतिमान पेश करता है जो मानक समान हेड आवंटन के स्थान पर एक प्रगतिशील हेड शेड्यूल को प्रतिस्थापित करता है, जिससे एक स्थानीय-से-वैश्विक प्रतिनिधित्व पदानुक्रम स्थापित होता है जो कई मॉडल स्केल्स और बेंचमार्क में लगातार प्रदर्शन में सुधार करता है।

मूल लेखक: Shubham Aggarwal

प्रकाशित 2026-06-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shubham Aggarwal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप भाषा को प्रोसेस करने वाली एक विशाल, हाई-टेक फैक्ट्री चला रहे हैं। इस फैक्ट्री का नाम है ट्रांसफॉर्मर (Transformer), और इसके मुख्य कर्मचारी अटेंशन हेड्स (Attention Heads) हैं। इनका काम शब्दों को देखना और यह समझना है कि वे एक-दूसरे से कैसे संबंधित हैं।

मानक डिज़ाइन (जिसे "यूनिफॉर्म" मॉडल कहा जाता है) में, बॉस का एक सख्त नियम है: फैक्ट्री के हर एक फ्लोर पर कर्मचारियों की संख्या बिल्कुल समान होनी चाहिए, और हर कर्मचारी के पास डेस्क की जगह भी बिल्कुल समान होनी चाहिए।

समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) की बाधा

इस पेपर के लेखक तर्क देते हैं कि यह नियम वास्तव में एक बुरा विचार है। यहाँ बताया गया है कि क्यों:

शुरुआती फ्लोर (असेंबली लाइन): जब फैक्ट्री को पहली बार कच्चा माल (वाक्य की शुरुआत) प्राप्त होता है, तो कर्मचारियों को भारी और जटिल काम करना पड़ता है। उन्हें यह समझना होता है कि शब्द स्थानीय स्तर पर कैसे जुड़ते हैं (जैसे कि "बड़ा लाल कुत्ता")। ऐसा करने के लिए, उन्हें विशाल डेस्क की आवश्यकता होती है ताकि वे अपने औजारों को फैला सकें और पूरी तस्वीर स्पष्ट रूप से देख सकें।
- यूनिफॉर्म की समस्या: क्योंकि बॉस हर फ्लोर पर कर्मचारियों की समान संख्या रखने के लिए मजबूर करता है, इसलिए शुरुआती फ्लोर कर्मचारियों से भरे हुए होते हैं। हर कर्मचारी को एक बहुत छोटा और तंग डेस्क मिलता है। वे बड़ी तस्वीर नहीं देख पाते; वे केवल अनुमान लगाने और जूझने के लिए मजबूर होते हैं, जिससे वे जटिल पैटर्न को समझने में चूक जाते हैं।
बाद के फ्लोर (विशेषज्ञ फिनिशर्स): जब तक उत्पाद ऊपरी मंजिलों तक पहुँचता है, तब तक भारी काम पूरा हो चुका होता है। अब कर्मचारियों को बारीक काम करने की आवश्यकता होती है, जैसे व्याकरण के विशिष्ट नियमों या कार्य-विशिष्ट विवरणों की जाँच करना।
- यूनिफॉर्म की समस्या: ऊपरी मंजिलों पर भी उतने ही बड़े संख्या में कर्मचारी होते हैं जिनके पास छोटे डेस्क होते हैं। लेकिन इस चरण के लिए, आपको वास्तव में कई कर्मचारियों की आवश्यकता होती है, जो एक समय में एक सूक्ष्म और विशिष्ट विवरण पर ध्यान केंद्रित कर सकें। यूनिफॉर्म नियम शुरुआती फ्लोरों की क्षमता को बर्बाद कर देता है और ऊपरी मंजिलों को सही सेटअप नहीं दे पाता।

समाधान: "प्रिज्म" (Prism) फैक्ट्री

लेखक एक नया डिज़ाइन प्रस्तावित करते हैं जिसे प्रिज्म ट्रांसफॉर्मर (Prism Transformer) कहा जाता है। एक सपाट, यूनिफॉर्म फैक्ट्री के बजाय, वे एक सीढ़ी (staircase) बनाते हैं जो ऊपर जाते समय अपना आकार बदलती है।

निचला हिस्सा (शुरुआती लेयर्स): वे कम कर्मचारियों के साथ शुरुआत करते हैं, लेकिन प्रत्येक को एक विशाल, चौड़ा डेस्क देते हैं। यह उन्हें बिना किसी भीड़ के, शुरुआत से ही जटिल, स्थानीय पैटर्न को पकड़ने की अनुमति देता है।
मध्य भाग (मिड लेयर्स): जैसे-जैसे आप ऊपर जाते हैं, वे धीरे-धीरे अधिक कर्मचारी जोड़ते हैं। डेस्क थोड़े छोटे होते जाते हैं, लेकिन उनकी संख्या बढ़ जाती है। यह नीचे से मिली जानकारी को मिलाने और उसे पूरे वाक्य में फैलाने के लिए एकदम सही है।
ऊपरी हिस्सा (लेट लेयर्स): जब आप शीर्ष पर पहुँचते हैं, तो कर्मचारियों की संख्या मानक फैक्ट्री के बराबर होती है, लेकिन अब डेस्क विशिष्ट, सूक्ष्म कार्यों के लिए पूरी तरह से सही आकार के होते हैं।

इसे "प्रिज्म" क्यों कहा गया है?
एक प्रिज्म के बारे में सोचें। यह चौड़ा होकर संकरा होता जाता है, या इस मामले में, यह प्रकाश की एक चौड़ी किरण (जटिल स्थानीय पैटर्न) लेता है और उसे कई विशिष्ट रंगों (विशेषज्ञ विशेषताओं) में विभाजित करता है। "प्रिज्म" शेड्यूल स्थानीय जटिलता (local complexity) से वैश्विक विशेषज्ञता (global specialization) की ओर एक स्वाभाविक प्रवाह बनाता है।

जादुई ट्रिक: मुफ्त अपग्रेड

इस पेपर का सबसे आश्चर्यजनक हिस्सा यह है कि इस अपग्रेड की कोई लागत नहीं है।

कोई अतिरिक्त पैसा नहीं (पैरामीटर्स): पूरी फैक्ट्री में कर्मचारियों की कुल संख्या और डेस्क की कुल जगह बिल्कुल उतनी ही रहती है। उन्होंने बस यह बदल दिया है कि कौन कहाँ बैठता है।
कोई अतिरिक्त समय नहीं (कंप्यूट): फैक्ट्री उतनी ही तेज़ी से चलती है। गणित कहता है कि एक वाक्य को प्रोसेस करने में लगने वाली ऊर्जा पुराने डिज़ाइन के समान ही है।
कोई अतिरिक्त हार्डवेयर नहीं: यह बिना किसी विशेष समायोजन के मानक कंप्यूटर चिप्स (GPUs) पर पूरी तरह से फिट बैठता है।

परिणाम

लेखकों ने इस नए "प्रिज्म" डिज़ाइन का परीक्षण तीन अलग-अलग आकार की फैक्टरियों (Small, Medium, और Large) पर किया। परिणाम स्पष्ट थे:

बेहतर सीखना: प्रिज्म फैक्ट्रियों ने यूनिफॉर्म फैक्ट्रियों की तुलना में तेज़ी से सीखा और कम गलतियाँ कीं (कम "वैलिडेशन लॉस")।
स्मार्ट आउटपुट: वास्तविक दुनिया के कार्यों जैसे कि सवालों के जवाब देने या कहानियों को पूरा करने पर परीक्षण करने पर, प्रिज्म मॉडल अधिक सटीक पाए गए।
"क्यों": फैक्ट्री के अंदर झाँककर, उन्होंने देखा कि शुरुआती कर्मचारी वास्तव में बेहतर "लोकल" काम (पास के शब्दों को देखना) कर रहे थे, जबकि मध्य के कर्मचारी बेहतर "ग्लोबल" काम (वाक्य के दूर के हिस्सों को जोड़ना) कर रहे थे।

सारांश

पेपर का दावा है कि केवल प्रत्येक फ्लोर पर कर्मचारियों की संख्या बदलकर (कम, चौड़े-डेस्क वाले कर्मचारियों से शुरू करके और अधिक, संकरे-डेस्क वाले कर्मचारियों पर समाप्त करके), हम AI मॉडलों को बिना एक भी अतिरिक्त डॉलर या कंप्यूटिंग समय खर्च किए स्मार्ट और अधिक कुशल बना सकते हैं। यह एक कमरे में फर्नीचर को फिर से व्यवस्थित करने जैसा है ताकि वह बड़ा और बेहतर महसूस हो, बिना नया घर बनाए।

तकनीकी सारांश: प्रिज़्म ट्रांसफॉर्मर (Prism Transformer)

समस्या विवरण (Problem Statement)

मानक ट्रांसफॉर्मर आर्किटेक्चर एक समान मल्टी-हेड अटेंशन (MHA) विन्यास का उपयोग करता है, जहाँ हिडन डायमेंशन ( $d_{model}$ ) को प्रत्येक परत में हेड्स की एक निश्चित संख्या ( $h$ ) के बीच समान रूप से विभाजित किया जाता है। इसके परिणामस्वरूप पूरे नेटवर्क की गहराई में एक स्थिर प्रति-हेड डायमेंशन ( $d_h = d_{model}/h$ ) प्राप्त होता है।

लेखक इस समान आवंटन को एक मौलिक संरचनात्मक बाधा (fundamental structural bottleneck) के रूप में पहचानते हैं। शुरुआती परतें, जो कच्चे टोकन एम्बेडिंग को जटिल, स्थानीय कम्पोजिशनल सिमेंटिक संरचनाओं में एकीकृत करने के लिए जिम्मेदार होती हैं, उन्हें अत्यंत प्रतिबंधित सबस्पेस (जैसे, 64 डायमेंशन) के भीतर काम करने के लिए मजबूर किया जाता है। कई हेड्स के बीच प्रतिनिधित्व क्षमता का यह "पतला" वितरण शुरुआती परतों को उच्च-आयामी स्थानीय प्रासंगिक पैटर्न को निष्ठापूर्वक कैप्चर करने से रोकता है। इसके विपरीत, बाद की परतें, जिन्हें विशिष्ट फीचर डिकंपोजिशन की आवश्यकता होती है, उन्हें उसी मोटे स्तर (coarse granularity) पर काम करने के लिए मजबूर किया जाता है। पेपर का तर्क है कि यह समान शेड्यूलिंग, प्रतिनिधित्व प्रसंस्करण के प्राकृतिक लोकल-टू-ग्लोबल प्रक्षेपवक्र (local-to-global trajectory) और मॉडल द्वारा थोपी गई स्थिर संरचनात्मक बाधाओं के बीच एक आर्किटेक्चरल मिसमैच (architectural mismatch) पैदा करती है।

कार्यप्रणाली: प्रिज़्म ट्रांसफॉर्मर (Methodology: The Prism Transformer)

इस मिसमैच को बिना कंप्यूटेशनल लागत बढ़ाए हल करने के लिए, लेखक प्रिज़्म ट्रांसफॉर्मर का प्रस्ताव करते हैं, जो स्थिर समान हेड शेड्यूल के स्थान पर एक प्रोग्रेसिव हेड शेड्यूल (progressive head schedule) का उपयोग करता है।

मुख्य तंत्र (Core Mechanism)

प्रिज़्म ट्रांसफॉर्मर डिकोडर की $L$ परतों में हेड्स की एक गैर-घटती (non-decreasing) अनुक्रमिक संख्या $(h_1, h_2, \dots, h_L)$ का उपयोग करता है।

शुरुआती परतें (Early Layers): कम संख्या में हेड्स का उपयोग करती हैं, जिसके परिणामस्वरूप अत्यंत विस्तृत सबस्पेस (बड़ा $d_h$ ) प्राप्त होता है। यह व्यक्तिगत हेड्स को उच्च निष्ठा के साथ जटिल, स्थानीय कम्पोजिशनल पैटर्न कैप्चर करने की अनुमति देता है।
गहरी परतें (Deep Layers): हेड की संख्या एकदिशीय रूप से (monotonically) बढ़ती है, जो अंतिम परतों में मानक बेसलाइन कॉन्फ़िगरेशन के अनुरूप हो जाती है। इसके परिणामस्वरूप संकीर्ण सबस्पेस (छोटा $d_h$ ) प्राप्त होता है, जो एकीकृत पैटर्न को विशिष्ट भाषाई विशेषताओं में डिकंपोज़ करने के लिए बेहतर है।

संरचनात्मक बाधाएं और डिज़ाइन सिद्धांत (Structural Constraints & Design Principles)

शेड्यूल को तीन बाधाओं द्वारा परिभाषित किया गया है:

विभाज्यता (Divisibility): $h_l$ को $d_{model}$ को विभाजित करना चाहिए।
एकदिशीयता (Monotonicity): $h_1 \le h_2 \le \dots \le h_L$ ।
बाउंड्री कन्वर्जेंस (Boundary Convergence): अंतिम परतें बेसलाइन हेड काउंट से मेल खाती हैं ( $h_L = h_{base}$ )।

लेखक प्रभावी शेड्यूल्स के लिए दो महत्वपूर्ण डिज़ाइन दिशानिर्देशों को औपचारिक रूप देते हैं:

सीढ़ीनुमा सुगमता (Staircase Smoothness): अचानक परिवर्तन प्रदर्शन को खराब करते हैं। इष्टतम शेड्यूल्स ग्रेनुलैरिटी बदलने से पहले स्थिरता के लिए 2-4 लगातार परतों के लिए विशिष्ट हेड डायमेंशन बनाए रखते हैं।
बेसलाइन संरक्षण (Baseline Preservation): मजबूत सिमेंटिक अभिसरण (semantic convergence) सुनिश्चित करने के लिए कम से कम नेटवर्क की आधी परतों ( $L/2$ ) को बेसलाइन हेड काउंट के लिए समर्पित किया जाना चाहिए।

पैरामीटर और कंप्यूट न्यूट्रलिटी (Parameter and Compute Neutrality)

प्रिज़्म ट्रांसफॉर्मर की एक परिभाषित विशेषता यह है कि यह पैरामीटर-न्यूट्रल और कंप्यूट-न्यूट्रल है:

पैरामीटर्स: प्रोजेक्शन मैट्रिसेस ( $W_Q, W_K, W_V, W_O$ ) अपने मानक $d_{model} \times d_{model}$ आकार को बनाए रखते हैं। स्लाइस की संख्या बदलने से कुल पैरामीटर गणना में कोई बदलाव नहीं होता है।
कंप्यूटेशन: प्रमुख अटेंशन FLOPs $O(T^2 \cdot d_{model})$ के रूप में स्केल करते हैं, जो हेड्स की संख्या ( $h_l$ ) के प्रति गणितीय रूप से अपरिवर्तनीय है।
हार्डवेयर अलाइनमेंट: शुरुआती चरणों के डायमेंशन को पावर ऑफ टू (जैसे, 256, 128) तक सीमित करके, आर्किटेक्चर GPU टेंसर कोर टाइल सीमाओं के साथ नेटिव अलाइनमेंट सुनिश्चित करता है, जिससे मेमोरी स्ट्राइड पेनल्टी से बचा जा सके और समान वॉल-क्लॉक थ्रूपुट बना रहे।

मुख्य योगदान (Key Contributions)

आर्किटेक्चरल प्रतिमान (Architectural Paradigm): एक प्रोग्रेसिव हेड शेड्यूलब का परिचय जो शून्य पैरामीटर या कंप्यूट ओवरहेड के साथ एक लोकल-टू-ग्लोबल रिप्रजेंटेशनल पदानुक्रम स्थापित करता है।
स्केल-इनवेरिएंट लाभ (Scale-Invariant Gains): प्रायोगिक प्रदर्शन जो दर्शाता है कि प्रिज़्म ट्रांसफॉर्मर तीन मॉडल स्केल्स (124M, 354M, और 757M पैरामीटर्स) में वैलिडेशन लॉस और डाउनस्ट्रीम ज़ीरो-शॉट बेंचमार्क दोनों में यूनिफॉर्म बेसलाइन्स से लगातार बेहतर प्रदर्शन करता है।
मैकेनिस्टिक विश्लेषण (Mechanistic Analysis): प्रति-परत अटेंशन डिस्टेंस विश्लेषण प्रकट करता है कि प्रोग्रेसिव शेड्यूलिंग नेटवर्क के अटेंशन प्रोफाइल को पुनर्गठित करती है, जिससे शुरुआती वाइड-हेड परतों में सघन स्थानीय एकत्रीकरण (tight local aggregation) को बढ़ावा मिलता है और मध्य-नेटवर्क परतों में ग्लोबल इंटीग्रेशन को स्थानांतरित किया जाता है।
डिज़ाइन सिद्धांत (Design Principles): उन ज्यामितीय मानदंडों (सुगमता, ब्लॉक कंसोलिडेशन) का औपचारिककरण जो शेड्यूल्स की प्रभावशीलता को नियंत्रित करते हैं, जो आर्किटेक्चरल डिज़ाइन के लिए हस्तांतरणीय नियम प्रदान करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने FineWeb डेटासेट और मानक ज़ीरो-शॉट बेंचमार्क (PIQA, HellaSwag, ARC-Easy, WinoGrande) का उपयोग करके यूनिफॉर्म बेसलाइन्स के विरुद्ध प्रिज़्म ट्रांसफॉर्मर का मूल्यांकन किया।

वैलिडेशन लॉस (Validation Loss): प्रिज़्म ट्रांसफॉर्मर ने सभी मॉडल स्केल्स में निरंतर कमी हासिल की (उदाहरण के लिए, 124M मॉडल के लिए 3.3604 बनाम 3.3748; 757M मॉडल के लिए 2.8022 बनाम 2.8106)।
डाउनस्ट्रीम प्रदर्शन (Downstream Performance): मॉडल ने सभी मूल्यांकित बेंचमार्क पर सटीकता को बनाए रखा या स्पष्ट रूप से सुधार किया, जो दर्शाता है कि विस्तारित शुरुआती-परत सबस्पेस चौड़ाई मजबूत फीचर एनकोडिंग के लिए आवश्यक बैंडविड्थ प्रदान करती है।
ट्रेनिंग डायनेमिक्स (Training Dynamics): प्रिज़्म मॉडल यूनिफॉर्म बेसलाइन्स की तुलना में न्यूनतम वैलिडेशन लॉस मील के पत्थर (milestones) तक जल्दी पहुँच गए, जो तेज़ अभिसरण गतिशीलता का सुझाव देते हैं।
सिस्टम दक्षता (System Efficiency): हार्डवेयर बेंचमार्क ने टोकन प्रति सेकंड और वॉल-क्लॉक समय के मामले में मानक कॉन्फ़िगरेशन के साथ पूर्ण परिचालन समानता की पुष्टि की, जो शून्य-ओवरहेड दावे को प्रमाणित करता है।
अटेंशन प्रोफाइल (Attention Profiles): विश्लेषण ने अटेंशन डिस्टेंस ( $\Delta D_l$ ) में एक स्पष्ट बदलाव दिखाया: शुरुआती प्रिज़्म परतों ने तीव्र स्थानीय एकत्रीकरण (कम दूरी) प्रदर्शित किया, जबकि मध्य-परतों ने वैश्विक एकीकरण (global integration) में शिखर दिखाया, जो सटीक रूप से शेड्यूलिंग के ट्रांज़िशन पॉइंट्स के साथ संरेखित है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि प्रिज़्म ट्रांसफॉर्मर यह प्रदर्शित करता है कि गैर-समान सबस्पेस आवंटन मानक ट्रांसफॉर्मर बजट के भीतर अंतर्निहित क्षमता (latent capacity) को अनलॉक करता है। नेटवर्क की गहराई के प्राकृतिक कार्यात्मक विशेषज्ञता का सम्मान करते हुए—स्थानीय संरचना के लिए वाइड सबस्पेस और वैश्विक एकीकरण के लिए नैरो सबस्पेस आवंटित करके—आर्किटेक्चर वास्तविक रिप्रजेंटेशनल सुधार प्राप्त करता है, वह भी बिना किसी अतिरिक्त कंप्यूटेशनल लागत के।

लेखक इस कार्य को इस "मजबूत, अंतर्निहित धारणा" के सुधार के रूप में देखते हैं कि सभी परतों को समान अटेंशन ग्रेनुलैरिटी से समान लाभ होता है। वे तर्क देते हैं कि हेड कॉन्फ़िगरेशन एक अर्थपूर्ण, कम खोजा गया आर्किटेक्चरल डिज़ाइन अक्ष है। परिणाम बताते हैं कि अटेंशन सबस्पेस चौड़ाई को नेटवर्क के प्राकृतिक प्रसंस्करण पदानुक्रम के साथ संरेखित करने से तेज़ अभिसरण और बेहतर प्रदर्शन मिलता है, जो कंप्यूट-बाउंडेड LLM विकास के लिए एक अत्यधिक व्यावहारिक विकल्प प्रदान करता है।

लेखकों द्वारा नोट की गई सीमाएँ (Limitations):

मूल्यांकन केवल डिकोडर-ओनली ट्रांसफॉर्मर्स (कॉज़ल लैंग्वेज मॉडलिंग के लिए) तक सीमित है; एनकोडर-ओनली या एनकोडर-डिकोडर आर्किटेक्चर में इसकी प्रयोज्यता अनवेरिफाइड है।
प्रयोग 1024 टोकन की कॉन्टेक्स्ट लेंथ पर किए गए थे; लॉन्ग-कॉन्टेक्स्ट प्रदर्शन का मूल्यांकन नहीं किया गया है।
इष्टतम शेड्यूल की खोज डिस्क्रीट ग्रिड सर्च के माध्यम से की गई थी; लर्निंग या डायनामिकली एडेप्टिव शेड्यूल्स भविष्य के कार्यों के लिए छोड़े गए हैं।