🤖 machine learning

PRISM: Parallel Residual Iterative Sequence Model

PRISM एक समानांतर करने योग्य (parallelizable) अनुक्रम मॉडल है जो गैर-रैखिकता (non-linearity) को अलग करके और एक दो-चरणीय प्रॉक्सी आर्किटेक्चर का उपयोग करके पुनरावृत्ति परिशोधन (iterative refinement) को एक फीडफॉरवर्ड ऑपरेटर में संकुचित करके ट्रांसफॉर्मर की अभिव्यंजकता (expressivity) और रैखिक दक्षता के बीच के तनाव को हल करता है, जिससे सैद्धांतिक रैंक- $L$ संचय प्राप्त होता है और स्पष्ट अनुकूलन विधियों की तुलना में 174 गुना अधिक थ्रूपुट प्राप्त होता है, जबकि तुलनीय प्रदर्शन बनाए रखता है।

मूल लेखक: Jie Jiang, Ke Cheng, Xin Xu, Mengyang Pang, Tianhao Lu, Jiaheng Li, Yue Liu, Yuan Wang, Jun Zhang, Huan Yu, Zhouchen Lin

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jie Jiang, Ke Cheng, Xin Xu, Mengyang Pang, Tianhao Lu, Jiaheng Li, Yue Liu, Yuan Wang, Jun Zhang, Huan Yu, Zhouchen Lin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "गति बनाम समझदारी" का द्वंद्व (The "Speed vs. Smarts" Dilemma)

कल्पना कीजिए कि आप एक बहुत लंबी कहानी याद रखने की कोशिश कर रहे हैं (जैसे किसी उपयोगकर्ता का पूरा शॉपिंग इतिहास या कोई किताब जो आप पढ़ रहे हैं) ताकि यह अनुमान लगाया जा सके कि आगे क्या होगा।

"समझदार" तरीका (Transformers): यह एक अत्यंत बुद्धिमान लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह है जो हर बार जब आप कोई सवाल पूछते हैं, तो पूरी कहानी को फिर से पढ़ता है। वे अविश्वसनीय रूप से सटीक हैं क्योंकि वे पूरी तस्वीर देखते हैं, लेकिन वे धीमे हैं। यदि कहानी बहुत लंबी हो जाती है, तो लाइब्रेरियन घबरा जाते हैं और उत्तर खोजने में बहुत समय लेते हैं।
"तेज़" तरीका (Linear Models): यह एक ऐसे लाइब्रेरियन की तरह है जो केवल एक छोटा सा सारांश नोट रखता है। जैसे-जैसे नए शब्द आते हैं, वे इस नोट को तुरंत अपडेट करते हैं। वे बिजली की तरह तेज़ हैं, लेकिन क्योंकि उनका नोट बहुत सरल है, वे अक्सर कहानी के सूक्ष्म विवरणों या जटिल संबंधों को मिस कर देते हैं। वे "मूर्ख" हैं लेकिन कुशल हैं।

लंबे समय तक शोधकर्ताओं ने सोचा कि आपको या तो तेज़ और मूर्ख बनना होगा, या समझदार और धीमा।

पुराना "समझदार" समाधान: सीरियल बॉटलनेक (The Serial Bottleneck)

कुछ शोधकर्ताओं ने तेज़ लाइब्रेरियन को स्मार्ट बनाने के लिए "टेस्ट-टाइम ट्रेनिंग" (TTT) पद्धति का उपयोग करने की कोशिश की। यह तेज़ लाइब्रेरियन को यह बताने जैसा है: "जवाब देने से पहले, गहराई से सोचें, अपने नोट्स की जाँच करें, अपनी गलतियों को सुधारें और फिर से सोचें।"

यह उन्हें बहुत समझदार बनाता है (जटिल पैटर्न को संभालने में सक्षम), लेकिन यह उनकी गति को तोड़ देता है। क्यों? क्योंकि उन्हें चरण-दर-चरण (step-by-step) सोचना पड़ता है। वे चरण 1 को पूरा किए बिना चरण 2 के बारे में नहीं सोच सकते। यह एक ऐसे व्यक्ति की तरह है जो भीड़ के इंतज़ार के बीच एक समय में एक पहेली का टुकड़ा हल करने की कोशिश कर रहा है। यह सटीक है, लेकिन यह गति के लाभ को खत्म कर देता है।

नया समाधान: PRISM

इस पेपर के लेखकों ने, PRISM ने, एक साहसी प्रश्न पूछा: "क्या हम लाइब्रेरियन को गहराई से सोचने (स्मार्ट वाले की तरह) के लिए प्रेरित कर सकते हैं लेकिन ऐसा सब कुछ एक साथ (फास्ट वाले की तरह) कर सकते हैं?"

उनका उत्तर है हाँ। उन्होंने एक ऐसा सिस्टम बनाया जो गहरी सोच की प्रक्रिया की नकल करता है लेकिन इसे इस तरह व्यवस्थित करता है कि यह समानांतर (parallel) रूप से हो सके।

PRISM कैसे काम करता है (उपमा/Analogy)

कल्पना कीजिए कि लाइब्रेरियन को अपने मेमोरी नोट को अपडेट करने की आवश्यकता है।

"लिखना-भूलना" वाली ट्रिक (The "Write-Forget" Trick):
पेपर यह महसूस करता है कि पुरानी जानकारी को "भूलना" आसान और स्थिर है (जैसे कॉफी को ठंडा होने देना)। इसके लिए आपको बहुत जटिल दिमाग की आवश्यकता नहीं है। हालाँकि, नया डेटा "लिखना" ही असली जादू है। PRISM इन दोनों कार्यों को अलग करता है। यह भूलने के लिए एक सरल, तेज़ विधि का उपयोग करता है, और अपनी सारी मानसिक शक्ति "लिखने" वाले हिस्से के लिए बचाकर रखता है।
"इनपुट एंकर" (चीट शीट/The Cheat Sheet):
पुराना "गहरी सोच" वाला तरीका धीमा था क्योंकि लाइब्रेरियन को आगे क्या लिखना है, यह तय करने के लिए अपने वर्तमान नोट्स को देखना पड़ता था। इसने एक चेन रिएक्शन बना दिया (चरण 1, चरण 1 के परिणाम पर निर्भर है, जो चरण 1 के परिणाम पर निर्भर है...)।
PRISM इस चेन को तोड़ देता है। वर्तमान नोट्स को देखने के बजाय, लाइब्रेरियन "चीट शीट" को देखता है जो इनपुट (अभी आ रहे नए शब्द) से प्राप्त होती है। यह चीट शीट भविष्यवाणी करती है कि नोट्स कैसे दिखेंगे।
- उपमा: मौसम बदलने का इंतज़ार करने के बजाय कि आप क्या पहनें, आप पूर्वानुमान (इनपुट) देखते हैं और तुरंत अपना पहनावा तय कर लेते हैं। आप पहले बारिश होने का इंतज़ार नहीं करते।
"पैरेलल लूप" (विशेषज्ञों की टीम/The Team of Experts):
आमतौर पर, गहरी सोच एक लूप में होती है: सोचो, जाँचो, फिर से सोचो, फिर से जाँचो। यह सीरियल (क्रमवार) है।
PRISM इस लूप को अनरोल (unroll) कर देता है। कल्पना कीजिए कि एक व्यक्ति के चरण-दर-चरण सोचने के बजाय, आपके पास L विशेषज्ञों की एक टीम है जो एक साथ काम कर रही है।
- विशेषज्ञ 1 चीट शीट को देखता है और एक सुधार का सुझाव देता है।
- विशेषज्ञ 2 उसी चीट शीट को देखता है और एक अलग सुधार का सुझाव देता है।
- विशेषज्ञ 3 भी ऐसा ही करता है।
  चूंकि वे सभी चीट शीट (इनपुट) को देखते हैं न कि एक-दूसरे का इंतज़ार करते हैं, इसलिए वे सभी एक साथ काम कर सकते हैं। अंतिम मेमोरी नोट सभी के सुझावों का एक संयोजन होता है।

परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ (Best of Both Worlds)

पेपर का दावा है कि PRISM एक "Rank-L" अपडेट प्राप्त करता है। सरल भाषा में, इसका अर्थ है कि लाइब्रेरियन अब एक साथ कई दिशाओं में अपनी मेमोरी अपडेट कर सकता है, जिससे वह जटिल विवरणों को पकड़ पाता है जिन्हें पुराने "फास्ट" मॉडल मिस कर देते थे।

गति (Speed): क्योंकि सभी समानांतर (parallel) में काम करते हैं, PRISM पुराने "मूर्ख" मॉडलों जितना ही तेज़ है। यह पुराने "स्मार्ट लेकिन धीमे" तरीके की तुलना में 174 गुना तेज़ है।
समझदारी (Smarts): यह धीमे, गहरी सोच वाले तरीकों के समान प्रदर्शन करता है। रिकमेंडेशन सिस्टम (जैसे फिल्में या किताबें सुझाना) के परीक्षणों में, यह तेज़ मॉडलों की तुलना में अधिक सटीक था और धीमे मॉडलों के बराबर था।

सारांश

PRISM एआई मेमोरी बनाने का एक नया तरीका है। यह गति और बुद्धिमत्ता के बीच के तनाव को हल करता है:

यह आसान हिस्से (भूलना) को कठिन हिस्से (लिखना) से अलग (Decouple) करता है।
यह इनपुट के आधार पर आवश्यक सुधारों की भविष्यवाणी (Predict) करता है (चीट शीट), बजाय इसके कि वर्तमान स्थिति का इंतज़ार किया जाए।
यह "सोचने" की प्रक्रिया को सीरियल चेन (एक व्यक्ति के चरण-दर-चरण सोचने) के बजाय समानांतर (विशेषज्ञों की एक टीम) में चलाता (Run) है।

परिणामस्वरूप, एक ऐसा AI मिलता है जो एक स्प्रिंटर (धावक) जितना तेज़ है और एक मैराथन धावक जितना समझदार है।

तकनीकी सारांश: PRISM (पैरलल रेसिडुअल इटरेटिव सीक्वेंस मॉडल)

1. समस्या विवरण

जेनरेटिव सीक्वेंस मॉडलिंग (Generative sequence modeling) ट्रांसफॉर्मर-आधारित आर्किटेक्चर की अभिव्यक्ति क्षमता (expressivity) और लीनियर सीक्वेंस मॉडल्स की दक्षता (efficiency) के बीच एक मौलिक तनाव का सामना कर रही है।

दक्षता संबंधी बाधा (The Efficiency Bottleneck): मौजूदा कुशल आर्किटेक्चर (जैसे, लीनियर अटेंशन, Mamba जैसे SSMs, DeltaNet) एक ऑनलाइन कॉन्वेक्स प्रोग्रामिंग (OCP) ऑब्जेक्टिव के लीनियराइज्ड, वन-शॉट समाधानों पर निर्भर करते हैं। हालांकि ये विधियाँ हार्डवेयर-कुशल पैरलल स्कैनिंग का समर्थन करती हैं, वे सैद्धांतिक रूप से एक Rank-1 बाधा (Rank-1 bottleneck) द्वारा सीमित हैं। प्रत्येक टोकन का मेमोरी स्टेट में योगदान संरचनात्मक रूप से एक एकल आउटर प्रोडक्ट ( $v_t k_t^\top$ ) तक सीमित होता है, जो उच्च-क्रम (high-order) फीचर इंटरैक्शन को कैप्चर करने या एकल चरण के भीतर पुनर्निर्माण त्रुटि (reconstruction error) को इटरेटिव रूप से कम करने की मॉडल की क्षमता को सीमित करता है।
अभिव्यक्ति संबंधी बाधा (The Expressivity Bottleneck): शक्तिशाली इटरेटिव विधियाँ जैसे टेस्ट-टाइम ट्रेनिंग (TTT), मल्टी-स्टेप नॉन-लीनियर ग्रेडिएंट डिसेंट करके Rank-1 सीमा को हल करती हैं, जिससे Rank-L अपडेट्स प्राप्त होते हैं। हालाँकि, यह एक सीरियल डिपेंडेंसी बाधा (Serial Dependency Bottleneck) पेश करता है: प्रत्येक ग्रेडिएंट स्टेप पिछले अपडेटेड स्टेट $S_{t-1}$ पर निर्भर करता है, जिससे हार्डवेयर पैरेललिज्म टूट जाता है और $O(NL)$ सीक्वेंशियल कंप्यूटेशन होता है। यह TTT को लीनियर रिकरेंस की तुलना में काफी धीमा (174 $\times$ तक) बना देता है।

मूल प्रश्न जिसका समाधान किया गया है वह है: क्या हम पैरलल स्कैन कम्पैटिबिलिटी (उच्च दक्षता) को बनाए रखते हुए Rank-L अपडेट्स (उच्च अभिव्यक्ति क्षमता) प्राप्त कर सकते हैं?

2. कार्यप्रणाली: PRISM आर्किटेक्चर

PRISM, TTT के "गेट $\times$ रेसिड्यूल $\times$ डायरेक्शन" इटरेशन पैटर्न को एक पैरललाइज़ेबल रूप में स्पष्ट रूप से पुनर्गठित करके इस तनाव को हल करता है। यह आर्किटेक्चर दो मुख्य तंत्रों पर आधारित है:

2.1. राइट-फॉरगेट डिकपलिंग (Write-Forget Decoupling)

PRISM स्पेक्ट्रल परटर्बेशन विश्लेषण के आधार पर स्टेट अपडेट $S_t = S_{t-1} A_t + B_t$ को दो अलग-अलग पथों में विभाजित करता है:

फॉरगेटिंग ( $A_t$ ): फॉरगेटिंग ऑपरेटर एप्रोक्सीमेशन एरर्स के प्रति रोबस्ट है। PRISM इसे एक स्ट्रक्चर्ड, कुशल Rank-1 रूप में फिक्स करता है (Gated DeltaNet के समान), जो जटिल नॉन-लिनियैरिटी की आवश्यकता के बिना दीर्घकालिक मेमोरी स्थिरता सुनिश्चित करता है।
राइटिंग ( $B_t$ ): इंजेक्शन ऑपरेटर रैंक-फिडेलिटी के प्रति अत्यधिक संवेदनशील है। PRISM यहाँ अभिव्यंजक क्षमता आवंटित करता है, एक इटरेटिव सॉल्वर के माध्यम से Rank-L इंजेक्शन का निर्माण करता है।

2.2. इनपुट-एंकरड लूप अनरोलिंग (Input-Anchored Loop Unrolling)

एक्सप्लिसिट सॉल्वर्स (जहाँ रेसिड्यूल्स और ग्रेडिएंट दिशाएँ विकसित होते हुए हिडन स्टेट $S_{t-1}$ पर निर्भर करती हैं) की सीरियल डिपेंडेंसी को बायपास करने के लिए, PRISM एक दो-चरणीय प्रॉक्सी मैकेनिज्म पेश करता है जो मल्टी-स्टेप समाधान को सिंगल पैरलल पास में "एमोर्टाइज़" (amortize) करता है:

स्टेज 1: एंकर कंस्ट्रक्शन: इनपुट सीक्वेंस पर एक शॉर्ट-कन्वोल्यूशन (ShortConv) एक स्टेट-फ्री प्रॉक्सी $u_t \approx S_{t-1} k_t$ की गणना करता है। यह स्थानीय इतिहास की ऊर्जा को कैप्चर करता है और सभी आगामी गणनाओं के लिए एंकर के रूप में कार्य करता है, जिससे वास्तविक हिडन स्टेट पर निर्भरता समाप्त हो जाती है।
स्टेज 2: पैरलल रिफाइनमेंट लूप: एंकर $u_t$ $u_{t}$ का उपयोग करते हुए, मॉडल समानांतर में $L$ $L$ रिफाइनमेंट स्टेप्स को अनरोल करता है। प्रत्येक स्टेप $l \in \{1, \dots, L\}$ $l \in {1, \dots, L}$ के लिए:
- डायरेक्शन (Direction): एक सीखा हुआ प्रोजेक्शन $k_t^{(l)} = W_k^{(l)} u_t$ रैंक- $l$ अपडेट के लिए आधार प्रदान करता है।
- गेन (Gain): एक सीखा हुआ प्रेडिक्टर $p_t^{(l)} = W_p^{(l)} u_t$ कॉन्टेक्स्टुअल गेन $\sigma'(S_{t-1} k_t)$ का अनुमान लगाता है।
- रेसिड्यूल अपडेट (Residual Update): रेसिड्यूल को लालचपूर्वक (greedily) घटाया जाता है: $r_t^{(l+1)} = r_t^{(l)} - \delta_t^{(l)}$ , जहाँ $\delta_t^{(l)} = \text{GELU}(p_t^{(l)} \odot r_t^{(l)})$ ।
- कॉन्फिडेंस (Confidence): एक स्टेप-साइज़ गेट $\beta_t^{(l)}$ अपडेट को नियंत्रित करता है।

अंतिम इंजेक्शन मैट्रिक्स को $B_t = \sum_{l=1}^L \beta_t^{(l)} \delta_t^{(l)} (k_t^{(l)})^\top$ के रूप में संचित किया जाता है। चूंकि सभी घटक केवल इनपुट (एंकर के माध्यम से) पर निर्भर करते हैं, इसलिए पूरा अपडेट पैरलल प्रीफिक्स स्कैनिंग के लिए आवश्यक स्टेट-इंडिपेंडेंस कंडीशन को संतुष्ट करता है।

3. प्रमुख योगदान

एकीकृत OCP परिप्रेक्ष्य और वर्गीकरण: यह पेपर मौजूदा विधियों को एक सामान्य ऑप्टिमाइज़ेशन फ्रेमवर्क के भीतर रखता है, और Rank-1/Parallel ट्रेड-ऑफ को केंद्रीय बाधा के रूप में पहचानता है। यह स्थापित करता है कि PRISM दोनों (Rank-L अभिव्यक्ति और पैरलल स्कैन कम्पैटिबिलिटी) प्राप्त करने वाला पहला तरीका है।
PRISM आर्किटेक्चर: Write-Forget Decoupling और Input-Anchored Loop Unrolling का उपयोग करने वाला एक हार्डवेयर-अवेयर कार्यान्वयन। यह डिज़ाइन उनके सीरियल कंप्यूटेशन को दरकिनार करते हुए उनकी अभिव्यंजक शक्ति को सुरक्षित रखता है।
सैद्धांतिक अभिव्यक्ति गारंटी: लेखकों ने औपचारिक रूप से सिद्ध किया है कि इनपुट-एंकरड फॉर्मूलेशन Rank Accumulation प्रदान करता है। PRISM का इंजेक्शन ऑपरेटर प्रति टोकन Rank-L स्टेट मॉडिफिकेशन उत्पन्न करता है, जो आदर्श नॉन-लीनियर डेल्टा नियम की समाधान गुणवत्ता के करीब पहुँच जाता है। इसके अलावा, जब $L=0$ होता है, तो PRISM संरचनात्मक रूप से Gated DeltaNet में बदल जाता है, जो बैकवर्ड कम्पैटिबिलिटी स्थापित करता है।

4. प्रायोगिक परिणाम

प्रयोग चार रिकमेंडेशन बेंचमार्क (Amazon Books, Movies, Electronics, Yelp) और लैंग्वेज मॉडलिंग टास्क (SlimPajama) पर किए गए।

प्रदर्शन (Rank-L प्रभावशीलता): PRISM, TTT और Titans जैसे एक्सप्लिसिट सीरियल सॉल्वर्स के बराबर प्रदर्शन प्राप्त करता है और कई मामलों में उनसे बेहतर है। Amazon Movies पर, PRISM ने सभी लीनियर मॉडल्स में उच्चतम AUC प्राप्त किया, जो Titans से बेहतर रहा। यह फुल-अटेंशन ट्रांसफॉर्मर्स (जैसे, SASRec) के साथ भी अंतर को कम करता है, जो बताता है कि लीनियराइजेशन के साथ "एक्सप्रेशन टैक्स" नगण्य हो जाता है।
दक्षता (Parallel Scan): PRISM विभिन्न सीक्वेंस लेंथ के बावजूद स्थिर ट्रेनिंग थ्रूपुट (~57K–61K टोकन्स/सेकंड) बनाए रखता है, जो Rank-1 बेसलाइन्स (Gated DeltaNet, Mamba-2) के बराबर प्रदर्शन करता है। इसके विपरीत, अपनी सीक्वेंशियल प्रकृति के कारण TTT 174 $\times$ धीमा है, और Transformer++ सीक्वेंस लेंथ के साथ क्वाड्रेटिक रूप से घटता है।
एब्लेशन स्टडीज (Ablation Studies):
- इटरेटिव डेप्थ: इटरेटिव रिफाइनमेंट ( $L=0$ ) को हटाने से सबसे बड़ा प्रदर्शन ह्रास होता है, जो यह प्रमाणित करता है कि मल्टी-स्टेप रिफाइनमेंट महत्वपूर्ण है।
- नॉन-लिनियरीटी: रिफाइनमेंट लूप में GELU एक्टिवेशन को हटाने से प्रदर्शन कम हो जाता है, जो पुष्टि करता है कि ऑप्टिमाइज़ेशन-क्वालिटी अपडेट्स के लिए नॉन-लीनियर शेपिंग आवश्यक है।
- मैकेनिस्टिक प्रोबिंग: उन लॉजिक टास्क (XOR, Parity) पर जहाँ Rank-1 मॉडल्स विफल होते हैं, PRISM 100% सटीकता प्राप्त करता है, जो यह सिद्ध करता है कि लाभ केवल स्पेशियल रैंक विस्तार से नहीं बल्कि इटरेटिव नॉन-लीनियर कंप्यूटेशन से आता है।

5. महत्व और दावे

यह पेपर दावा करता है कि PRISM ऑप्टिमाइज़ेशन फिडेलिटी और हार्डवेयर-कुशल पैरलल ट्रेनिंग के बीच के अंतर को सफलतापूर्वक पाटता है। इटरेटिव करेक्शन के स्ट्रक्चरल पैटर्न को पैरललाइज़ेबल फीडफॉरवर्ड ऑपरेटर में डिस्टिल करके, PRISM Rank-1/Parallel ट्रेड-ऑफ को हल करता है।

लेखक दावा करते हैं कि यह डिज़ाइन कुशल सीक्वेंस मॉडल्स को लीनियर रिकरेंस के थ्रूपुट लाभों से समझौता किए बिना जटिल, मल्टी-मोडल यूजर इंटरेस्ट और लॉन्ग-रेंज डिपेंडेंसी को कैप्चर करने की अनुमति देता है। PRISM को केवल एक सैद्धांतिक सुधार के रूप में नहीं, बल्कि Rank-1 बाधा से आगे बढ़ने के एक व्यावहारिक मार्ग के रूप में प्रस्तुत किया गया है, जो लीनियर मॉडल्स की दक्षता के साथ एक्सप्लिसिट ऑप्टिमाइज़ेशन की अभिव्यक्ति क्षमता प्रदान करता है। यह कार्य सुझाव देता है कि जेनरेटिव मॉडलिंग के लिए, लोकल कॉन्टेक्स्ट ऑप्टिमाइज़ेशन ट्रेजेक्टरीज को प्रेडिक्ट करने के लिए एक अत्यधिक कुशल स्ट्रक्चरल प्रायर प्रदान करता है, जिससे सटीक स्टेट डिपेंडेंसी से डिकपल होने की रणनीति को स्केल करने के लिए एक व्यवहार्य रणनीति बनाया जाता है।