🤖 machine learning

Incremental Transformer Neural Processes

यह शोध पत्र इंक्रीमेंटल ट्रांसफॉर्मर न्यूरल प्रोसेस (incTNP) को प्रस्तुत करता है, जो एक ऐसा मॉडल है जो मानक गैर-कारण (non-causal) ट्रांसफॉर्मर न्यूरल प्रोसेस के भविष्य कहने वाले प्रदर्शन और अंतर्निहित बेयसियन निरंतरता (Bayesian consistency) को बनाए रखते हुए, अनुक्रमिक डेटा स्ट्रीम के लिए कुशल, रैखिक-समय वृद्धिशील अपडेट सक्षम करने के लिए कॉज़ल मास्किंग, KV कैशिंग और ऑटोरेग्रेसिव प्रशिक्षण का लाभ उठाता है।

मूल लेखक: Philip Mortimer, Cristiana Diaconu, Tommy Rochussen, Bruno Mlodozeniec, Richard E. Turner

प्रकाशित 2026-06-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Philip Mortimer, Cristiana Diaconu, Tommy Rochussen, Bruno Mlodozeniec, Richard E. Turner

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "सब कुछ फिर से पढ़ने" की बाधा

कल्पना कीजिए कि आप एक जासूस हैं जो किसी रहस्य को सुलझाने की कोशिश कर रहे हैं। हर बार जब कोई नया गवाह सबूत लेकर आता है, तो आपको रुकना पड़ता है, अपनी वर्तमान फाइल बंद करनी पड़ती है, और अपने पूरे केस की फाइल का हर एक पन्ना शुरू से फिर से पढ़ना पड़ता है ताकि आप अपने सिद्धांत को अपडेट कर सकें।

यदि आपके पास 10 गवाह हैं, तो यह कष्टदायक है। यदि आपके पास 10,000 गवाह एक-एक करके आ रहे हैं, तो यह असंभव है। आप अपना सारा समय पुराने पन्नों को फिर से पढ़ने में बिता देंगे और नए सुरागों तक कभी नहीं पहुँच पाएंगे।

यह बिल्कुल मौजूदा AI मॉडल्स की समस्या है जिन्हें ट्रांसफॉर्मर न्यूरल प्रोसेसेज (TNPs) कहा जाता है। वे पिछले डेटा (जैसे मौसम या शेयर की कीमतों की भविष्यवाणी करना) के आधार पर भविष्यवाणियां करने में बहुत अच्छे हैं, लेकिन वे लाइव, स्ट्रीमिंग डेटा को संभालने में बहुत खराब हैं। हर बार जब एक नया डेटा पॉइंट आता है, तो मॉडल को पूरे इतिहास की अपनी समझ को शुरू से फिर से कैलकुलेट करना पड़ता है। जैसे-जैसे इतिहास बढ़ता है, यह घातीय रूप से (exponentially) धीमा और महंगा होता जाता है।

समाधान: "स्मार्ट नोटबुक" (incTNP)

लेखकों ने एक नया मॉडल पेश किया है जिसे incTNP (इन्क्रीमेंटल ट्रांसफॉर्मर न्यूरल प्रोसेस) कहा जाता है। इसे एक जासूस को एक स्मार्ट, जादुई नोटबुक देने के रूप में सोचें जो इस समस्या को हल करने के लिए दो मुख्य तरकीबों का उपयोग करती है:

कॉज़ल मास्किंग (Causal Masking) - ("एकतरफा दर्पण"):
कल्पना कीजिए कि जासूस केवल समय में आगे देख सकता है। वे अतीत को देख सकते हैं, लेकिन भविष्य के आधार पर अतीत बदल नहीं सकता। पुराने मॉडल्स में, एक नए सुराग को देखने से कल के नोट्स जादू से बदल सकते थे। incTNCP में, अतीत "फ्रीज" (स्थिर) है। जब एक नया सुराग आता है, तो मॉडल केवल नए सुराग और फ्रीज किए गए अतीत को देखता है। उसे पूरी किताब फिर से पढ़ने की आवश्यकता नहीं है; वह बस एक नया पन्ना जोड़ देता है।
KV कैशिंग (KV Caching) - ("चीट शीट"):
कल्पना कीजिए कि जासूस डेस्क पर एक स्टिकी नोट रखता है जो अब तक के केस के सबसे महत्वपूर्ण हिस्सों का सारांश देता है। जब एक नया गवाह आता है, तो जासूस पूरी फाइल फिर से नहीं पढ़ता; वे बस स्टिकी नोट पर एक नज़र डालते हैं, उसमें नए गवाह की जानकारी जोड़ते हैं, और आगे बढ़ जाते हैं।
तकनीकी शब्दों में, इसे की-वैल्यू (Key-Value) कैशिंग कहा जाता है। मॉडल पिछले डेटा के "सार" (essence) को सहेज लेता है। जब नया डेटा आता है, तो यह बस इस सहेजे गए सार को अपडेट करता है। यह गति को "पूरी लाइब्रेरी फिर से पढ़ने" से बदलकर "एक इंडेक्स कार्ड पर नज़र डालने" में बदल देता है।

परिणाम: बुद्धिमत्ता से समझौता किए बिना गति

लेखक दावा करते हैं कि इन तरकीबों का उपयोग करके, incTNP दो बड़ी जीत हासिल करता है:

भारी गति वृद्धि (Massive Speedup): डेटा जमा होने के साथ समय खराब होने (क्वाड्रेटिक या क्यूबिक ग्रोथ) के बजाय, नए डेटा को प्रोसेस करने का समय एक सीधी, प्रबंधनीय रेखा (लीनियर ग्रोथ) में बढ़ता है। इसका मतलब है कि यह मॉडल लाइव डेटा स्ट्रीम (जैसे लाइव मौसम सेंसर) को संभाल सकता है जो पहले उपयोग करने के लिए बहुत धीमे थे।
सटीकता का कोई नुकसान नहीं: आमतौर पर, जब आप किसी प्रक्रिया को तेज़ बनाने के लिए उसे सरल बनाते हैं, तो आप कुछ सटीकता खो देते हैं। लेखकों ने सिंथेटिक गणितीय समस्याओं, वास्तविक दुनिया के टैबुलर डेटा (जैसे स्प्रेडशीट्स) और तापमान भविष्यवाणी पर इसका परीक्षण किया। उन्होंने पाया कि incTNP पुराने धीमे मॉडल्स जितना ही सटीक (और कभी-कभी बेहतर भी) है।

"बेयसियन" चेक: क्या जासूस तर्कसंगत है?

एक चिंता थी: यदि जासूस केवल सुरागों को उसी क्रम में देखता है जिस क्रम में वे आते हैं (और उन्हें पुनर्व्यवस्थित नहीं कर सकता), तो क्या वे पक्षपाती या तर्कहीन हो जाएंगे?

प्रायिकता (probability) की दुनिया में, एक "तर्कसंगत" अपडेटर वह है जो सुरागों के प्राप्त होने के क्रम की परवाह किए बिना समान उत्तर देगा (इसे परम्यूटेशन इनवेरिएंस कहा जाता है)। पुराने मॉडल्स इसमें परफेक्ट थे। नया मॉडल, क्योंकि यह डेटा को एक विशिष्ट क्रम में प्रोसेस करता है, तकनीकी रूप से इस नियम को तोड़ता है।

हालाँकि, लेखकों ने यह मापने के लिए एक नया परीक्षण बनाया जिसे "इम्प्लिसिट बेयसनेस" (Implicit Bayesianness) कहा जाता है कि उनके अपडेट कितने "तर्कसंगत" हैं। उन्होंने पाया कि भले ही incTNP डेटा को एक विशिष्ट क्रम में देखता है, इसकी अंतिम भविष्यवाणियां पुराने मॉडल्स जितनी ही तर्कसंगत और सुसंगत हैं। इसने अपनी "गणितीय समझ" नहीं खोई, भले ही यह तेज़ हो गया हो।

दावों का सारांश

नवाचार: एक नया AI मॉडल (incTNP) जो डेटा के आने पर तुरंत अपने ज्ञान को अपडेट कर सकता है, बिना पूरे इतिहास को फिर से प्रोसेस किए।
तंत्र (Mechanism): यह लार्ज लैंग्वेज मॉडल्स से लिए गए "कॉज़ल मास्किंग" (वन-वे अटेंशन) और "KV कैशिंग" (सारांश सहेजना) का उपयोग करता है।
प्रदर्शन: यह स्ट्रीमिंग डेटा के लिए कई गुना तेज़ है लेकिन धीमे, मानक मॉडल्स जैसी उच्च सटीकता बनाए रखता है।
निरंतरता: यह गणितीय रूप से सुसंगत (बेयसियन) रहता है, भले ही यह डेटा को एक विशिष्ट क्रम में प्रोसेस करता है।
परीक्षण किए गए अनुप्रयोग: पेपर ने विशेष रूप से इन पर परीक्षण किया:
- सिंथेटिक गणितीय कार्य (गौसियन प्रोसेस)।
- टैबुलर डेटा (पावर प्लांट आउटपुट और प्रोटीन संरचना जैसे वास्तविक दुनिया के डेटासेट)।
- तापमान भविष्यवाणी (यूरोप और अफ्रीका में मौसम का पूर्वानुमान)।

पेपर निष्कर्ष निकालता है कि यह दृष्टिकोण इन शक्तिशाली AI मॉडल्स को डेटा के विशाल, निरंतर प्रवाह पर चलाने को संभव बनाता है बिना कंप्यूटर के वर्कलोड से क्रैश हुए।

तकनीकी सारांश: इंक्रीमेंटल ट्रांसफॉर्मर न्यूरल प्रोसेसेज (incTNP)

1. समस्या विवरण (Problem Statement)

न्यूरल प्रोसेसेज (NPs), विशेष रूप से ट्रांसफॉर्मर न्यूरल प्रोसेसेज (TNPs), स्पैटियोटेम्पोरल फोरकास्टिंग से लेकर टैबुलर डेटा मॉडलिंग तक के मेटा-लर्निंग कार्यों में मजबूत प्रदर्शन प्रदर्शित कर चुके हैं। हालांकि, मौजूदा TNP वेरिएंट उन स्ट्रीमिंग परिदृश्यों (streaming scenarios) में एक महत्वपूर्ण बाधा का सामना करते हैं जहाँ डेटा क्रमिक और निरंतर (जैसे, वास्तविक समय के सेंसर रीडिंग या डेटाबेस अपडेट) आता है।

मानक TNPs द्विदिश स्व-अटेंशन (bidirectional self-attention) तंत्र पर निर्भर करते हैं। जब एक नया अवलोकन (observation) आता है, तो इन मॉडलों को अपने आंतरिक निरूपण को अपडेट करने के लिए संपूर्ण संदर्भ इतिहास (context history) को पुन: एनकोड करना पड़ता है। इसके परिणामस्वरूप प्रत्येक अपडेट के लिए क्वाड्रेटिक कम्प्यूटेशनल लागत ( $O(N^2)$ ) और लंबाई $N$ के स्ट्रीम पर क्यूबिक संचयी लागत ( $O(N^3)$ ) होती है। ऑटोरिग्रेसिव (AR) परिनियोजन मोड में, जहाँ लक्ष्य बिंदुओं (target points) का अनुक्रमिक रूप से अनुमान लगाया जाता है और उन्हें संदर्भ में जोड़ा जाता है, यह अक्षमता और बढ़ जाती है, जिससे उच्च-आवृत्ति वाले अपडेट वास्तविक दुनिया के अनुप्रयोगों के लिए अत्यधिक महंगे हो जाते हैं।

मुख्य चुनौती एक ऐसा NP आर्किटेक्चर डिजाइन करने की है जो मानक TNPs की भविष्य कहने वाली प्रदर्शन या संभावabilistic सुसंगतता (Bayesian coherence) से समझौता किए बिना, सस्ते, इंक्रीमेंटल अपडेट (रैखिक समय जटिलता) का समर्थन कर सके।

2. कार्यप्रणाली (Methodology)

लेखक इंक्रीमेंटल ट्रांसफॉर्मर न्यूरल प्रोसेस (incTNP) पेश करते हैं, जो causally masked लार्ज लैंग्वेज मॉडल्स (LLMs) की प्रगति से अनुकूलित एक TNP वेरिएंट है। कार्यप्रणाली तीन स्तंभों पर आधारित है:

A. कॉज़ल मास्किंग और KV कैशिंग (Causal Masking and KV Caching)

मानक TNPs के विपरीत जो द्विदिश अटेंशन का उपयोग करते हैं, incTNP स्व-अटेंशन तंत्र में कॉज़ल मास्किंग (causal masking) का उपयोग करता है। यह एक लोअर-ट्रायंगुलर अटेंशन मास्क लागू करता है जहाँ टोकन $i$ केवल उन टोकनों $j \leq i$ पर ध्यान दे सकता है।

तंत्र: कॉज़ल मास्किंग को की-वैल्यू (KV) कैशिंग के साथ जोड़कर, मॉडल पिछले टोकनों के की (key) और वैल्यू (value) मैट्रिसेस को संग्रहीत करता है।
लाभ: जब एक नया डेटा बिंदु आता है, तो मॉडल केवल नए टोकन को कैश किए गए इतिहास के विरुद्ध प्रोसेस करता है। यह संदर्भ अपडेट की कम्प्यूटेशनल लागत को $O(N^2)$ से घटाकर रैखिक समय $O(N)$ कर देता है।

B. डेंस ऑटोरिग्रेसिव ट्रेनिंग (Dense Autoregressive Training - incTNP-Seq)

डेटा दक्षता को अधिकतम करने और कॉज़ल मास्किंग के माध्यम से रिसेप्टिव फील्ड को प्रतिबंधित करने से होने वाले संभावित प्रदर्शन ह्रास को रोकने के लिए, लेखक एक डेंस ऑटोरिग्रेसिव ट्रेनिंग रणनीति (जिसे incTNP-Seq कहा जाता है) प्रस्तावित करते हैं।

दृष्टिकोण: डेटा को अलग-अलग संदर्भ और लक्ष्य सेटों में विभाजित करने के बजाय, पूरे डेटासेट को एक एकल अनुक्रम $D_{seq} = [(x_1, y_1), \dots, (x_N, y_N)]$ के रूप में माना जाता है।
मास्किंग: कॉज़ल मास्किंग न केवल स्व-अटेंशन बल्कि क्रॉस-अटेंशन ब्लॉक्स पर भी लागू की जाती है। यह सुनिश्चित करता है कि $n$ -वें लक्ष्य का अनुमान केवल इतिहास $(x_{1:n}, y_{1:n})$ पर निर्भर है।
परिणाम: यह मॉडल को एक ही फॉरवर्ड पास में सभी संभावित प्रिफिक्स कॉन्टेक्स्ट के लिए लॉस (loss) की गणना करने की अनुमति देता है, जिससे सभी कॉन्टेक्स्ट साइज पर ट्रेनिंग लागत का परिशोधन (amortization) होता है और एक सघन पर्यवेक्षण सिग्नल (dense supervision signal) प्राप्त होता है।

C. सैद्धांतिक ढांचा: इम्प्लिसिट बेयसियननेस (Implicit Bayesianness)

पेपर इस चिंता को संबोधित करता है कि कॉज़ल मास्किंग मानक NPs में अंतर्निहित परम्यूटेशन इनवेरिएंस (permutation invariance) गुण को तोड़ देती है। संभावabilistic सुसंगतता पर प्रभाव को मापने के लिए, लेखक "इम्प्लिसिट बेयसियननेस" (Mlodozeniec et al., 2024) के मीट्रिक को अपनाते हैं।

वे एक KL गैप को परिभाषित करते हैं जो एक कंडिशनली एक्सचेंजेबल (Bayesian) वितरण से मॉडल के प्रेडिक्शन नियम के विचलन को मापता है।
यह ढांचा मॉडल के प्रेडिक्शन और वास्तविक डेटा वितरण के बीच कुलबैक-लीब्लर (Kullback-Leibler) डायवर्जेंस को एक "एक्सचेंजेबिलिफाइड" संस्करण और एक गैप टर्म के डायवर्जेंस में विभाजित करता है। शून्य गैप पूर्ण कंडीशनल एक्सचेंजेबिलिटी को दर्शाता है।

3. मुख्य योगदान (Key Contributions)

आर्किटेक्चर: incTNP का प्रस्ताव, जो KV कैशिंग और कॉज़ल मास्किंग का उपयोग करने वाला एक TNP वेरिएंट है ताकि रैखिक-समय संदर्भ अपडेट को सक्षम किया जा सके, जिससे फैक्टरइज्ड और ऑटोरिग्रेसिव दोनों मोड में स्ट्रीमिंग प्रेडिक्शन के लिए कई गुना गति संभव हो सके।
ट्रेनिंग रणनीति: यह प्रदर्शन करना कि एक डेंस ऑटोरिग्रेसिव ट्रेनिंग रणनीति (incTNP-Seq) मॉडल को समान प्रशिक्षण बजट के तहत मानक TNPs के बराबर या बेहतर प्रदर्शन करने की अनुमति देती है, जो प्रभावी रूप से कॉज़ल मास्किंग की सीमाओं को कम करती है।
सुसंगतता विश्लेषण: एक नवीन इम्प्लिसिट बेयसियननेस मीट्रिक का उपयोग करके अनुभवजन्य सत्यापन। अध्ययन दिखाता है कि कॉज़ल संरचना के बावजूद, incTNP एक प्रेडिक्शन नियम बनाए रखता है जिसकी बेयसियन सुसंगतता मानक परम्यूटेशन-इनवेरिएंट TNPs के तुलनीय है।

വ 4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंथेटिक और वास्तविक दुनिया के कार्यों पर incTNP का मूल्यांकन किया, जिसमें 1D गॉसियन प्रोसेस रिग्रेशन, टैबुलर डेटा रिग्रेशन (UCI बेंचमार्क), और स्टेशन टेम्परेचर प्रेडिक्शन (HadISD डेटासेट) शामिल हैं।

भविष्यवाणी प्रदर्शन (Predictive Performance):
- स्टैटिक कॉन्टेक्स्ट सेटिंग्स में, incTNP-Seq सिंथेटिक और वास्तविक दुनिया के कार्यों में मानक TNP-D बेसलाइन के बराबर या उससे बेहतर प्रदर्शन करता है।
- ऑटोरिग्रेसिव (AR) मोड में, incTNP-Seq, TNP-D की तुलना में काफी बेहतर प्रदर्शन करता है और साथ ही कम्प्यूटेशनल लागत को भी कम करता है। उदाहरण के लिए, तापमान भविष्यवाणी कार्यों पर, यह सटीकता से समझौता किए बिना TNP-D पर 3.5 $\times$ की गति वृद्धि प्राप्त करता है।
- मॉडल लेंथ जनरलाइजेशन (length generalization) प्रदर्शित करता है, जो 1,024 बिंदुओं के कॉन्टेक्स्ट पर प्रशिक्षित होने के बावजूद 30,000 बिंदुओं से अधिक के कॉन्टेक्स्ट स्ट्रीम पर अच्छा प्रदर्शन करता है।
कम्प्यूटेशनल दक्षता (Computational Efficiency):
- स्ट्रीमिंग अपडेट: incTNP प्रति-चरण अपडेट लागत को $O(N^2)$ से घटाकर $O(N)$ कर देता है।
- संचयी लागत: लंबाई $N$ के स्ट्रीम पर, संचयी लागत incTNP के लिए द्विघात ( $O(N^2)$ ) स्केल करती है, जबकि मानक TNPs के लिए यह क्यूबिक स्केलिंग ( $O(N^3)$ ) होती है।
- AR इन्फरेंस: AR परिनियोजन में, incTNP जटिलता को $O(N_t \cdot N_s^2)$ से घटाकर $O(N_t \cdot N_s)$ कर देता है, जिससे लंबे स्ट्रीम के लिए उच्च-फिडेलिटी AR इन्फरेंस संभव हो जाता है।
संभावabilistic सुसंगतता (Probabilistic Consistency):
- KL गैप मीट्रिक का उपयोग करते हुए, लेखकों ने पाया कि incTNP-Seq, गैर-कॉज़ल TNP-D के तुलनीय KL गैप प्रदर्शित करता है। यह सुझाव देता है कि स्ट्रीमिंग सेटिंग्स में विसंगति का प्राथमिक स्रोत कई NP वेरिएंटों में सामान्य कंडीशनल कंसिस्टेंसी की कमी है, न कि incTNP की विशिष्ट कॉज़ल मास्किंग प्रक्रिया।
- inc-TNP प्रेडिक्टिव सटीकता और बेयसियन सुसंगतता दोनों में स्केलेबल स्ट्रीमिंग गॉसियन प्रोसेस बेसलाइन्स (जैसे WISKI) से बेहतर प्रदर्शन करता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि incTNP स्ट्रीमिंग न्यूरल प्रोसेसेज में कम्प्यूटेशनल स्केलेबिलिटी और संभावabilistic कोहेरेंस के बीच के अंतर को सफलतापूर्वक पाटता है।

स्केलेबिलिटी: कॉज़ल मास्किंग और KV कैशिंग का लाभ उठाकर, incT립 (incTNP) लंबे हिस्ट्री स्ट्रीम वाले जटिल कार्यों के लिए उच्च-आवृत्ति, वास्तविक समय के अपडेट को कम्प्यूटेशनल रूप से व्यवहार्य बनाता है, जो TNP वेरिएंट्स में पहले की कमी थी।
प्रदर्शन: इस अंतर्ज्ञान के विपरीत कि कॉज़ल मास्किंग प्रदर्शन को कम कर सकती है, डेंस ट्रेनिंग रणनीति incTNP-Seq को मानक TNPs के बराबर या उनसे बेहतर प्रदर्शन करने की अनुमति देती है, यहाँ तक कि ट्रांसफर परिदृश्यों (Sim-to-Real) में भी।
सुसंगतता: यह कार्य इस धारणा को चुनौती देता है कि कॉज़ल मास्किंग अनिवार्य रूप से "तर्कसंगत" बेयसियन अपडेट को प्रभावित करती है। अनुभवजन्य परिणाम दर्शाते हैं कि incTNP एक स्तर की इम्प्लिसिट बेयसियननेस बनाए रखता है जो परम्यूटेशन-इनवेरिएंट बेसलाइन्स के समान है, जो एक-एक करके (one-at-a-time) स्ट्रीमिंग प्रोटोकॉल में इसके उपयोग को मान्य करता है।

लेखक निष्कर्ष निकालते हैं कि incTNP ऐतिहासिक जानकारी को छोड़े बिना, विशाल और विकसित होते डेटासेट के लिए स्ट्रक्चर्ड डेटा (जैसे टैबुलर या टाइम-सीरीज डेटा) के लिए फाउंडेशन मॉडल्स को स्केल करने का एक व्यावहारिक मार्ग प्रदान करता है, जबकि विश्वसनीय इन्फरेंस के लिए आवश्यक संभावabilistic गारंटी भी बनाए रखता है।