📊 statistics

Stochastic Scaling Limits and Synchronization by Noise in Deep Transformer Models

यह शोध पत्र यह स्थापित करता है कि MLP ब्लॉकों वाले परिमित-गहराई, परिमित-चौड़ाई वाले ट्रांसफॉर्मर्स में टोकन का परतवार विकास (layerwise evolution) एक निरंतर-समय स्टोकेस्टिक इंटरैक्टिंग पार्टिकल सिस्टम की ओर अभिसरित होता है, जो प्रोपेगेशन ऑफ केओस (propagation of chaos) को सिद्ध करता है और यह प्रदर्शित करता है कि पर्याप्त रूप से कोएर्सिव कॉमन नॉइज़ (coercive common noise), सीमित मॉडल में सिंक्रोनाइजेशन बाय नॉइज़ (synchronization by noise) और घातीय ऊर्जा अपव्यय (exponential energy dissipation) को प्रेरित करती है।

मूल लेखक: Andrea Agazzi, Giuseppe Bruno, Eloy Mosig García, Samuele Saviozzi, Marco Romito

प्रकाशित 2026-04-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrea Agazzi, Giuseppe Bruno, Eloy Mosig García, Samuele Saviozzi, Marco Romito

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

बड़ी तस्वीर: नर्तकों की एक भीड़

कल्पना कीजिए कि एक मंच पर नर्तकों (जिन्हें टोकन कहा जाता है) का एक बड़ा समूह है। एक आधुनिक AI मॉडल, जिसे ट्रांसफॉर्मर (Transformer) कहा जाता है, में ये नर्तक कई परतों (जैसे एक इमारत की मंजिलों) के माध्यम से चलते हैं। प्रत्येक मंजिल पर, वे दो काम करते हैं:

एक-दूसरे को देखना (Self-Attention): वे समूह के मूड के आधार पर यह तय करने के लिए कि कैसे हिलना है, बाकी सभी पर एक नज़र डालते हैं।
एक सोलो मूव करना (MLP): वे एक विशिष्ट, व्यक्तिगत नृत्य कदम (dance step) करते हैं जो दूसरों पर निर्भर नहीं होता है।

लंबे समय तक, वैज्ञानिकों को "एक-दूसरे को देखने" वाले हिस्से की अच्छी समझ थी, लेकिन "सोलो मूव" वाला हिस्सा एक रहस्य बना रहा। यह शोध पत्र इस बात को समझने की कोशिश करता है कि क्या होता है जब आपके पास एक बहुत ऊँची इमारत (कई परतें) और एक बहुत चौड़ा मंच (कई नर्तक) हो, और जब सोलो मूव थोड़े रैंडम (जैसे किसी नर्तक का लड़खड़ाना या इम्प्रोवाइज़ करना) हों।

मुख्य खोज: असतत चरणों से एक सुचारू प्रवाह तक

लेखक सिद्ध करते हैं कि यदि आप इन नर्तकों को पर्याप्त समय तक देखते हैं, तो उनके झटकेदार, चरण-दर-चरण आंदोलन एक निरंतर, सुचारू नृत्य में बदल जाते हैं।

पुराना दृष्टिकोण: आप देखते हैं कि एक नर्तक एक कदम लेता है, रुकता है, देखता है, फिर दूसरा कदम लेता है। यह एक डिजिटल, "ऑन-ऑफ" प्रक्रिया है।
नया दृष्टिकोण: लेखक दिखाते हैं कि गणितीय रूप से, यह समय के साथ एक नर्तक के सुचारू रूप से फिसलने (glide करने) के समान है, जो दो शक्तियों द्वारा निर्देशित होता है:
1. ग्रुप ड्रिफ्ट (Group Drift): भीड़ जहाँ जा रही है, उसकी ओर एक सुचारू खिंचाव (Self-Attention)।
2. कॉमन विंड (Common Wind): एक रैंडम, अदृश्य हवा जो सभी को एक ही समय में एक ही दिशा में उड़ा ले जाती है (जो रैंडम MLP स्टेप्स से आती है)।

उन्होंने सिद्ध किया कि जैसे-जैसे इमारत ऊँची और मंच चौड़ा होता जाता है, "झटकेदार कदमों" और "सुचारू फिसलन" के बीच का अंतर नगण्य हो जाता है। उन्होंने वह सटीक समीकरण भी लिखा है (एक स्टोकेस्टिक पार्शियल डिफरेंशियल इक्वेशन) जो इस सुचारू प्रवाह का वर्णन करता है।

"शोर" का आश्चर्य: हवा द्वारा सिंक्रोनाइज़ेशन

शोध पत्र का सबसे रोमांचक हिस्सा यह है कि क्या होता है जब वह "कॉमन विंड" (शोर/noise) मजबूत हो जाती है।

कल्पना कीजिए कि नर्तक एक घेरा बनाने की कोशिश कर रहे हैं। बिना हवा के, वे एक अस्त-व्यस्त पैटर्न या आधे घेरे में फंस सकते हैं जो कभी पूरा नहीं होता। यह वैसा ही है जैसे लोगों का एक समूह किसी मीटिंग की जगह पर सहमत होने की कोशिश कर रहा हो लेकिन गतिरोध में फंस गया हो।

हालाँकि, लेखकों ने पाया कि यदि "कॉमन विंड" पर्याप्त रूप से मजबूत है, तो यह एक सिंक्रोनाइज़ेशन टूल के रूप में कार्य करती है।

रूपक (Metaphor): हवा को एक विशाल, अदृश्य हाथ के रूप में सोचें जो धीरे से सभी को धकेल रहा है। भले ही नर्तक भ्रमित हों या अलग-अलग दिशाओं में बढ़ रहे हों, यह मजबूत, साझा धक्का अंततः उन सभी को बिल्कुल एक ही स्थान पर ले आता है।
परिणाम: शोध पत्र सिद्ध करता है कि यह "हवा" अस्त-व्यस्त, फंसे हुए पैटर्न को नष्ट कर देती है और पूरे समूह को एक एकल, एकीकृत बिंदु में समाहित होने के लिए मजबूर कर देती है। वे इसे "सिंक्रोनाइज़ेशन बाय नॉइज़" (Synchronization by Noise) कहते हैं।

हवा के काम करने के नियम

यह शोध पत्र केवल यह नहीं कहता कि "शोर मदद करता है।" यह विशिष्ट नियम देता है कि यह कब होता है:

हवा का एसिमेट्रिक (Asymmetric) होना आवश्यक है: रैंडम डांस स्टेप्स (MLP) पूरी तरह से संतुलित (जैसे कि ठीक 50/50 वाला सिक्का उछालना) नहीं होने चाहिए। उनमें एक हल्का "बायस" या झुकाव होना चाहिए। यदि कदम पूरी तरह से सममित (symmetrical) हैं, तो हवा नर्तकों को एक साथ लाने के बजाय उन्हें बस गोल-गोल घुमा सकती है।
हवा को ड्रिफ्ट (Drift) को हराना होगा: रैंडम हवा इतनी मजबूत होनी चाहिए कि वह नर्तकों की अलग रहने या जटिल पैटर्न में चलने की स्वाभाविक प्रवृत्ति को पार कर सके। यदि "ग्रुप पुल" बहुत मजबूत है और हवा बहुत कमजोर है, तो वे सिंक्रोनाइज़ नहीं होंगे।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने उस सटीक गति की गणना की जिस पर नर्तक सिंक्रोनाइज़ होंगे। उन्होंने दिखाया कि समूह को अलग रखने वाली ऊर्जा (Interaction Energy) तेजी से गायब हो जाती है—जैसे कि एक गुब्बारा बहुत जल्दी पिचक जाता है—एक बार जब हवा पर्याप्त जोर से चलने लगती है।

संक्षेप में:
यह शोध पत्र AI मॉडलों के अस्त-व्यस्त, चरण-दर-चरण गणित को कणों के एक सुचारू, निरंतर प्रवाह से जोड़ता है। यह प्रकट करता है कि AI के आर्किटेक्चर में मौजूद रैंडम "शोर" केवल एक बग (त्रुटि) नहीं है; सही परिस्थितियों में, यह एक शक्तिशाली बल के रूप में कार्य करता है जो पूरे सिस्टम को सहमत होने और सिंक्रोनाइज़ होने के लिए मजबूर करता है, जिससे एक अराजक भीड़ एक एकल, एकीकृत बिंदु में बदल जाती है।

यहाँ Agazzi et al. के शोध पत्र "Stochastic Scaling Limits and Synchronization by Noise in Deep Transformer Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र डीप ट्रांसफार्मर आर्किटेक्चर की सैद्धांतिक समझ में मौजूद एक अंतराल को संबोधित करता है, विशेष रूप से Self-Attention और Multi-Layer Perceptron (MLP) ब्लॉक्स की संयुक्त गतिशीलता (joint dynamics) के संबंध में।

संदर्भ: जबकि हालिया साहित्य ने "रेसिड्यूअल स्ट्रीम" (परतों के माध्यम से टोकन निरूपण का विकास) को नियतात्मक मीन-फील्ड इंटरैक्टिंग पार्टिकल सिस्टम (मुख्य रूप से अटेंशन पर ध्यान केंद्रित करते हुए) के रूप में मॉडल किया है, ये मॉडल अक्सर MLP ब्लॉक्स द्वारा उत्पन्न स्टोकेस्टिक प्रकृति की उपेक्षा करते हैं या उन्हें पूरी तरह से नियतात्मक मानते हैं।
लक्ष्य: लेखक एक कठोर स्टोकेस्टिक स्केलिंग लिमिट (stochastic scaling limit) प्राप्त करने का लक्ष्य रखते हैं, जहाँ गहराई ( $L$ ) और MLP चौड़ाई ( $m$ ) दोनों अनंत ( $\infty$ ) की ओर बढ़ते हैं, जबकि टोकन की संख्या ( $N$ ) स्थिर या बड़ी होती है।
मुख्य प्रश्न: क्या MLP वेट्स (weights) की रैंडम इनिशियलाइजेशन से उत्पन्न होने वाला रैंडमनेस वैश्विक गतिशीलता को प्रभावित करता है, और क्या यह शोर (noise) टोकन के सिंक्रोनाइज़ेशन (क्लस्टरिंग) को प्रेरित करता है?

2. कार्यप्रणाली (Methodology)

लेखक संभाव्यता सिद्धांत (probability theory), स्टोकेस्टिक विश्लेषण और मीन-फील्ड थ्योरी को संयोजित करने वाला एक बहु-चरणीय गणितीय ढांचा उपयोग करते हैं।

A. मॉडल सेटअप (Model Setup)

आर्किटेक्चर: एक ट्रांसफार्मर जिसमें $L$ परतें हैं और $N$ टोकन $d$ -आयामी गोले $S^{d-1}$ पर स्थित हैं।
गतिशीलता (Dynamics): अपडेट नियम में प्रति परत दो चरण शामिल हैं:
1. Self-Attention: सॉफ्टमैक्स अटेंशन पर आधारित एक नियतात्मक इंटरैक्शन टर्म।
2. MLP: रैंडम वेट्स (गौसियन इनिशियलाइजेशन) और एक लिप्सचिट्ज़ एक्टिवेशन फंक्शन $\phi$ के साथ एक फीड-फॉरवर्ड ब्लॉक।
स्केलिंग: लेखक अटेंशन के लिए $\alpha_1(L) = T/L$ और MLP के लिए $\alpha_2(L) = \sqrt{T/L}$ के विशिष्ट स्केलिंग फैक्टर्स पेश करते हैं। यह स्केलिंग सुनिश्चित करती है कि जैसे-जैसे $L \to \infty$ होता है, अटेंशन ड्रिफ्ट $O(1)$ रहता है, जबकि MLP शोर का संचयी प्रभाव ब्राउनियन मोशन (Brownian motion) में परिवर्तित हो जाता है।

B. लिमिटिंग डायनेमिक्स का व्युत्पन्न (Derivation of the Limiting Dynamics)

फाइनाइट $N$ लिमिट (Deep & Wide):
- लेखक सिद्ध करते हैं कि डिस्क्रीट-टाइम टोकन ट्रैजेक्टरीज निरंतर-समय SDE (Stochastic Differential Equation) सिस्टम की ओर पाथवाइज (pathwise) अभिसरित होती हैं।
- लिमिटिंग SDE: टोकन एक कॉमन नॉइज़ (common noise) टर्म द्वारा संचालित इंटरैक्टिंग SDEs के एक सिस्टम के अनुसार विकसित होते हैं।
  - ड्रिफ्ट (Drift) नियतात्मक है और टोकन के एम्पिरिकल डिस्ट्रीब्यूशन (मीन-फील्ड सेल्फ-अटेंशन) पर निर्भर करता है।
  - डिफ्यूजन (Diffusion) टर्म MLP से उत्पन्न होता है। वाइड MLP पर सेंट्रल लिमिट थ्योरम लागू होने के कारण, रैंडम वेट्स एक गौसियन रैंडम फील्ड में परिवर्तित हो जाते हैं। महत्वपूर्ण बात यह है कि यह शोर कॉमन (सभी टोकन के लिए साझा) है लेकिन नॉन-इंटरैक्टिंग (शोर का कोवेरिएंस अन्य टोकन की वर्तमान स्थिति पर निर्भर नहीं करता है) है।
- तकनीकी चुनौती: लेखक लेयर नॉर्मलाइजेशन (गोले पर रेडियल प्रोजेक्शन) की नॉन-लिनियरिटी को संभालने के लिए, प्रोजेक्शन एरर को नियंत्रित करने हेतु टेलर एक्सपेंशन का उपयोग करके, फाइनाइट-विड्थ MLP और लिमिटिंग गौसियन फील्ड के बीच एक सावधानीपूर्वक कपलिंग का निर्माण करते हैं।
लार्ज $N$ लिमिट (Mean-Field):
- वे टोकन के एम्पिरिकल डिस्ट्रीब्यूशन ( $\mu_t$ ) के विकास को नियंत्रित करने वाली SPDE (Stochastic Partial Differential Equation) को व्युत्पन्न करते हैं।
- यह SPDE कॉमन नॉइज़ के साथ McKean-Vlasov प्रकार की है।
- वे प्रोपैगेशन ऑफ चाओस (Propagation of Chaos) को सिद्ध करते हैं: जैसे-जैसे $N \to \infty$ होता है, टोकन कॉमन नॉइज़ के आधार पर स्वतंत्र हो जाते हैं, और उनका एम्पिरिकल मेजर (empirical measure) SPDE के समाधान की ओर अभिसरित होता है।

C. सिंक्रोनाइज़ेशन विश्लेषण (Synchronization Analysis)

लेखक अटेंशन मैकेनिज्म से जुड़े एक लायपुनोव फंक्शन (interaction energy) का उपयोग करके सिस्टम के दीर्घकालिक व्यवहार का विश्लेषण करते हैं।
वे जांच करते हैं कि क्या कॉमन नॉइज़ नियतात्मक गतिशीलता के मेटास्टेबल स्टेट्स (सैडल पॉइंट्स) को पार कर सकता है ताकि सिस्टम को एक सिंक्रोनाइज़्ड स्टेट (जहाँ सभी टोकन एक ही बिंदु पर सिमट जाते हैं) में धकेल सके।

3. मुख्य योगदान (Key Contributions)

MLP के साथ प्रथम स्टोकेस्टिक स्केलिंग लिमिट: यह उन पहले कार्यों में से एक है जो कठोरता से एक स्टोकेस्टिक लिमिट को व्युत्पन्न करता है जिसमें स्पष्ट रूप से MLP घटक शामिल है। पिछले कार्यों ने मुख्य रूप से नियतात्मक लिमिट पर ध्यान केंद्रित किया या MLP के योगदान की उपेक्षा की।
कॉमन नॉन-इंटरैक्टिंग नॉइज़ की पहचान: यह शोध पत्र पहचान करता है कि MLP इनिशियलाइजेशन से उत्पन्न रैंडमनेस लिमिटिंग SDE में एक कॉमन नॉइज़ टर्म के रूप में प्रकट होती है। पिछले स्टोकेस्टिक मॉडलों के विपरीत जहाँ शोर इडियोसिंक्रेटिक (प्रत्येक टोकन के लिए स्वतंत्र) था, यहाँ शोर साझा है लेकिन यह पार्टिकल इंटरैक्शन से स्वतंत्र एक ट्रांसपोर्ट टर्म के रूप में कार्य करता है।
क्वांटिटेटिव कन्वर्जेंस बाउंड्स: लेखक डिस्क्रीट ट्रांसफार्मर डायनेमिक्स के निरंतर SDE में अभिसरण के लिए स्पष्ट, मात्रात्मक एरर बाउंड प्रदान करते हैं।
- एरर $O(\frac{\log L}{L} + \frac{1}{m})$ के रूप में स्केल करता है।
- वे सिद्ध करते हैं कि $L \to \infty$ (डेप्थ) और $m \to \infty$ (विड्थ) के लिमिट्स आपस में कम्यूट (commute) करते हैं।
शोर द्वारा सिंक्रोनाइज़ेशन (Synchronization by Noise): वे ऐसी स्थितियाँ स्थापित करते हैं जिनके तहत कॉमन नॉइज़ टोकन के एक्सपोनेंशियल सिंक्रोनाइज़ेशन (क्लस्टरिंग) को प्रेरित करता है।
- वे सिद्ध करते हैं कि यदि शोर नियतात्मक ड्रिफ्ट के सापेक्ष पर्याप्त रूप से "कोर्सिव" (coercive) है, तो इंटरैक्शन एनर्जी तेजी से घटती है।
- यह टोकन के "कोलैप्स" (collapse) के लिए एक सैद्धांतिक तंत्र प्रदान करता है।

4. मुख्य परिणाम (Key Results)

थ्योरम 1.1 (पाथवाइज कन्वर्जेंस): फिक्स्ड $N$ के लिए, डिस्क्रीट टोकन ट्रैजेक्टरीज $L$ और $m$ पर निर्भर दर के साथ $L^2$ नॉर्म में लिमिटिंग SDE के समाधान $\bar{X}_t$ की ओर अभिसरित होती हैं।
प्रपोजिशन 1.2 (प्रोपैगेशन ऑफ चाओस): बड़े $N$ के लिए, पार्टिकल सिस्टम का एम्पिरिकल मेजर (empirical measure) कॉमन नॉइज़ के साथ SPDE (1.10) के अद्वितीय समाधान की ओर अभिसरित होता है, जिसकी दर डाइमेंशन $d$ (जैसे, $d < 4$ के लिए $N^{-1/2}$ ) पर निर्भर करती है।
थ्योरम 1.4 (एक्सपोनेंशियल डिसिपेशन): एक्टिवेशन फंक्शन और नॉइज़ स्ट्रेंथ (Assumption 1 और 2) पर विशिष्ट धारणाओं के तहत, अपेक्षित इंटरैक्शन एनर्जी $E_\beta(\mu_t)$ तेजी से घटती है:
$\mathbb{E}[E_\beta(\mu_t)] \leq \exp((\varepsilon + \bar{\lambda}')t) \mathbb{E}[E_\beta(\mu_0)]$
जहाँ $\bar{\lambda}' < 0$ एक दर है जो नॉइज़ स्ट्रक्चर द्वारा निर्धारित होती है।
प्रपोजिशन 1.5 (स्पष्ट दरें): ReLU एक्टिवेशन के लिए, लेखक स्पष्ट सूत्र निकालते हैं, जो दिखाते हैं कि सामान्य पैरामीटर विकल्पों के लिए $\lambda_1$ और $\bar{\lambda}$ ऋणात्मक हैं (जो सिंक्रोनाइज़ेशन का संकेत देते है), बशर्ते कि डाइमेंशन $d > 3$ हो।

5. महत्व और निहितार्थ (Significance and Implications)

सैद्धांतिक एकीकरण: यह पेपर नियतात्मक मीन-फील्ड थ्योरी और डीप लर्निंग में स्टोकेस्टिक डायनेमिक्स के बीच के अंतर को पाटता है, जिससे ट्रांसफार्मर में सूचना के प्रसार की अधिक पूर्ण तस्वीर मिलती है।
क्लस्टरिंग के लिए तंत्र: यह टोकन निरूपण के "सिंक्रोनाइज़ेशन" या "कोलैप्स" के लिए एक कठोर गणितीय स्पष्टीकरण प्रदान करता है। यह सुझाव देता है कि MLP की रैंडम इनिशियलाइजेशन केवल वेरिएंस का स्रोत नहीं है, बल्कि एक संरचनात्मक चालक है जो सिस्टम को एक सिंक्रोनाइज़्ड अवस्था में धकेल सकता है, जो सुसंगत आंतरिक निरूपणों के निर्माण में सहायता कर सकता है।
एक विशेषता के रूप में शोर (Noise as a Feature): यह कार्य रैंडम इनिशियलाइजेशन से उत्पन्न "शोर" को केवल एक बाधा के रूप में नहीं, बल्कि एक मौलिक घटक के रूप में पुनर्गठित करता है जो अटेंशन मैकेनिज्म के साथ मिलकर मॉडल के व्यवहार को आकार देता है।
ट्रेनिंग विश्लेषण का आधार: पथवाइज कन्वर्जेंस और मात्रात्मक बाउंड स्थापित करके, यह कार्य ट्रांसफार्मर की ट्रेनिंग डायनेमिक्स के भविष्य के विश्लेषणों के लिए आधार तैयार करता है।