⚛️ high-energy experiments

Neural Scaling Laws for Jet Generation

यह शोध पत्र पार्टिकल जेट जनरेशन के लिए न्यूरल स्केलिंग लॉज़ की जांच करता है, जो मॉडल के आकार के साथ लॉगरिदमिक स्केलिंग की पुष्टि करता है और भौतिक सटीकता के प्रॉक्सी के रूप में नेक्स्ट-टोकन प्रेडिक्शन लॉस को मान्य करता है, जबकि ऑटोरेग्रेसिव लर्निंग में तीव्र संतृप्ति के कारण डेटासेट के आकार और कंप्यूट के लिए कमजोर स्केलिंग रुझानों को देखता है।

मूल लेखक: Oz Amram, Darius A. Faroughy, Tjarko Gerdes, Anna Hallin, Gregor Kasieczka, Michael Krämer, Humberto Reyes-Gonzalez, David Shih

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Oz Amram, Darius A. Faroughy, Tjarko Gerdes, Anna Hallin, Gregor Kasieczka, Michael Krämer, Humberto Reyes-Gonzalez, David Shih

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक रोबोट को कणों के टकराव को "सपना" देखना सिखाना

कल्पना कीजिए कि आप एक रोबोट को पेंटिंग करना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, एक प्रसिद्ध नियम है जिसे "स्केलिंग लॉ" (Scaling Law) कहा जाता है। यह मूल रूप से कहता है: यदि आप रोबोट को एक बड़ा दिमाग (अधिक पैरामीटर्स), अधिक पेंट के नमूने (अधिक डेटा), या पेंट करने के लिए अधिक समय (अधिक कंप्यूटिंग पावर) देते हैं, तो वह एक अनुमानित, गणितीय तरीके से पेंटिंग करने में बेहतर हो जाएगा।

यह शोध पत्र एक सरल प्रश्न पूछता है: क्या यह नियम कण भौतिकी (particle physics) के लिए काम करता है?

विशेष रूप से, शोधकर्ता यह देखना चाहते थे कि क्या वे एक रोबोट को वास्तविक दिखने वाले "जेट्स" (jets) का सपना देखने (जनरेट करने) के लिए प्रशिक्षित कर सकते हैं। कण भौतिकी में, जब प्रोटॉन आपस में टकराते हैं, तो वे कणों के बादलों को बाहर छिड़कते हैं जिन्हें "जेट्स" कहा जाता है। ये जेट्स अस्त-व्यस्त और अराजक होते हैं, और क्वांटम मैकेनिक्स के नियमों का पालन करते हैं। टीम ने OmniJet-α नामक एक मॉडल को प्रशिक्षित किया ताकि वह इन जेट्स के पैटर्न को सीख सके और फिर नए, नकली जेट्स बना सके जो बिल्कुल असली जैसे दिखें।

सफलता के तीन घटक

अपने सिद्धांत का परीक्षण करने के लिए, शोधकर्ताओं ने तीन मुख्य घटकों में बदलाव किया, ठीक वैसे ही जैसे एक शेफ रेसिपी में बदलाव करता है:

मॉडल का आकार (दिमाग): उन्होंने AI के "दिमाग" को छोटा "पिको" (Pico) मस्तिष्क से लेकर एक विशाल "एक्सएक्सएल" (XXL) मस्तिष्क तक, बड़ा और बड़ा बनाया।
डेटासेट का आकार (पाठ्यपुस्तक): उन्होंने AI को कुछ मिलियन से लेकर सैकड़ों मिलियन तक, वास्तविक जेट्स के अधिक से अधिक उदाहरण दिए।
कंप्यूट (समय/प्रयास): उन्होंने डेटा का अध्ययन करने के लिए AI को अलग-अलग मात्रा में कंप्यूटिंग पावर दी।

उन्होंने क्या पाया: "आसान" हिस्सा बनाम "कठिन" हिस्सा

1. दिमाग बड़ा होता है (मॉडल का आकार) → सफलता!

जब उन्होंने AI का दिमाग बड़ा किया, तो वह अपने काम में काफी बेहतर हो गया।

उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। जैसे-जैसे आप उन्हें एक बड़ा दिमाग (अधिक ज्ञान) देते हैं, उनका टेस्ट स्कोर एक सहज, अनुमानित वक्र (curve) में ऊपर जाता है।
परिणाम: शोध पत्र ने यहाँ एक स्पष्ट गणितीय नियम पाया। बड़ा मॉडल = बेहतर भविष्यवाणी।
बोनस: उन्होंने यह भी जांचा कि क्या AI केवल टेस्ट को रट रहा था या वास्तव में भौतिकी को समझ रहा था। उन्होंने यह मापने के लिए कि "नकली" जेट्स वास्तविक भौतिकी के नियमों के साथ कितनी अच्छी तरह मेल खाते हैं, एक माप का उपयोग किया (जिसे स्लाइस्ड वासेस्टीन डिस्टेंस कहा जाता है)। उन्होंने पाया कि जैसे-जैसे टेस्ट स्कोर बढ़े, भौतिकी की गुणवत्ता भी बढ़ी। गणित और भौतिकी पूरी तरह से तालमेल में थे।

2. पाठ्यपुस्तक बड़ी होती है (डेटासेट का आकार) → कोई खास बदलाव नहीं

जब उन्होंने AI को अधिक डेटा दिया, तो सुधार आश्चर्यजनक रूप से कम था।

उपमा: कल्पना कीजिए कि एक छात्र जिसने पहले ही पूरी विश्वकोश (encyclopedia) पढ़ ली है। यदि आप उसे एक और विश्वकोश देते हैं, तो वह बहुत अधिक नहीं सीखता क्योंकि उसने पहले ही बुनियादी बातों में महारत हासिल कर ली है।
परिणाम: AI बहुत जल्दी एक "सीलिंग" (सीमा) पर पहुँच गया। थोड़े से डेटा के साथ ही, उसने जेट्स के सामान्य आकार के बारे में लगभग सब कुछ सीख लिया था। अधिक डेटा देने से ज्यादा मदद नहीं मिली क्योंकि AI पहले ही "आसान" चीजें सीख चुका था।

3. अधिक समय/प्रयास (कंप्यूट) → सपाट रेखाएं (Flat Lines)

जब उन्होंने प्रशिक्षण के लिए AI को अधिक कंप्यूटिंग पावर दी, तो परिणामों में भी बहुत सुधार नहीं हुआ।

उपमा: कल्पना कीजिए कि एक छात्र 10 मिनट में परीक्षा समाप्त करता है और 'A' ग्रेड प्राप्त करता है। यदि आप उसे उसी परीक्षा को देने के लिए 10 घंटे देते हैं, तो वह 'A+' नहीं पाएगा; वह बस ऊब जाएगा।
परिणाम: AI इतनी तेज़ी से सीख गया कि छोटे मॉडल्स भी बहुत जल्दी अपनी अधिकतम क्षमता तक पहुँच गए। उन्हें और अधिक अध्ययन करने के लिए अधिक समय देने से वे अधिक स्मार्ट नहीं हुए।

गुप्त सूत्र: "लर्नेबल विंडो" (सीखने योग्य खिड़की)

AI इतनी जल्दी सीखना क्यों बंद कर गया? लेखकों ने एक चतुर अवधारणा पेश की जिसे "लर्नेबल विंडो" (Learnable Window) कहा जाता है।

अवधारणा: डेटा में कुल जानकारी को एक बड़े कमरे के रूप में सोचें। कमरे का कुछ हिस्सा स्पष्ट, सीखने योग्य पैटर्न ( "विंडो") से भरा है। कमरे का बाकी हिस्सा शुद्ध अराजकता और यादृच्छिकता (randomness/noise) से भरा है।
खोज: भाषा मॉडलों (जैसे कि वे जो यह टेक्स्ट लिख रहे हैं) में, "विंडो" बहुत बड़ी होती है। भाषा में इतना ढांचा होता है कि एक बड़ा दिमाग लंबे समय तक नए पैटर्न खोज सकता रहता है।
ट्विस्ट: कण जेट्स (particle jets) में, "विंडो" बहुत छोटी है। क्योंकि कण भौतिकी क्वांटम मैकेनिक्स द्वारा संचालित होती है, इसलिए यह स्वाभाविक रूप से स्टोकेस्टिक (stochastic) यानी यादृच्छिक है। AI ने जल्दी ही सभी अनुमानित पैटर्न सीख लिए, और बाकी डेटा केवल रैंडम शोर (noise) था जिसे कोई भी दिमागी शक्ति भविष्यवाणी नहीं कर सकती थी।
रूपक: यह तूफान में एक अकेली बारिश की बूंद के सटीक पथ की भविष्यवाणी करने की कोशिश करने जैसा है। आप तूफान के सामान्य पैटर्न (हवा, बादल) को सीख सकते हैं, लेकिन एक बूंद का विशिष्ट पथ यादृच्छिक (random) होता है। AI ने तूफान को जल्दी सीख लिया, लेकिन वह बूंद की यादृच्छिकता को नहीं सीख सका, चाहे उसका दिमाग कितना भी बड़ा क्यों न हो।

निष्कर्ष

यह शोध पत्र पहला है जो दिखाता है कि कण भौतिकी के लिए न्यूरल स्केलिंग लॉ मौजूद हैं, लेकिन वे भाषा की तुलना में अलग तरह से व्यवहार करते हैं।

अच्छी खबर: बड़े मॉडल काम करते हैं, और वे भौतिकी में बेहतर होते हैं।
चुनौती: AI बहुत जल्दी एक दीवार से टकरा जाता है क्योंकि डेटा स्वाभाविक रूप से यादृच्छिक (random) है। आप अनंत सुधार पाने के लिए समस्या पर केवल अनंत पैसा और डेटा नहीं लगा सकते; ब्रह्मांड की "यादृच्छिकता" (randomness) यह तय करती है कि AI कितनी अच्छी तरह भविष्यवाणी कर सकता है।

संक्षेप में: AI एक प्रतिभाशाली छात्र है, लेकिन विषय वस्तु (क्वांटम भौतिकी) इतनी अराजक है कि सबसे बुद्धिमान छात्र भी केवल उतना ही सीख सकता है जब तक कि वह अनुमान लगाने लगे।

तकनीकी सारांश: जेट जनरेशन के लिए न्यूरल स्केलिंग लॉज़

समस्या विवरण
न्यूरल स्केलिंग लॉज़ (neural scaling laws), जो मॉडल प्रदर्शन और डेटासेट आकार, कंप्यूट और मॉडल पैरामीटर्स के बीच पावर-लॉ संबंध का वर्णन करते हैं, आधुनिक आर्टिफिशियल इंटेलिजेंस, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए केंद्रीय बन गए हैं। हालांकि, हाई-एनर्जी फिजिक्स (HEP) में उनकी प्रयोज्यता एक खुला प्रश्न है। कोलाइडर डेटा स्वाभाविक भाषा और विजन डेटा से गुणात्मक रूप से भिन्न है: यह क्वांटम फील्ड थ्योरी (QCD रेडिएशन) की प्रकृति के कारण अत्यधिक स्टोकेस्टिक (stochastic) है, फिर भी भौतिक गतिकी (physical dynamics) द्वारा सीमित है। इसके अलावा, जबकि सुपरवाइज्ड जेट क्लासिफिकेशन कार्यों में स्केलिंग लॉज़ देखे गए हैं, जेनरेटिव मॉडलिंग—विशेष रूप से पार्टिकल जेट्स के लिए—में उनका व्यवहार कम समझा गया है। यह कार्य इस बात की जांच करता है कि क्या फाउंडेशन मॉडल्स का उपयोग करके पार्टिकल जेट्स उत्पन्न करने के कार्य के लिए अनुभवजन्य (empirical) स्केलिंग लॉज़ लागू होते हैं, और क्या ट्रेनिंग ऑब्जेक्टिव (नेक्स्ट टोकन प्रेडिक्शन) में सुधार, भौतिक रूप से सार्थक ऑब्जर्वेबल्स (observables) में सुधार में परिवर्तित होता है।

कार्यप्रणाली (Methodology)
यह अध्ययन OmniJet-α का उपयोग करता है, जो एक ऑटोरेग्रेसिव GPT-शैली का ट्रांसफार्मर है जिसे नेक्स्ट टोकन प्रेडिक्शन (NTP) के माध्यम से टोकनाइज्ड जेट कंस्टिट्यूएंट्स पर प्रशिक्षित किया गया है। मॉडल जेट कंस्टिट्यूएंट्स (काइनेटिक फीचर्स जैसे ट्रांसवर्स मोमेंटम $p_T$ और रिलेटिव एंगल्स) को 32,768 के कोडबुक साइज वाले वेक्टर क्वांटाइज्ड वेरिएशनल ऑटोएन्कोडर (VQ-VAE) का उपयोग करके इंटीजर टोकन्स में परिवर्तित करता है।

यह शोध Aspen Open Jets (AOJ) डेटासेट पर किया गया है, जो CMS ओपन डेटा से प्राप्त है, जिसमें प्रोटॉन-प्रोटॉन कोलिजन से लगभग 180 मिलियन रिकंस्ट्रक्टेड जेट्स शामिल हैं। यह मोंटे कार्लो सिमुलेशन के बजाय एक्सपेरिमेंटली रिकॉर्ड किए गए कोलाइडर डेटा पर न्यूरल स्केलिंग लॉज़ की पहली जांच का प्रतिनिधित्व करता है।

अध्ययन को तीन चरणों में विभाजित किया गया है ताकि निम्नलिखित के संबंध में स्केलिंग का विश्लेषण किया जा सके:

मॉडल साइज ( $N$ ): डेटासेट साइज और कंप्यूट बजट को स्थिर रखते हुए 25k से 85 मिलियन नॉन-एम्बेडिंग पैरामीटर्स को बदलना।
डेटासेट साइज ( $D$ ): एक निश्चित मॉडल आर्किटेक्चर के साथ $6.4 \times 10^6$ से $8.1 \times 10^9$ तक अद्वितीय ट्रेनिंग टोकन्स की संख्या को बदलना।
कंप्यूट ( $C$ ): कंप्यूट-ऑप्टिमल स्केलिंग की पहचान करने के लिए फिक्स्ड कंप्यूट बजट के लिए मॉडल साइज और ट्रेनिंग स्टेप्स को बदलने वाला एक isoFLOP विश्लेषण।

दो प्राथमिक मेट्रिक्स का मूल्यांकन किया जाता है:

NTP वैलिडेशन लॉस (NTP Validation Loss): नेक्स्ट टोकन प्रेडिक्शन कार्य के लिए मानक क्रॉस-एन्ट्रॉपी लॉस।
स्लाइस्ड वासेस्टीन डिस्टेंस (Sliced Wasserstein Distance - SWD): एक सांख्यिकीय मेट्रिक जो पांच उच्च-स्तरीय जेट ऑब्जर्वेबल्स ( $p_T$ , मास $m$ , $\tau_{21}$ , $\tau_{32}$ , और कंस्टिट्यूएंट काउंट $n$ ) पर कंप्यूट किया जाता है जो प्रशिक्षण के दौरान मॉडल के लिए सीधे उपलब्ध नहीं थे। यह भौतिक स्थान (physics space) में उत्पन्न जेट्स की गुणवत्ता को मापता है।

लेखक एक "लर्नेबल विंडो" ( $W$ ) की अवधारणा पेश करते हैं, जिसे एक यूनिफॉर्म प्रेडिक्टर ( $\log V$ ) के लॉस और डेटासेट के इरिड्यूसिबल एंट्रॉपी फ्लोर ( $H(p)$ , जिसे एसिम्प्टोटिक लॉस $L_\infty$ द्वारा अनुमानित किया गया है) के बीच के अंतर के रूप में परिभाषित किया गया है। यह मेट्रिक कुल लॉस रेंज के उस हिस्से को मात्रात्मक रूप से निर्धारित करता है जो सीखने योग्य (learnable) है बनाम वह जो आंतरिक स्टोकेस्टिसिटी (intrinsic stochasticity) है।

मुख्य परिणाम

मॉडल साइज स्केलिंग: अध्ययन मॉडल साइज के फलन (function) के रूप में NTP वैलिडेशन लॉस के लिए एक स्पष्ट पावर-लॉ स्केलिंग व्यवहार की पुष्टि करता है ( $L(N) \propto N^{-\beta_N} + L_\infty$ )। स्केलिंग एक्सपोनेंट $\beta_N$ लगभग 0.43 है। महत्वपूर्ण रूप से, SWD मेट्रिक NTP लॉस के साथ एक मोनोटोनिक कोरिलेशन प्रदर्शित करता है, जो यह दर्शाता है कि ट्रेनिंग ऑब्जेक्टिव में सुधार सीधे भौतिक ऑब्जर्वेबल्स के बेहतर मॉडलिंग में परिवर्तित होता है। SWD मान वास्तविक डेटा के फाइनाइट-सैंपल तुलना से जुड़े आंतरिक सांख्यिकीय फ्लोर के करीब पहुँच जाते हैं।
डेटासेट और कंप्यूट स्केलिंग: डेटासेट साइज और कंप्यूट के साथ स्केलिंग काफी कमजोर सिग्नल देती है। हालांकि डेटा पावर-लॉ व्याख्याओं के अनुकूल है, लेकिन डायनेमिक रेंज छोटी है और सांख्यिकीय अनिश्चितताएं बड़ी हैं। मॉडल तेजी से सैचुरेट (saturate) होते दिखाई देते हैं; यहाँ तक कि सबसे छोटे मॉडल भी अधिकांश लर्न करने योग्य संरचना को कैप्चर कर लेते हैं।
लर्नेबल विंडो: लैंग्वेज मॉडलिंग की तुलना में जेट जनरेशन के लिए लर्न करने योग्य विंडो का छोटा आकार एक चौंकाने वाला निष्कर्ष है। OmniJet-α के लिए, लर्न करने योग्य विंडो $W$ लगभग 3.2 नैट्स है, जबकि तुलनीय लैंग्वेज मॉडल अध्ययनों में यह ~8.7 नैट्स है। फलस्वरूप, प्रभावी पर्सप्लेक्सिटी ( $e^{L_\infty}$ ) 1330 है, जो लैंग्वेज मॉडल्स में देखे गए ~5.4 से काफी अधिक है। यह सुझाव देता है कि जेट डिस्ट्रीब्यूशन की प्रमुख संरचनाएं अपेक्षाकृत मामूली संसाधनों के साथ सीखी जाती हैं, और शेष लॉस रिड्यूसेबल एरर के बजाय आंतरिक स्टोकेस्टिसिटी द्वारा हावी है।
IsoFLOP कर्व्स: isoFLOP कर्व्स (फिक्स्ड कंप्यूट के लिए लॉस बनाम मॉडल साइज) असामान्य रूप से फ्लैट हैं, जिनमें लैंग्वेज मॉडल्स में देखी जाने वाली स्पष्ट लेफ्ट फ्लैंक के साथ विशिष्ट "U-शेप" का अभाव है। यह एक कंप्यूट-ऑप्टिमल मॉडल साइज के निष्कर्षण को अत्यधिक अनिश्चित बनाता है, हालांकि एक पैराबोलिक फिट मॉडल साइज बनाम कंप्यूट के लिए एक अनुकूल स्केलिंग एक्सपोनेंट $a \approx 0.92$ का सुझाव देता है।

महत्व और दावे
पेपर का दावा है कि यह वास्तविक कोलाइडर डेटा पर जेट जेनरेटिव मॉडल्स के लिए न्यूरल स्केलिंग लॉज़ का व्यवस्थित रूप से अन्वेषण करने वाला पहला अध्ययन है। इसके प्राथमिक योगदान हैं:

स्केलिंग लॉज़ का सत्यापन: यह प्रदर्शित करता है कि जेट जनरेशन में लॉगरिदमिक स्केलिंग लॉज़ मौजूद हैं और NTP लॉस भौतिक प्रदर्शन (SWD) के लिए एक विश्वसनीय प्रॉक्सी है।
द्रुत संतृप्ति (Rapid Saturation): यह पहचानता है कि ऑटोरेग्रेसिव जेट जनरेशन बहुत तेज़ी से सैचुरेट हो जाता है, जो संभवतः QCD रेडिएशन की स्टोकेस्टिक प्रकृति और डेटासेट में "फीचरलेस" QCD जेट्स के प्रभुत्व के कारण है।
लर्नेबल विंडो अवधारणा: लर्न करने योग्य विंडो पेश करके, लेखक यह समझाने के लिए एक ढांचा प्रदान करते हैं कि जेट जनरेशन में स्केलिंग लाभ क्यों कमजोर हैं: कुल एंट्रॉपी के सापेक्ष डेटा डिस्ट्रीब्यूशन का "लर्नेबल" हिस्सा छोटा है।
डोमेन विशिष्टता: परिणाम बताते हैं कि HEP में स्केलिंग व्यवहार कार्य की संरचना के प्रति संवेदनशील हैं। जबकि सुपरवाइज्ड जेट क्लासिफिकेशन बड़े रेंज में निरंतर स्केलिंग दिखाता है, जेनेरिक QCD जेट्स का जेनेरेटिव मॉडलिंग जल्दी ही सैचुरेशन की ओर बढ़ जाता है। यह संकेत देता है कि लैंग्वेज में सफल प्री-ट्रेनिंग रणनीतियों को पार्टिकल फिजिक्स के लिए डोमेन-विशिष्ट अनुकूलन की आवश्यकता हो सकती है, विशेष रूप से कोडबुक रेजोल्यूशन और कंस्टिट्यूएंट्स के ऑर्डरिंग के संबंध में।

लेखक निष्कर्ष निकालते हैं कि हालांकि स्केलिंग लॉज़ मौजूद हैं, इस अध्ययन में देखे गए घटते रिटर्न और तीव्र संतृप्ति, पार्टिकल फिजिक्स डेटा पर अनसुपरवाइज्ड प्री-ट्रेनिंग की अनूठी चुनौतियों को उजागर करते हैं, जहाँ अंतर्निहित भौतिकी उच्च स्तर की इरिड्यूसिबल स्टोकेस्टिसिटी लागू करती है।