🌀 nonlinear sciences

Finite-Size Gradient Transport in Large Language Model Pretraining: From Cascade Size to Intensive Transport Efficiency

यह शोध पत्र पिको-एलएम (Pico-LM) और पाइथिया (Pythia) मॉडलों के रॉ-ग्रेडिएंट मापन का विश्लेषण करने के लिए पांच अवलोकनीय चरों (observables) का उपयोग करते हुए एक परिमित-आकार ग्रेडिएंट-परिवहन ढांचे (finite-size gradient-transport framework) को प्रस्तुत करता है, जो यह प्रकट करता है कि हालांकि दोनों एक निकट-इकाई (near-unity) कैस्केड-आकार बैकबोन साझा करते हैं, वे अवधि और गहन दक्षता (intensive efficiency) में भिन्न स्केलिंग व्यवहारों के साथ अलग-अलग परिवहन व्यवस्थाओं (transport regimes) में स्थित हैं जो बाहरी प्रदर्शन के साथ सह-संबंधित हैं।

मूल लेखक: Ping Wang, Yan-Qi Du

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ping Wang, Yan-Qi Du

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: एक शहर को बढ़ते हुए देखना

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल शहर (एक लार्ज लैंग्वेज मॉडल) कैसे काम करना सीखता है। आमतौर पर, वैज्ञानिक केवल शहर के "जीडीपी" (इसके टेस्ट स्कोर या एरर रेट) को देखते हैं ताकि यह देख सकें कि वह कितना स्मार्ट हो रहा है। लेकिन यह शोध पत्र एक अलग सवाल पूछता है: जैसे-जैसे शहर बड़ा होता है, उसके अंदर ट्रैफिक का प्रवाह कैसे बदलता है?

लेखक मॉडल के मस्तिष्क के माध्यम से सूचना के "ट्रैफिक" (ग्रेडिएंट्स) को देख रहे हैं। वे जानना चाहते हैं कि: जब शहर का आकार दोगुना हो जाता है, तो क्या ट्रैफिक तेज़ होता है, धीमा होता है, या अधिक अराजक (chaotic) हो जाता है?

टूल: "भूकंप सिम्युलेटर"

इस ट्रैफिक को मापने के लिए, शोधकर्ता TDU-OFC नामक एक विशेष उपकरण का उपयोग करते हैं। इसे एक भूकंप सिम्युलेटर के रूप में समझें।

सेटअप: वे एक विशिष्ट क्षण पर मॉडल के मस्तिष्क का एक स्नैपशॉट लेते हैं।
ट्रिगर: वे सिस्टम पर एक छोटा सा "झटका" (थ्रेशोल्ड) लगाते हैं।
प्रतिक्रिया: वे देखते हैं कि "शॉक" (झटका) कैसे फैलता है। क्या यह एक ही मोहल्ले में रहता है (एक छोटा कैस्केड), या यह पूरे शहर में लहरों की तरह फैलता है (एक बड़ा कैस्केड)?
मापन: वे दो चीजें गिनते हैं:
- आकार (Size): कितने भवन (पैरामीटर्स) हिल गए?
- अवधि (Duration): कंपन कितने सेकंड (स्टेप्स) तक चला?

दो शहर: Pico-LM बनाम Pythia

शोधकर्ताओं ने यह देखने के लिए दो अलग-अलग "शहरों" (मॉडल परिवारों) का अध्ययन किया कि क्या वे एक ही तरह से व्यवहार करते हैं:

Pico-LM: मॉडल्स का एक सेट जहाँ वे सीधे "ट्रैफिक सिग्नल" (ग्रेडिएंट्स) देख सकते थे।
Pythia: मॉडल्स का एक सेट जहाँ उन्होंने केवल स्नैपशॉट्स के बीच "सड़क परिवर्तन" (अपडेट्स) देखे।

चौंकाने वाली खोज: एक जैसा कंकाल, अलग अंग

शोधकर्ताओं ने पाया कि दोनों शहरों का कंकाल (Skeleton) एक जैसा है, लेकिन उनके अंग (Organs) बहुत अलग तरह से काम करते हैं।

1. कंकाल ("आकार" का नियम)
दोनों शहर एक नियम का पालन करते हैं जहाँ भूकंप का "आकार" लगभग पूरी तरह से शहर के आकार के साथ स्केल होता है। यदि शहर 10 गुना बड़ा है, तो भूकंप 10 गुना अधिक भवनों को प्रभावित करता है।

उपमा: कल्पना कीजिए कि एक नियम कहता है, "शहर जितना बड़ा होगा, भूकंप उतना ही बड़ा होगा।" दोनों शहर इस नियम का पूरी तरह पालन करते हैं। यह शोध पत्र में उल्लेखित "नियर-यूनिटी बैकबोन" (near-unity backbone) है।

2. अंग (अवधि और दक्षता)
यहीं वे अलग हो जाते हैं। शोधकर्ताओं ने मापा कि कंपन कितनी देर चला और प्रति भवन ऊर्जा का हस्तांतरण कितना कुशल था।

Pico-LM (एक "लंबा, धीमा झटका"):
- जैसे-जैसे शहर बड़ा होता है, भूकंप अधिक समय तक चलता है।
- हालाँकि, प्रति भवन ऊर्जा कम कुशल होती जाती है। सूचना के समान मात्रा को स्थानांतरित करने के लिए अधिक "स्टेप्स" की आवश्यकता होती है।
- रूपक: एक विशाल शहर की कल्पना करें जहाँ एक अफवाह फैलने में बहुत समय लगता है, और जब तक वह अंत तक पहुँचती है, वह बहुत पतली (diluted) हो जाती है।
Pythia (एक "स्थिर, कुशल झटका"):
- जैसे-जैसे शहर बड़ा होता है, भूकंप की लंबाई लगभग एक समान रहती है।
- दक्षता स्थिर रहती है (या थोड़ी बेहतर हो जाती है)।
- रूपक: एक अत्यधिक कुशल सबवे सिस्टम वाले शहर की कल्पना करें। शहर चाहे कितना भी बड़ा क्यों न हो जाए, ट्रेन को पार करने में उतना ही समय लगता है, और यात्री उतने ही ताज़ा पहुँचते हैं जितने वे शुरू में थे।

"कंप्रेसिबिलिटी" (Compressibility) परीक्षण

यह शोध पत्र एक नया विचार पेश करता है जिसे स्टेपवाइज कंप्रेसिबिलिटी (Stepwise Compressibility) कहा जाता है।

उपमा: एक जटिल पेंटिंग को एक वाक्य के साथ समझाने की कोशिश करना।
- Pico-LM एक ऐसी पेंटिंग की तरह है जिसे एक सरल नियम (एक "साफ पावर लॉ") द्वारा पूरी तरह से वर्णित किया जा सकता है। ट्रैफिक का प्रवाह बहुत अनुमानित है और एक सीधी रेखा का अनुसरण करता है।
- Pythia एक ऐसी पेंटिंग की तरह है जिसे एक वाक्य में संक्षेप में बताना कठिन है। ट्रैफिक का प्रवाह अव्यवस्थित है और एक सरल नियम में फिट नहीं बैठता, भले ही समग्र "कंकाल" अभी भी मौजूद है।
यह क्यों मायने रखता है: लेखक तर्क देते हैं कि यह "अव्यवस्था" (या एक एकल नियम का अभाव) उनके गणित की गलती नहीं है, बल्कि यह एक वास्तविक विशेषता है कि मॉडल कैसे व्यवस्थित है।

प्रदर्शन से संबंध

क्या यह आंतरिक ट्रैफिक यह तय करता है कि शहर कितना स्मार्ट है?

अच्छी खबर: हाँ, लेकिन केवल विशिष्ट तरीकों से। ट्रैफिक की "दक्षता" (शॉक कितनी अच्छी तरह चलता है) इस बात से जुड़ी है कि मॉडल परीक्षणों पर कैसा प्रदर्शन करता है।
बुरी खबर: भूकंप का "आकार" (कंकाल) प्रदर्शन की भविष्यवाणी नहीं करता है। सिर्फ इसलिए कि शहर बड़ा है और भूकंप बड़ा है, इसका मतलब यह नहीं है कि शहर स्मार्ट है।
निष्कर्ष: आप केवल मॉडल के आकार को देखकर उसकी बुद्धिमत्ता का अनुमान नहीं लगा सकते; आपको यह देखना होगा कि इसके अंदर सूचना कैसे प्रवाहित होती है।

वे क्या दावा नहीं कर रहे हैं

लेखक बहुत सावधानी से कहते हैं कि वे क्या नहीं कर रहे हैं:

वे यह नहीं कह रहे हैं कि सभी AI के लिए एक ही "जादुई नंबर" है।
वे यह दावा नहीं कर रहे हैं कि AI ट्रेनिंग बिल्कुल एक भौतिक भूकंप की तरह है (यह केवल इसे मापने का एक उपयोगी तरीका है)।
वे यह नहीं कह रहे हैं कि उन्होंने शून्य से सीखने (learning from scratch) के रहस्य को सुलझा लिया है।

सारांश

यह शोध पत्र AI के लिए एक ट्रैफिक अध्ययन की तरह है। इसने पाया कि जबकि सभी बड़े AI मॉडल एक बुनियादी "आकार के नियम" को साझा करते हैं, वे अपने आंतरिक ट्रैफिक को बहुत अलग तरह से व्यवस्थित करते हैं। कुछ मॉडल बढ़ने के साथ धीमे और कम कुशल हो जाते हैं (Pico-LM), जबकि अन्य स्थिर और कुशल बने रहते हैं (Pythia)। यह समझना कि कोई मॉडल कितना स्मार्ट है, केवल यह नहीं है कि वह कितना बड़ा है, बल्कि यह है कि उसके भीतर का "ट्रैफिक" कितनी कुशलता से चलता है।

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल प्रीट्रेनिंग में परिमित-आकार ग्रेडिएंट ट्रांसपोर्ट (Finite-Size Gradient Transport)

समस्या विवरण (Problem Statement)

जबकि न्यूरल स्केलिंग लॉ ने लार्ज लैंग्वेज मॉडल (LLM) प्रीट्रेनिंग लॉस और बाहरी कारकों (मॉडल स्केल, डेटासेट साइज, कंप्यूट) के बीच मजबूत पावर-लॉ डिपेंडेंसी स्थापित की है, वे प्रशिक्षण के दौरान ग्रेडिएंट फील्ड के आंतरिक संगठन को प्रकट नहीं करते हैं। स्केलर परफॉर्मेंस कर्व्स उन आंतरिक पुनर्गठनों को छिपा सकते हैं जो समय और स्केल के साथ विकसित होते हैं। "ग्रोकिंग" (विलंबित सामान्यीकरण) और क्रिटिकल सिग्नल प्रोपेगेशन पर मौजूदा अध्ययन बताते हैं कि व्यवहारिक संक्रमण (behavioral transitions) को सुचारू आंतरिक परिवर्तनों द्वारा पूर्वगामी किया जा सकता है, फिर भी वर्तमान मेट्रिक्स में ग्रेडिएंट-फील्ड संगठन के विकास को मापने के लिए एक स्केल-रिजॉल्व्ड प्रोब (scale-resolved probe) का अभाव है। लेखक तर्क देते हैं कि एक एकल एक्सपोनेंट (जैसे कि कैस्केड-साइज एक्सपोनेंट $D$ ) LLM ट्रेनिंग रिजीम को चरित्रित करने के लिए अपर्याप्त है, जिसके लिए विभिन्न ट्रेनिंग डायनेमिक्स के बीच अंतर करने हेतु एक मल्टी-चैनल फ्रेमवर्क की आवश्यकता है जो समान साइज-स्केलिंग बैकबोन साझा कर सकते हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक फिनिट-साइज ग्रेडिएंट-ट्रांसपोर्ट फ्रेमवर्क पेश करता है जो नॉन-इक्विलिब्रियम स्टैटिस्टिकल मैकेनिक्स पर आधारित है, विशेष रूप से थ्रेशोल्डेड डिफ्यूजन अपडेट–ओलामी-फेदर-क्रिस्टेंसन (TDU-OFC) एवलांच प्रोब को अनुकूलित करता है।

1. TDU-OFC प्रोब

यह विधि ग्रेडिएंट फील्ड (या पैरामीटर अपडेट फील्ड) को एक फिक्स्ड बारासी-अल्बर्ट (BA) ग्राफ पर नियंत्रित रीडिस्ट्रीब्यूशन नियम के अधीन एक लोड फील्ड के रूप में मानती है।

इनपुट: प्रत्येक ट्रेनिंग स्टेप $t$ पर, एक फील्ड स्नैपशॉट $u(t)$ लिया जाता है। Pico-LM के लिए, यह रॉ ग्रेडिएंट वेक्टर $g_t$ है; Pythia के लिए, यह चेकपॉइंट-डिफरेंस अपडेट फील्ड $\Delta\theta_t$ है।
थ्रेशहोल्डिंग: एक फिक्स्ड थ्रेशोल्ड $\tau(t)$ फील्ड मैग्नीट्यूड के 90वें पर्सेंटाइल पर सेट किया जाता है।
रिलैक्सेशन: एक्टिव नोड्स (जहाँ $|u_i| > \tau$ ) सिंक्रोनसली रिलैक्स होते हैं, और डिग्री नॉर्मलाइजेशन के आधार पर साइन वाले मानों को पड़ोसियों में पुनर्वितरित करते हैं। यह प्रक्रिया तब तक दोहराई जाती है जब तक कि कोई एक्टिव नोड शेष न रहे या एक स्टेप सीलिंग (500) तक न पहुँच जाए।
आउटपुट: प्रोब कैस्केड साइज $s(t)$ (कुल सक्रिय इवेंट्स) और कैस्केड ड्यूरेशन $n_{steps}(t)$ प्रदान करता है।

2. पांच-मात्रा लक्षण वर्णन (Five-Quantity Characterization)

यह फ्रेमवर्क सिंगल एक्सपोनेंट $D(t)$ को पांच-मात्राओं वाले बीजगणितीय क्लोजर (algebraic closure) तक विस्तारित करता है:

$D(t)$ (कैस्केड-साइज एक्सपोनेंट): स्थानिक एक्सटेंसिविटी (spatial extensivity) का वर्णन करता है ( $s_{max} \sim N^D$ )।
$z(t)$ (ड्यूरेशन एक्सपोनेंट): टेम्पोरल पर्सिस्टेंस का वर्णन करता है ( $n_{steps} \sim N^z$ )।
$\beta$ (एब्सोल्यूट ट्रांसपोर्ट एक्सपोनेंट): $D - z$ से व्युत्पन्न।
$\delta$ (इंटेंसिव ट्रांसपोर्ट एक्सपोनेंट): प्रति-पैरामीटर दक्षता का वर्णन करता है ( $v_{rel} \sim N^\delta$ )।
$v_{rel}$ (रिलेटिव ट्रांसपोर्ट एफिशिएंसी): एक सीधे मापे गए ऑब्जर्वेबल के रूप में परिभाषित है $s_{max} / (N \cdot n_{steps})$ ।

ये मात्राएँ बीजगणितीय क्लोजर संबंधों का पालन करती हैं: $\beta = D - z$ और $\delta = \beta - 1 = D - z - 1$ ।

3. एम्पिरिकल फैमिलीज़ और नल कंट्रोल्स (Empirical Families and Null Controls)

इस फ्रेमवर्क को दो पूरक परिवारों पर लागू किया गया है:

Pico-LM: चार स्केल (11M–570M) के साथ 125 अलाइन्ड स्टेप्स पर डायरेक्ट रॉ-ग्रेडिएंट स्नैपशॉट्स।
Pythia/PolyPythias: पांच सब-1B स्केल (14M–410M) के साथ 153 अलाइन्ड स्टेप्स पर चेकपॉइंट-डिफरेंस फील्ड्स (अपडेट्स के प्रॉक्सी के रूप में)।

तुलना सुनिश्चित करने के लिए, लेखक एक नल डिकंपोजिशन पदानुक्रम का उपयोग करते हैं:

$N_0/N_1$ : गाऊसी नल्स (स्टैंडर्ड या मोमेंट-मैच्ड) बेसलाइन स्थापित करने के लिए।
$N_2$ : एक परम्यूटेशन नल जो साइन वाली मार्जिनल डिस्ट्रीब्यूशन को सुरक्षित रखता है लेकिन वैल्यू-टू-नोड असाइनमेंट को रैंडमाइज करता है।
यह "डिस्ट्रीब्यूशन इफेक्ट्स" और "असाइनमेंट इफेक्ट्स" (ग्राफ पर मानों का विशिष्ट संगठन) के बीच अंतर करने की अनुमति देता है।

4. स्टेपवाइज कंप्रेसिबिलिटी (Stepwise Compressibility)

एक नया योगदान स्टेपवाइज कंप्रेसिबिलिटी (प्रत्येक स्टेप पर पावर-लॉ फिट का $R^2$ ) को एक शुद्ध फिट-क्वालिटी फुटनोट के बजाय आंतरिक संगठन के एक ऑब्जर्वेबल के रूप में मानना है। यह मापता है कि क्या एक ट्रांसपोर्ट चैनल किसी दिए गए ट्रेनिंग स्टेप पर एक साफ, सिंगल क्रॉस-स्केल पावर-लॉ स्लोप को स्वीकार करता है।

मुख्य परिणाम (Key Results)

1. साझा साइज बैकबोन, विशिष्ट ट्रांसपोर्ट रिजीम

Pico-LM और Pythia दोनों एक नियर-यूनिटी कैस्केड-साइज बैकबोन ( $D \approx 1$ ) प्रदर्शित करते हैं जो स्थिर ट्रेनिंग विंडो के दौरान बना रहता है। हालांकि, वे अलग-अलग ट्रांसपोर्ट रिजीम में स्थित हैं:

Pico-LM: पॉजिटिव ड्यूरेशन स्केलिंग ( $z > 0$ ) और नेगेटिव इंटेंसिव-एफिशिएंसी स्केलिंग ( $\delta < 0$ ) दिखाता है। छोटे मॉडल उच्च प्रति-पैरामीटर ट्रांसपोर्ट एफिशिएंसी प्रदर्शित करते हैं, और बड़े मॉडल्स में कैस्केड्स अधिक लंबे चलते हैं।
Pythia: $D=1$ बेसलाइन के पास एक संकीर्ण बैंड में रहता है जिसमें कमजोर पॉजिटिव एफिशिएंसी स्केलिंग ( $\delta > 0$ ) और लगभग शून्य ड्यूरेशन स्केलिंग ( $z \approx 0$ ) होती है। यह सभी स्केल्स में एक कॉमन-एफिशिएंसी बैंड की ओर बढ़ता है।

2. नल बेसलाइन अलाइनमेंट

रैंडमाइज्ड फील्ड कंट्रोल्स ( $N_0$ ) प्रकट करते हैं कि दोनों परिवारों में इंटेंसिव ( $v_{rel}$ ) और ड्यूरेशन ( $z$ ) चैनल्स में लगभग समान नल फ्लोर्स हैं। इसलिए देखे गए कंट्रास्ट को एक साझा न्यूल स्केलेटन से वास्तविक विचलन के रूप में व्याख्या किया जाता है, न कि अलग-अलग नल कैलिब्रेशन के आर्टिफैक्ट के रूप में। ड्यूरेशन चैनल में, Pico एक पॉजिटिव विचलन दिखाता है, जबकि Pythia एक नेगेटिव विचलन दिखाता है।

3. कंप्रेसिबिलिटी एक ऑब्जर्वेबल के रूप में

Pico-LM: साइज, ड्यूरेशन और एफिशिएंसी चैनल्स में उच्च स्टेपवाइज कंप्रेसिबिलिटी ( $R^2 \approx 0.97-0.99$ ) प्रदर्शित करता है, जो हर स्टेप पर साफ पावर-लॉ संगठन का संकेत देता है।
Pythia: जबकि साइज बैकबोन ( $D$ ) अत्यधिक कंप्रेसिबल ( $R^2 \approx 1.0$ ) रहता है, ड्यूरेशन और एफिशिएंसी चैनल्स कमजोर वन-स्लोप कंप्रेसिबिलिटी ( $R^2 \approx 0.55-0.65$ ) दिखाते हैं। यह सुझाव देता है कि Pythia के आंतरिक ट्रांसपोर्ट चैनल्स को प्रत्येक स्टेप पर एक सिंगल पावर-लॉ स्लोप द्वारा अच्छी तरह से वर्णित नहीं किया जा सकता है, भले ही उनका एग्रीगेट व्यवहार स्थिर हो।

4. बाहरी प्रदर्शन के साथ जुड़ाव

पेपर चैनल-लेवल एसोसिएशन पाता है लेकिन कोई महत्वपूर्ण एक्सपोनेंट-लेवल एसोसिएशन नहीं पाता है:

चैनल लेवल: बाहरी प्रदर्शन (Pico के लिए पर्सपेलेक्सिटी, Pythia के लिए ज़ीरो-शॉट एक्यूरेसी) इंटेंसिव एफिशिएंसी ऑब्जर्वेबल ( $v_{rel}$ ) और नॉर्मलाइज्ड ड्यूरेशन ( $n_{steps}/N$ ) के साथ मजबूती से जुड़ा हुआ है। बेहतर प्रदर्शन कम $v_{rel}$ और उच्च नॉर्मलाइज्ड ड्यूरेशन के साथ सह-संबंधित है। ये जुड़ाव लर्निंग रेट शेड्यूल को नियंत्रित करने के बाद भी बने रहते हैं।
एक्सपोनेंट लेवल: साइज एक्सपोनेंट $D(t)$ एक साझा बैकबोन के रूप में कार्य करता है लेकिन दोनों परिवारों में पूरे ट्राजेक्टरी में बाहरी प्रदर्शन एक्सपोनेंट्स ( $\beta_{PPL}$ या $\alpha_{acc}$ ) के साथ महत्वपूर्ण रूप से सह-संबंधित नहीं होता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह वास्तविक LLM ट्रेनिंग रिजीम्स की तुलना करने के लिए एक पुन: प्रयोज्य ट्रांसपोर्ट मेजरमेंट फ्रेमवर्क प्रदान करता है, बिना किसी यूनिवर्सल फिक्स्ड पॉइंट या न्यूरल स्केलिंग लॉ के फर्स्ट-प्रिंसिपल्स डेरिवेशन का दावा किए।

$D(t)$ की भूमिका में बदलाव: नियंत्रित "ग्रोकिंग" बेंचमार्क (पिछले कार्य) में, $D(t)$ एक ट्रांजिशन-लोकलाइज्ड मार्कर के रूप में कार्य करता था (जनरलाइजेशन पर $D=1$ को पार करना)। वास्तविक LLM प्रीट्रेनिंग में, $D(t)$ एक स्थिर बैकबोन कोऑर्डिनेट ( $D \approx 1$ ) बन जाता है जो रिजीम्स को अलग नहीं करता है; अंतर इस बात में है कि इस बैकबोन को ड्यूरेशन और एफिशिएंसी चैनल्स में कैसे विभाजित किया जाता है।
अवलोकन संबंधी प्रकृति: लेखक स्पष्ट रूप से कहते हैं कि उनके परिणाम अवलोकन संबंधी (observational) और परिमित-स्केल (finite-scale) हैं। वे यह दावा नहीं करते हैं कि LLM ट्रेनिंग एक क्लासिकल सेल्फ-ऑर्गनाइज्ड क्रिटिकालिटी (SOC) मैकेनिज्म या पूर्ण क्रैकलिंग-नॉइज़ यूनिवर्सलिटी क्लास को साकार करती है।
मेथोडोलॉजिकल योगदान: यह कार्य "स्टेपवाइज कंप्रेसिबिलिटी" को एक प्राथमिक ऑब्जर्वेबल के रूप में ऊपर उठाता है, यह तर्क देते हुए कि जिस डिग्री तक आंतरिक चैनल साफ पावर-लॉ को स्वीकार करते हैं, वह ट्रेनिंग डायनेमिक्स के संगठन का एक मौलिक गुण है।
सीमाएं: लेखक चेतावनी देते हैं कि Pico/Pythia कंट्रास्ट में कई चर शामिल हैं (रॉ ग्रेडिएंट बनाम अपडेट फील्ड, विभिन्न आर्किटेक्चर, ऑप्टिमाइजर्स)। मजबूत मात्रात्मक दावे केवल "इंट्रा-फैमिली" विश्लेषणों तक सीमित हैं, जबकि क्रॉस-फैमिली तुलनाएं "रिजीम-लेवल स्ट्रक्चर" तक सीमित हैं।

संक्षेप में, यह पेपर तर्क देता है कि वास्तविक प्रीट्रेनिंग को किसी भी एकल क्रॉसिंग स्टैटिस्टिक के बजाय एक मल्टी-ऑब्जर्वेबल ट्रांसपोर्ट स्ट्रक्चर (साइज, ड्यूरेशन, एफिशिएंसी और कंप्रेसिबिलिटी) द्वारा बेहतर ढंग से वर्णित किया जा सकता है, जो एक भौतिकी-प्रेरित भाषा प्रदान करता है ताकि उन आंतरिक पुनर्गठनों को हल किया जा सके जिन्हें स्केलर लॉस कर्व्स छिपा देते हैं।