🔬 condensed matter

Alternative routes to universal diversity scaling in component systems: from proteomes to large language models

यह शोध पत्र यह प्रदर्शित करता है कि जीनोम से लेकर लार्ज लैंग्वेज मॉडल्स तक, विविध जटिल प्रणालियों में देखे जाने वाले सार्वभौमिक विविधता स्केलिंग लॉ (diversity scaling laws), या तो विशिष्ट नवाचार-संचालित विकास तंत्रों से या सामान्य सांख्यिकीय सिद्धांतों के माध्यम से अंतर्निहित विषमता (latent heterogeneity) से उत्पन्न हो सकते हैं, जो यह संकेत देता है कि ये स्थूल पैटर्न अंतर्निहित जनरेटिव प्रक्रियाओं को सीमित तो करते हैं, लेकिन उन्हें विशिष्ट रूप से पहचानते नहीं हैं।

मूल लेखक: Andrea Mazzolini, Leonardo Agasso, Filippo Valle, Michele Caselle, Marco Cosentino Lagomarsino, Matteo Osella

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrea Mazzolini, Leonardo Agasso, Filippo Valle, Michele Caselle, Marco Cosentino Lagomarsino, Matteo Osella

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप चीजों के एक विशाल संग्रह को देख रहे हैं: किताबें, LEGO सेट्स, कोशिका के भीतर के निर्देश, या यहाँ तक कि AI द्वारा उत्पन्न शब्द। इन सभी संग्रहों में, एक अजीब, दोहराव वाला पैटर्न मौजूद है।

खेल के दो नियम

यह शोध बताता है कि ये जटिल प्रणालियाँ अपनी विविधता (उनके पास कितने अलग-अलग प्रकार के आइटम हैं) के संबंध में दो विशिष्ट "सड़क के नियमों" का पालन करती हैं:

"धीमा होने" का नियम (Heaps' Law): जैसे-जैसे कोई प्रणाली बड़ी होती है, वह नए प्रकारों के आइटम जोड़ती है, लेकिन यह प्रक्रिया धीमी और धीमी होती जाती है।
- उपमा: एक किताब पढ़ने के बारे में सोचें। पहले 100 शब्द 50 नए शब्द पेश कर सकते हैं। अगले 100 शब्द शायद केवल 10 नए शब्द पेश करेंगे। जब तक आप आधी किताब पढ़ लेते हैं, तब तक आप ज्यादातर उन्हीं शब्दों को देख रहे होते हैं जो आपने पहले ही देख लिए हैं। "शब्दावली" बढ़ती तो है, लेकिन यह कुल शब्दों की संख्या के साथ तालमेल नहीं बिठा पाती।
"बड़ा उतार-चढ़ाव" का नियम (Quadratic Fluctuation): यदि आप एक ही आकार के कई अलग-अलग किताबों या LEGO सेट्स को देखते हैं, तो कुछ बहुत विविध (बहुत सारे अद्वितीय आइटम) होंगे और कुछ बहुत दोहराव वाले। शोध ने पाया कि इस अंतर (विचरण/variance) की मात्रा औसत विविधता की तुलना में बहुत तेजी से बढ़ती है।
- उपमा: कल्पना करें कि आपके पास 1,000 ईंटों के दो LEGO सेट हैं। एक "सिटी" सेट हो सकता है जिसमें 200 अलग-अलग ईंटों के आकार हों। दूसरा "स्टार वॉर्स" सेट जिसमें केवल 50 अलग-अलग आकार हों। शोध ने पाया कि जैसे-जैसे सेट बड़े होते जाते हैं, "सबसे विविध" और "सबसे कम विविध" सेटों के बीच का अंतर केवल बढ़ता नहीं है; बल्कि वह विस्फोट की तरह बढ़ता है।

बड़ा सवाल

वैज्ञानिक लंबे समय से यह सोच रहे थे: ये दो नियम क्यों होते हैं? क्या इनके पीछे कोई छिपा हुआ इंजन है?

लेखकों ने पूछा: क्या इन प्रणालियों को बनाने के दो अलग-अलग तरीके हैं जो बिल्कुल एक जैसा दिखते हैं?

उन्होंने दो मुख्य सिद्धांतों की खोज की:

सिद्धांत 1: "अमीर और अमीर होता है" इंजन (नवाचार/Innovation)

यह सिद्धांत सुझाव देता है कि विविधता, अधिक विविधता पैदा करती है।

रूपक: एक पार्टी की कल्पना करें जहाँ आप जितने अधिक अद्वितीय लोगों से मिलते हैं, आपके लिए नए लोगों से मिलना उतना ही अधिक संभावित हो जाता है। यदि आप 100 अद्वितीय लोगों को जानते हैं, तो आपके पास एक विशाल नेटवर्क है जिससे आप जुड़ सकते हैं। यदि आप केवल 5 को जानते हैं, तो आपका नेटवर्क छोटा है।
निष्कर्ष: शोध दिखाता है कि इस "नवाचार इंजन" को काम करने और "बड़ा उतार-चढ़ाव" नियम बनाने के लिए, इसे एक बहुत ही विशिष्ट, सख्त रेसिपी का पालन करना होगा। कुछ नया मिलने की संभावना इस बात से पूरी तरह जुड़ी होनी चाहिए कि आपके पास पहले से कितने अद्वितीय आइटम मौजूद हैं। यदि रेसिपी थोड़ी भी गलत होती है, तो गणित टूट जाएगा, और आपको वास्तविक दुनिया के वे पैटर्न नहीं मिलेंगे जो हम देखते हैं।

सिद्धांत 2: "छिपा हुआ मेनू" (Latent Variables)

यह सिद्धांत सुझाव देता है कि यहाँ कोई विशेष इंजन नहीं है। इसके बजाय, प्रणालियाँ केवल अलग-अलग "छिपे हुए मेनू" से ली जा रही हैं।

रूपक: एक बुफे (Buffet) की कल्पना करें।
- मेन्यू A "इतालवी भोजन" है। इसमें बहुत सारा पास्ता, पनीर और टमाटर है।
- मेन्यू B "एशियाई भोजन" है। इसमें चावल, सोया और अदरक है।
- यदि आप बुफे से यादृच्छिक रूप से एक प्लेट चुनते हैं, तो कभी-कभी आपको बहुत सारे इतालवी व्यंजन मिलते हैं, और कभी-कभी बहुत सारे एशियाई व्यंजन मिलते हैं।
- दोनों प्लेटों के बीच विविधता का अंतर इसलिए नहीं है क्योंकि भोजन "नवाचार" कर रहा है; बल्कि इसलिए है क्योंकि छिपा हुआ मेनू (विषय) शुरू से ही अलग था।
निष्कर्ष: शोध यह सिद्ध करता है कि यदि आपके पास ये छिपे हुए अंतर (जैसे किताबों में विषय या जीनोम में जैविक परिवार) हैं, तो "बड़ा उतार-चढ़ाव" नियम अपने आप होता है। आपको किसी विशेष "विविधता इंजन" की आवश्यकता नहीं है। अलग-अलग समूहों को मिलाने का गणित स्वाभाविक रूप से वही पैटर्न बनाता है।

चौंकाने वाला मोड़: AI और नवाचार का "भूत"

लेखकों ने इसका परीक्षण लार्ज लैंग्वेज मॉडल्स (AI) पर किया जो टेक्स्ट लिखते हैं।

AI "नवाचार इंजन" की तरह काम करता है (यह पिछले शब्दों के आधार पर अगले शब्द को चुनता है)।
उन्होंने पाया कि AI वास्तव में उस सख्त "अमीर और अमीर होता है" वाली रेसिपी का पालन करता है। AI ने अब तक जितने अद्वितीय शब्द उपयोग किए हैं, उसके बढ़ने के साथ नए शब्द उपयोग करने की संभावना बढ़ जाती है।
हालाँकि, शोध सुझाव देता है कि भले ही AI ऐसा दिखता है जैसे कि वह एक नवाचार इंजन का उपयोग कर रहा है, लेकिन वह वास्तव में "छिपे हुए मेनू" सिद्धांत की तरह कार्य कर रहा हो सकता है। AI उन विभिन्न "शैलियों" या "विषयों" (latent variables) को मिला रहा हो सकता है जो उसने प्रशिक्षण के दौरान सीखे हैं। भले ही वह शब्द-दर-शब्द उत्पन्न करता है, लेकिन इसका परिणाम एक छिपी हुई संरचना द्वारा संचालित दिखता है।

मुख्य निष्कर्ष

शोध यह निष्कर्ष निकालता है कि आप केवल नंबरों को देखकर अंतर नहीं बता सकते।

आप एक जटिल "नवाचार इंजन" वाला सिस्टम बना सकते है जो एक सख्त नियम का पालन करता है।
आप बिना किसी इंजन के, केवल अलग-अलग "छिपे हुए मेनू" को मिलाकर भी एक सिस्टम बना सकते हैं।
दोनों प्रणालियाँ बिल्कुल एक ही सांख्यिकीय पैटर्न (Statistical Patterns) उत्पन्न करेंगी (धीमा होना और बड़ा उतार-चढ़ाव)।

यह क्यों मायने रखता है?
यह वैज्ञानिकों को चेतावनी देता कि केवल इसलिए कि वे इन पैटर्न को देखते हैं, तो यह मान न लें कि वहाँ कोई विशिष्ट "नवाचार प्रक्रिया" हो रही है। कभी-कभी, पैटर्न केवल छिपे हुए अंतरों (जैसे विषय या जैविक परिवार) द्वारा डाली गई एक छाया मात्र होती है, न कि एक गतिशील खोज इंजन।

संक्षेप में: विविधता ऐसी लग सकती है जैसे कि वह चलते-फिरते "बनाई" जा रही है, लेकिन यह केवल मिश्रण में मौजूद अलग-अलग "फ्लेवर्स" का प्रतिबिंब हो सकती है।

तकनीकी सारांश: घटक प्रणालियों में सार्वभौमिक विविधता स्केलिंग के वैकल्पिक मार्ग

समस्या विवरण
जटिल "घटक प्रणालियाँ" (component systems)—जिनमें जीनोम और प्रोटिओम से लेकर भाषाएँ, लेगो (LEGO) निर्माण, और लार्ज लैंग्वेज मॉडल्स (LLMs) तक शामिल हैं—विविधता के संबंध में उल्लेखनीय रूप से सुसंगत सांख्यिकीय नियमों को प्रदर्शित करती हैं। दो प्राथमिक नियम देखे जाते हैं:

हीप्स का नियम (Heaps' Law): विशिष्ट घटकों की संख्या (शब्दावली का आकार, $h$ ), कुल प्रणाली आकार ( $m$ ) के साथ उप-रैखिक (sublinearly) रूप से बढ़ती है, जो आमतौर पर $\langle h \rangle \propto m^\nu$ के रूप में होती है जहाँ $0 < \nu < 1$ है।
द्विघातीय उतार-चढ़ाव स्केलिंग (Quadratic Fluctuation Scaling): शब्दावली का प्रसरण (variance) इसके माध्य के साथ द्विघातीय रूप से स्केल करता है ( $\sigma_h^2 \propto \langle h \rangle^2$ ), जो गैर-स्व-औसत (non-self-averaging) व्यवहार को दर्शाता है। यह सरल नमूनाकरण मॉडलों (पॉइसन स्केलिंग, $\sigma_h^2 \propto \langle h \rangle$ ) के विपरीत है।

जबकि इन पैटर्नों की व्याख्या अक्सर एक अंतर्निहित "नवाचार" (innovation) तंत्र के संकेत के रूप में की जाती है (जहाँ प्रणाली के बढ़ने के साथ नए घटकों की खोज की जाती है), दोनों नियमों को एक साथ उत्पन्न करने के लिए आवश्यक न्यूनतम तत्वों को अभी भी ठीक से नहीं समझा गया है। इसके अलावा, यह स्पष्ट नहीं है कि क्या ये सांख्यिकीय नियम जनरेटिव तंत्र की विशिष्ट पहचान करते हैं या क्या वैकल्पिक ढांचे (जैसे लेटेंट हेटेरोजेनिटी/सुप्त विषमता) समान स्थूल संकेतों (macroscopic signatures) को उत्पन्न कर सकते हैं।

कार्यप्रणाली
लेखक दो व्यापक व्याख्यात्मक ढाँचों की तुलना करने के लिए एक गणितीय मॉडलिंग दृष्टिकोण का उपयोग करते हैं:

क्रमिक विकास मॉडल (नवाचार-दोहराव): ये मॉडल मानते हैं कि प्रणाली मौजूदा घटकों के दोहराव या नए घटकों की खोज (नवाचार) के माध्यम से टोकन जोड़कर बढ़ती है। लेखक इन मॉडलों के एक सामान्य वर्ग के लिए विश्लेषणात्मक स्थितियों को व्युत्पन्न करते हैं, विशेष रूप से नवाचार की संभावना $p_n(h, m)$ की जांच करते हैं। वे माध्य और प्रसरण के स्पर्शोन्मुखी व्यवहार (asymptotic behavior) का विश्लेषण करने के लिए निरंतर-समय सन्निकटन (continuous-time approximations) और मीन-फील्ड प्रक्षेपवक्र (mean-field trajectory) की स्थिरता विश्लेषण का उपयोग करते हैं।
लेटेंट हेटेरोजेनिटी के साथ नमूनाकरण मॉडल: ये मॉडल एक घटक आवृत्ति वितरण (अक्सर पावर-लॉ/जिपफियन) से नमूने लेने से उत्पन्न होते हैं जो विभिन्न वास्तविकताओं (realizations) के कारण बदलता रहता है (जैसे ग्रंथों में विषय, जीनोम में टैक्सोनोमिक क्लैड्स)। लेखक कुल प्रसरण (total variance) को 'विषय-भीतर' (within-topic) और 'विषय-बीच' (between-topic) घटकों में विभाजित करने के लिए कुल प्रसरण के नियम (law of total variance) का उपयोग करते हैं।

यह अध्ययन अपने सैद्धांतिक अनुमानों को चार अलग-अलग डेटासेट के विरुद्ध सत्यापित करता है:

प्रोजेक्ट गुटेनबर्ग बुक्स और विकिपीडिया: शब्द विविधता के लिए विश्लेषित टेक्स्ट कॉर्पोरा।
लेगो (LEGO) निर्माण: थीम द्वारा एनोटेट किए गए ब्रिक प्रकार की विविधता के सेट।
प्रोटिओम (Proteomes): टैक्सोनोमिक क्लैड्स द्वारा एनोटेट किए गए बैक्टीरियल जीनोम में प्रोटीन डोमेन फैमिली विविधता।
लार्ज लैंग्वेज मॉडल्स (LLMs): रैंडम प्रॉम्प्ट्स का उपयोग करके GPT-2 और Llama-3 मॉडल्स द्वारा उत्पन्न टेक्स्ट।

मुख्य योगदान और परिणाम

1. नवाचार मॉडलों के लिए आवश्यक स्थितियाँ
लेखक व्युत्पन्न करते हैं कि एक सामान्य नवाचार-दोहराव मॉडल को हीप्स के नियम और द्विघातीय उतार-चढ़ाव स्केलिंग दोनों को पुनरुत्पादित करने के लिए, नवाचार की संभावना को एक विशिष्ट स्पर्शोन्मुखी निर्भरता को संतुष्ट करना चाहिए:
$p_n \sim \frac{h}{m}$
यह एक "विविधता-विविधता-जनित-करती-है" (diversity-generates-diversity) तंत्र का प्रतिनिधित्व करता है, जहाँ एक नए घटक की खोज की संभावना वर्तमान विविधता ( $h$ ) के साथ रैखिक रूप से बढ़ती है और प्रणाली के आकार ( $m$ ) के साथ घटती है।

यदि $p_n$ केवल $m$ पर निर्भर है (जैसे मानक यूल-साइमन मॉडल), तो प्रणाली उप-रैखिक विकास को पुनरुत्पादित कर सकती है लेकिन पॉइसन स्केलिंग ( $\sigma_h^2 \leq \langle h \rangle$ ) द्वारा सीमित होती है, जिससे यह देखे गए द्विघातीय उतार-चढ़ाव को पकड़ने में विफल रहती है।
लेखक प्रदर्शित करते हैं कि इस श्रेणी के भीतर यह रैखिक निर्भरता एक आवश्यक शर्त है; अन्य कार्यात्मक रूप संयुक्त रूप से अनुभवजन्य स्केलिंग घातांकों को पुनरुत्पादित करने में विफल रहते हैं।

2. लार्ज लैंग्वेज मॉडल्स में स्केलिंग का उदय
अध्ययन LLMs में "विविधता-विविधता-जनित-करती-है" परिकल्पना का परीक्षण करता है। रैंडम प्रॉम्प्ट्स दिए जाने पर GPT-2 और Llama-3 के आउटपुट वोकैबुलरी का विश्लेषण करके, लेखक पाते हैं कि प्रभावी नवाचार संभावना वास्तव में वर्तमान शब्दावली आकार में रैखिक है ( $p_n \propto h/m$ )। यह सुझाव देता है कि LLMs की जटिलता के बावजूद, उनकी जनरेटिव प्रक्रिया प्रभावी रूप से उस विशिष्ट नवाचार नियम को लागू करती है जो देखे गए सांख्यिकीय नियमों को उत्पन्न करने के लिए आवश्यक है।

3. लेटेंट हेटेरोजेनिटी एक वैकल्पिक मार्ग के रूप में
लेखक प्रदर्शित करते हैं कि द्विघातीय उतार-चढ़ाव स्केलिंग किसी भी स्पष्ट नवाचार तंत्र की आवश्यकता के बिना लेटेंट वेरिएबल्स (जैसे विषय) वाले नमूनाकरण मॉडलों में स्वाभाविक रूप से उत्पन्न होता है।

कुल प्रसरण के नियम का उपयोग करते हुए, वे दिखाते हैं कि यदि औसत शब्दावली आकार एक लेटेंट वेरिएबल पर निर्भर करता है (जैसे $\langle h \rangle_t = k(t)m^\nu$ ), तो वास्तविकताओं के बीच प्रसरण एक ऐसे पद को शामिल करता है जो लेटेंट वेरिएबल के प्रसरण के समान है: $\sigma_h^2 \approx \langle h \rangle + \text{CV}^2[k(t)] \langle h \rangle^2$ ।
पर्याप्त बड़े सिस्टम आकार के लिए, द्विघातीय पद प्रभावी हो जाता है, जो अनुभवजन्य स्केलिंग को पुनरुत्पादित करता है।
महत्वपूर्ण रूप से, इस ढांचे में, डेटा से अनुमानित "प्रभावी" नवाचार संभावना भी रैखिक रूप ( $p_n \approx d\langle h \rangle/dm \sim h/m$ ) में अभिसरित होती है, इसलिए नहीं कि यह एक स्पष्ट नियम है, बल्कि एक सांख्यिकीय परिणाम के रूप में जो लेटेंट हेटेरोजेनिटी से आता है।

4. अनुभवजन्य सत्यापन और अविभेद्यता
जीनोम (टैक्सोनोमिक समूह) और लेगो सेट्स (थीम) के विश्लेषण से पता चलता है कि ज्ञात एनोटेशन पर आधारित करने से वास्तविकताओं को अलग-अलग विविधता स्तरों (विभिन्न $k(t)$ प्रीफैक्टर्स) वाले समूहों में विभाजित किया जा सकता है, जबकि समूहों के भीतर पावर-लॉ विकास बना रहता है। हालांकि, कंडीशनिंग के बाद भी अवशिष्ट द्विघातीय उतार-चढ़ाव बने रहते हैं, जो यह सुझाव देते हैं कि ज्ञात एनोटेशन केवल आंशिक लेटेंट संरचना को ही कैप्चर करते हैं।

तंत्र पर निष्कर्ष: पेपर निष्कर्ष निकालता है कि दो ढांचे—नवाचार-संचालित विकास और लेटेंट-वेरिएबल सैंपलिंग—केवल हीप्स के नियम, उतार-चढ़ाव स्केलिंग और अनुमानित नवाचार संभावनाओं के आधार पर घटनात्मक रूप से अविभेद्य (phenomenologically indistinguishable) हैं। दोनों मार्ग एक ही स्थूल सांख्यिकीय नियमों की ओर ले जाते हैं।

महत्व और दावे
पेपर दावा करता है कि वह घटक प्रणालियों में विविधता स्केलिंग की स्पष्ट व्याख्या प्रदान करके एक वैचारिक द्वैत (conceptual duality) को प्रकट करता है:

कोई अद्वितीय पहचान नहीं: देखे गए सांख्यिकीय नियम (हीप्स का नियम और द्विघातीय उतार-चढ़ाव) अंतर्निहित जनरेटिव तंत्र की विशिष्ट पहचान नहीं करते हैं। वे या तो एक स्पष्ट "रिच-गेट्स-रिचर" नवाचार प्रक्रिया से उत्पन्न हो सकते हैं या विषम लेटेंट अवस्थाओं के सांख्यिकीय एकत्रीकरण से।
एकीकृत सांख्यिकीय चित्र: लेखक एक एकीकृत दृष्टिकोण प्रस्तावित करते हैं जहाँ लेटेंट संरचना घटक आवृत्तियों, औसत विविधता और विविधता के उतार-चढ़ाव की व्याख्या करती है। ग्रोथ मॉडल्स में देखा गया "विविधता-विविधता-जनित-करती-है" तंत्र अंतर्निहित लेटेंट हेटेरोजेनिटी का एक उभरता हुआ प्रभावी विवरण हो सकता है।
चेतावनी नोट: निष्कर्ष विविधता स्केलिंग को एक विशिष्ट नवाचार प्रक्रिया के निर्णायक प्रमाण के रूप में व्याख्या करने के विरुद्ध एक चेतावनी के रूप में कार्य करते हैं। लेगो निर्माण या जीन अभिव्यक्ति प्रोफाइल जैसी प्रणालियों में, जहाँ क्रमिक नवाचार एक प्राकृतिक विवरण नहीं है, लेटेंट वेरिएबल्स अधिक संक्षिप्त (parsimonious) व्याख्या प्रदान करते हैं।
भविष्य की दिशाएं: पेपर इन तंत्रों के बीच अंतर करने के लिए द्वितीय-क्रम के सांख्यिकी (second-order statistics) से परे अवलोकनीय (जैसे उच्च-क्रम सहसंबंध) या पूरी तरह से चरित्रित लेटेंट वेरिएबल्स वाले सिस्टम की आवश्यकता की पहचान करता है।

यह कार्य जटिल प्रणालियों के सिद्धांत, सांख्यिकीय भौतिकी और जीव विज्ञान को जोड़ता है, यह सुझाव देते हुए कि विविधता स्केलिंग की सार्वभौमिकता विशिष्ट गतिशील नियमों के बजाय सामान्य सांख्यिकीय सिद्धांतों (जैसे कुल प्रसरण का नियम) से उत्पन्न हो सकती है।

सिद्धांत 1: "अमीर और अमीर होता है" इंजन (नवाचार/Innovation)

सिद्धांत 2: "छिपा हुआ मेनू" (Latent Variables)

चौंकाने वाला मोड़: AI और नवाचार का "भूत"

मुख्य निष्कर्ष

तकनीकी सारांश: घटक प्रणालियों में सार्वभौमिक विविधता स्केलिंग के वैकल्पिक मार्ग

इसी तरह के और पेपर