🤖 AI

Boltzmann MapReduce: A Partition-Function Reduce for Forkable Sandboxes

यह शोध पत्र "बोल्ट्ज़मैन मैपरिड्यूस" (Boltzmann MapReduce) प्रस्तावित करता है, जो एक ऐसा ढांचा है जो फोर्क करने योग्य सैंडबॉक्स (forkable sandboxes) के लिए पार्टीशन-फंक्शन-आधारित रिडक्शन को सक्षम करने हेतु वर्कर कॉन्फिडेंस डेंसिटीज को गिब्स-बोल्ट्ज़मैन मेजर्स (Gibbs–Boltzmann measures) के रूप में व्याख्यायित करता है, जहाँ विलगित चंक्स (disjoint chunks) स्वतंत्र कारकों के रूप में योगदान देते हैं और फ्रीक्वेंटिस्ट कंसिस्टेंसी (frequentist consistency) शून्य-तापमान सीमा (zero-temperature limit) के रूप में उभरती है।

मूल लेखक: Yossi Eliaz

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yossi Eliaz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल विज्ञान मेला चला रहे हैं जहाँ सैकड़ों छोटे, समान रोबोट (जिन्हें "फोर्क्ड सैंडबॉक्स" कहा जाता है) एक पहेली को सुलझाने के लिए भेजे जाते हैं। प्रत्येक रोबोट पहेली के एक छोटे से हिस्से पर काम करता है, कुछ सुराग इकट्ठा करता है, और एक रिपोर्ट वापस भेजता है।

पुराने दिनों में, कंप्यूटिंग के दौर में, यदि आप इन रोबोटों से उनके उत्तर मांगते, तो बॉस बस सभी रिपोर्टों को लेता और एक साधारण औसत निकाल लेता। "रोबोट A कहता है 5, रोबोट B कहता है 7, तो उत्तर 6 हुआ!" इस तरह पुराना MapReduce सिस्टम काम करता था। यह चीजों को गिनने या संख्याओं को जोड़ने के लिए बेहतरीन था, लेकिन इसने हर रोबोट की राय को समान महत्व दिया, चाहे उस रोबोट ने वास्तव में कितना डेटा देखा हो।

बड़ी समस्या: "आत्मविश्वासी झूठा" (The Confident Liar)
इस पेपर के लेखक बताते हैं कि उस पुराने "बस औसत निकालो" वाले दृष्टिकोण में एक बड़ी खामी है। कल्पना कीजिए कि एक रोबलेट ने केवल दो सुराग देखे लेकिन पूरे आत्मविश्वास के साथ दावा किया, "मुझे 100% यकीन है कि उत्तर 17.0 है!" जबकि दूसरे रोबोट ने 2,000 सुराग देखे और कहा, "मुझे लगता है कि यह लगभग 5.0 के आसपास है।"

यदि आप बस उनका औसत निकालते हैं, तो वह एक आत्मविश्वासी झूठा पूरे समूह के उत्तर को पटरी से उतार सकता है। पुराने सिस्टम के पास यह बताने का कोई तरीका नहीं था कि कौन सा रोबोट बहुत अधिक काम कर रहा था और कौन सा सिर्फ जोर से चिल्लाकर अनुमान लगा रहा था।

नया विचार: सत्य का "थर्मोस्टेट" (The "Thermostat" of Truth)
यह पेपर इन रोबोटों को सुनने का एक नया तरीका प्रस्तावित करता है, जिसे Boltzmann MapReduce कहा जाता है। एक साधारण औसत के बजाय, बॉस एक थर्मोस्टेट की तरह व्यवहार करता है।

यहाँ जादू का तरीका है:

गर्म बनाम ठंडा (Hot vs. Cold): पेपर सुझाव देता है कि बहुत कम डेटा वाला रोबोट "गर्म" और "धुंधला" (fuzzy) है—उसका उत्तर संभावनाओं का एक विस्तृत, धुंधला बादल है। बहुत अधिक डेटा वाला रोबोट "ठंडा" और "तीक्ष्ण" (sharp) है—उसका उत्तर एक सटीक, केंद्रित बिंदु है।
पार्टीशन फंक्शन (The Partition Function): संख्याओं का औसत निकालने के बजाय, बॉस इन "बादलों" को आपस में गुणा करता है। इसे रंगों को मिलाने की तरह समझें: यदि आप एक चमकीले लाल रंग की एक छोटी बूंद को एक बड़ी बाल्टी हल्के नीले रंग के साथ मिलाते हैं, तो परिणाम अभी भी ज्यादातर नीला ही रहेगा। "ठंडे" (डेटा-समृद्ध) रोबोट स्वाभाविक रूप से "गर्म" (डेटा-विहीन) रोबोटों पर हावी हो जाते हैं।
परिणाम: यह विधि, जिसे लेखक पार्टीशन-फंक्शन रिड्यूस कहते हैं, स्वचालित रूप से उन रोबोटों को अधिक महत्व देती है जिन्होंने अधिक काम किया है।

उन्होंने वास्तव में क्या सिद्ध किया (मापा गया हिस्सा)
लेखकों ने केवल कल्पना नहीं की; उन्होंने एक काम करने वाला संस्करण बनाया और उसका परीक्षण किया।

गणितीय जांच: उन्होंने सिद्ध किया कि जब गणित सरल होता है (जैसे एक सीधी रेखा), तो यह नया तरीका डेटा को संयोजित करने के सर्वोत्तम संभव गणितीय सूत्र के बिल्कुल समान होता है। यह कंप्यूटर के अंतिम दशमलव अंक तक मेल खाता है।
वास्तविक दुनिया का परीक्षण: उन्होंने इसे islo नामक एक वास्तविक क्लाउड सिस्टम पर चलाया। उन्होंने कंप्यूटर के एक एकल "स्नैपशॉट" (एक स्थिर क्षण) को लिया और तुरंत उसे 4 अलग-अलग रोबोटों में क्लोन कर दिया। प्रत्येक रोबोट ने अपने डेटा के अपने हिस्से पर काम किया। जब उन्होंने नए "थर्मोस्टेट" तरीके का उपयोग करके परिणामों को जोड़ा, तो उत्तर 4.942 आया, जो "वास्तविक" उत्तर 4.945 के अविश्वसनीय रूप से करीब था।
झूठे का परीक्षण: उन्होंने सिस्टम को एक "आत्मविश्वासी झूठे" रोबोट से धोखा देने की कोशिश की जिसने नकली सटीकता के साथ 17.0 का दावा किया। बिना सुरक्षा के, सिस्टम झूठे पर विश्वास कर लेता। लेकिन लेखकों ने एक "क्लिप" (एक सुरक्षा गार्ड) जोड़ा जो किसी एक रोबोट को दिया जाने वाला विश्वास सीमित कर देता है। क्लिप के साथ, सिस्टम ने झूठे को नजरअंदाज कर दिया और 4.95 पर बना रहा, जिससे झूठे को सफलतापूर्वक संदिग्ध के रूप में चिह्नित किया गया।
कठिन मामला: जब उन्होंने एक अधिक जटिल, गैर-रेखीय पहेली (लॉजिस्टिक्स रिग्रेशन) का उपयोग किया, तो नया तरीका पुराने "बस औसत निकालो" वाले तरीके से 24 गुना बेहतर था।

उन्होंने क्या नहीं किया (संभावित हिस्सा)
यह जानना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है।

उन्होंने यह सिद्ध नहीं किया कि यह सिस्टम वास्तविक दुनिया में हर तरह के हैकर या "बाइज़ेंटाइन" (Byzantine) हमले के खिलाफ पूर्णतः सुरक्षित है। उन्होंने केवल अपने सिमुलेशन में एक विशिष्ट प्रकार के झूठे के खिलाफ परीक्षण किया।
उन्होंने यह सटीक रूप से मापा नहीं कि उनका सिस्टम बहुत बड़े पैमाने पर (जैसे एक साथ हजारों रोबोट के साथ) कितना तेज़ है। उन्होंने अन्य कंपनियों (जैसे Daytona और Tensorlake) के प्रकाशित आंकड़ों को देखा और कहा, "उन आंकड़ों के आधार पर, हमारा सिस्टम तेज़ होना चाहिए," लेकिन उन्होंने खुद वह विशिष्ट विशाल परीक्षण अभी तक नहीं किया है।
उन्होंने भविष्य के लिए जो "AI एजेंट आर्मी" की कल्पना की है, उसे पूरी तरह से निर्मित नहीं किया है। उन्होंने केवल वह सांख्यिकीय इंजन बनाया है जो इसे शक्ति प्रदान करेगा।

निष्कर्ष (The Bottom Line)
पेपर का तर्क है कि "भविष्य का कंप्यूटर" एक विशाल सर्वर रैक नहीं है; यह एक ऐसी मशीन है जो खुद को कई प्रतियों (फोर्केबल सैंडबॉक्स) में तुरंत क्लोन कर सकती है। क्योंकि ये कॉपियां इतनी सस्ती और तेज़ हैं, इसलिए हमें उनके परिणामों को केवल औसत निकालने वाली संख्याओं के रूप में मानना बंद कर देना चाहिए। इसके बजाय, हमें उन्हें विश्वास के "तापमान" के रूप में मानना चाहिए।

इस Boltzmann reduce का उपयोग करके, हम सैकड़ों क्लोनों के काम को जोड़ सकते हैं, जिससे वे जिनमें सबसे अधिक डेटा है, वे सबसे अधिक मुखर हो सकें, जबकि हम सिस्टम को उन झूठ बोलने वालों से सुरक्षित रख सकें जो कम सबूतों के साथ सबसे ज़ोर से चिल्लाने की कोशिश करते हैं। यह भीड़ को सुनने का एक स्मार्ट तरीका है, जो अनुमानों के शोर भरे ढेर को एक एकल, विश्वसनीय सत्य में बदल देता है।

तकनीकी सारांश: बोल्ट्ज़मैन मैपरिड्यूस (Boltzmann MapReduce)

समस्या विवरण
यह शोधपत्र AI युग की "कमोडिटी मशीन" और मैपरिड्यूस प्रतिमान (paradigm) से विरासत में मिले सांख्यिकीय एकत्रीकरण (statistical aggregation) विधियों के बीच एक मौलिक बेमेल की पहचान करता है। जबकि मूल मैपरिड्यूस मॉडल अविश्वसनीय, धीमी गति से बूट होने वाले पीसी (PCs) में योग और गणना करने के लिए डिज़ाइन किया गया था, आधुनिक आधार (substrate) फोर्केबल कॉपी-ऑन-राइट (CoW) माइक्रोवीएम सैंडबॉक्स (microVM sandbox) है। इस वातावरण में, निष्पादन इकाइयाँ (execution units) नियत पथ नहीं हैं, बल्कि फोर्क्ड एंसेम्बल्स (forked ensembles) हैं (जैसे, कोडिंग एजेंटों के समानांतर रोलआउट, हाइपरपैरामीटर स्वीप, या निर्णय वृक्ष की शाखाएं)।

मुख्य समस्या यह है कि मानक "अरिथमेटिक रिड्यूस" (परिणामों का औसत निकालना या उन्हें जोड़ना) इन फोर्क्स के सांख्यिकीय गुणों को ध्यान में रखने में विफल रहता है। प्रत्येक फोर्क एक शोरयुक्त, अनिश्चित अनुमान (जैसे, एक पास दर, या एक मानक त्रुटि के साथ गुणांक) उत्सर्जित करता है जो डेटा की एक विशिष्ट मात्रा से प्राप्त होता है। सहज औसत (naive averaging) प्रत्येक अनुमान के नमूना आकार ( $n$ ) और एकाग्रता (परिशुद्धता/precision) के संबंध में महत्वपूर्ण जानकारी को त्याग देता है। इसके अलावा, यह दृष्टिकोण "कॉन्फिडेंट लायर्स" (confident liars) के प्रति भी संवेदनशील है—ऐसे फोर्क जो झूठी उच्च परिशुद्धता (कम विचरण/variance) रिपोर्ट करते हैं, जो परिशुद्धता-भारित पूलिंग (precision-weighted pooling) के अनबाउंडेड इन्फ्लुएंस फंक्शन के कारण सर्वसम्मति को हाईजैक कर सकते हैं।

कार्यप्रणाली (Methodology)
लेखक बोल्ट्ज़मैन मैपरिड्यूस का प्रस्ताव करते हैं, जो एक रिडक्शन स्टेप है जो फोर्क्ड एंसेम्बल्स के एकत्रीकरण को एक सरल अंकगणितीय औसत के बजाय एक थर्मोडायनामिक इक्विलिब्रियम (ऊष्मगतिकीय संतुलन) समस्या के रूप में मानता है।

सैद्धांतिक आधार (LAN और गिब्स मेजर्स):
लोकल एसिम्प्टोटिक नॉर्मैलिटी (LAN) की धारणा के तहत, एक निश्चित आकार $n$ के चंक (chunk) को प्रोसेस करने वाले वर्कर द्वारा उत्सर्जित कॉन्फिडेंस डेंसिटी को एक गिब्स-बोल्ट्ज़मैन मेजर (Gibbs–Boltzmann measure) के रूप में अनुमानित किया जा सकता है:
$h_k(\theta) \propto \exp\{-\beta_k E_k(\theta)\}$
जहाँ "एनर्जी" $E_k(\theta)$ स्थानीय क्वाड्रेटिक लॉस है, और इनवर्स टेम्परेचर $\beta_k$ ठीक $n_k$ (नमूना आकार) है।

डेटा-विहीन चंक "हॉट" (विस्तृत वितरण) होते हैं।
डेटा-समृद्ध चंक "कोल्ड" (केंद्रित वितरण) होते हैं।

पार्टीशन-फंक्शन रिड्यूस (The Partition-Function Reduce):
चूंकि विलगित (disjoint) चंक स्वतंत्र होते हैं, इसलिए उनके बोल्ट्ज़मैन कारक गुणाकार होते हैं। रिड्यूस स्टेप पार्टीशन फंक्शन $Z = \int \prod_k h_k(\theta) d\theta$ की गणना करता है।

संयुक्त वितरण का मोड (mode) परिशुद्धता-भारित पूलिंग (इन्वर्स-वैरिएंस वेटिंग) के अनुरूप होता है।
फ्रीक्वेंटिस्ट कंसिस्टेंसी को जीरो-टेम्परेचर लिमिट ( $T = 1/n \to 0$ ) के रूप में पहचाना जाता है।

रोबस्टनेस मैकेनिज्म (Robustness Mechanism):
चूंकि परिशुद्धता-भारित पूलिंग का इन्फ्लुएंस फंक्शन अनबाउंडेड है, इसलिए एक एकल फोर्क जो झूठी उच्च परिशुद्धता रिपोर्ट करता है (एक "कॉन्फिडेंट लायर"), परिणाम पर हावी हो सकता है। लेखक स्थान संबंधी आउटलेर्स (location outliers) को कम करने और बाइजेंटाइन विफलताओं को रोकने के लिए रिपोर्ट की गई परिशुद्धता को सीमित करने हेतु एक मीडियन-एब्सोल्यूट-डेविएशन (MAD) प्रिसिजन क्लिप पेश करते हैं।
सब्सट्रेट कार्यान्वयन (Substrate Implementation):
सिस्टम फोर्केबल माइक्रोवीएम (जैसे, Firecracker/KVM) का लाभ उठाता है। एक पैरेंट माइक्रोवीएम को बूट, वॉर्म और एक OCI स्नैपशॉट में सीरियलाइज किया जाता है। बच्चों (children) को कॉपी-ऑन-राइट डिमांड पेजिंग के माध्यम से स्पॉन किया जाता है, जिससे सैकड़ों समानांतर वर्कर्स का तीव्र, कम ओवरहेड वाला इंस्टेंशिएशन संभव होता है। रिड्यूस स्टेप कच्चे डेटा को केंद्रीकृत किए बिना सांख्यिकीय आउटपुट (पॉइंट एस्टीमेट्स, कॉन्फिडेंस डेंसिटीज और सैंपल साइज़) को एकत्रित करता है।

प्रमुख योगदान

पहचान (सिद्ध): शोधपत्र स्थापित करता है कि एसिम्प्टोटिक कॉन्फिडेंस डेंसिटी एक गिब्स मेजर है जहाँ $\beta = n$ है। यह रिड्यूस ऑपरेशन को एक पार्टीशन-फंक्शन प्रोडक्ट और कंसिस्टेंसी को जीरो-टेम्परेचर लिमिट के रूप में पुनर्गठित करता है। यह पहचान गौसियन/लीनियर एनर्जी के लिए सटीक है और अन्यथा प्रथम-क्रम (first-order) तक मान्य है।
रिड्यूस (मापा गया): एक ओपन रेफरेंस इम्प्लीमेंटेशन प्रदर्शित करता है कि:
- पार्टीशन-फंक्शन रिड्यूस, मशीन प्रिसिजन तक क्लोज्ड-फॉर्म इन्वर्स-वैरिएंस पूलिंग के बराबर है।
- पूल्ड एस्टीमेट, 12-शार्ड मीन पर $4.3 \times 10^{-4}$ के सैंपलिंग गैप के साथ फुल-डेटा ओरकल को ट्रैक करता है।
- "तापमान" $1/\sqrt{N}$ के साथ ठंडा होता है।
- गैर-रैखिक, हेटेरोजेनियस लॉजिस्टिक एस्टिमेटर्स पर, परिशुद्धता-भारित रिड्यूस फुल-डेटा मैक्सिमम लाइक्लीहुड एस्टीमेटर (MLE) को रिकवर करता है, जबकि नाइव एवरेजिंग $\approx 24\times$ खराब है।
- क्लिप मैकेनिज्म सफलतापूर्वक काम करता है जब एक "कॉन्फिडेंट लायर" सर्वसम्मति को हाईजैक करने का प्रयास करता है।
सब्सट्रेट (सक्षम डिजाइन): शोधपत्र पुष्टि करता है कि फोर्क्ड एंसेम्बल्स के लिए निष्पादन की इकाई के रूप में फोर्केबल CoW माइक्रोवीएम का उपयोग किया जा सकता है। यह islo क्लाउड पर एक एंड-टू-एंड रन प्रदान करता है, जो 4.945 के ओरकल के विरुद्ध 4.942 के मीन में रिड्यूस करने वाली चार-शार्ड कॉन्फ़िगरेशन को प्रदर्शित करता है।

प्रायोगिक परिणाम
लेखक मापे गए परिणामों को अनुमानों (projections) से अलग करते हैं:

बीजगणितीय और सांख्यिकीय सत्यापन: नियत (deterministic) रन (सीड 0) में, कार्यान्वयन सटीक रूप से इन्वर्स-वैरिएंस पूल्ड एस्टीमेटर को पुनरुत्पादित करता है। 12-शार्ड मीन प्रयोग में, पूल्ड एस्टीमेट 4.9546 के ओरकल के मुकाबले 4.9542 था।
गैर-रैखिक शासन (Non-Linear Regime): हेटेरोजेनियस शार्ड साइज़ के साथ एक लॉजिस्टिक रिग्रेशन कार्य में, परिशुद्धता-भारित रिड्यूस ने ओरकल से $8.3 \times 10^{-3}$ का औसत गैप प्राप्त किया, जबकि नाइव एवरेजिंग 24 गुना बदतर थी।
बाइजेंटाइन लचीलापन (Byzantine Resilience): एक अकेला लायर जो $\theta=17.0$ के साथ बढ़ी हुई परिशुद्धता रिपोर्ट करता है, उसने नाइव पूल को 17.0 पर स्थानांतरित कर दिया। क्लिप मैकेनिज्म ने सही मान (4.9542) को रिकवर किया और आउटलेयर को फ्लैग किया।
स्केलेबिलिटी: पाइपलाइन ने तीन वास्तविक फोर्केबल-सैंडबॉक्स क्लाउड्स (islo, Daytona, Tensorlake) पर सफलतापूर्वक काम किया, जो 256–1024 फोर्क्स के बैच फैनाउट्स के लिए 100% सफलता दर प्राप्त करता है।
लेटेंसी प्रोजेक्शन: हालांकि शोधपत्र सीधे तौर पर इन-होस्ट माइक्रोवीएम रिस्टोर लेटेंसी को नहीं मापता है, यह CoW माइक्रोवीएम के साथ UFFD प्रीफेच के प्रकाशित आंकड़ों के आधार पर सब-20ms p99 डिस्पैच समय का अनुमान लगाता है, और नोट करता है कि वर्तमान में क्लाइंट-क्लाउड लेटेंसी राउंड-ट्रिप पर हावी है।

महत्व और दावे
शोधपत्र का दावा है कि बोल्ट्ज़मैन रिड्यूस वितरित AI कोडिंग एजेंटों और फोर्क्ड एंसेम्बल्स के शोरयुक्त परिणामों को एकत्रित करने के लिए पहला सिद्धांत-आधारित प्रिमिटिव (principled primitive) प्रदान करता है। यह तर्क देता है कि जब निष्पादन की इकाई एक फोर्क्ड एंसेबल है, तो रिड्यूस को केवल औसत निकालने के बजाय उस एंसेबल को इक्विलिब्रेट (संतुलित) करना चाहिए (पार्टीशन फंक्शन के माध्यम से)।

लेखक स्पष्ट रूप से कहते हैं कि उनका योगदान न तो एक नया सांख्यिकीय एस्टीमेटर है (Rao-CD और कॉन्फिडेंस डिस्ट्रीब्यूशन मेटा-एनालिसिस पहले से मौजूद हैं) और न ही वितरित कोड इवोल्यूशन के लिए एक नया सिस्टम है। इसके बजाय, महत्व यहाँ है:

दृष्टिकोण को एकीकृत करना: परिशुद्धता वेटिंग, कंसिस्टेंसी और आउटलेयर व्यवहार को एक एकल थर्मोडायनामिक स्टेटमेंट ( $\beta=n$ ) के रूप में फ्रेम करना।
सब्सट्रेट को संचालित करना: यह प्रदर्शित करना कि माइक्रोवीएम का सस्ता फोर्किंग, "फोर्क्ड एंसेबल" को कार्य की स्वाभाविक इकाई बनाता है, जिसके लिए एक सांख्यिकीय न कि अंकगणितीय रिड्यूस की आवश्यकता होती है।
एक आधार प्रदान करना: वितरित सॉफ्टवेयर इंजीनियरिंग के लिए एक "प्रथम सिद्धांत-आधारित प्रिमिटिव" प्रदान करना, जहाँ एजेंट कोड विकसित करने के लिए स्नैपशॉट को फोर्क करते हैं और रिड्यूस स्टेप उनके निहित विश्वास (confidence) को एक विश्वसनीय निर्णय में संयोजित करता है।

शोधपत्र बड़े पैमाने पर रोबस्टनेस और लेटेंसी के संबंध में विनम्र रहता है, भविष्य के सिस्टम प्रयोगों के लंबित होने पर इन्हें "प्रोजेक्शन" लेबल करता है, और स्पष्ट रूप से नोट करता है कि Krum या FLAME के विरुद्ध कोई हेड-टू-हेड बेंचमार्क नहीं किया गया है।

इसी तरह के और पेपर