Caliper-in-the-Loop: Black-Box Optimization for Hyperledger Fabric Performance Tuning
यह शोध पत्र एक कैलिपर-इन-द-लूप (Caliper-in-the-loop) पाइपलाइन का प्रस्ताव करता है जो हाइपरलेजर फैब्रिक (Hyperledger Fabric) कॉन्फ़िगरेशन को स्वचालित रूप से ट्यून करने के लिए आयामी कमी (dimensionality reduction) के साथ बायेसियन अनुकूलन (Bayesian optimization) का उपयोग करता है, जिससे एक उच्च-आयामी, शोर वाले खोज स्थान (noisy search space) में मैनुअल बेसलाइन की तुलना में 12% तक थ्रूपुट सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल रेस कार के इंजन को ट्यून करने की कोशिश कर रहे हैं। इस इंजन में 317 अलग-अलग नॉब्स और डायल हैं (जैसे ईंधन का मिश्रण, स्पार्क टाइमिंग, टायर का दबाव, आदि)। यदि आप केवल एक नॉब घुमाते हैं, तो कार तेज़ हो सकती है। लेकिन यदि आप दो नॉब एक साथ घुमाते हैं, तो वे एक-दूसरे के प्रभाव को खत्म कर सकते हैं, या शायद वे एक जादुई संयोजन बना सकते हैं जिससे आपकी कार उड़ने लगे।
समस्या यह है कि आप इंजन के अंदर नहीं देख सकते और आपके पास कोई मैनुअल भी नहीं है जो आपको बताता हो कि कौन से नॉब घुमाने हैं। यह जानने का एकमात्र तरीका कि कोई सेटिंग काम करती है या नहीं, यह है कि आप कार शुरू करें, उसे ट्रैक पर चलाएं, और उसके समय (टाइमिंग) को मापें। लेकिन कार चलाने में समय लगता है, गैस (ईंधन) का खर्च आता है, और कभी-कभी ट्रैक की स्थितियां (हवा, तापमान) बदल जाती हैं, जिससे वही चीज़ दोबारा करने पर भी समय थोड़ा अलग हो सकता है।
यह बिल्कुल वही समस्या है जिसे यह पेपर Hyperledger Fabric के लिए हल करता है, जो बैंकों और कंपनियों द्वारा प्राइवेट ब्लॉकचेन चलाने के लिए उपयोग किया जाने वाला एक लोकप्रिय सॉफ्टवेयर है।
समस्या: बहुत सारे नॉब्स, बहुत अधिक शोर (Noise)
Hyperledger Fabric उस रेस कार के इंजन की तरह है। इसमें सैकड़ों सेटिंग्स होती हैं जो इसके लेनदेन की गति (इसकी "स्पीड") को नियंत्रित करती हैं।
- मैनुअल तरीका: इंजीनियर आमतौर पर इन सेटिंग्स को अनुमान लगाने, परीक्षण करने और उम्मीद करने के तरीके से ट्यून करने की कोशिश करते हैं। यह धीमा, महंगा है, और अक्सर कम अनुकूल परिणामों की ओर ले जाता है क्योंकि सेटिंग्स आपस में जटिल रूप से जुड़ी होती हैं।
- शोर (The Noise): भले ही आप एक "अच्छी" सेटिंग पा लें, लेकिन जो गति आप मापते हैं उसमें उतार-चढ़ाव आ सकता है क्योंकि जिस क्लाउड कंप्यूटर पर यह चलता है, वह पूरी तरह से सुसंगत नहीं होता है। यह एक धावक का समय मापने की कोशिश करने जैसा है जबकि हवा का एक झोंका बार-बार उसे टक्कर मार रहा हो।
समाधान: "कैलपर-इन-द-लूप" (Caliper-in-the-Loop)
लेखकों ने एक स्वचालित रोबोट सिस्टम बनाया है जिसे "Caliper-in-the-Loop" कहा जाता है। इस रोबोट को एक अथक टेस्ट ड्राइवर के रूप में सोचें जो कभी थकता नहीं है।
यह रोबोट एक लूप में इस प्रकार काम करता है:
- अनुमान लगाना (Guess): रोबोट 317 नॉब्स के यादृच्छिक (random) संयोजनों में से एक चुनता है (एक कॉन्फ़िगरेशन)।
- निर्माण करना (Build): यह उन सेटिंग्स के साथ एक नया ब्लॉकचेन नेटवर्क स्वचालित रूप से बनाता है।
- दौड़ना (Race): यह नेटवर्क के खिलाफ एक मानक दौड़ चलाने और गति (ट्रांजेक्शन प्रति सेकंड, या TPS) को मापने के लिए Hyperledger Caliper (स्टॉपवॉच) नामक टूल का उपयोग करता है।
- सीखना (Learn): रोबोट परिणाम दर्ज करता है।
- समायोजन करना (Adjust): जो कुछ उसने सीखा है, उसके आधार पर, रोबोट अगले नॉब सेट के बारे में अनुमान लगाता है, जिसका लक्ष्य और तेज़ होना है।
गुप्त मंत्र: बेयसियन ऑप्टिमाइज़ेशन (Bayesian Optimization) और डायमेंशनलिटी रिडक्शन (Dimensionality Reduction)
रोबोट केवल रैंडम अंदाज़े नहीं लगाता; यह एक स्मार्ट गणितीय रणनीति का उपयोग करता है जिसे बेयसियन ऑप्टिमाइज़ेशन (BO) कहा जाता है।
- नक्शा: कल्पना कीजिए कि रोबोट "स्पीड लैंडस्केप" का एक नक्शा बना रहा है। उसे पूरा नक्शा नहीं पता है, लेकिन हर दौड़ के बाद, वह अपने नक्शे को अपडेट करता है ताकि वह अनुमान लगा सके कि सबसे तेज़ स्थान कहाँ हो सकते हैं। यह एक्सप्लोरेशन (अजीब, नए नॉब संयोजनों को आज़माना ताकि छिपे हुए खजाने का पता चल सके) और एक्सप्लोइटेशन (उन नॉब्स को और बेहतर बनाना जो पहले से ही अच्छा काम कर रहे हैं) के बीच संतुलन बनाता है।
चुनौती: 317 नॉब्स के साथ, नक्शा सटीक रूप से बनाने के लिए बहुत बड़ा है। यह ऐसा है जैसे 317 आयामों (dimensions) वाले पर्वत श्रृंखला में सबसे ऊँची चोटी खोजने की कोशिश करना। रोबोट इसमें खो जाएगा।
समाधान: पेपर डायमेंशनलिटी रिडक्शन (DR) का उपयोग करता है। यह नक्शे को मोड़ने जैसा है। रोबोट को एहसास होता है कि भले ही 317 नॉब्स हैं, लेकिन उनमें से केवल कुछ ही वास्तव में गति के लिए महत्वपूर्ण हैं, या वे समूहों में एक साथ चलते हैं। रोबोट इस समस्या को एक छोटे, सरल स्थान में संकुचित करता है ताकि तेज़ गति से सर्वोत्तम सेटिंग्स मिल सकें, और फिर उन्हें वापस मूल 317 नॉब्स में अनुवादित करता है।
परिणाम: दौड़ जीतना
शोधकर्ताओं ने एक क्लाउड वातावरण (एक वर्चुअल रेस ट्रैक) में इस प्रणाली का परीक्षण किया जिसमें एक साथ चलने वाले 17 अलग-अलग कंप्यूटर थे। उन्होंने "स्मार्ट गेसिंग" रणनीतियों और "मैप फोल्डिंग" तकनीकों के 16 अलग-अलग संयोजनों के साथ-साथ रैंडम अनुमान लगाने के बेसलाइन का परीक्षण किया।
- विजेता: सबसे अच्छे संयोजन (जिसे DYCARS-PCA कहा जाता है) ने एक ऐसा कॉन्फ़िगरेशन खोजा जो रोबोट द्वारा आजमाए गए पहले कॉन्फ़िगरेशन की तुलना में 12% तेज़ था।
- उप-विजेता: दूसरे संयोजन (MPI-REMBO) ने 9% की स्पीड बूस्ट हासिल की।
यह क्यों मायने रखता है
यह पेपर दिखाता है कि आपको विशेषज्ञ होने की आवश्यकता नहीं है कि हफ्तों तक यह अनुमान लगाने में बिताएं कि कौन से नॉब घुमाने हैं। एक स्वचालित प्रणाली बहुत तेज़ी से और अधिक विश्वसनीयता के साथ एक तेज़ ब्लॉकचेन का "गुप्त नुस्खा" सीख सकती है, भले ही माप थोड़े शोर-शराबे वाले हों और सेटिंग्स की संख्या बहुत अधिक हो।
महत्वपूर्ण नोट: पेपर केवल उस विशिष्ट ब्लॉकचेन सेटअप के लिए इन परिणामों का दावा करता है जिसका उन्होंने परीक्षण किया है (एक विशिष्ट प्रकार का नेटवर्क, एक विशिष्ट वर्कलोड और एक विशिष्ट क्लाउड सेटअप)। उन्होंने अभी तक अन्य ब्लॉकचेन, विभिन्न वर्कलोड या वास्तविक बैंकिंग प्रणालियों पर इसका परीक्षण नहीं किया है। सफलता पूरी तरह से उस "रेस ट्रैक" के भीतर है जिसे उन्होंने प्रयोग के लिए बनाया था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।