🤖 machine learning

Cost-aware Duration Prediction for Software Upgrades in Datacenters

यह शोधपत्र Acela को प्रस्तुत करता है, जो एक लागत-जागरूक अवधि भविष्यवाणी ढांचा (cost-aware duration prediction framework) है, जो विषम गलत भविष्यवाणी लागतों (asymmetric misprediction costs) और स्ट्रैगलर प्रभावों (straggler effects) को संबोधित करके डेटा केंद्रों में सॉफ्टवेयर अपग्रेड शेड्यूलिंग को अनुकूलित करता है, जिसके परिणामस्वरूप मेटा के प्रोडक्शन सिस्टम में दक्षता, थ्रूपुट में उल्लेखनीय सुधार और रद्दीकरण दरों में कमी आई है।

मूल लेखक: Yi Ding, Aijia Gao, Thibaud Ryden, Michal Sedlak, Essam Ewaisha, Igor Marnat, Henry Hoffmann

प्रकाशित 2026-05-19

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Yi Ding, Aijia Gao, Thibaud Ryden, Michal Sedlak, Essam Ewaisha, Igor Marnat, Henry Hoffmann

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक विशाल डेटा सेंटर की कल्पना करें जो लाखों सर्वरों का एक विशाल, हलचल भरा शहर है। ये सर्वर वे कार्यबल हैं जो आपके पसंदीदा ऐप्स, वीडियो और खोजों को शक्ति प्रदान करते हैं। लेकिन किसी भी मशीन की तरह, उन्हें सुरक्षित और तेज़ बनाए रखने के लिए नियमित रखरखाव और सॉफ़्टवेयर अपडेट की आवश्यकता होती है।

परेशानी यह है कि इन सर्वरों को अपडेट करना पेचीदा है। यदि आप उन सभी को एक साथ अपडेट करने की कोशिश करते हैं, तो शहर थम जाता है। यदि आप उन्हें बहुत धीरे-धीरे अपडेट करते हैं, तो इसमें बहुत समय लगता है। मेटा (Facebook, Instagram आदि के पीछे की कंपनी) के डेटा सेंटर ऑपरेटर बहुत अधिक सुरक्षित खेल रहे हैं: वे मान लेते हैं कि हर एक अपडेट में लगने वाला समय सबसे अधिक होगा।

समस्या: "वर्स्ट-केस" (सबसे खराब स्थिति) का ट्रैफिक जाम
इसे एक बस ड्राइवर की तरह समझें जो यह मान लेता है कि हर यात्री को बस में चढ़ने में 10 मिनट लगेंगे, भले ही अधिकांश को केवल 30 सेकंड लगते हों। क्योंकि ड्राइवर इतना सतर्क है, इसलिए बस घंटों खाली खड़ी रहती है, जिससे समय और ईंधन दोनों बर्बाद होते हैं।

डेटा सेंटर में, इस "वर्स्ट-केस" सोच का मतलब था कि उनके "अपग्रेड विंडोज" (अपडेट के लिए निर्धारित विशिष्ट समय स्लॉट) का उपयोग केवल 20-40% समय ही किया जा रहा था। वे बहुत सारा संभावित काम छोड़ रहे थे, और सभी सर्वरों को अपडेट करने में कई अधिक चक्र (cycles) लग रहे थे।

समाधान: एसेला (Acela), एक स्मार्ट ट्रैफिक कंट्रोलर
यह शोध पत्र एसेला नामक एक नई प्रणाली पेश करता है। एसेला को एक सुपर-स्मार्ट ट्रैफिक कंट्रोलर के रूप में समझें जो केवल अनुमान नहीं लगाता; यह सटीक रूप से भविष्यवाणी करता है कि प्रत्येक विशिष्ट सर्वर के लिए प्रत्येक विशिष्ट अपडेट में कितना समय लगेगा।

लेकिन यहाँ एक पेंच है। एसेला केवल गणित की कक्षा के अर्थ में "सटीक" होने की कोशिश नहीं कर रहा है। यह लागत-जागरूक (cost-aware) होने की कोशिश कर रहा है।

कम अनुमान लगाना (Under-predicting): (यह अनुमान लगाना कि एक अपडेट में 10 मिनट लगेंगे जबकि वास्तव में 20 मिनट लगते हैं) खतरनाक है। सर्वर अपना समय सीमा चूक जाता है, अपडेट विफल हो जाता है, और पूरा शेड्यूल बिगड़ जाता है।
अधिक अनुमान लगाना (Over-predicting): (20 मिनट का अनुमान लगाना जबकि 10 मिनट लगते हैं) सुरक्षित है। सर्वर जल्दी काम पूरा कर लेता है, लेकिन विंडो कुछ समय के लिए खाली रह जाती है।

एसेला जानता है कि थोड़ा "सुरक्षित" होना (अधिक अनुमान लगाना) "जोखिम भरा" होने (कम अनुमान लगाना) से बेहतर है। यह क्वांटाइल रिग्रेशन (Quantile Regression) नामक एक विशेष गणितीय तकनीक का उपयोग करता है ताकि जानबूझकर औसत से थोड़ा अधिक समय का अनुमान लगाया जा सके, जिससे यह सुनिश्चित हो सके कि काम समय पर पूरा हो जाए और कोई दुर्घटना न हो।

एसेला कैसे काम करता है (इसका गुप्त मंत्र)

यह अतीत से सीखता है: एसेला पैटर्न देखने के लिए लाखों पिछले अपडेट्स का विश्लेषण करता है।
यह "अजीबोगरीब" मामलों को अनदेखा करता है: कभी-कभी, किसी सर्वर में हार्डवेयर की खराबी आ जाती है और उसे अपडेट होने में बहुत समय लगता है (एक "स्ट्रैगलर")। यदि एसेला इन गड़बड़ियों से सीखता, तो यह अनुमान लगाने लगता कि हर अपडेट में बहुत समय लगता है। इसलिए, एसेला अत्यधिक सतर्क होने से बचने के लिए सीखने से पहले इन चरम 'आउटलेयर्स' को स्मार्ट तरीके से फ़िल्टर कर देता है।
यह सबसे अच्छा अनुमान चुनता है: यह विभिन्न भविष्यवाणी रणनीतियों को आज़माता है और उस रणनीति को चुनता है जो विफलता दर को कम रखते हुए सबसे अधिक अपडेट पूरे करती है।

परिणाम: एक तेज़, सुचारू शहर
जब शोधकर्ताओं ने मेटा के वास्तविक डेटा सेंटरों में एसेला का परीक्षण किया, तो परिणाम प्रभावशाली थे:

बेहतर समय उपयोग: वे समान समय में 1.25 गुना अधिक काम कर पाए। अपग्रेड विंडोज का अंततः कुशलतापूर्वक उपयोग किया गया।
अधिक अपडेट: वे 33% अधिक अपडेट शेड्यूल करने में सक्षम हुए और 41% अधिक अपडेट सफलतापूर्वक पूरे कर सके।
कम विफलताएं: भले ही वे अधिक काम कर रहे थे, विफल या रद्द किए गए अपडेटों की संख्या 2.4 गुना कम हो गई। उन्होंने अपने सुरक्षा लक्ष्यों (95% अपडेट समय पर पूरे होना) को बहुत अधिक विश्वसनीयता के साथ पूरा किया।

संक्षेप में
एसेला से पहले, डेटा सेंटर एक सतर्क ड्राइवर की तरह था जो ट्रैफिक में फंसा हुआ था और देरी के डर से धीरे चल रहा था। एसेला एक ऐसे जीपीएस (GPS) की तरह है जो जानता है कि हर यात्रा में कितना समय लगेगा, जिससे ड्राइवर बिना समय समाप्त हुए एक दिन में अधिक यात्राएं कर सकता है। यह गति और सुरक्षा के बीच संतुलन बनाता है, जिससे पूरा सिस्टम बहुत अधिक सुचारू रूप से चलता है।

तकनीकी सारांश: डेटा सेंटरों में सॉफ़्टवेयर अपग्रेड के लिए लागत-जागरूक अवधि भविष्यवाणी (Cost-Aware Duration Prediction)

समस्या विवरण (Problem Statement)

सॉफ्टवेयर अपग्रेड सर्वर विश्वसनीयता बनाए रखने के लिए आवश्यक हैं, फिर भी वे मानक सेवा कार्यों (जैसे खोज, स्ट्रीमिंग) से भिन्न विशिष्ट शेड्यूलिंग चुनौतियां पेश करते हैं। सेवा कार्यों के विपरीत, जो विलंबता (latency) और थ्रूपुट को अनुकूलित करने के लिए सर्वरों पर लचीले ढंग से वितरित किए जा सकते हैं, सॉफ्टवेयर अपग्रेड विशिष्ट सर्वरों से जुड़े होते हैं जिनकी आवश्यकताएं निश्चित होती हैं। प्राथमिक उद्देश्य एक सख्त सर्विस लेवल ऑब्जेक्टिव (SLO) को पूरा करना है: कम से कम 95% निर्धारित अपग्रेड एक निश्चित "अपग्रेड विंडो" के भीतर पूरे होने चाहिए।

वर्तमान प्रोडक्शन शेड्यूलर (जैसे, मेटा में) एक रूढ़िवादी दृष्टिकोण अपनाते हैं, जो सभी अपग्रेड के लिए निश्चित, वर्स्ट-केस (worst-case) अवधि मानकर चलते हैं ताकि SLO अनुपालन सुनिश्चित किया जा सके। यह रणनीति अक्षमता का परिणाम है, जिससे डेटा सेंटरों में अपग्रेड विंडो का उपयोग औसतन केवल 20-40% ही होता है। मुख्य चुनौती मानक मशीन लर्निंग लक्ष्यों (अनुमान सटीकता को अधिकतम करना) और सिस्टम लक्ष्यों (SLO को पूरा करते हुए थ्रूपुट को अधिकतम करना) के बीच का अंतर है। मानक भविष्यवक्ता अक्सर सममित हानि (symmetric loss) को कम करने का प्रयास करते हैं, जो भविष्यवाणी त्रुटियों की विषम लागतों (asymmetric costs) को समझने में विफल रहते हैं: कम अनुमान (underprediction) लगाने से SLO चूकने का जोखिम होता है (जिससे रद्दीकरण और मरम्मत कार्यप्रवाह शुरू हो जाते हैं), जबकि मामूली अधिक अनुमान (overprediction) स्वीकार्य है और अक्सर सुरक्षा के लिए बेहतर होता है।

कार्यप्रणाली: एसेला फ्रेमवर्क (The Acela Framework)

लेखक एसेला (Acela) प्रस्तावित करते हैं, जो एक लागत-जागरूक अवधि भविष्यवाणी फ्रेमवर्क है जिसे मौजूदा अपग्रेड शेड्यूलर के साथ निर्बाध रूप से एकीकृत करने के लिए डिज़ाइन किया गया है। एसेला तीन प्रमुख तकनीकी नवाचारों के माध्यम से इस समस्या का समाधान करता है:

1. क्वांटाइल रिग्रेशन के माध्यम से विषम लागत मॉडलिंग (Asymmetric Cost Modeling via Quantile Regression)

यह पहचानते हुए कि कम अनुमान लगाना अधिक महंगा है, एसेला कंडीशनल मीन (जो सममित L2 लॉस को कम करता है) की भविष्यवाणी करने से आगे बढ़कर क्वांटाइल ग्रेडिएंट बूस्टिंग ट्रीज़ (QGBT) का उपयोग करके कंडीशनल क्वांटाइल्स का अनुमान लगाता है।

तंत्र (Mechanism): एक क्वांटाइल पैरामीटर $\tau > 0.5$ (जैसे, 0.9) चुनकर, मॉडल को अवधि का थोड़ा अधिक अनुमान लगाने के लिए प्रशिक्षित किया जाता है।
लॉस फंक्शन (Loss Function): सिस्टम क्वांटाइल लॉस फंक्शन को कम करता है, जो $\tau > 0.5$ होने पर कम अनुमान ( $\text{y} \ge \hat{\text{y}}$ ) को अधिक ओवर-प्रेडिक्शन ( $\text{y} < \hat{\text{y}}$ ) की तुलना में अधिक भारी दंड देता है। यह प्रशिक्षण उद्देश्य को सीधे SLO आवश्यकता के साथ संरेखित करता है।

2. मॉडल चयन के लिए कस्टम स्कोरिंग (Custom Scoring for Model Selection)

एसेला इष्टतम मॉडल और क्वांटाइल पैरामीटर चुनने के लिए एक कस्टम स्कोरिंग फंक्शन पेश करता है, जो भविष्यवाणी सटीकता और SLO अनुपालन के बीच संतुलन बनाता है। स्कोर को इस प्रकार परिभाषित किया गया है:
$\text{score} = \begin{cases} \text{MAE} & \text{यदि } \text{OPR} \ge \text{SLO} \\ (\alpha \cdot (1 - \text{OPR}) + 1) \cdot \text{MAE} & \text{यदि } \text{OPR} < \text{SLO} \end{cases}$
जहाँ:

MAE: मीन एब्सोल्यूट एरर (सटीकता को मापने के लिए)।
OPR: ओवर-प्रेडिक्शन रेट (उन अपग्रेड का अंश जहाँ अनुमानित अवधि वास्तविक अवधि से अधिक है)।
SLO: लक्षित थ्रेशोल्ड (95%)।
$\alpha$ : कम अनुमान (underprediction) के लिए एक दंड पैरामीटर।

यह फंक्शन उन मॉडलों को प्राथमिकता देता है जो SLO को पूरा करते हैं (OPR $\ge$ 95%)। यदि SLO पूरा हो जाता है, तो सिस्टम अत्यधिक ओवर-प्रेडिक्शन (जो थ्रूपुट को कम करता है) से बचने के लिए MAE को कम करता है। यदि SLO खतरे में होता है, तो दंड तीव्रता से बढ़ता है।

3. प्रशिक्षण सेट विविधीकरण (स्ट्रैगलर मिटिगेशन) (Training Set Diversification - Straggler Mitigation)

प्रशिक्षण डेटा में अक्सर "स्ट्रैग्लर्स" (stragglers) होते हैं—हार्डवेयर विफलताओं या मरम्मत कार्यप्रवाह के कारण अत्यधिक अवधि वाले आउटलेयर्स। इन्हें शामिल करने से मॉडल अत्यधिक ओवर-प्रेडिक्शन की ओर झुक सकता है, जिससे दक्षता कम हो जाती है।

रणनीति: एसेला 99वें और 99.9वें पर्सेंटाइल को बाहर रखते हुए ट्रंकेटेड (truncated) संस्करण बनाकर प्रशिक्षण डेटासेट को विविध बनाता है।
चयन: मॉडलों को विभिन्न क्वांटाइल्स पर इन ट्रंकेटेड डेटासेट पर प्रशिक्षित किया जाता है। सबसे अच्छा प्रदर्शन करने वाला मॉडल (सबसे कम स्कोर वाला) चुना जाता है, जो यह सुनिश्चित करता है कि भविष्यवाणियाँ अधिकांश मामलों के लिए सटीक हों और दुर्लभ विफलताओं से प्रभावित न हों।

एकीकरण (Integration)

एसेला को मेटा के मौजूदा शेड्यूलर के ऊपर एक एन्हांसमेंट लेयर के रूप में लागू किया गया है। इसमें एक डेटा कलेक्शन पाइपलाइन (DCP), एक मॉडल ट्रेनिंग एंड सिलेक्शन (MTS) मॉड्यूल, और एक प्रेडिक्शन क्वेरी सर्विस (PQS) शामिल है। शेड्यूलर एसेला के अवधि अनुमानों का उपयोग प्राथमिकता-आधारित निर्णय लेने के लिए करता है: जब प्राथमिकताएं समान होती हैं, तो थ्रूपुट बढ़ाने के लिए कम अनुमानित अवधि वाले कार्यों को प्राथमिकता दी जाती; जब प्राथमिकताएं टकराती हैं, तो उच्च-प्राथमिकता वाले अपग्रेड को पहले निष्पादित किया जाता है।

प्रमुख योगदान (Key Contributions)

पेपर निम्नलिखित दावों को प्रस्तुत करता है:

बड़े पैमाने पर लक्षण वर्णन (Large-scale Characterization): मेटा के प्रोडक्शन डेटा सेंटर स्केल पर सॉफ्टवेयर अपग्रेड का पहला गहन विश्लेषण, जो सेवा कार्यों की तुलना में विशिष्ट चुनौतियों की पहचान करता है।
समस्या का औपचारिक रूप (Problem Formalization): सॉफ्टवेयर अपग्रेड शेड्यूलिंग को एक निरंतर अनुकूलन (constrained optimization) समस्या के रूप में फ्रेम करना, जहाँ भविष्यवाणी सटीकता, SLO अनुपालन और थ्रूपुट की तुलना में गौण है।
विषम लागत की पहचान (Asymmetric Cost Identification): अपग्रेड परिदृश्यों की अनूठी लागत संरचना को उजागर करना जहाँ कम अनुमान लगाना, अधिक अनुमान लगाने की तुलना में काफी अधिक हानिकारक है।
नया फ्रेमवर्क (Acela): एक नया भविष्यवाणी फ्रेमवर्क जो क्वांटाइल रिग्रेशन, कस्टम स्कोरिंग और स्ट्रैगलर रिमूवल का उपयोग करके शेड्यूलिंग परिणामों को अनुकूलित करता है।
वास्तविक दुनिया में तैनाती (Real-world Deployment): लाखों अपग्रेडों पर मान्य, उत्पादन क्षमता बढ़ाने के लिए तैनात किया गया पहला समाधान।

मूल्यांकन परिणाम (Evaluation Results)

लेखकों ने प्रशिक्षण के लिए तीन महीने और वास्तविक संचालन के दौरान परीक्षण के लिए एक महीने (लगभग 1 मिलियन अपग्रेड) में एकत्र किए गए 4 मिलियन से अधिक सॉफ्टवेयर अपग्रेड का उपयोग करके एसेला का मूल्यांकन किया।

प्रोडक्शन परिणाम (Heuristic Baseline के विरुद्ध):

उपयोगिता (Utilization): एसेला ने रूढ़िवादी ह्यूरिस्टिक बेसलाइन की तुलना में अपग्रेड विंडो उपयोगिता में 1.25 $\times$ का सुधार किया।
थ्रूपुट (Throughput): निर्धारित सॉफ्टवेयर अपग्रेड की संख्या में 33% की वृद्धि हुई, और पूर्ण अपग्रेड की संख्या में 41% की वृद्धि हुई।
SLO अनुपालन: इतने अधिक अपग्रेडों को संभालने के बावजूद, एसेला ने रद्दीकरण दर को 2.4 $\times$ कम कर दिया, सफलतापूर्वक 95% पूर्णता SLO को पूरा किया। इसके विपरीत, ह्यूरिस्टिक बेसलाइन मूल्यांकित अवधि में SLO को पूरा करने में विफल रहा।

सिमुलेशन और एब्लेशन अध्ययन (Simulation & Ablation Studies):

लॉस फंक्शन्स: सममित लॉस फंक्शन (L2, L1, Huber) का उपयोग करने वाले मॉडलों ने कम MAE प्राप्त किया लेकिन SLO को पूरा करने में विफल रहे (OPR $\approx$ 50%)। एसेला के क्वांटाइल लॉस ने थोड़ा अधिक MAE के साथ लक्षित OPR (95%) प्राप्त किया, जो दर्शाता है कि केवल सटीकता इस डोमेन के लिए पर्याप्त नहीं है।
स्ट्रैगलर रिमूवल: प्रशिक्षण सेट से स्ट्रैग्लर्स को हटाने से OPR पर नकारात्मक प्रभाव डाले बिना भविष्यवाणी सटीकता (MAE) में 1.2 $\times$ का सुधार हुआ, जो डेटा विविधीकरण रणनीति की प्रभावकारिता की पुष्टि करता है।
क्वांटाइल संवेदनशीलता: संवेदनशीलता विश्लेषण ने दिखाया कि क्वांटाइल पैरामीटर $\tau$ को 0.9 और 0.99 के बीच सेट करने से शेड्यूलिंग वॉल्यूम और रद्दीकरण दरों के बीच का संतुलन इष्टतम रूप से बना रहता है।

महत्व और दावे (Significance and Claims)

यह पेपर इस कार्य को सॉफ्टवेयर अपग्रेड का पहला डेटा सेंटर-स्केल अध्ययन और दक्षता बढ़ाने के लिए पहला तैनात समाधान के रूप में स्थापित करता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण "भविकी सटीकता को अधिकतम करने" से बदलकर "सिस्टम उद्देश्यों (SLO अनुपालन और थ्रूपुट) के लिए अनुकूलित करने" की ओर एक बदलाव है। त्रुटियों की विषम लागत और डेटा सेंटर अपग्रेड की विशिष्ट परिचालन बाधाओं (जैसे, निश्चित विंडो, बफर सीमाएं) को स्वीकार करते हुए, एसेला प्रदर्शित करता है कि लागत-जागरूक भविष्यवाणी विश्वसनीयता से समझौता किए बिना परिचालन दक्षता में महत्वपूर्ण सुधार कर सकती है।