🤖 machine learning

An Amortized Efficiency Threshold for Comparing Neural and Heuristic Solvers in Combinatorial Optimization

यह शोध पत्र एमोर्टाइज्ड एफिशिएंसी थ्रेशोल्ड (AET) फ्रेमवर्क को पेश करता है ताकि यह प्रदर्शित किया जा सके कि न्यूरल कॉम्बिनेटोरियल सॉल्वर एक विशिष्ट परिनियोजन मात्रा (डिप्लॉयमेंट वॉल्यूम) तक पहुँचने के बाद कुल ऊर्जा और कार्बन दक्षता में CPU-आधारित ह्यूरिस्टिक्स से आगे निकल सकते हैं, जिससे उस आलोचना का खंडन होता है कि उनकी प्रशिक्षण लागत उन्हें स्वाभाविक रूप से शुद्ध रूप से अक्षम बनाती है।

मूल लेखक: Sohaib Afifi

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sohaib Afifi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल पहेली को हल करने के दो तरीकों के बीच निर्णय लेने की कोशिश कर रहे हैं: मैराथन धावक (एक पारंपरिक कंप्यूटर प्रोग्राम) और रॉकेट वैज्ञानिक (एक आधुनिक एआई न्यूरल नेटवर्क)।

वर्षों से, आलोचकों ने तर्क दिया है कि रॉकेट वैज्ञानिक एक बुरा विकल्प है क्योंकि रॉकेट बनाने में बहुत अधिक ईंधन (ऊर्जा) खर्च होता है। वे कहते हैं, "कुछ पहेलियों को हल करने के लिए रॉकेट क्यों बनाना जब एक धावक इसे एक छोटे से नाश्ते के साथ कर सकता है?"

यह शोध पत्र तर्क देता है कि आलोचक बड़ी तस्वीर को देख नहीं पा रहे हैं। वे केवल एक पहेली की लागत देख रहे हैं, लेकिन वे यह नहीं गिन रहे हैं कि आपको वास्तव में कितनी पहेलियाँ हल करने की आवश्यकता है।

यहाँ सरल उपमाओं का उपयोग करके शोध पत्र के तर्क का विवरण दिया गया है:

1. दो लागत मॉडल (Two Cost Models)

यह पत्र ऊर्जा खर्च करने के दो बहुत अलग तरीकों की तुलना करता है:

मैराथन धावक (Heuristic Solver): यह एक पारंपरिक एल्गोरिदम है। हर बार जब यह एक पहेली हल करता है, तो यह ऊर्जा की एक छोटी, स्थिर मात्रा का उपयोग करता है। इसकी कोई "शुरुआती लागत" (startup cost) नहीं होती है। यदि आप 1 पहेली हल करते हैं, तो इसमें $X$ लागत आती है। यदि आप 1,000,000 पहेलियाँ हल करते हैं, तो लागत $1,000,000 \times X$ होगी। लागत बढ़ती ही जाती है।
रॉकेट वैज्ञानिक (Neural Solver): यह एआई (AI) है।
- शुरुआती लागत (The Upfront Cost): कोई भी पहेली हल करने से पहले, आपको इसे "प्रशिक्षित" (train) करना होगा। यह रॉकेट बनाने जैसा है। रॉकेट को तैयार करने के लिए भारी मात्रा में ऊर्जा (ईंधन) लगती है।
- चलने की लागत (The Running Cost): एक बार रॉकेट बन जाने के बाद, एक पहेली हल करना अविश्वसनीय रूप से सस्ता है। एआई एक धावक द्वारा एक पहेली हल करने के समय में हजारों पहेलियाँ हल कर सकता है।

2. "एमोर्टाइज्ड एफिशिएंसी थ्रेशोल्ड" (AET)

यह पत्र एक नया सिद्धांत पेश करता है जिसे एमोर्टाइज्ड एफिशिएंसी थ्रेशोल्ड (AET) कहा जाता है। इसे "ब्रेक-इवन पॉइंट" (Break-Even Point) समझें।

थ्रेशोल्ड से नीचे: यदि आपको केवल कुछ पहेलियाँ (मान लीजिए 100) हल करने की आवश्यकता है, तो रॉकेट वैज्ञानिक ऊर्जा की बर्बादी है। आपने रॉकेट बनाने में बहुत अधिक ईंधन खर्च किया है, और आपने इसे सार्थक बनाने के लिए पर्याप्त पहेलियाँ हल नहीं की हैं। यहाँ मैराथन धावक जीतता है।
थ्रेशोल्ड से ऊपर: यदि आपको लाखों पहेलियाँ हल करने की आवश्यकता है, तो रॉकेट वैज्ञानिक अंततः स्पष्ट विजेता बन जाता है। रॉकेट बनाने की भारी ईंधन लागत को लाखों पहेलियों पर "फैला" (amortized) दिया जाता है। अचानक, प्रति पहेली लागत बहुत कम हो जाती है।

यह पत्र गणना करता है कि यह रेखा कहाँ खींची गई है। उनके द्वारा परीक्षण किए गए विशिष्ट पहेली प्रकार (20 स्टॉप वाला एक लॉजिस्टिक्स रूटिंग समस्या) के लिए, रॉकेट वैज्ञानिक को अपने शुरुआती ऊर्जा ऋण को चुकाने के लिए लगभग 158,000 पहेलियाँ हल करने की आवश्यकता है। इसके बाद, यह धावक की तुलना में कहीं अधिक ऊर्जा-कुशल है।

3. "एम्बॉडीड कार्बन" (द फैक्ट्री कॉस्ट)

यह पत्र वास्तविकता का एक और स्तर जोड़ता है: हार्डवेयर निर्माण।
इन सॉल्वर को चलाने वाले कंप्यूटर चिप्स (GPUs और CPUs) बनाने से प्रदूषण (कार्बन उत्सर्जन) पैदा होता है, ठीक वैसे ही जैसे कार बनाने से होता है।

पत्र का तर्क है कि हमें कंप्यूटर द्वारा उपयोग की जाने वाली बिजली के अलावा, कंप्यूटर बनाने की "कार्बन लागत" को भी गिनना चाहिए।
वे इस निर्माण लागत को कंप्यूटर के 5 साल के जीवनकाल पर फैलाते हैं।
आश्चर्यजनक बात: क्योंकि एआई (रॉकेट वैज्ञानिक) इतना तेज़ है, यह कंप्यूटर के "जीवन" का बहुत कुशलता से उपयोग करता है। यदि कंप्यूटर खाली बैठा रहता है, तो निर्माण लागत बर्बाद हो जाती है। लेकिन यदि एआई पूरी गति से चल रहा है, तो "प्रति पहेली निर्माण लागत" वास्तव में धीमे धावक की तुलना में कम होती है।

4. "अनंत स्केल" का तर्क (The Infinite Scale Argument)

लेखक एक गणितीय बिंदु रखते जो तब तक सच रहता है जब तक आप चीजों को कैसे भी मापें:

यदि एआई प्रति पहेली तेज़ है (जो कि वह है), तो जैसे-जैसे आप अधिक से अधिक पहेलियाँ हल करेंगे (अनंत की ओर बढ़ते हुए), एआई हमेशा जीतेगा।
एआई को प्रशिक्षित करने की प्रारंभिक लागत एक बार लगने वाला शुल्क है। धावक की लागत कभी नहीं रुकती। अंततः, धावक का कुल ऊर्जा बिल एआई की तुलना में अनंत गुना बड़ा हो जाएगा।

5. एक शर्त (गुणवत्ता मायने रखती है)

पत्र एक सुरक्षा नियम जोड़ता है: एआई तभी जीतता है जब वह पहेलियों को सही ढंग से हल करता है।

यदि एआई बहुत तेज़ है लेकिन गलत उत्तर देता है, तो यह काम का नहीं है।
"थ्रेशोल्ड" केवल तभी लागू होता है जब एआई की समाधान गुणवत्ता उपयोगी होने लायक हो। यदि एआई बहुत ढीला है, तो थ्रेशोल्ड अनंत है (अर्थात यह कभी नहीं जीतेगा)।

निष्कर्ष (The Bottom Line)

यह पत्र निष्कर्ष निकालता है कि सामान्य आलोचना ("एआई को प्रशिक्षित करने में बहुत अधिक ऊर्जा लगती है") केवल आधी सच है।

सच: प्रशिक्षण महंगा है।
असत्य: इसलिए, एआई अक्षम है।

निर्णय: यदि आप एक छोटा व्यवसाय हैं जो दिन में कुछ समस्याएं हल कर रहा है, तो पारंपरिक धावक के साथ बने रहें। लेकिन यदि आप एक बड़ी लॉजिस्टिक्स कंपनी हैं जो लाखों रूटिंग समस्याएं हल कर रही है, तो एआई वास्तव में अधिक हरित और ऊर्जा-कुशल विकल्प है, बशर्ते आप "ब्रेक-इवन पॉइंट" पार करने के लिए पर्याप्त पहेलियाँ हल करें।

यह पत्र एक उपकरण (AET) प्रदान करता है ताकि कंपनियाँ यह गणना कर सकें कि एआई पर स्विच करना "ग्रीन" विकल्प बनने से पहले उन्हें कितनी पहेलियाँ हल करने की आवश्यकता है।

तकनीकी सारांश: कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन में न्यूरल और ह्यूरिस्टिक सॉल्वर की तुलना के लिए एक एमोर्टाइज्ड एफिशिएंसी थ्रेशोल्ड (Amortized Efficiency Threshold)

समस्या विवरण
यह शोध पत्र ऑपरेशंस रिसर्च और ग्रीन एआई (Green AI) में प्रचलित एक आलोचना को संबोधित करता है: कि न्यूरल कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन (CO) सॉल्वर, जीपीयू (GPU) पर प्रशिक्षण से जुड़ी भारी ऊर्जा लागतों के कारण पारंपरिक सीपीयू (CPU)-आधारित मेटा-ह्यूरिस्टिक्स की तुलना में स्वाभाविक रूप से कम ऊर्जा-कुशल होते हैं। लेखक तर्क देते हैं कि यह आलोचना एक त्रुटिपूर्ण अनुमान पर आधारित है। यह बड़े, निश्चित अग्रिम लागत (upfront cost) को प्रशिक्षण के रूप में एक स्थायी अयोग्यता मानने में गलती करती है, जो इस तथ्य की अनदेखी करती है कि न्यूरल सॉल्वर्स बहुत कम, एमोर्टिजेबल (amortizable) प्रति-इंस्टेंस इन्फरेंस लागत वहन करते हैं, जबकि मेटा-ह्यूरिस्टिक्स प्रत्येक इंस्टेंस को हल करने के लिए एक निरंतर मार्जिनल लागत वहन करते हैं। यह शोध पत्र प्रतिपादित करता है कि इन दो लागत प्रोफाइल्स (फिक्स्ड बनाम मार्गल) को स्केलर के रूप में नहीं, बल्कि एक विशिष्ट तैनाती वॉल्यूम (deployment volume) पर तुलना किया जाना चाहिए।

कार्यप्रणाली: एमोर्टाइज्ड एफिशिएंसी थ्रेशोल्ड (AET)
इस तुलना को औपचारिक रूप देने के लिए, शोध पत्र एक एमोर्टाइज्ड एफिशिएंसी थ्रेशोल्ड (AET) पेश करता है, जो तीन मुख्य घटकों द्वारा परिभाषित एक मात्रात्मक ढांचा है:

AET की परिभाषा: AET वह तैनाती वॉल्यूम ( $N$ ) है जिस पर एक न्यूरल सॉल्वर ( $M$ ) की संचयी ऊर्जा (या कार्बन) एक बेसलाइन ह्यूरिस्टिक सॉल्वर ( $B$ ) के बराबर होती है। इसे इस प्रकार गणना किया जाता है:
$AET = \frac{E_{train}(M)}{\max(E_{inst}^{base} - E_{inst}^{NN}, \epsilon)}$
यह गणना एक क्वालिटी-फिजिबिलिटी कंस्ट्रेंट (गुणवत्ता-व्यवहार्यता बाधा) के अधीन है, जहाँ न्यूरल सॉल्वर का अपेक्षित ऑप्टिमलिटी गैप बेसलाइन के गैप से उपयोगकर्ता-निर्धारित टॉलरेंस $\delta$ से अधिक नहीं होना चाहिए। यह बाधा "तेज लेकिन गलत" सॉल्वर्स को कृत्रिम रूप से कम थ्रेशोल्ड दिखाने से रोकती है।
- $E_{train}(M)$ में सभी हाइपरपैरामीटर स्वीप्स, विफल रन और प्रोटोटाइप की संचयी लागत शामिल है, न कि केवल अंतिम कन्वर्ज्ड मॉडल।
- $E_{inst}^{NN}$ प्रति-इंस्टेंस इन्फरेंस ऊर्जा है, जिसे सिंगल-इंस्टेंस वॉल टाइम के बजाय बैच थ्रूपुट ( $\tau_{NN}$ ) के आधार पर गणना की जाती है, जो जीपीयू निष्पादन की समानांतर प्रकृति को दर्शाती है।
लाइफसाइकिल अकाउंटिंग (एम्बॉडीड कार्बन): यह ढांचा परिचालन ऊर्जा अकाउंटिंग को हार्डवेयर फैब्रिकेशन से जुड़े एम्बॉडीड कार्बन (embodized carbon) तक विस्तारित करता है। इस लागत को एक कॉन्फ़िगर करने योग्य हार्डवेयर लाइफटाइम (डिफ़ॉल्ट पाँच वर्ष) पर रैखिक रूप से एमोर्टाइज किया जाता है और दोनों न्यूरल एक्सेलेरेटर और बेसलाइन सीपीयू पर सममित रूप से लागू किया जाता है। यह सुनिश्चित करता है कि तुलना पूर्ण लाइफसाइकिल प्रभाव को ध्यान में रखे, यह देखते हुए कि यदि कुशलतापूर्वक उपयोग किया जाए तो उच्च-थ्रूपुट वाले जीपीयू का प्रति-इंस्टेंस एम्बॉडीड बोझ सीपीयू की तुलना में कम हो सकता है।
एसिम्प्टोटिक स्ट्रक्चरल तर्क: शोध पत्र सिद्ध करता है (प्रपोजिशन 1) कि यदि न्यूरल सॉल्वर की प्रति-इंस्टेंस ऊर्जा बेसलाइन से कम है ( $E_{inst}^{NN} < E_{inst}^{base}$ ), तो उनके संचयी ऊर्जाओं का अनुपात $N \to \infty$ होने पर एक स्थिर मान की ओर अभिसरित (converge) होता है जो एक से कम है। महत्वपूर्ण रूप से, यह सीमा प्रशिक्षण लागत, डेटासेंटर ओवरहेड (PUE), या क्षेत्रीय कार्बन तीव्रता से स्वतंत्र है, बशर्ते कि ये कारक दोनों पक्षों पर सममित रूप से लागू हों।

प्रायोगिक इंस्टेंशिएशन और परिणाम
इस ढांचे को मल्टी-टास्क व्हीकल रूटिंग प्रॉब्लम (MTVRP) वातावरण पर स्थापित किया गया है, जिसमें $n=20$ ग्राहकों के साथ 19 समस्या वेरिएंट्स हैं।

बेसलाइन: PyVRP में कार्यान्वित हाइब्रिड जेनेटिक सर्च (HGS)।
न्यूरल सॉल्वर: पांच सीड्स पर एक सिंगल जीपीयू पर प्रशिक्षित एक सीखा हुआ पॉलिसी।
मुख्य मेट्रिक्स:
- प्रति-इंस्टेंस अनुपात: न्यूरल सॉल्वर सिंगल-थ्रेडेड HGS बेसलाइन (1.32 Wh) की तुलना में प्रति इंस्टेंस लगभग 0.41 Wh की खपत करता है (एक ~2.4x दक्षता लाभ)।
- प्रशिक्षण लागत: औसत प्रशिक्षण ऊर्जा 121.5 Wh थी।
- क्रॉसओवर पॉइंट (AET): मापा गया क्रॉसओवर लगभग $1.58 \times 10^5$ तैनात इंस्टेंस पर होता है। इस वॉल्यूम के ऊपर, न्यूरल सॉल्वर कुल संचयी ऊर्जा में अधिक ऊर्जा-कुशल हो जाता है।
- सेंसिटिविटी: लेखक पांच-अक्षीय सेंसिटिविटी सरफेस (बैच साइज, क्वालिटी टॉलरेंस, बेसलाइन थ्रेड्स, हार्डवेयर टियर, ट्रेनिंग सीड) का विश्लेषण करते हैं। वे पाते हैं कि हालांकि हार्डवेयर टियर और क्वालिटी टॉलरेंस AET मान को महत्वपूर्ण रूप से बदलते हैं, फिर भी अनुपात का स्ट्रक्चरल कन्वर्जेंस सुदृढ़ रहता है।

मुख्य योगदान

AET का औपचारिकीकरण: एक ऐसा मीट्रिक जो स्पष्ट समाधान गुणवत्ता बाधाओं के तहत न्यूरल सॉल्वर्स के ब्रेक-ईवन पॉइंट को मात्रात्मक रूप से निर्धारित करता है, जिससे बहस को अलंकारिक से मात्रात्मक में बदला जा जाता है।
लाइफसाइकिल करेक्शन: सममित रूप से एमोर्टाइज किए गए एम्बॉडीड कार्बन का समावेश, जो केवल ऑपरेशनल अकाउंटिंग विधियों को चुनौती देता है।
एसिम्प्टोटिक प्रूफ: एक गणितीय प्रदर्शन कि न्यूरल सॉल्वर्स का गुणात्मक निर्णय (स्केल पर न्यूरल सॉल्वर्स जीतते हैं) संरचनात्मक रूप से सुदृढ़ है और प्रशिक्षण लागत या ग्रिड तीव्रता के अंशांकन विवादों से स्वतंत्र है।
ओपन इंस्ट्रूमेंटेशन: ऊर्जा ट्रैकिंग और सेंसिटिविटी विश्लेषण को पुनरुत्पादित करने के लिए माप प्रोटोकॉल और स्क्रिप्ट्स का विमोचन।

महत्व और दावे
शोध पत्र न्यूरल CO सॉल्वर्स के खिलाफ "ऊर्जा दक्षता" की आपत्ति को प्रश्न को पुनर्परिभाषित करके हल करने का दावा करता है। यह दावा करता है कि आपत्ति प्रिमाइज़ (प्रशिक्षण महंगा है) के संबंध में सही है, लेकिन निष्कर्ष (विधि शुद्ध रूप से अक्षम है) के संबंध में गलत है।

रेजीम डिपेंडेंसी: न्यूरल सॉल्वर्स AET से नीचे कम कुशल हैं। AET के ऊपर, ह्यूरिस्टिक की मार्जिनल लागत बिना किसी सीमा के बढ़ती रहती है, जबकि न्यूरल सॉल्वर की फिक्स्ड लागत पूरी तरह से एमोर्टाइज हो जाती है।
स्ट्रक्चरल एडवांटेज: शोध पत्र का तर्क है कि सीरियल ह्यूरिस्टिक सर्च की तुलना में बैच्ड न्यूरल इन्फरेंस का स्ट्रक्चरल लाभ यह संकेत देता है कि दक्षता का अंतर बड़े समस्या आकार ( $n=50, 100$ ) पर काफी बढ़ जाएगा, जहाँ ह्यूरिस्टिक सर्च का समय सुपर-लीनियरली स्केल करता है जबकि न्यूरल थ्रूपुट अपेक्षाकृत स्थिर रहता है।
विनम्रता: लेखक स्पष्ट रूप से कहते हैं कि वर्तमान परिणाम $n=20$ पर एक "इलस्ट्रेटिव कॉन्फ़िगरेशन" हैं। वे स्वीकार करते हैं कि प्रति-इंस्टेंस अनुपात (0.41) मध्यम है, और सेंसिटिविटी सरफेस और बड़े समस्या आकारों के पूर्ण अनुभवजन्य सत्यापन को भविष्य के कार्य के लिए छोड़ दिया गया है। शोध पत्र यह दावा नहीं करता है कि न्यूरल सॉल्वर्स सार्वभौमिक रूप से श्रेष्ठ हैं, बल्कि यह निर्धारित करने के लिए एक ढांचा प्रदान करता है कि कब और किन परिस्थितियों में वे पर्यावरणीय रूप से बेहतर विकल्प हैं।