💻 computer science

Improving CMA-ES Convergence Speed, Efficiency, and Reliability in Noisy Robot Optimization Problems

यह शोध पत्र एडेप्टिव सैंपलिंग CMA-ES (AS-CMA) प्रस्तुत करता है, जो एक नवीन एल्गोरिदम है जो अनुमानित सॉर्टिंग कठिनाई के आधार पर उम्मीदवारों को मूल्यांकन समय गतिशील रूप से आवंटित करता है, और शोर वाले रोबोट अनुकूलन कार्यों में मानक CMA-ES और बायेसियन ऑप्टिमाइज़ेशन की तुलना में बेहतर अभिसरण गति, दक्षता और विश्वसनीयता प्रदर्शित करता है।

मूल लेखक: Russell M. Martin, Steven H. Collins

प्रकाशित 2026-01-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Russell M. Martin, Steven H. Collins

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए, हाई-टेक वॉकिंग सूट (एक एक्सोस्केलेटन) के लिए सबसे अच्छा सेटिंग खोजने की कोशिश कर रहे हैं जो लोगों को कम प्रयास के साथ चलने में मदद करता है। समस्या यह है कि मानव शरीर अव्यवस्थित और अप्रत्याशित होता है। हर बार जब आप एक नई सेटिंग का परीक्षण करते हैं, तो आपको यह देखने के लिए कि वे कितनी ऊर्जा का उपयोग करते हैं, एक व्यक्ति को कुछ समय के लिए ट्रेडमिल पर चलने के लिए कहना पड़ता है।

यहाँ पेंच यह है:

यदि आप बहुत कम समय के लिए परीक्षण करते हैं (जैसे, 30 सेकंड), तो डेटा शोर भरा और अविश्वसनीय होता है। यह एक दिन के औसत तापमान का अनुमान लगाने की कोशिश करने जैसा है जैसे कि केवल एक सेकंड के लिए थर्मामीटर की जांच करके। आप या तो एक भाग्यशाली अनुमान लगा सकते हैं, या आप बहुत गलत संख्या प्राप्त कर सकते हैं।
यदि आप बहुत लंबे समय के लिए परीक्षण करते हैं (जैसे, 10 मिनट), तो डेटा बहुत सटीक होता है, लेकिन आप बहुत सारा समय बर्बाद करते हैं। यदि आप इसे हर एक सेटिंग के लिए करते हैं, तो पूरी अनुकूलन प्रक्रिया (optimization process) बहुत लंबी हो जाती है।

पारंपरिक रूप से, शोधकर्ता एक "मध्यम" समय (जैसे 2 मिनट) चुनते थे और हर परीक्षण के लिए उसी पर टिके रहते थे। यह शोध एक स्मार्ट तरीका पेश करता है जिसे AS-CMA (एडेप्टिव सैंपलिंग CMA-ES) कहा जाता है।

समस्या: "एक ही आकार सबके लिए" वाली गलती

अनुकूलन प्रक्रिया (optimization process) को एक जासूस की तरह समझें जो भीड़ भरे कमरे में संदिग्ध की तलाश कर रहा है।

स्टैटिक सैंपलिंग (पुराना तरीका): जासूस यह तय करता है कि वह कमरे में मौजूद हर व्यक्ति का इंटरव्यू लेने में ठीक 5 मिनट बिताएगा, चाहे वे कितने भी संदिग्ध दिखें।
- यदि व्यक्ति स्पष्ट रूप से निर्दोष है, तो 5 मिनट समय की बर्बादी है।
- यदि वह बहुत संदिग्ध दिखता है लेकिन अपने पड़ोसी से अलग पहचानना कठिन है, तो सुनिश्चित होने के लिए 5 मिनट पर्याप्त नहीं हो सकते हैं।
- यह दृष्टिकोण अक्षम है। यह या तो बहुत धीमा है या पर्याप्त सटीक नहीं है।

समाधान: AS-CMA (स्मार्ट जासूस)

लेखकों ने एक नया तरीका बनाया है, AS-CMA, जो एक ऐसे जासूस की तरह काम करता है जो इस आधार पर अपना इंटरव्यू का समय समायोजित करता है कि लोगों के बीच अंतर करना कितना कठिन है।

आसान निर्णय छोटे इंटरव्यू पाते हैं: यदि जासूस देखता है कि दो लोग बहुत अलग दिख रहे हैं (एक जोकर का सूट पहने हुए है, दूसरा बिजनेस सूट), तो उन्हें यह जानने के लिए बहुत अधिक समय बिताने की आवश्यकता नहीं है कि कौन कौन है। AS-सीएमए कहता है, "यह उम्मीदवार स्पष्ट रूप से अपने पड़ोसी से बेहतर या बदतर है; आइए इसे जल्दी से टेस्ट करें।"
कठिन निर्णय लंबे इंटरव्यू पाते हैं: यदि जासूस देखता है कि दो लोग लगभग एक जैसे दिखते हैं, तो उन्हें निश्चित होने के लिए अधिक समय की आवश्यकता होगी कि संदिग्ध कौन है। AS-सीएमए कहता है, "इन दोनों उम्मीदवारों का प्रदर्शन बहुत करीब है; आइए सटीक उत्तर प्राप्त करने के लिए इस पर अधिक समय दें।"

यह व्यवहार में कैसे काम करता है

एल्गोरिदम संभावनाओं के "लैंडस्केप" को देखता है।

खोज के शुरुआती चरण में: उम्मीदवार एक-दूसरे से बहुत भिन्न होते हैं। एल्गोरिदम एक स्प्रिंटर की तरह होता है, जो क्षेत्र को सीमित करने के लिए कम अवधि के साथ कई विकल्पों का तेजी से परीक्षण करता है।
खोज के अंतिम चरणों में: सभी उम्मीदवार बहुत समान होते हैं (वे सभी "अच्छे" विकल्प हैं, लेकिन सबसे अच्छा कौन सा है?)। एल्गोरिदम धीमा हो जाता है, एक मैराथन धावक की तरह कार्य करता है, बचे हुए शीर्ष दावेदारों में से सटीक विजेता चुनने के लिए अधिक समय खर्च करता है।

इस शोध ने क्या पाया

शोधकर्ताओं ने इस "स्मार्ट जासूस" का परीक्षण चार अलग-अलग सिम्युलेटेड दुनिया में एक "फिक्स्ड-टाइम" विधि और अन्य उन्नत तरीकों (जैसे बायेसियन ऑप्टिमाइज़ेशन) के मुकाबले किया:

वास्तविक दुनिया का एक्सोस्केलेटन डेटा: वास्तविक मानव वॉकिंग डेटा पर आधारित एक सिमुलेशन।
जटिल गणितीय समस्याएं: कई उतार-चढ़ाव, घाटियों और चरों के बीच जटिल अंतःक्रियाओं वाले सिमुलेशन।

परिणाम:

गति: AS-CMA ने सबसे अच्छे फिक्स्ड-टाइम मेथड की तुलना में 24% से 65% तेजी से सबसे अच्छा समाधान खोजा।
विश्वसनीयता: यह बिना किसी मैन्युअल ट्यूनिंग के सभी प्रयासों में से 98% में सफल रहा। पुराने तरीके अक्सर विफल हो जाते थे या "काफी अच्छे" समाधानों में फंस जाते थे जो वास्तव में सबसे अच्छे नहीं थे।
दक्षता: इसने बहुत सारा "ऊर्जा लागत" (सिमुलेशन में, इसका अर्थ कुल चलने का समय था) बचाया क्योंकि इसने आसान निर्णयों पर समय बर्बाद नहीं किया।

अन्य तरीकों के साथ तुलना:

फिक्स्ड टाइम के मुकाबले: AS-CMA लगभग हमेशा बेहतर था।
बायेसियन ऑप्टिमाइज़ेशन के मुकाबले: सरल, स्मूथ समस्याओं में, बायेसियन ऑप्टिमाइज़ेशन तेज़ था। लेकिन जटिल, ऊबड़-खाबड़ या शोर वाले (noisy) समस्याओं में, जो रोबोट्स में आम हैं, बायेसियन ऑप्टिमाइज़ेशन अक्सर भ्रमित हो जाता था या फंस जाता था, जबकि AS-CMA समाधान की ओर लगातार बढ़ता रहा।

वास्तविक दुनिया का परीक्षण

टीम ने केवल कंप्यूटर सिमुलेशन तक ही सीमित नहीं रही। उन्होंने वास्तव में एक वास्तविक मानव विषय पर एंकल एक्सोस्केलेटन को ऑप्टिमाइज़ करने के लिए AS-CMA का उपयोग किया।

एल्गोरिदम ने सुधार के सही दिशा को जल्दी से समझ लिया।
इसने सफलतापूर्वक व्यक्ति की ऊर्जा लागत को 42% कम कर दिया (जो अपेक्षित 39% के बहुत करीब है)।
इसने यह सब स्वचालित रूप से करते हुए किया—जब विकल्प स्पष्ट थे तब छोटे परीक्षणों के बीच स्विच करके और जब सटीकता की आवश्यकता थी तब लंबे परीक्षणों के बीच स्विच करके—बिना शोधकर्ताओं को यह बताए कि उसे कितनी देर इंतजार करना है।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध तर्क देता है कि शोर भरे, वास्तविक दुनिया के प्रयोगों (जैसे रोबोटिक्स या मानव परीक्षण) में, आपको हर परीक्षण के साथ एक जैसा व्यवहार नहीं करना चाहिए। आपको लचीला होना चाहिए। AS-CMA एक ऐसा उपकरण है जो स्वचालित रूप से यह तय करता है कि "कितनी देर सुनना है" इस आधार पर कि वर्तमान स्थिति कितनी भ्रमित करने वाली है। यह सबसे अच्छे रोबोट सेटिंग्स की खोज को तेज़, अधिक विश्वसनीय और कम समय व ऊर्जा की बर्बादी वाला बनाता है।

तकनीकी सारांश: शोर वाले रोबोट अनुकूलन में CMA-ES अभिसरण (Convergence) में सुधार

समस्या विवरण
रोबोटिक प्रणालियों के प्रयोगात्मक अनुकूलन, विशेष रूप से मानव-इन-द-लूप संदर्भों जैसे कि एक्सोस्केलेटन सहायता (exoskeleton assistance) में, एक महत्वपूर्ण गति-सटीकता ट्रेड-ऑफ (speed-accuracy tradeoff) का सामना करना पड़ता है। उम्मीदवार नियंत्रण नीतियों (candidate control policies) का मूल्यांकन करने के लिए अक्सर मानव या सिस्टम के स्थिर अवस्था (steady state) तक पहुँचने के लिए सेकंड से मिनटों की आवश्यकता होती है। कम मूल्यांकन समय तेज़ पुनरावृत्ति (iteration) को सक्षम करता है लेकिन महत्वपूर्ण माप शोर (measurement noise) पेश करता है, जिससे गलत सॉर्टिंग और उप-इष्टतम अभिसरण (suboptimal convergence) हो सकता है। इसके विपरीत, लंबे मूल्यांकन समय शोर को कम करते हैं लेकिन अनुकूलन प्रक्रिया को धीमा कर देते हैं और प्रयोग की कुल लागत (जैसे, चयापचय ऊर्जा व्यय) को बढ़ाते हैं। पारंपरिक दृष्टिकोण अक्सर सभी उम्मीदवारों के लिए एक ही, स्थिर सैंपलिंग समय पर निर्भर करते हैं, जो लागत परिदृश्य (cost landscape) के विभिन्न क्षेत्रों में गुजरते समय उम्मीदवारों को सॉर्ट करने की बदलती कठिनाई को समझने में विफल रहते हैं।

कार्यप्रणाली: एडेप्टिव सैंपलिंग CMA-ES (AS-CMA)
लेखक AS-CMA का प्रस्ताव करते हैं, जो कोवेरिएंस मैट्रिक्स एडैप्टेशन इवोल्यूशन स्ट्रैटेजी (CMA-ES) का एक संशोधन है जो अनुमानित सॉर्टिंग कठिनाई के आधार पर उम्मीदवारों को सैंपलिंग समय गतिशील रूप से आवंटित करता है। मुख्य तर्क वर्तमान पीढ़ी में निकटतम पड़ोसी से उम्मीदवार के अंतर को पहचानने की कठिनाई पर आधारित है। यह वर्तमान पीढ़ी में उम्मीदवार के मापदंडों के बीच यूक्लिडियन दूरी ( $d_{nearest}$ ) का उपयोग लागत अंतर के प्रॉक्सी के रूप में करता है, जिसे स्थानीय परिदृश्य ढलान ( $k_{avg}$ ) के अनुमान द्वारा स्केल किया जाता है।

तंत्र (Mechanism): AS-CMA एक शोर मॉडल $E(t)$ का उपयोग करता है जहाँ सैंपलिंग समय $t$ बढ़ने के साथ माप त्रुटि कम हो जाती है। यह वांछित सिग्नल-टू-नॉइज़ अनुपात ( $\beta$ ) प्राप्त करने के लिए आवश्यक लक्षित शोर स्तर ( $\epsilon_i$ ) की गणना करता है।
अनुकूली आवंटन (Adaptive Allocation): शोर मॉडल को उलटने (inverting) के माध्यम से, AS-CMA विश्वसनीय सॉर्टिंग सुनिश्चित करने के लिए न्यूनतम आवश्यक सैंपलिंग समय $t_i$ $t_{i}$ निर्धारित करता है।
- अपने पड़ोसियों से बड़े पैरामीटर अंतर वाले उम्मीदवार (सॉर्ट करने में आसान) कम सैंपलिंग समय प्राप्त करते हैं।
- अपने पड़ोसियों से छोटे पैरामीटर अंतर वाले उम्मीदवार (सॉर्ट करने में कठिन, अक्सर इष्टतम के करीब) अधिक लंबा सैंपलिंग समय प्राप्त करते हैं।
बाधाएं (Constraints): यह विधि "डबलिंग बैक" (पहले से मापे गए उम्मीदवारों का पुनर्मूल्यांकन) से बचती है और दूर की पीढ़ियों के ऐतिहासिक डेटा पर निर्भर नहीं करती है, जिससे यह समय-परिवर्तनीय संदर्भों के लिए उपयुक्त हो जाती है जहाँ लागत परिदृश्य विकसित हो सकता है (जैसे, मानव सीखना)।

प्रायोगिक ढांचा
लेखकों ने मानक CMA-ES के विभिन्न स्थिर सैंपलिंग समय, बेयसियन ऑप्टिमाइजेशन (BO), और कुलबैक-लीलर नॉलेज ग्रेडिएंट CMA-ES (KL-KG CMA-ES) के विरुद्ध AS-CMA का मूल्यांकन किया।

सिमुलेशन: चार लागत परिदृश्यों का परीक्षण किया गया: एक अनुभवजन्य 4D टखने के एक्सोस्केलेटन चयापचय लागत परिदृश्य, एक 4D Rosenbrock फंक्शन (परिवर्तनीय इंटरेक्शन), एक 4D Levy फंक्शन (लोकल मिनिमा), और एक 20D Sphere फंक्शन (उच्च आयामीता)। शोर को मल्टीप्लिकेटिव और सैंपलिंग समय पर निर्भर मॉडल के रूप में मॉडल किया गया था, जो अनुभवजन्य चयापचय डेटा से प्राप्त किया गया था।
मेट्रिक्स: प्रदर्शन का मूल्यांकन अभिसरण विश्वसनीयता (एक थ्रेशोल्ड तक पहुँचने वाले रन का प्रतिशत), अभिसरण के लिए लगने वाला समय और अभिसरण के लिए कुल लागत द्वारा किया गया था।
प्रयोगशाला पायलट: एक एकल-विषय प्रयोग का उपयोग टखने के एक्सोस्केलेटन सहायता को अनुकूलित करने के लिए किया गया ताकि चयापचय लागत को कम किया जा सके, जिसमें AS-CMA ने 0.5 से 5.5 मिनट के बीच की स्थिति अवधि (condition durations) को चुना।

प्रमुख परिणाम

अभिसरण गति और दक्षता: सभी चार सिमुलेटेड परिदृश्यों में, AS-CMA मानक CMA-ES के सर्वश्रेष्ठ प्रदर्शन करने वाले स्थिर सैंपलिंग समय की तुलना में 24-65% तेज़ी से अभिसित हुआ और 29-76% कम कुल लागत के साथ हुआ। इसने बिना किसी पैरामीटर ट्यूनिंग के 98% रन में सूक्ष्म अभिसरण (सत्य न्यूनतम के 5% के भीतर) प्राप्त किया।
सॉर्टिंग सटीकता: AS-CMA ने शोर वाले और वास्तविक लागतों के बीच उच्च स्पीरमैन रैंक सहसंबंध ( $\rho$ ) बनाए रखा, जिसने उन स्थिर रणनीतियों को पछाड़ दिया जो या तो कम सटीकता (कम समय) के साथ शुरू हुईं या अनावश्यक सटीकता (लंबे समय) पर समय बर्बाद किया।
बेयसियन ऑप्टिमाइजेशन के साथ तुलना: सरल, यूनोडल परिदृश्यों (Ankle, Sphere) में, अनुकूल स्थिर सैंपलिंग के साथ BO, AS-CMA की तुलना में अधिक कुशल था। हालांकि, जटिल परिदृश्यों (Rosenbrock, Levy) में, जहाँ लोकल मिनिमा और पैरामीटर इंटरेक्शन होते हैं, BO विश्वसनीयता में संघर्ष करता रहा, जबकि AS-CMA मजबूत और कुशल बना रहा।
KL-KG CMA-ES के साथ तुलना: KL-KG CMA-ES ने कुछ मामलों में स्थिर CMA-ES की तुलना में मामूली लाभ दिखाया लेकिन आम तौर पर AS-CMA द्वारा पीछे छोड़ दिया गया। जटिल परिदृश्यों में, समान अभिसरण प्राप्त करने के लिए KL-KG को AS-CMA की तुलना में काफी अधिक समय और लागत की आवश्यकता थी।
प्रयोगशाला सत्यापन: एक्सोस्केलेटन प्रयोग में, AS-CMA ने तेजी से इष्टतम की सही दिशा की पहचान की और चयापचय लागत में 42% की कमी हासिल की (जो अपेक्षित 39% के करीब है), जिसमें एल्गोरिदम ने अनुमत सीमा के भीतर गतिशील रूप से सैंपलिंग समय को बदला।

महत्व और दावे
लेखक दावा करते हैं कि AS-CMA शोर वाले प्रयोगात्मक अनुकूलन के लिए एक व्यावहारिक, कम-ओवरहेड समाधान प्रदान करता है। इसका प्राथमिक महत्व है:

एक ट्यूनिंग पैरामीटर को हटाना: यह शोधकर्ताओं को मैन्युअल रूप से एक स्थिर सैंपलिंग समय चुनने की आवश्यकता को समाप्त करता है, जो अक्सर कई प्रारंभिक रन की आवश्यकता वाला एक प्रक्रिया है।
जटिलता में मजबूती: यह जटिल, उच्च-आयामी, या नॉन-कॉन्वेक्स सर्च स्पेस में बेयसियन ऑप्टिमाइजेशन के लिए एक अधिक विश्वसनीय विकल्प प्रदान करता है।
उच्च-लागत वातावरण में दक्षता: आसानी से सॉर्ट होने वाले उम्मीदवारों के लिए अनावश्यक सैंपलिंग समय को कम करके और केवल आवश्यकता होने पर इसे अधिकतम करके, AS-CMA समाधान की गुणवत्ता से समझौता किए बिना कुल प्रयोगात्मक बोझ (समय और ऊर्जा) को कम करता है।

लेखक निष्कर्ष निकालते हैं कि AS-CMA उन डोमेन के लिए विशेष रूप से उपयुक्त है जहाँ उम्मीदवारों के बीच स्विच करने में उच्च ओवरहेड होता है (जैसे, मानव अनुकूलन, सिस्टम पुनर्गठन), क्योंकि यह उम्मीदवारों के पुनर्मूल्यांकन से बचता है और अनुकूलन प्रक्रिया की तत्काल आवश्यकताओं के अनुसार सैंपलिंग प्रयास को अनुकूलित करता है।