🤖 machine learning

Code World Models for Parameter Control in Evolutionary Algorithms

यह शोध पत्र प्रदर्शित करता है कि कोड वर्ल्ड मॉडल्स (Code World Models), जहाँ लार्ज लैंग्वेज मॉडल्स उप-इष्टतम ऑप्टिमाइज़र ट्रैजेक्टरीज से पायथन सिम्युलेटर्स को संश्लेषित करते हैं, चुनौतीपूर्ण कॉम्बिनेटरियल ऑप्टिमाइज़ेशन समस्याओं पर मौजूदा बेसलाइन्स की तुलना में निकट-इष्टतम या श्रेष्ठ प्रदर्शन प्राप्त करने के लिए इवोल्यूशनरी एल्गोरिदम मापदंडों को प्रभावी ढंग से सीख और नियंत्रित कर सकते हैं।

मूल लेखक: Camilo Chacón Sartori, Guillem Rodríguez Corominas

प्रकाशित 2026-02-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Camilo Chacón Sartori, Guillem Rodríguez Corominas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) सुलझाना सिखाने की कोशिश कर रहे हैं। आमतौर पर, आपके पास दो विकल्प होते हैं:

नियम पुस्तिका (The Rulebook): आप रोबोट को दीवार के रंगों के आधार पर बाएं या दाएं मुड़ने के लिए एक सख्त मैनुअल देते हैं।
प्रयास और त्रुटि (The Trial-and-Error): आप रोबोट को हजारों बार दीवारों से टकराने देते हैं, इस उम्मीद में कि वह गलती से पैटर्न सीख जाएगा।

यह शोध पत्र एक तीसरा, अधिक स्मार्ट विकल्प पेश करता है: "ड्रीम सिम्युलेटर" (The "Dream Simulator")।

शोधकर्ताओं ने एक सवाल पूछा: क्या हम एक AI (विशेष रूप से एक लार्ज लैंग्वेज मॉडल, या LLM) को किसी समस्या को हल करने में रोबोट की विफलता को देखने, यह समझने के लिए कि वह क्यों विफल हुआ, और फिर अपनी खुद की "ड्रीम सिम्युलेटर" लिखने के लिए सिखा सकते हैं ताकि वह एक आदर्श रणनीति बना सके?

यहाँ उनके तरीके, "कोड वर्ल्ड मॉडल्स" (CWM) का सरल उपमाओं के साथ विवरण दिया गया है।

1. सेटअप: रोबोट और भूलभुलैया

"रोबोट" एक मानक इवोल्यूशनरी एल्गोरिदम (एक प्रकार का AI जो समाधान विकसित करता है) है। इसका काम गणित की एक समस्या का सबसे अच्छा उत्तर खोजना है।

समस्या: रोबोट के पास एक "नॉब" (knob) है जिसे वह घुमा सकता है (जिसे पैरामीटर $k$ $k$ कहा जाता है)। यह नॉब नियंत्रित करता है कि वह अपने समाधान को कितनी तीव्रता से बदलता है।
- कम घुमाना: यह बहुत छोटे, सुरक्षित बदलाव करता है। बारीक ट्यूनिंग के लिए अच्छा है।
- ज़्यादा घुमाना: यह बहुत बड़े, अराजक (chaotic) उछाल लेता है। डेड एंड्स (बंद रास्तों) से बाहर निकलने के लिए अच्छा है, लेकिन जोखिम भरा है।
चुनौती: रोबोट को यह नहीं पता कि नॉब को कब ऊपर या नीचे घुमाना है। यदि वह इसे गलत दिशा में घुमाता है, तो वह एक "भ्रामक घाटी" (deceptive valley) में फंस जाता है—एक ऐसा जाल जो पहाड़ी के शिखर जैसा दिखता है लेकिन वास्तव में एक गड्ढा है।

2. पुराना तरीका बनाम नया तरीका

पुराना तरीका (अनुकूली नियम - Adaptive Rules): पारंपरिक तरीके सरल नियमों का उपयोग करते हैं जैसे, "यदि आप सुधार नहीं कर रहे हैं, तो नॉब को नीचे करें।" यह चिकनी पहाड़ियों पर बहुत अच्छा काम करता है लेकिन भ्रामक घाटियों में बुरी तरह विफल हो जाता है क्योंकि रोबोट नॉब को तब तक नीचे करता रहता है जब तक कि वह हमेशा के लिए फंस न जाए।
नया तरीका (कोड वर्ल्ड मॉडल्स - Code World Models):
1. देखना (Watch): शोधकर्ता रोबोट को रैंडम सेटिंग्स के साथ चलने देते हैं, जिससे कई "विफल" या "उप-इष्टतम" (sub-optimal) प्रयास एकत्र होते हैं।
2. ओरेकल से पूछना (Ask the Oracle): वे इन विफल प्रयासों को एक सुपर-स्मार्ट AI (LLM) को देते हैं और कहते हैं, "इन गलतियों को देखो। क्या तुम एक पायथन (Python) प्रोग्राम लिख सकते हो जो यह अनुमान लगा सके कि अगर हम नॉब बदलें तो क्या होगा?"
3. जादू (The Magic): LLM केवल अनुमान नहीं लगाता; वह एक सिम्युलेटर लिखता है। वह कोड का एक टुकड़ा बनाता है जो एक क्रिस्टल बॉल की तरह काम करता है।
4. योजना (The Plan): वास्तविक दुनिया में कोई कदम उठाने से पहले, रोबोट सिम्युलेटर से पूछता है: "अगर मैं नॉब को 5 पर घुमाता हूँ, तो क्या होगा? अगर मैं इसे 10 पर घुमाता हूँ, तो क्या होगा?" सिम्युलेटर तुरंत जवाब देता है। रोबोट फिर सबसे अच्छा कदम चुनता है।

3. परिणाम: जाल को हराना

शोधकर्ताओं ने चार अलग-अलग प्रकार की "भूलभुलैया" पर इसका परीक्षण किया:

चिकनी पहाड़ियाँ (LeadingOnes और OneMax): ये आसान समस्याएं हैं। नया तरीका केवल विफलताओं को देखकर एकदम सही रणनीति सीख गया। इसने लगभग उस प्रदर्शन को प्राप्त किया जो "परफेक्ट" रणनीति के बराबर था, भले ही उसने प्रशिक्षण के दौरान कभी भी उस परफेक्ट रणनीति को नहीं देखा था।
भ्रामक घाटी (Jumpk): यह बड़ी जीत है। इस भूलभुलैया में, रोबोट एक गड्ढे में फंस जाता है। पारंपरिक नियम कहते हैं, "आप फंस गए हैं, इसलिए सावधान रहें (नॉब नीचे करें)।" यह 0% सफलता दर की ओर ले जाता है।
- CWM समाधान: सिम्युलेटर ने महसूस किया, "हे, सावधान रहना यहाँ काम नहीं करेगा। हमें बाहर निकलने के लिए ज़ोर से कूदना (jump) होगा!" इसने जाल से बाहर निकलने के लिए आवश्यक सटीक जंप साइज का पता लगा लिया।
- परिणाम: जबकि अन्य तरीके 100% बार विफल हुए, इस तरीके ने 100% बार सफलता प्राप्त की।
ऊबड़-खाबड़ पर्वत (NK-Landscape): यह एक अस्त-व्यस्त, अराजक भूलभुलैया है जिसमें कोई स्पष्ट नियम नहीं हैं। LLM यहाँ गणितीय सूत्रों का उपयोग नहीं कर सका। इसके बजाय, उसने एक तालिका (table) को देखा कि "X को आज़माने पर क्या हुआ था।" उसने शुद्ध रूप से डेटा से पैटर्न सीखा और अभी भी अन्य सभी तरीकों को हरा दिया।

4. यह एक बड़ी बात क्यों है?

यह सस्ता है: नए तरीके ने 200 "ऑफलाइन" प्रयासों से सीखा। एक प्रतिस्पर्धी AI (DQN) को 500 "ऑनलाइन" प्रयासों की आवश्यकता थी (जहाँ AI को वास्तव में सिमुलेशन चलाना पड़ता है, जो धीमा और महंगा है) और फिर भी वह अक्सर विफल रहा।
यह पारदर्शी है: एक "ब्लैक बॉक्स" न्यूरल नेटवर्क के बजाय, जहाँ आप नहीं जानते कि उसने निर्णय क्यों लिया, LLM ने वास्तविक पायथन कोड लिखा। आप कोड को पढ़ सकते हैं और देख सकते हैं कि उसने नॉब घुमाने का निर्णय कैसे लिया। यह ऐसा है जैसे AI ने अपना खुद का निर्देश मैनुअल लिखा हो।
यह सामान्यीकरण (Generalizes) करता है: रोबोट ने एक विशिष्ट भूलभुलैया के आकार के लिए रणनीति सीखी, और जब उन्होंने भूलभुलैया को बड़ा किया या नियम थोड़े बदले, तो रोबोट को अभी भी पता था कि क्या करना है। उसने केवल याद नहीं किया; वह तर्क को समझ गया।

निष्कर्ष

यह शोध पत्र दिखाता है कि हमें हर नियम को हाथ से कोड करने की आवश्यकता नहीं है। इसके बजाय, हम एक AI को चीजों के गलत होने के कुछ उदाहरण दिखा सकते हैं, उसे एक सिम्युलेटर लिखने के लिए कह सकते हैं ताकि वह समस्या के भौतिक विज्ञान (physics) को समझ सके, और फिर उस सिम्युलेटर को सफलता की ओर मार्गदर्शन करने के लिए छोड़ सकते हैं।

यह एक शतरंज खिलाड़ी को उसकी अपनी पिछली हार की किताब देने, उसे उन हारों के आधार पर एक नया नियम पुस्तिका लिखने के लिए कहने, और फिर उसे उस नई नियम पुस्तिका का उपयोग करके एक आदर्श खेल खेलने के लिए कहने जैसा है। परिणाम? उसने विशेषज्ञों को हरा दिया।

यहाँ शोध पत्र "Code World Models for Parameter Control in Evolutionary Algorithms" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र इवोल्यूशनरी एल्गोरिदम (EAs) में अनुकूली पैरामीटर नियंत्रण (adaptive parameter control) की चुनौती को संबोधित करता है, विशेष रूप से (1+1)-RLS $_k$ एल्गोरिदम के लिए। इस एल्गोरिदम में, प्रत्येक चरण पर ठीक $k$ बिट्स को बदलकर एक बिटस्ट्रिंग को उत्परिवर्तित (mutate) किया जाता है। मुख्य कठिनाई अनुकूलन प्रक्रिया के हर चरण में इष्टतम उत्परिवर्तन शक्ति (optimal mutation strength) $k$ को निर्धारित करने में निहित है।

चुनौती: सरल यूनिमोडल परिदृश्यों (जैसे LeadingOnes, OneMax) के लिए इष्टतम नीतियां ( $k^*(i)$ ) ज्ञात हैं, लेकिन जटिल, भ्रामक (deceptive), या ऊबड़-खाबड़ परिदृश्यों (जैसे Jump $_k$ , NK-Landscape) के लिए वे अज्ञात हैं।
मौजूदा विधियों की सीमाएँ:
- अनुमानी नियम (Heuristic Rules): पारंपरिक अनुदायी नियम (जैसे $1/5$ -rule, self-adjusting mechanisms) गुणात्मक अपडेट (multiplicative updates) पर निर्भर करते हैं। ये भ्रामक परिदृश्यों पर अक्सर विफल हो जाते हैं क्योंकि वे ठहराव (stagnation) के दौरान $k$ को कम कर देते हैं, जबकि एक "भ्रामक घाटी" (deceptive valley) से बाहर निकलने के लिए $k$ को बढ़ाने की आवश्यकता होती है।
- सुदृढीकरण लर्निंग (Reinforcement Learning - RL): डीप RL विधियाँ (जैसे DQN) सैंपल दक्षता और सामान्यीकरण (generalization) में संघर्ष करती हैं, और अन्वेषण सीमाओं के कारण महत्वपूर्ण संक्रमणों (जैसे घाटी पार करना) को खोजने में अक्सर विफल रहती हैं।
- मॉडल-मुक्त दृष्टिकोण (Model-Free Approaches): कई दृष्टिकोणों में समस्या की गतिशीलता (dynamics) की संरचनात्मक समझ का अभाव होता है।

2. कार्यप्रणाली: कोड वर्ल्ड मॉडल्स (Methodology: Code World Models - CWMs)

लेखक कोड वर्ल्ड मॉडल्स (CWMs) का विस्तार करते हैं—जिसे मूल रूप से नियतात्मक (deterministic) खेलों के लिए डिज़ाइन किया गया था—स्टोकेस्टिक कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन के लिए। न्यूरल नेटवर्क का उपयोग करके वैल्यू फंक्शन को अनुमानित करने के बजाय, यह विधि एक पायथन प्रोग्राम को सिंथेसाइज करने के लिए एक लार्ज लैंग्वेज मॉडल (LLM) का उपयोग करती है जो ऑप्टिमाइज़र की गतिशीलता के सिम्युलेटर (वर्ल्ड मॉडल) के रूप में कार्य करता है।

पाइपलाइन (The Pipeline)

प्रक्रिया तीन चरणों में विभाजित है:

ट्रैजेक्टरी संग्रह (Trajectory Collection - Offline):
- सिस्टम विविध, उप-इष्टतम नीतियों (जैसे रैंडम, फिक्स्ड- $k$ , घटते- $k$ ) का उपयोग करके (1+1)-RLS $_k$ एल्गोरिदम को 50 रन के लिए चलाता है।
- महत्वपूर्ण प्रतिबंध: इनमें से कोई भी संग्रह नीति इष्टतम $k^*$ या ओरेकल ज्ञान (जैसे Jump $_k$ में गैप साइज $k_{jump}$ ) का उपयोग नहीं करती है। CWM को केवल इन उप-इष्टतम प्रदर्शनों से सही रणनीति का अनुमान लगाना होगा।
- जटिल समस्याओं (Jump $_k$ , NK) के लिए, प्रॉम्प्ट को अनुभवजन्य ट्रांज़िशन सांख्यिकी (जैसे सुधार की संभावना $P(\text{improve} | \text{fitness}, k)$ और औसत फिटनेस परिवर्तन) के साथ समृद्ध किया जाता है जो एकत्रित डेटा से प्राप्त होती है।
CWM सिंथेसिस (LLM चरण):
- एक LLM (Claude Sonnet 4) समस्या का विवरण, गणितीय परिभाषाएं और अनुभवजन्य ट्रांज़िशन डेटा प्राप्त करता है।
- LLM एक पायथन क्लास (SynthesizedCWM) उत्पन्न करता है जिसमें निम्नलिखित विधियाँ होती हैं:
  - predict_next_state: $k$ बिट्स को बदलने के परिणाम का अनुकरण करना।
  - evaluate_state: अनुमानित अवस्था को स्कोर करना (अपेक्षित ड्रिफ्ट को पकड़ने के लिए एक नॉर्मलाइज्ड फिटनेस ट्रिक का उपयोग करना)।
  - get_legal_actions: वैध $k$ मान लौटाना।
- उत्पन्न कोड का शुद्धता सुनिश्चित करने के लिए स्वचालित सत्यापन और परिशोधन (5 प्रयासों तक) किया जाता है।
ग्रीडी प्लानिंग (Greedy Planning - Online):
- अनुकूलन के दौरान, एक ग्रीडी प्लानर प्रत्येक चरण पर सिंथेसाइज किए गए CWM से प्रश्न पूछता है।
- यह एक वन-स्टेप लुकअहेड (one-step lookahead) करता है: $k^* = \arg\max_k \text{evaluate}(\text{predict}(s, k))$ ।
- एल्गोरिदम सर्वोत्तम अनुमानित परिणाम वाले चरण को निष्पादित करता है।
- नोट: मूल CWM फ्रेमवर्क के विपरीत, जो मोंटे कार्लो ट्री सर्च (MCTS) का उपयोग करता था, यह कार्य पाता है कि पैरामीटर कंट्रोल के लिए ग्रीडी प्लानिंग पर्याप्त है, जो कंप्यूटेशनल ओवरहेड को काफी कम कर देता है।

3. मुख्य योगदान (Key Contributions)

स्टोकेस्टिक ऑप्टिमाइज़ेशन का विस्तार: CWMs को नियतात्मक खेलों से स्टोकेस्टिक कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन में सफलतापूर्वक विस्तारित किया, यह सिद्ध करते हुए कि LLMs संभावabilistic ट्रांज़िशन मॉडल को सिंथेसाइज कर सकते हैं।
ग्रीडी प्लानिंग की पर्याप्तता: यह प्रदर्शित किया कि पैरामीटर कंट्रोल के लिए, LLM-सिंथेसाइज्ड मॉडल पर सरल वन-स्टेप लुकअहेड, जटिल MCTS रोलआउट्स की तुलना में बेहतर प्रदर्शन करता है, जो इस संदर्भ में उप-इष्टतम कार्यों की ओर झुक जाते थे।
भ्रामक परिदृश्यों (Deceptive Landscapes) का समाधान: इसने भ्रामक Jump $_k$ बेंचमार्क पर 100% सफलता दर प्राप्त की, जो एक ऐसी समस्या है जहाँ सभी मानक अनुदायी बेसलाइन्स (ओरेकल ज्ञान के बिना हेवी-टेल्ड म्यूटेशन ह्यूरिस्टिक्स सहित) विफल रहे (0% सफलता)।
ओरेकल के बिना डेटा-संचालित मॉडलिंग: दिखाया कि जिन समस्याओं के लिए क्लोज्ड-फॉर्म मॉडल नहीं होते (NK-Landscape), उनमें प्रदान की गई अनुभवजन्य ट्रांज़िशन सांख्यिकी LLM को एक ऐसा मॉडल सिंथेसाइज करने की अनुमति देती है जो सभी बेसलाइन्स से बेहतर है, जो औपचारिक गणितीय मॉडल के विकल्प के रूप में कार्य करता है।
Deep RL पर श्रेष्ठता: प्रदर्शित किया कि CWMs, DQN (जो 500 ऑनलाइन एपिसोड पर प्रशिक्षित है) की तुलना में अधिक सैंपल-एफिशिएंट (200 ऑफलाइन ट्रैजेक्टरीज) हैं, सामान्यीकरण में अधिक मजबूत (अनदेखे $k$ मानों पर 78% सफलता बनाम DQN के लिए 0%), और अपारदर्शी न्यूरल वेट्स के बजाय ऑडिट करने योग्य कोड प्रदान करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

बेंचमार्क	चुनौती	CWM प्रदर्शन	बेसलाइन प्रदर्शन	मुख्य अंतर्दृष्टि
LeadingOnes	यूनिमोडल, स्मूथ रैंप	1.06 $\times$ इष्टतम	$1.28\times$ (EA $\alpha$ )	CWM ने उप-इष्टतम डेटा से इष्टतम $k \downarrow$ रैंप का अनुमान लगाया।
OneMax	यूनिमोडल, शार्प क्लिफ	1.02 $\times$ इष्टतम	RLS $_1$ के समान	CWM ने शार्प पॉलिसी क्लिफ ( $k$ निकटतम बिंदु के पास अचानक गिरता है) को पकड़ा।
Jump $_k$	भ्रामक घाटी (Deceptive valley)	100% सफलता	0% सफलता (अनुदायी बेसलाइन्स)	CML ने घाटी के किनारे $k$ को बढ़ाने की सीखी; बेसलाइन्स ने $k$ को कम किया और फंस गए।
NK-Landscape	ऊबड़-खाबड़, कोई गणितीय मॉडल नहीं	36.94 (सर्वश्रेष्ठ फिटनेस)	36.32 (Static)	अनुभवजन्य ट्रांज़िशन टेबल ने CWM को क्लोज्ड-फॉर्म मॉडल के बिना सभी बेसलाइन्स से बेहतर बनाया।
Generalization	अनदेखे $k$ मान	$k=3$ पर 78% सफलता	0% (DQN/EA $\alpha$ )	CWM ने पैरामेट्रिक हाइपरज्यामितीय मॉडल को एनकोड करके $k=2$ ट्रेनिंग से $k=3$ तक सामान्यीकरण किया।

सैंपल दक्षता (Sample Efficiency): CWM को DQN (जो 500 ऑनलाइन एपिसोड पर प्रशिक्षित है) से बेहतर प्रदर्शन करने के लिए केवल 200 ऑफलाइन ट्रैजेक्टरीज की आवश्यकता थी।
मजबूती (Robustness): परिणाम अलग-अलग तापमान (temperature) के साथ 5 स्वतंत्र सिंथेसिस रन में स्थिर रहे।

5. महत्व और निहितार्थ (Significance and Implications)

सिद्धांत और AI का मिलन: यह शोध पत्र एक नया प्रतिमान प्रस्तावित करता है जहाँ LLMs औपचारिक विश्लेषण को प्रतिस्थापित नहीं करते बल्कि उसे पूरक बनाते हैं। LLM को ऑडिट करने योग्य पायथन कोड आउटपुट करने के लिए मजबूर करके, यह विधि सांख्यिकीय अनुभव को स्पष्ट, विश्लेषण योग्य ह्यूरिस्टिक्स में बदल देती है।
"डेसेप्टिव वैली" समस्या का समाधान: Jump $_k$ पर परिणाम विशेष रूप से महत्वपूर्ण हैं। वे दर्शाते हैं कि एक LLM ठहराव के दौरान उत्परिवर्तन शक्ति बढ़ाने की प्रति-सहज (counter-intuitive) रणनीति का अनुमान लगा सकता है—एक ऐसा व्यवहार जिसे मानक मल्टीप्लिकेटिव अपडेट नियम बिना विशिष्ट समस्या ज्ञान के मौलिक रूप से नहीं सीख सकते।
न्यूरल नेटवर्क से परे: यह कार्य सुझाव देता है कि संरचित नियंत्रण समस्याओं के लिए, LLMs द्वारा सिंथेसाइज किए गए सिंबोलिक वर्ल्ड मॉडल्स (कोड), न्यूरल वर्ल्ड मॉडल्स (DQN) की तुलना में सैंपल दक्षता, व्याख्यात्मकता और सामान्यीकरण के मामले में बेहतर हो सकते हैं।
व्यावहारिकता: CWM को सिंथेसाइज करने की लागत नगण्य है (~$0.04 प्रति कॉल), और परिणामी पॉलिसी एक हल्का पायथन स्क्रिप्ट है जिसे भारी इन्फरेंस इंफ्रास्ट्रक्चर के बिना तैनात किया जा सकता है।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि LLMs इवोल्यूशनरी एल्गोरिदम के लिए शक्तिशाली "मेटा-लर्नर्स" के रूप में कार्य कर सकते हैं, जो क्लोज्ड-फॉर्म गणितीय मॉडल की अनुपस्थिति में भी, इष्टतम के बराबर या उससे बेहतर पैरामीटर नियंत्रण चलाने के लिए उप-इष्टतम डेटा से सटीक वर्ल्ड मॉडल को सिंथेसाइज कर सकते हैं।