🤖 AI

Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning

यह शोध पत्र एक नवीन ढांचे का प्रस्ताव करता है जो सुदृढीकरण शिक्षण फाइन-ट्यूनिंग (reinforcement learning fine-tuning) के माध्यम से LLM सर्च ऑपरेटर को निरंतर परिष्कृत करके एल्गोरिदम खोज के लिए LLM-आधारित विकासवादी खोज (evolutionary search) को बढ़ाता है, जिससे कॉम्बिनेटरियल ऑप्टिमाइज़ेशन कार्यों में श्रेष्ठ समाधानों की पहचान करने की प्रक्रिया में तेजी आती है।

मूल लेखक: Anja Surina, Amin Mansouri, Lars Quaedvlieg, Amal Seddas, Maryna Viazovska, Emmanuel Abbe, Caglar Gulcehre

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anja Surina, Amin Mansouri, Lars Quaedvlieg, Amal Seddas, Maryna Viazovska, Emmanuel Abbe, Caglar Gulcehre

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बेहतरीन केक बनाने के लिए एक नई, सुपर-एफिशिएंट रेसिपी का आविष्कार करने की कोशिश कर रहे हैं। आपके पास एक बहुत ही प्रतिभाशाली शेफ (लार्ज लैंग्वेज मॉडल, या LLM) है जो रेसिपी लिख सकता है।

पुराना तरीका: "स्टैटिक शेफ" (The Static Chef)
पिछले तरीकों में (जैसे कि "FunSearch" नामक एक विधि), आप शेफ से एक रेसिपी लिखने के लिए कहते थे। आप उसे बेक करते, चखते और देखते कि वह कैसी है। अगर वह ठीक है, तो आप उसे रखते हैं। अगर वह बहुत बढ़िया है, तो आप शेफ से उस बढ़िया रेसिपी को देखकर उससे थोड़ी बेहतर रेसिपी लिखने के लिए कहते हैं। आप इसे हजारों बार दोहराते हैं।

समस्या यह है कि शेफ इस प्रक्रिया से वास्तव में सीखता नहीं है। वे एक ऐसे जीनियस की तरह हैं जो हर प्रयास के बाद सब कुछ भूल जाता है। वे अपनी मूल ट्रेनिंग के आधार पर केवल अनुमान लगाते रहते हैं, इस उम्मीद में कि वे किस्मत के सहारे एक बेहतर रेसिपी ढूंढ लेंगे। वे एक अच्छा केक बनाने के पीछे के कारणों के बारे में अपने आंतरिक ज्ञान को अपडेट नहीं करते हैं।

नया तरीका: "इवोट्यून" (EvoTune - वह शेफ जो सीखता है)
लेखकों ने इस नए तरीके के रूप में EvoTune प्रस्तावित किया है। यह उसी प्रतिभाशाली शेफ को काम पर रखने जैसा है, लेकिन इस बार, आप उन्हें एक विशेष ट्रेनिंग लूप देते हैं:

स्वाद परीक्षण (Evolutionary Search): बिल्कुल पहले की तरह, शेफ कई रेसिपी लिखता है। आप उन्हें बेक करते हैं, चखते हैं और स्कोर देते हैं। आप सबसे अच्छी रेसिपी को रखते हैं और खराब वाली को फेंक देते हैं।
सबक (Reinforcement Learning): यह जादुई कदम है। केवल खराब रेसिपी को फेंकने के बजाय, आप शेफ को "विजेताओं" और "हारने वालों" को दिखाते हैं और कहते हैं, "देखो, अंतर यहाँ है! विजेता ने यह किया, हारने वाले ने वह किया।"
अपडेट (The Update): फिर आप इन सबक के आधार पर शेफ को एक त्वरित "रिफ्रेशर कोर्स" (फाइन-ट्यूनिंग) देते हैं। शेफ का दिमाग वास्तव में बदल जाता है ताकि वह समझ सके कि जीतने वाली रेसिपी क्यों काम कर रही थी।
दोहराएं (Repeat): अब, जब आप शेफ को अगली रेसिपी लिखने के लिए कहते हैं, तो वे केवल अनुमान नहीं लगा रहे होते हैं; वे अपने नए अपडेटेड ज्ञान का उपयोग करके बहुत तेज़ी से अच्छे परिणामों की ओर बढ़ रहे होते हैं।

यह बेहतर क्यों है?
इसे एक विशाल जंगल में छिपे खजाने को खोजने जैसा समझें।

पुराना तरीका: आप एक स्काउट भेजते हैं जिसके पास एक नक्शा है लेकिन कोई याददाश्त नहीं है। वे इधर-उधर घूमते हैं, एक जगह ढूंढते हैं, खजाना चेक करते हैं, और फिर सब कुछ भूल जाते हैं। अगली जगह खोजने के लिए उन्हें फिर से बेतरतीब ढंग से भटकना पड़ता है।
EvoTune: स्काउट को एक जगह मिलती है, और उसे एहसास होता है, "ओह, यहाँ पेड़ अधिक घने हैं, इसलिए खजाना पास में ही होना चाहिए," और वह अपने आंतरिक मानचित्र को अपडेट करता है। अगली बार जब वे बाहर जाते हैं, तो वे बेतरतीब ढंग से नहीं भटकते; वे सीधे आशाजनक क्षेत्रों की ओर चलते हैं।

उन्होंने क्या टेस्ट किया?
शोधकर्ताओं ने इसका परीक्षण तीन कठिन "पहेली" खेलों पर किया जहाँ कंप्यूटरों को चीजों को व्यवस्थित करने का सबसे अच्छा तरीका खोजना होता है:

बिन पैकिंग (Bin Packing): अलग-अलग आकार के बक्सों को कम से कम ट्रकों में फिट करने की कोशिश करना।
ट्रैवलिंग सेल्समैन (Traveling Salesman): शहरों की एक सूची में बिना दोबारा कदम रखे जाने वाले सबसे छोटे रास्ते को खोजना।
फ्लैटपैक (Flatpack): अजीब आकार के ब्लॉकों को एक ग्रिड में बिना एक-दूसरे के ऊपर चढ़े (overlap) फिट करना (जैसे कि एक जटिल टेट्रिस)।

परिणाम
उन्होंने पाया कि "सीखने वाला शेफ" (EvoTune) "स्टैटिक शेफ" (पुरानी विधि) की तुलना में बहुत तेज़ी से बेहतर समाधान खोज लेता है।

बेहतर स्कोर: EvoTune द्वारा खोजे गए एल्गोरिदम (रेसिपी) अधिक कुशल थे।
अधिक विविधता: सीखने वाले शेफ ने केवल एक अच्छा समाधान नहीं खोजा और रुक गया; उसने अद्वितीय, उच्च-गुणवत्ता वाले समाधानों की एक विस्तृत विविधता भी खोजी।
वास्तविक दुनिया की जीत: एक विशिष्ट चुनौती में (डेटा सेंटर में सर्वर रखने के बारे में गूगल का 'हैश कोड' प्रतियोगिता), EvoTune ने एक ऐसा समाधान खोजा जो प्रतियोगिता में मानव टीमों द्वारा खोजे गए सर्वश्रेष्ठ समाधान से भी बेहतर था।

सीक्रेट सॉस (The Secret Sauce)
पेपर में यह भी उल्लेख किया गया है कि उन्होंने शेफ को रचनात्मक बनाए रखने के लिए एक विशेष ट्रिक का उपयोग किया। कभी-कभी, जब आप एक मॉडल को बहुत अधिक सिखाते हैं, तो वह "फँस" जाता है और बार-बार एक ही चीज़ लिखता रहता है। इसे रोकने के लिए, उन्होंने एक विशेष गणितीय नियम (जिसे "Forward KL" कहा जाता है) का उपयोग किया जो शेफ को विजेताओं से सीखते हुए भी नए विचारों को एक्सप्लोर करने के लिए मजबूर करता है।

संक्षेप में
EvoTune एक ऐसा सिस्टम है जो खोजने (कई चीजें आज़माना) और सीखने (क्या काम कर रहा है इसके आधार पर मस्तिष्क को अपडेट करना) को जोड़ता है। यह एक स्थिर टूल को एक आत्म-सुधार करने वाले साथी में बदल देता है जो समस्या को हल करने के लिए जितना अधिक प्रयास करता है, उतना ही स्मार्ट होता जाता है।

तकनीकी सारांश: LLMs के साथ एल्गोरिदम की खोज: विकासवादी खोज और सुदृढीकरण शिक्षण (Reinforcement Learning) का मिलन

समस्या विवरण

जटिल समस्याओं, विशेष रूप से गणित और कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन (combinatorial optimization) में कुशल एल्गोरिदम की खोज, ऐतिहासिक रूप से पर्याप्त मानव विशेषज्ञता पर निर्भर रही है। हालांकि हालिया प्रगति ने बड़े भाषा मॉडल (LLMs) को विकासवादी खोज (जैसे कि FunSearch विधि) के साथ जोड़कर स्वचालित खोज में आशाजनक परिणाम दिखाए हैं, मौजूदा दृष्टिकोण LLM को एक स्थिर जनरेटर (static generator) के रूप में देखते हैं। ये विधियाँ पिछले सफल प्रोग्रामों के आधार पर नए प्रोग्राम प्रस्तावित करने के लिए LLM का उपयोग करती हैं, लेकिन विकासवादी अन्वेषण (evolutionary exploration) के दौरान प्राप्त संकेतों के आधार पर मॉडल के आंतरिक मापदंडों (parameters) को अपडेट करने में विफल रहती हैं। फलस्वरूप, वे LLM की पैरामीट्रिक प्रकृति का उपयोग करके अपनी खोज नीति (search policy) को समय के साथ परिष्कृत करने के अवसर को खो देती हैं, जिससे संभावित रूप से उप-इष्टतम अभिसरण (suboptimal convergence) या समाधान स्थान (solution space) का अक्षम अन्वेषण हो सकता है।

कार्यप्रणाली: EvoTune

लेखक EvoTune का प्रस्ताव करते हैं, जो LLM खोज ऑपरेटर को निरंतर परिष्कृत करने के लिए विकासवादी खोज के साथ सुदृढीकरण शिक्षण (Reinforcement Learning - RL) को मजबूती से एकीकृत करता है। यह विधि दो वैकल्पिक चरणों वाले एक पुनरावृत्ति लूप (iterative loop) में कार्य करती है:

विकासवादी खोज (अन्वेषण - Exploration):
- LLM पिछले पुनरावृत्तियों में खोजे गए उच्च-स्कोर वाले प्रोग्रामों से निर्मित प्रॉम्प्ट्स के आधार पर उम्मीदवार पायथन प्रोग्राम (एल्गोरिदम) उत्पन्न करता है।
- इन प्रोग्रामों का विशिष्ट कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन कार्यों (जैसे Bin Packing, Traveling Salesman Problem, Flatpack) पर मूल्यांकन किया जाता है ताकि रिवॉर्ड स्कोर (आमतौर पर नकारात्मक इष्टतम अंतर/negative optimality gap) प्राप्त किया जा सके।
- वैध प्रोग्रामों और उनके स्कोर को एक प्रोग्राम डेटाबेस में संग्रहीत किया जाता है, जिसे विविधता बनाए रखने और समय से पहले अभिसरण (premature convergence) को रोकने के लिए "द्वीपों" (islands) में व्यवस्थित किया जाता है।
- खोज एक "बूटस्ट्रैपिंग" रणनीति का उपयोग करती है, जहाँ LLM नए उम्मीदवारों के निर्माण के मार्गदर्शन के लिए उच्च-प्रदर्शन करने वाले और निम्न-प्रदर्शन करने वाले प्रोग्रामों के बीच के अंतर का विश्लेषण करता है।
RL प्रशिक्षण (परिष्करण - Refinement):
- सावधि अंतराल पर (प्रत्येक $f_{RL}$ पुनरावृत्तियों के बाद), विकासवादी खोज से संचित डेटा का उपयोग करके LLM की जनरेशन पॉलिसी ( $\pi_\theta$ ) को अपडेट किया जाता है।
- वे इसे एक वरीयता अनुकूलन (Preference Optimization) समस्या के रूप में तैयार करते हैं। वे एक वरीयता डेटासेट $D_{pref}$ का निर्माण करते हैं जिसमें ट्रिपलेट्स $(x, y^+, y^-)$ होते हैं, जहाँ $x$ प्रॉम्प्ट है, $y^+$ उच्च रिवॉर्ड वाला प्रोग्राम है, और $y^-$ कम रिवॉर्ड वाला प्रोग्राम है।
- मॉडल को डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (Direct Preference Optimization - DPO) का उपयोग करके फाइन-ट्यून किया जाता है। मानक ऑफलाइन DPO के विपरीत, EvoTune एक ऑफ-पॉलिसी सेटिंग में काम करता है जहाँ डेटा गतिशील रूप से विकसित होते मॉडल द्वारा स्वयं उत्पन्न किया जाता है।
- विविधता संरक्षण (Diversity Preservation): एक महत्वपूर्ण डिज़ाइन विकल्प के रूप में, DPO ऑब्जेक्टिव के भीतर फॉरवर्ड KL रेगुलराइजेशन (जो अधिक सामान्य रिवर्स KL के विपरीत है) का उपयोग किया जाता है। यह "मास-कवरिंग" व्यवहार को प्रोत्साहित करता है, जो मॉडल को एक एकल मोड में ढहने (collapse) से रोकता है और प्रभावी विकासवादी खोज के लिए आवश्यक आउटपुट विविधता को बनाए रखता है।

मुख्य योगदान

विकासवादी खोज में RL का एकीकरण: यह पेपर यह प्रदर्शित करने वाला पहला दावा करता है कि LLM-आधारित विकासवादी खोज को RL फाइन-ट्यूनिंग के साथ लूप में मजबूती से एकीकृत करने की क्षमता है। पिछले तरीकों के विपरीत जो LLMs का उपयोग केवल स्थिर जनरेटर के रूप में करते हैं, EvoTune अन्वेषण से प्राप्त अंतर्दृष्टि का बेहतर उपयोग करने के लिए मॉडल के भार (weights) को अपडेट करता है।
एल्गोरिदम खोज में तेजी लाना: खोज नीति को RL के माध्यम से परिष्कृत करके, यह विधि श्रेष्ठ एल्गोरिदम की खोज को तेज करती है। तीन इंस्ट्रक्शन-ट्यून्ड LLMs (Llama3.2 1B, Phi 3.5 Mini, Granite 3.1 2B) पर प्रयोग लगातार FunSearch बेसलाइन की तुलना में प्रदर्शन लाभ दिखाते हैं।
विविधता-संरक्षण संरेखण (Diversity-Preserving Alignment): लेखक आउटपुट विविधता को बनाए रखने के लिए एक संशोधित संरेखण ऑब्जेक्टिव (Forward KL-regularized DPO) का उपयोग करने के लाभ को प्रदर्शित करते हैं। यह विकासवादी रणनीतियों के लिए महत्वपूर्ण है, क्योंकि मोड कोलैप्स (mode collapse) नवीन समाधानों की खोज में बाधा डाल सकता है।
व्यापक प्रयोज्यता: इस विधि को विविध बेंचमार्क पर मान्य किया गया है, जिसमें मानक कॉम्बिनेटोरियल समस्याएं (Bin Packing, TSP, Flatpack), वास्तविक दुनिया की Google Hash Code चुनौतियां (Datacenter Optimization, Self-Driving Rides), और सिम्बोलिक रिग्रेशन कार्य (LLM-SR) शामिल हैं।

प्रयोगात्मक परिणाम

लेखकों ने कई कार्यों और मॉडलों में एक FunSearch-शैली के बेसलाइन (प्रशिक्षण के बिना विकासवादी खोज) के विरुद्ध EvoTune का मूल्यांकन किया:

प्रदर्शन लाभ: शीर्ष 50 खोजे गए प्रोग्रामों के लिए EvoTune ने बेसलाइन की तुलना में लगातार उच्च अंतिम रिवॉर्ड स्कोर (कम इष्टतम अंतर) प्राप्त किया। प्रदर्शन का अंतर अक्सर सैंपलिंग बजट बढ़ने के साथ चौड़ा होता गया, जो यह सुझाव देता है कि बड़े बजट इस विधि के लाभों को बढ़ा देते हैं।
सामान्यीकरण (Generalization): विकसित प्रोग्रामों ने समान वितरण से प्राप्त वैलिडेशन-परटर्बड सेट्स और टेस्ट सेट्स पर मजबूती प्रदर्शित की, जो यह दर्शाता है कि सीखे गए नीतियां प्रशिक्षण के दौरान देखे गए विशिष्ट उदाहरणों से परे सामान्यीकृत होती हैं।
वास्तविक दुनिया के बेंचमार्क:
- Google Hash Code Datacenter Optimization कार्य पर, EvoTune ने 418 का स्कोर प्राप्त किया, जो शीर्ष मानव स्कोर 407 से अधिक है और FunSearch बेसलाइन (414) से बेहतर है।
- सिम्बोलिक रिग्रेशन (Symbolic Regression) कार्यों (LLM-SR) पर, EvoTune ने विकासवादी बेसलाइन को पछाड़ दिया और विशेष रूप से, एक छोटे मॉडल (Phi-3.5 Mini, 3.8B पैरामीटर्स) का उपयोग करते हुए बड़े या प्रोप्रायटरी मॉडल्स (जैसे Mixtral 8x7B, GPT-3.5-turbo) के बेसलाइन से बेहतर प्रदर्शन किया।
एब्लेशन अध्ययन (Ablation Studies):
- Forward बनाम Reverse KL: प्रयोगों ने पुष्टि की कि रिवर्स KL की तुलना में फॉरवर्ड KL रेगुलराइजेशन उच्च रिवॉर्ड और अद्वितीय समाधानों की अधिक संख्या प्रदान करता है, जो विविधता संरक्षण के महत्व को प्रमाणित करता है।
- वैकल्पिक RL: लेखकों ने DPO के विकल्प के रूप में ReSTEM (उच्च-स्कोर वाले आउटपुट्स पर सुपरवाइज्ड फाइन-ट्यूनिंग) का परीक्षण किया। परिणामों ने संकेत दिया कि DPO लगातार ReSTEM से बेहतर प्रदर्शन करता है और हाइपरपैरामीटर ट्यूनिंग के प्रति कम संवेदनशील है।

महत्व और दावे

यह पेपर 'बिटर लेसन' (Sutton, 2019) को संबोधित करते हुए, जो तर्क देता है कि खोज (search) और सीखना (learning) सहक्रियात्मक (synergistic) हैं, उसे संबोधित करके EvoTune को स्वचालित एल्गोरिदम डिजाइन में एक महत्वपूर्ण कदम के रूप में स्थापित करता है। लेखक दावा करते हैं कि:

सहक्रिया (Synergy): खोज नए डेटा उत्पन्न करती है, जबकि सीखना भविष्य के अन्वेषण को अधिक प्रभावी ढंग से निर्देशित करने के लिए उस डेटा से पैटर्न को निकालता है।
दक्षता (Efficiency): RL को एकीकृत करने से सिस्टम केवल एक जनसंख्या के औसत स्कोर को बढ़ाने से आगे बढ़कर; यह सक्रिय रूप से विकासवादी खोज को (शीर्ष-k प्रदर्शन द्वारा मापा गया) श्रेष्ठ समाधानों की ओर निर्देशित करता है और साथ ही नवाचार के लिए आवश्यक विविधता को बनाए रखता है।
स्केलेबिलिटी (Scalability): विधि जटिल, गैर-सिंथेटिक समस्याओं जैसे डेटा सेंटर ऑप्टिमाइज़ेशन और स्ट्रेस-स्ट्रेन मॉडलिंग पर अपनी सफलता के प्रमाण के रूप में, वास्तविक दुनिया की सेटिंग्स तक स्केल होने की क्षमता प्रदर्शित करती है।

लेखक विनम्रतापूर्वक सीमाओं को स्वीकार करते हैं, यह उल्लेख करते हुए कि उनके प्रयोग 1B से 3.8B पैरामीटर्स वाले मॉडल्स के साथ किए गए थे और विधि की क्षमता को पूरी तरह से समझने के लिए मॉडल के आकार और सैंपलिंग बजट के और अधिक स्केलिंग की आवश्यकता है। वे RL प्रशिक्षण चरण की अतिरिक्त कंप्यूट लागत और अनुमान दक्षता (inference efficiency) तथा समाधान की गुणवत्ता में होने वाले लाभ के बीच के ट्रेड-ऑफ को भी रेखांकित करते हैं।