🤖 AI

ImprovEvolve: Basin-Hopping Meets LLM-Guided Evolutionary Search

ImprovEvolve एक LLM-निर्देशित विकासवादी खोज (evolutionary search) प्रस्तुत करता है जो बेसिन-हॉपिंग प्रक्रिया को संचालित करने के लिए विशिष्ट इनिशियलाइज़ेशन, सुधार और गड़बड़ी (perturbation) ऑपरेटरों को विकसित करता है, जो हेक्सागन पैकिंग, ऑटोकोरिलेशन असमानताओं और स्फेरिकल कोड्स के लिए नए अत्याधुनिक समाधानों की सफलतापूर्वक खोज करता है और साथ ही भाषा मॉडल पर संज्ञानात्मक भार को काफी कम करता है।

मूल लेखक: Alexey Kravatskiy, Valentin Khrulkov, Ivan Oseledets

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexey Kravatskiy, Valentin Khrulkov, Ivan Oseledets

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अविश्वसनीय रूप से कठिन पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि एक निश्चित संख्या में अजीब आकार के हेक्सागोन (षट्कोणों) को बिना एक-दूसरे को ओवरलैप किए एक कंटेनर में फिट करना, या किसी निश्चित मान को अधिकतम करने वाली एक आदर्श गणितीय वक्र (curve) खोजना। ये "ऑप्टिमाइज़ेशन समस्याएँ" (optimization problems) हैं, और ये बहुत कठिन होती हैं क्योंकि संभावित समाधानों का परिदृश्य छोटे-छोटे टीलों और गहरे गड्ढों (लोकल ऑप्टिमा) से भरा होता है। यदि आप एक गलत कदम उठाते हैं, तो आप एक उथले गड्ढे में फंस सकते हैं और कभी भी सबसे गहरे हिस्से तक नहीं पहुँच पाएंगे।

लंबे समय तक, शोधकर्ताओं ने आर्टिफिशियल इंटेलिजेंस (विशेष रूप से लार्ज लैंग्वेज मॉडल्स, या LLMs) को इन पहेलियों को हल करने के लिए सिखाने की कोशिश की कि वे एक एकल, विशाल प्रोग्राम लिखें जो सब कुछ एक साथ कर सके: इसे यह भी तय करना होगा कि कहाँ से शुरू करना है, कैसे आगे बढ़ना है, और कब रुकना है। यह एक शेफ से यह कहने जैसा है कि वह न केवल भोजन पकाए बल्कि एक ही बार में रसोई भी डिजाइन करे, नए बर्तन भी आविष्कार करे और रेसिपी बुक भी लिख दे। यह पेपर इस दृष्टिकोण को "AlphaEvolve" कहता है। हालांकि यह कभी-कभी काम करता है, लेकिन यह AI को अक्सर अभिभूत (overwhelm) कर देता है, जिससे समाधान अनाड़ी या अधूरे रह जाते हैं।

नया विचार: ImprovEvolve

इस पेपर के लेखक, एलेक्सी क्रावेट्स्की और उनके सहयोगियों ने एक स्मार्ट तरीका प्रस्तावित किया है जिसे ImprovEvolve कहा जाता है। AI को शुरुआत से ही एक पूरा "सुपर-ऑप्टिमाइज़र" बनाने के लिए कहने के बजाय, वे इस काम को तीन छोटे, प्रबंधनीय कार्यों में विभाजित करते हैं। वे AI से एक "टूलबॉक्स" लिखने के लिए कहते हैं जिसमें तीन विशिष्ट उपकरण हों:

स्टार्टर (generate_config): एक ऐसा टूल जो केवल पहेली के लिए एक यादृच्छिक (random), वैध शुरुआती बिंदु बनाता है।
पॉलिशर (improve): एक ऐसा टूल जो एक बिखरे हुए समाधान को लेता है और उसे थोड़ा बेहतर बनाता है, उसके किनारों को चिकना करता है।
शेकर (perturb): एक ऐसा टूल जो समाधान को यादृच्छिक रूप से हिलाता-डुलाता है ताकि यह देखा जा सके कि क्या उसे हिलाने से वह किसी गहरे, बेहतर गड्ढे में गिर सकता है।

"बेसिन-हॉपिंग" (Basin-Hopping) नृत्य

एक बार जब AI ने यह टूलबॉक्स बना लिया, तो शोधकर्ता इसे केवल एक बार नहीं चलाते। वे एक क्लासिक गणितीय रणनीति का उपयोग करते हैं जिसे बेसिन-हॉपिंग कहा जाता है। इसे एक ऐसे हाइकर (पर्वतारोही) की तरह समझें जो कोहरे से भरे पहाड़ी क्षेत्र में सबसे निचले बिंदु को खोजने की कोशिश कर रहा है:

शुरुआत: हाइकर एक यादृच्छिक स्थान पर उतरता है (स्टार्टर का उपयोग करके)।
पॉलिश: वह निकटतम घाटी के तल तक नीचे की ओर चलता है (पॉलिशर का उपयोग करके)।
शेक (हिलाना): वह एक बड़ा, यादृच्छिक छलांग लगाता है (शेकर का उपयोग करके), इस उम्मीद में कि वह किसी अलग, गहरे गड्ढे में लैंड करेगा।
दोहराना: यदि नया स्थान पहले वाले से नीचा है, तो वह वहीं रहता है। यदि नहीं, तो वह फिर से प्रयास कर सकता है। वह यह बार-बार करता है, जैसे-जैसे वह नीचे के करीब पहुँचता है, वह छोटी छलांगें लगाता जाता है।

"सोचने" (जो AI करता है) को "खोजने" (बेसिन-हॉपिंग लूप) से अलग करके, AI को एक समय में केवल एक विशिष्ट चीज़ में अच्छा होने पर ध्यान केंद्रित करने के लिए कहा जाता है। यह AI पर "संज्ञानात्मक भार" (cognitive load) को कम करता है, ठीक वैसे ही जैसे एक इंसान जटिल समस्या को हल करने में अधिक सक्षम होता है यदि वह पूरी चीज़ को एक साथ समझने के बजाय उसे छोटे चरणों में विभाजित कर दे।

परिणाम: नए रिकॉर्ड

पेपर इन तीन कठिन गणितीय चुनौतियों पर इस पद्धति का परीक्षण करता है:

हेक्सागन पैकिंग: कल्पना कीजिए कि 11, 12, या यहाँ तक कि 23 हेक्सागोन को सबसे छोटे संभव हेक्सागोनल बॉक्स में पैक करना। नए तरीके ने कई इन संख्याओं के लिए नए विश्व-रिकॉर्ड पैकिंग खोजे, जो पिछले रिकॉर्डों को भी पीछे छोड़ दिए जिन्हें अन्य AI सिस्टमों और यहाँ तक कि मानव विशेषज्ञों द्वारा बनाया गया था।
ऑटोकोरिलेशन इनइक्वैलिटी (Autocorrelation Inequality): यह एक लहर के पूर्ण आकार को खोजने के बारे में एक जटिल गणितीय समस्या है। AI ने ज्ञात गणितीय सीमा (लोअर बाउंड) को 0.96102 से बढ़ाकर 0.96258 कर दिया। यह एक पिछले AI द्वारा खोजे गए अच्छे समाधान का उपयोग करके उसे और अधिक परिष्कृत (refine) करने के लिए "पॉलिशर" टूल का उपयोग करके किया गया था।
स्फेरिकल कोड्स (Spherical Codes): इसमें एक गोले (sphere) पर बिंदुओं को इस तरह व्यवस्थित करना शामिल है कि वे एक-दूसरे से यथासंभव दूर रहें (जैसे अनार के बीज)। नए तरीके ने 90 विभिन्न टेस्ट केसों में से अधिकांश के लिए व्यवस्था में सुधार किया, जिससे पहले से ज्ञात किसी भी व्यवस्था की तुलना में थोड़े अधिक कुशल कॉन्फ़िगरेशन मिले।

मानवीय स्पर्श

दिलचस्प रूप से, पेपर नोट करता है कि जबकि AI ने भारी काम किया, एक मानव विशेषज्ञ ने कोड में कुछ बहुत छोटे बदलाव किए (जैसे कि एक विशिष्ट सेटिंग बदलना या एक गणितीय टूल को बदलना) ताकि सबसे अच्छा परिणाम प्राप्त किया जा सके। यह सुझाव देता है कि सर्वोत्तम परिणाम एक साझेदारी से आते हैं: AI मुख्य संरचना और तर्क उत्पन्न करता है, और मानव अंतिम "फाइन-ट्यूनिंग" प्रदान करता है जिसे AI शायद मिस कर दे।

सारांश में

यह पेपर तर्क देता है कि AI को एक "सुपर-जीनियस" बनने के लिए कहने के बजाय जो एक ही बार में पूरी समस्या को हल कर सके, हमें उसे एक "विशेषज्ञ" बनने के लिए कहना चाहिए जो उपकरणों का एक सेट बनाए। फिर, हम उन उपकरणों को एक स्मार्ट, पुनरावृत्ति लूप (बेसिन-हॉपिंग) में उपयोग करते हैं ताकि समाधान के स्थान (solution space) की खोज की जा सके। यह दृष्टिकोण, ImprovEvolve, पिछले तरीकों की तुलना में अधिक प्रभावी, मजबूत और नए गणितीय रिकॉर्ड खोजने में सक्षम रहा है जिन्होंने एक ही बार में सब कुछ करने की कोशिश की थी।

तकनीकी सारांश: ImprovEvolve: Basin-Hopping और LLM-निर्देशित विकासवादी खोज का मिलन

समस्या विवरण

यह शोध पत्र जटिल गणितीय अनुकूलन (optimization) समस्याओं को हल करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) के उपयोग की चुनौती को संबोधित करता है, विशेष रूप से वे जो जटिल (rugged), गैर-उत्तल (non-convex), और गैर-चिकनी (non-smooth) सतहों (जैसे पैकिंग समस्याएं, कार्यात्मक असमानताएं, और गोलाकार कोड) से जुड़ी हैं। AlphaEvolve जैसे पूर्ववर्ती कार्यों के विपरीत, जो सीधे उम्मीदवार समाधानों को आउटपुट करने के लिए अखंड (monolithic) प्रोग्राम विकसित करते थे, लेखक तर्क देते हैं कि यह दृष्टिकोण LLM पर अत्यधिक संज्ञानात्मक भार (cognitive load) डालता है। मॉडल को एक साथ एक इनिशियलाइजेशन स्कीम, एक खोज रणनीति और समाप्ति मानदंड (termination criteria) डिजाइन करना पड़ता है, जिससे अक्सर ऐसे जनरेटेड प्रोग्राम बनते हैं जो ऑफ-द-शेल्फ रूटीन (जैसे L-BFGS-B) पर निर्भर होते हैं, जो विशिष्ट बाधाओं और गैर-उत्तलता को प्रभावी ढंग से संभालने में विफल रहते हैं। परिणामस्वरूप, LLM-जनरेटेड समाधान अक्सर गणितीय अंतर्दृष्टि के बजाय ह्यूरिस्टिक्स (heuristics) का मिश्रण बन जाते हैं, और वे अनदेखी समस्या आकारों पर सामान्यीकरण करने या विशेषज्ञ-निर्मित समाधानों में सुधार करने में संघर्ष करते हैं।

कार्यप्रणाली: ImprovEvolve

लेखक ImprovEvolve का प्रस्ताव करते हैं, जो एक एल्गोरिद्मिक विकल्प है जो अनुकूलन कार्य को विशिष्ट उप-रूटीन में विभाजित करता है, जो प्रभावी रूप से Basin-Hopping ग्लोबल ऑप्टिमाइज़ेशन तकनीकों को LLM-निर्देशित विकासवादी खोज के साथ एकीकृत करता है।

मुख्य विभाजन (Core Decomposition)

एक एकल फ़ंक्शन विकसित करने के बजाय जो समाधान आउटपुट करता है, ImprovEvolve तीन अलग-अलग ऑपरेटरों को लागू करने वाले पायथन क्लास को विकसित करता है:

generate_config(seed): एक रैंडम सीड से एक व्यवहार्य (feasible) समाधान को इनिशियलाइज़ करता है।
improve(x): एक कॉन्फ़िगरेशन $x$ को परिष्कृत करने के लिए लोकल ऑप्टिमाइज़ेशन करता है, और एक ऐसा समाधान $x'$ लौटाता है जिसकी फिटनेस $x$ के समान या उससे बेहतर हो।
perturb(x, \sigma): एक विशिष्ट तीव्रता $\sigma$ पर सर्च स्पेस को रैंडमली एक्सप्लोर करता है।

सत्यापन योजना (Basin-Hopping)

विकसित क्लास का उपयोग दो-चरणीय सत्यापन योजना (एल्गोरिदम 1) के भीतर किया जाता है जो मोनोटोनिक बेसिन-हॉपिंग ( $T=0$ ) की नकल करता है:

चरण A (इनिशियलाइज़ेशन): कई प्रारंभिक कॉन्फ़िगरेशन उत्पन्न किए जाते हैं और improve के माध्यम से परिष्कृत किए जाते हैं। सबसे अच्छे परिणाम को शुरुआती बिंदु $x^*$ के रूप में चुना जाता है।
चरण B (पुनरावृत्ति खोज): एल्गोरिदम पर्टरबेशन (perturbation) और इम्प्रूवमेंट के $R$ $R$ राउंड निष्पादित करता है। प्रत्येक राउंड में, पर्टरबेशन तीव्रता $\sigma$ $σ$ , $\sigma_{max}$ $σ_{ma x}$ से $\sigma_{min}$ $σ_{min}$ तक ज्यामितीय रूप से घटती है। प्रक्रिया में शामिल है:
1. वर्तमान सर्वश्रेष्ठ समाधान को पर्टर्ब करना: $x' = \text{perturb}(x^*, \sigma)$ ।
2. पर्टर्ब किए गए समाधान को रिफाइन करना: $x'' = \text{improve}(x')$ ।
3. मोनोटोनिक स्वीकृति (Monotonic Acceptance): $x^*$ को केवल तभी $x''$ के रूप में अपडेट किया जाता है जब फिटनेस स्पष्ट रूप से बेहतर होती है।

यह विभाजन अनुकूलन कार्य को एंड-टू-एंड ऑप्टिमाइज़र डिजाइन करने के बजाय, इनिशियलाइज़ेशन, लोकल सर्च और एक्सप्लोरेशन के लिए डोमेन-विशिष्ट ह्यूरिस्टिक्स को एनकोड करने की ओर स्थानांतरित कर देता है, जिन्हें फिर क्लासिकल Basin-Hopping फ्रेमवर्क द्वारा ऑर्केस्ट्रेट किया जाता है।

विकासवादी ढांचा (Evolutionary Framework)

सिस्टम MAP-Elites लूप के साथ GigaEvo फ्रेमवर्क का उपयोग करता है। एक उम्मीदवार प्रोग्राम की फिटनेस, उस पर पूर्ण दो-चरणीय सत्यापन योजना चलाकर निर्धारित की जाती है। LLM (इनिशियलाइज़ेशन के लिए Gemini 3 Pro, विकास के लिए Gemini 3 Flash) फिटनेस फीडबैक और वंश (lineage) अंतर्दृष्टि द्वारा निर्देशित होकर Improv क्लास के कोड को उत्परिवर्तित (mutate) करता है।

प्रमुख योगदान और परिणाम

1. हेक्सागन पैकिंग (HEX $n$ )

कार्य: सबसे छोटे घेरने वाले नियमित हेक्सागन के भीतर $n$ यूनिट रेगुलर हेक्सागन्स को पैक करना।
परिणाम:
- $n=11$ के लिए, ImprovEvolve ने एक नया स्टेट-ऑफ-द-आर्ट (SOTA) पैकिंग खोजा जिसका साइड लेंथ $L=3.9245$ है, जो AlphaEvolve के $3.9301 $और पिछले मानव रिकॉर्ड$ 3.9434$ से बेहतर है।
- विकसित प्रोग्राम अनदेखी समस्या आकारों ( $11 \le n \le 24$ ) के लिए सामान्यीकृत हुआ, बिना पुन: विकास (re-evolution) के, और $n=12, 15, 16$ के लिए नए SOTA पैकिंग खोजे।
- ImprovEvolve+E: मामूली मानवीय संपादन (ऑप्टिमाइज़र बदलना, पेनल्टी वेट एडजस्ट करना) के साथ, सिस्टम ने $n=14, 17, 23$ के लिए नए SOTA पैकिंग खोजे और $n=25-30$ के लिए संरचित पैकिंग प्रदान की जहाँ पहले कोई परिणाम मौजूद नहीं थे।
तुलना: ImprovEvolve ने GigaEvo बेसलाइन (मोनोलिथिक दृष्टिकोण) को काफी पीछे छोड़ दिया, जो ओवरलैप त्रुटियों के कारण $n > 11$ के लिए सामान्यीकरण करने में विफल रहा।

2. सेकंड ऑटोकोरिलेशन इनइक्वलिटी (ACI 2)

कार्य: एक गैर-ऋणात्मक फ़ंक्शन $f$ खोजना जो असमानता $\|f * f\|_2^2 \le C_2 \|f * f\|_1 \|f * f\|_\infty$ में स्थिरांक $C_2$ को अधिकतम करता है।
परिणाम:
- मूल ImprovEvolve प्रोग्राम ने $C(f) = 0.9512$ प्राप्त किया, जो ओपन-सोर्स बेसलाइन्स से बेहतर है लेकिन AlphaEvolve के $0.96102$ से कम है।
- ImprovEvolve+E: AlphaEvolve के समाधान से अनुकूलन को फिर से शुरू करके और मानव-निर्देशित संपादन (प्रोग्रेसिव रेजोल्यूशन स्केलिंग अप टू 1.6M स्टेप्स, लोअर क्लिपिंग हटाना) लागू करके, सिस्टम ने $C(f) = 0.96258$ का एक नया SOTA लोअर बाउंड प्राप्त किया।
महत्व: यह विशेषज्ञों या अन्य मॉडल्स द्वारा प्रदान किए गए उच्च-गुणवत्ता वाले समाधानों को रिफाइन करने की क्षमता को प्रदर्शित करता है, जो एक ऐसी क्षमता है जिसमें मोनोलिथिक LLM दृष्टिकोण संघर्ष करते हैं।

3. गोलाकार कोड (Spherical Codes)

कार्य: अधिकतम पेयरवाइज इनर प्रोडक्ट (कोहेरेंस) को कम करने के लिए यूनिट स्फीयर $S^{d-1}$ पर $N$ बिंदुओं को व्यवस्थित करना।
परिणाम:
- 90 विविध कॉन्फ़िगरेशन (Cohn कैटलॉग से $d \in [8, 16]$ ) पर मूल्यांकन किया गया।
- ImprovEvolve++ (एक कैलिब्रेटेड जनरल इम्प्रूवर जिसे कई आयामों में विकसित किया गया है) ने 90 में से 53 कॉन्फ़िगरेशन के लिए अधिकतम कोसाइन को सख्ती से कम किया, जिससे 0.1765% का औसत सापेक्ष सुधार हुआ।
- यह पिछले सर्वश्रेष्ठ प्रोग्राम (ImprovEvolve) की तुलना में 2.35 $\times$ का सुधार है।
- डायग्नोस्टिक्स (UMAP और इनर-प्रोडक्ट डिस्ट्रीब्यूशन) ने दिखाया कि ImprovEvolve++ ने वैश्विक संरचनात्मक पुनर्गठन (global structural rearrangements) किए, बिंदुओं को सर्च स्पेस के अलग-अलग क्षेत्रों में ले गया, जबकि अन्य वेरिएंट केवल स्थानीय समायोजन (local adjustments) करते थे।

सांख्यिकीय मजबूती

मल्टी-रन अध्ययनों ने पुष्टि की कि ImprovEvolve के सुधार GigaEvo बेसलाइन की तुलना में सांख्यिकीय रूप से महत्वपूर्ण ( $p < 0.05$ ) हैं, जो यह प्रमाणित करता है कि मॉड्यूलर अपघटन (decomposition) एक मोनोलिथिक ऑप्टिमाइज़र सीखने की तुलना में एक पुनरुत्पादक (reproducible) लाभ प्रदान करता है।

महत्व और दावे

पेपर का दावा है कि अनुकूलन कार्यों को मॉड्यूलर उप-समस्याओं में विभाजित करना LLM-निर्देशित खोज के लिए एक महत्वपूर्ण सिद्धांत है।

कम संज्ञानात्मक भार: इनिशियलाइज़ेशन, लोकल इम्प्रूवमेंट और पर्टरबेशन को अलग करके, LLM गणितीय संरचना और ह्यूरिस्टिक्स को एनकोड करने पर ध्यान केंद्रित करता है, न कि पूरे खोज प्रक्रिया को ऑर्केस्ट्रेट करने पर।
मानव-LLM सहयोग: मॉड्यूलर इंटरफ़ेस डोमेन विशेषज्ञों को लक्षित, न्यूनतम संपादन (जैसे, ऑप्टिमाइज़र बदलना, रेजोल्यूशन शेड्यूल को एडजस्ट करना) लागू करने की अनुमति देता है, जिससे प्रदर्शन में उल्लेखनीय वृद्धि होती है, जो LLM-जनरेटेड कोड और विशेषज्ञ-स्तरीय ट्यूनिंग के बीच के अंतर को पाटता है।
सामान्यीकरण: improve/perturb इंटरफ़ेस विकसित प्रोग्राम को अनदेखी समस्या आकारों के लिए सामान्यीकरण करने और विशेषज्ञ-प्रदान किए गए समाधानों से अनुकूलन को फिर से शुरू करने में सक्षम बनाता है, जो मोनोलिथिक एंड-टू-एंड प्रोग्रामों की भंगुरता (brittleness) को दूर करता है।

लेखक इस कार्य को LLM-संचालित गणितीय खोज को स्केल करने की दिशा में एक कदम के रूप में देखते हैं, यह सुझाव देते हुए कि भविष्य के सिस्टमों को ऐसे अनुकूलित अपघटन को एजेंटिक वर्कफ़्लो के साथ जोड़ना चाहिए जो स्वायत्त रूप से यह निर्णय ले सकें कि किन मॉड्यूल को रिफाइन करना है। पेपर अपनी व्यापक सामान्यीकरण क्षमता के संबंध में विनम्र रहता है, यह नोट करते हुए कि मात्रात्मक मूल्यांकन वर्तमान में इन तीन विशिष्ट अनुकूलन डोमेन तक सीमित है।