💬 NLP

PathWise: Planning through World Model for Automated Heuristic Design via Self-Evolving LLMs

पाथवाइज़ (PathWise) एक नवीन मल्टी-एजेंट फ्रेमवर्क है जो कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन के लिए स्वचालित ह्यूरिस्टिक डिज़ाइन को एक एंटेलमेंट ग्राफ़ (entailment graph) पर स्टेट-अवेयर अनुक्रमिक निर्णय लेने वाले कार्य के रूप में स्वरूपित करके उन्नत करता है, जिससे यहतात्मक ट्रायल-एंड-एरर (trial-and-error) को तेज़ अभिसरण और बेहतर सामान्यीकरण प्राप्त करने के लिए रणनीतिक योजना और स्व-विकसित तर्क से बदल देता है।

मूल लेखक: Oguzhan Gungordu, Siheng Xiong, Faramarz Fekri

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Oguzhan Gungordu, Siheng Xiong, Faramarz Fekri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ PathWise पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी तस्वीर: एक रोबोट को बेहतर नियम बनाना सिखाना

कल्पना कीजिए कि आपके पास एक बहुत बड़ी, उलझी हुई पहेली है (जैसे 'ट्रैवलिंग सेल्समैन प्रॉब्लम', जहाँ एक डिलीवरी ड्राइवर को 100 शहरों की यात्रा करने के लिए सबसे छोटा रास्ता खोजना होता है)। इसे हल करने के लिए, इंसान आमतौर पर "नियम" (heuristics) लिखते हैं ताकि कंप्यूटर को यह बताया जा सके कि अगला शहर कैसे चुनना है।

लंबे समय से, कंप्यूटर इन नियमों को स्वचालित रूप से लिखने की कोशिश कर रहे हैं लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करके—वही तरह का AI जो निबंध या कोड लिखता है। हालाँकि, पिछले तरीके एक ऐसे शेफ की तरह थे जो एक बर्तन में यादृच्छिक (randomly) रूप से सामग्रियाँ फेंककर, उन्हें चखकर और इस उम्मीद में नई रेसिपी बनाने की कोशिश करता था कि वह अच्छी बनेगी। वे अक्सर गलतियाँ दोहराते थे, यह भूल जाते थे कि पहले क्या काम आया था, या एक ही खराब विचारों को बार-बार आज़माने में अटके रहते थे।

PathWise एक नया सिस्टम है जो इस प्रक्रिया को बदल देता है। रैंडम अंदाज़े लगाने के बजाय, यह एक स्मार्ट, आत्म-चिंतन करने वाले आर्किटेक्ट की तरह काम करता है जो बेहतर नियम डिज़ाइन करने के लिए अपनी खुद की सोचने की प्रक्रिया का एक नक्शा बनाता है।

मुख्य समस्या: पिछले AI की "भूलने की बीमारी" (Amnesia)

पेपर का तर्क है कि इन नियमों को डिज़ाइन करने के लिए पिछले AI तरीकों में दो मुख्य कमियाँ थीं:

वे अतीत को भूल जाते थे: उन्होंने हर नए प्रयास को ऐसे माना जैसे कि वह पहली बार हो रहा हो, जिससे पिछले विफल प्रयासों से मिले सबक अनदेखे रह जाते थे।
वे अंधे थे: वे यह नहीं समझते थे कि कोई नियम क्यों काम कर रहा था या क्यों विफल हुआ; वे केवल अंतिम स्कोर देखते थे।

इससे "मायोपिक" (निकट-दृष्टि वाले) परिणाम मिले, जहाँ AI ने एक ही खराब विचारों को दोबारा खोजने में अपना समय बर्बाद किया।

समाधान: PathWise ("वर्ल्ड मॉडल" दृष्टिकोण)

PathWise इसे एक सेव फ़ाइल (save file) वाले वीडियो गेम की तरह मानकर हल करता है। यह एंटेलमेंट ग्राफ (Entailment Graph) नामक एक विशेष संरचना का उपयोग करता है।

एंटेलमेंट ग्राफ को विचारों का वंशावली वृक्ष (family tree) समझें:

नोड्स (लोग): प्रत्येक नोड एक विशिष्ट नियम (heuristic) है जिसे AI ने बनाया है।
एजेस (संबंध): उन्हें जोड़ने वाली रेखाएँ दिखाती हैं कि एक नियम दूसरे से कैसे बनाया गया था। क्या AI ने दो विचारों को मिलाया? क्या उसने एक में थोड़ा बदलाव किया?
मेमोरी (स्मृति): यह ग्राफ पूरे इतिहास को याद रखता है। इसे पता है कि "नियम B" वास्तव में "नियम A" का एक थोड़ा बेहतर संस्करण था, और "नियम C" इसलिए विफल हुआ क्योंकि इसने ट्रैफिक पैटर्न को अनदेखा कर दिया था।

यह कैसे काम करता है: तीन-एजेंट टीम

PathWise केवल एक AI का उपयोग नहीं करता है; यह तीन विशिष्ट एजेंटों की एक टीम का उपयोग करता है जो एक फिल्म प्रोडक्शन क्रू की तरह मिलकर काम करते हैं:

1. डायरेक्टर (पॉलिसी एजेंट)

भूमिका: यह एजेंट "वंशावली वृक्ष" (ग्राफ) को देखता है और अगला कदम तय करता है।
क्रिया: यह चुनता है कि किन पिछले नियमों को 'पैरेंट' के रूप में उपयोग करना है और एक "स्क्रिप्ट" (निर्देश) लिखता है जो अगले एजेंट को बताता है कि उन्हें कैसे मिलाना है।
उपमा: कल्पना कीजिए कि एक डायरेक्टर स्टोरीबोर्ड को देख रहा है और कह रहा है, "चलिए सीन 3 की लाइटिंग और सीन 5 का कैमरा एंगल लेते हैं, लेकिन इसे थोड़ा और डार्क बनाते हैं।"

2. एक्टर (वर्ल्ड मॉडल एजेंट)

भूमिका: यह एजेंट डायरेक्टर की स्क्रिप्ट लेता है और वास्तव में कोड (नया नियम) लिखता है।
क्रिया: यह निर्देशों के आधार पर वास्तविक कंप्यूटर प्रोग्राम बनाता है।
उपमा: यह वह एक्टर है जो स्क्रिप्ट पढ़ता है और सीन को परफॉर्म करता है। यह डायरेक्टर के विज़न को जीवंत करने की कोशिश करता है।

3. क्रिटिक (क्रिटिक एजेंट्स)

भूमिका: ये एजेंट प्रदर्शन को देखते हैं और फीडबैक देते हैं।
क्रिया: ये नए नियम की तुलना पुराने नियमों से करते हैं। यदि नया नियम बेहतर है, तो वे डायरेक्टर को बताते हैं, "बहुत बढ़िया, इसे जारी रखें!" यदि यह बदतर है, तो वे कहते हैं, "वह लाइटिंग बहुत डार्क थी; कुछ और आज़माएँ।"
उपमा: ये फिल्म समीक्षक और डायरेक्टर के असिस्टेंट हैं। वे केवल "अच्छा" या "बुरा" नहीं कहते; वे समझाते हैं कि क्यों, ताकि डायरेक्टर अगली स्क्रिप्ट बेहतर बना सके।

गुप्त मंत्र: "स्टेट-अवेयर" प्लानिंग (State-Aware Planning)

PathWise की खासियत यह है कि यह केवल वर्तमान स्कोर को नहीं देखता। यह पूरी यात्रा को देखता है।

पुराना तरीका: "मैंने यह आज़माया, यह विफल रहा। चलिए कुछ बिल्कुल अलग आज़माते हैं।"
PathWise का तरीका: "मैंने यह आज़माया, यह इसलिए विफल हुआ क्योंकि मैंने अगले शहर की दूरी को अनदेखा कर दिया। मैंने वह भी आज़माया, और वह अच्छा काम कर रहा था। चलिए पहले प्रयास के 'डिस्टेंस लॉजिक' को दूसरे प्रयास के 'स्पीड लॉजिक' के साथ मिलाते हैं।"

इस "स्टेटफुल मेमोरी" को बनाए रखकर, PathWise गलतियों को दोहराने से बचता है और सफलताओं पर निर्माण करता है, जिससे तेज़ कन्वर्जेंस (बेहतम समाधान तक जल्दी पहुँचना) प्राप्त होता है।

परिणाम: तेज़ और स्मार्ट

पेपर ने विभिन्न जटिल पहेलियों (जैसे ट्रकों की रूटिंग, बॉक्स पैकिंग और ट्रैवलिंग सेल्समैन प्रॉब्लम) पर PathWise का परीक्षण किया।

गति: PathWise ने अन्य तरीकों की तुलना में कम प्रयासों में बेहतर समाधान खोजे। यह "फिनिश लाइन" तक तेज़ी से पहुँचा।
गुणवत्ता: इसके द्वारा बनाए गए नियम इंसानों या अन्य AI तरीकों द्वारा बनाए गए नियमों से बेहतर थे।
बहुमुखी प्रतिभा: यह विभिन्न प्रकार के AI मॉडल्स (बैकबोन) और विभिन्न आकार की समस्याओं के साथ अच्छी तरह से काम करता है।

सारांश उपमा

कल्पना कीजिए कि आप एक परफेक्ट सैंडविच बनाने की कोशिश कर रहे हैं।

पुराना AI: आप एक सैंडविच बनाते हैं, उसे खाते हैं, और यदि वह बुरा है, तो आप बिना यह याद रखे कि आपने उसमें क्या डाला था, उसे फेंक देते हैं और पूरी तरह से एक नया रैंडम सैंडविच बनाते हैं।
PathWise: आप एक रेसिपी जर्नल रखते हैं। जब आप एक सैंडविच बनाते हैं, तो आप ठीक से लिखते हैं कि आपने क्या किया। यदि स्वाद खराब है, तो आप जर्नल पढ़ते हैं, यह समझते हैं कि आपने बहुत अधिक नमक डाला था, और उसे नोट कर लेते हैं। अगली बार, आप एक "क्रिटिक" से अपने जर्नल की समीक्षा करने के लिए कहते हैं, और वे आपको बताते हैं, "सिर्फ अंदाज़ा न लगाएँ; मंगलवार वाली कम नमक वाली रेसिपी लें लेकिन सोमवार वाली चीज़ (cheese) जोड़ें।"

PathWise वह स्मार्ट रेसिपी जर्नल सिस्टम है, जो AI को जटिल समस्याओं के लिए बेहतर समाधान आविष्कार करने के लिए अपने इतिहास से सीखने की अनुमति देता है।

तकनीकी सारांश: PathWise

समस्या विवरण (Problem Statement)

ऑटोमेटेड ह्यूरिस्टिक डिज़ाइन (AHD) का लक्ष्य कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन प्रॉब्लम्स (COPs) के लिए ह्यूरिस्टिक एल्गोरिदम को स्वचालित रूप से उत्पन्न करना है, जिससे मैन्युअल, विशेषज्ञ-निर्मित डिज़ाइनों पर निर्भरता कम हो सके। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) ने हाल ही में इवोल्यूशनरी सर्च प्रक्रियाओं में एकीकरण करके AHD को सक्षम बनाया है, मौजूदा फ्रेमवर्क महत्वपूर्ण सीमाओं से ग्रस्त हैं। जनसंख्या-आधारित (Population-based) विधियाँ अक्सर निश्चित विकास नियमों और स्थिर प्रॉम्प्ट टेम्पलेट्स पर निर्भर करती हैं, जिससे अल्पदृष्टतापूर्ण (myopic) ह्यूरिस्टिक जनरेशन, अनावश्यक मूल्यांकन और समयपूर्व अभिसरण (premature convergence) होता है। ट्री-आधारित विधियाँ, जैसे कि मोंटे कार्लो ट्री सर्च (MCTS) का उपयोग करने वाली विधियाँ, प्रदर्शन सांख्यिकी के बजाय सिमेंटिक समझ द्वारा संचालित पदानुक्रमित संरचनाएं लागू करती हैं। महत्वपूर्ण रूप से, वर्तमान दृष्टिकोणों में इस बात का स्टेटफुल, सिमेंटिक प्रतिनिधित्व नहीं है कि ह्यूरिस्टिक्स कैसे प्राप्त किए जाते हैं, संपादन (edits) पीढ़ियों में कैसे प्रसारित होते हैं, या संशोधन क्यों सफल या विफल होते हैं। इसके परिणामस्वरूप LLM कॉल्स का अक्षम उपयोग होता है और पिछले निर्णयों को प्रभावी ढंग से आगे ले जाने में विफलता होती है।

कार्यप्रणाली (Methodology)

लेखक PathWise (Planning through World Model for Automated Heuristic Design via Self-Evolving LLMs) का प्रस्ताव करते हैं, जो एक एंटेलमेंट ग्राफ (entailment graph) पर एक नवीन मल्टी-एजेंट रीजनिंग फ्रेमवर्क है, जो ह्यूरिस्टिक जनरेशन को एक अनुक्रमिक निर्णय प्रक्रिया (sequential decision process) के रूप में स्वरूपित करता है। यह ग्राफ खोज प्रक्षेपवक्र (search trajectory) के एक संक्षिप्त, स्टेटफुल मेमोरी के रूप में कार्य करता है।

मुख्य घटक (Core Components)

एंटेलमेंट ग्राफ ( $G = (V, E)$ ):
- मानक इवोल्यूशनरी ट्री या पॉपुलेशन के विपरीत, एंटेलमेंट ग्राफ व्युत्पत्ति इतिहास (derivation history) को एनकोड करता है।
- नोड्स ( $v$ ): वे टुपल्स का प्रतिनिधित्व करते हैं जिनमें ह्यूरिस्टिक कोड ( $h$ ), एक नेचुरल-लैंग्वेज डेरिवेशन रैशनल ( $\kappa$ ), एक एल्गोरिद्मिक विवरण ( $d$ ), प्रदर्शन मेट्रिक्स ( $P(h; D)$ ), और पैरेंट मेटाडेटा ($PM$) शामिल हैं।
- एजेस ( $E$ ): पैरेंट सेट्स को चाइल्ड नोड्स से जोड़ते हैं, जो अपने पैरेंट्स से चाइल्ड को व्युत्पन्न करने के लिए उपयोग किए गए विशिष्ट तर्क (rationale) को एनकोड करते हैं।
- यह संरचना भविष्य के निर्णयों को केवल आइसोलेटेड सैंपलिंग इवेंट के बजाय व्युत्पत्ति इतिहास पर आधारित करने की अनुमति देती है।
मल्टी-एजेंट सिस्टम (Multi-Agent System):
यह फ्रेमवर्क दो टाइमस्केल (बाहरी जनसंख्या अपडेट और आंतरिक एंटेलमेंट स्टेप्स) में प्लानिंग, निष्पादन और रिफ्लेक्शन के एक समन्वित चक्र के माध्यम से संचालित होता है:
- पॉलिसी एजेंट ( $\pi_p$ ): एक उच्च-स्तरीय प्लानर के रूप में कार्य करता है। यह वर्तमान स्थिति (एंटेलमेंट ग्राफ फ्रंटियर) का अवलोकन करता है और चयनित पैरेंट नोड्स के टुपल ( $S$ ) और एक नेचुरल-लैंग्वेज डेरिवेशन रैशनल ( $\kappa$ ) द्वारा परिभाषित कार्यों का प्रस्ताव करता है। यह पॉलिसी को फिक्स्ड टेम्पलेट्स पर निर्भर रहने के बजाय गतिशील रूप से नए ऑपरेटर प्रकारों को आविष्कार करने की अनुमति देता है।
- वर्ल्ड मॉडल एजेंट ( $\pi_{wm}$ ): एक लो-लेवल एक्सेक्यूटर के रूप में कार्य करता है। यह पॉलिसी के उच्च-स्तरीय कार्यों को चयनित पैरेंट्स और निर्देश के आधार पर निष्पादन योग्य ह्यूरिस्टिक कोड (रोलआउट्स) में अनुवादित करता है।
- क्रिटिक एजेंट्स (Critic Agents):
  - पॉलिसी क्रिटिक ( $\pi_{p\_critic}$ ): पॉलिसी कार्यों (पैरेंट सिलेक्शन और डायरेक्टिव्स) के परिणामों का विश्लेषण करता है ताकि भविष्य की इवोल्यूशनरी रणनीतियों को निर्देशित करने के लिए रूटेड रिफ्लेक्शन प्रदान किया जा सके।
  - वर्ल्ड मॉडल क्रिटिक ( $\pi_{wm\_critic}$ ): कोड सिंथेसिस की गुणवत्ता पर फीडबैक देने के लिए सर्वश्रेष्ठ और सबसे खराब प्रदर्शन करने वाले ह्यूरिस्टिक रोलआउट्स की तुलना करता है, जिससे वर्ल्ड मॉडल को एल्गोरिद्मिक संरचना और दक्षता को रिफाइन करने में मार्गदर्शन मिलता है।
खोज प्रक्रिया (Search Process):
- आउटर लूप (Outer Loop): रूट नोड्स की एक जनसंख्या बनाए रखता है।
- इनर लूप (Inner Loop): वर्तमान जनसंख्या से रूटेड एक एंटेलमेंट ग्राफ को क्रमिक रूप से बनाता है। प्रत्येक चरण में, सिस्टम कई एक्शन और रोलआउट्स को सैंपल करता है, सर्वश्रेष्ठ परिणामी नोड का चयन करता है, और ग्राफ को अपडेट करता है।
- विविधता तंत्र (Diversity Mechanisms): कम-विविधता वाले आउटपुट को रोकने के लिए, PathWise प्रॉम्प्ट-लेवल डायवर्सिटी (एक्सप्लोरेटरी वाक्यांशों के साथ प्रॉम्प्ट को विक्षेपित करना) और स्टेट शफलिंग (पोजीशनल बायस को कम करने के लिए नोड ऑर्डर को रैंडमाइज करना) का उपयोग करता है।

मुख्य योगदान (Key Contributions)

हाइब्रिड ग्राफ-पॉपुलेशन फॉर्मूलेशन: लेखक एक ऐसा फॉर्मूलेशन पेश करते हैं जहाँ एक एंटेलमेंट ग्राफ व्युत्पत्ति तर्क (derivation rationale) और प्रदर्शन इतिहास को एनकोड करता है, जो पॉलिसी और वर्ल्ड मॉडल इंटरैक्शन के लिए एक साझा स्टेट के रूप में कार्य करता है।
समन्वित मल्टी-एजेंट फ्रेमवर्क: एक ऐसा सिस्टम जहाँ एक पॉलिसी एजेंट इवोल्यूशनरी रणनीति को नियंत्रित करता है, एक वर्ल्ड मॉडल कोड जनरेशन को निष्पादित करता है, और क्रिटिक एजेंट्स रूटेड रिफ्लेक्शन प्रदान करते हैं, जो LLM पैरामीटर्स को अपडेट किए बिना स्व-विकसित (self-evolving), स्टेट-अवेयर ह्यूरिस्टिक जनरेशन को सक्षम बनाता है।
प्रॉम्प्ट-लेवल डायवर्सिटी: पैरेंट सिलेक्शन और ह्यूरिस्टिक रोलआउट्स में विविधता सुनिश्चित करने के लिए तंत्र, जो एंटेलमेंट ग्राफ पर व्यापक अन्वेषण (exploration) को सक्षम बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न COPs पर विविध समस्या आकारों के लिए मजबूत ह्यूरिस्टिक्स खोजने, तेजी से अभिसरण करने और प्रभावी ढंग से स्केल करने की क्षमता प्रदर्शित करने वाले व्यापक प्रयोग।

प्रयोगात्मक परिणाम (Experimental Results)

PathWise का मूल्यांकन कई NP-hard COPs पर किया गया, जिसमें ट्रैवलिंग सेल्समैन प्रॉब्लम (TSP), नैपसैक प्रॉब्लम (KP), कैपेसिटेटेड व्हीकल रूटिंग प्रॉब्लम (CVRP), मल्टीपल नैपसैक प्रॉब्लम (MKP), ओरिएंटियरिंग प्रॉब्लम (OP), और बिन पैकिंग प्रॉब्लम (BPP) शामिल हैं। इसे तीन सर्च प्रतिमानों (paradigms) पर टेस्ट किया गया: स्टेप-बाय-स्टेप कंस्ट्रक्शन, एंट कॉलोनी ऑप्टिमाइज़ेशन (ACO), और गाइडेड लोकल सर्च (GLS)।

प्रदर्शन: PathWise ने लगातार अत्याधुनिक LLM-आधारित AHD बेसलाइन्स (FunSearch, EoH, ReEvo, HSEvo, MCTS-AHD) और मैन्युअल रूप से डिज़ाइन किए गए ह्यूरिस्टिक्स को पछाड़ दिया। इसने इन-डोमेन और आउट-ऑफ-डोमेन टेस्ट सेट्स पर लोअर ऑप्टिमलिटी गैप हासिल किया।
दक्षता: PathWise बेहतर ह्यूरिस्टिक्स तक तेजी से अभिसरित हुआ। कई प्रयोगों में, PathWise ने केवल 500 मूल्यांकनों के साथ श्रेष्ठ प्रदर्शन प्राप्त किया, जबकि बेसलाइन्स को 1000 मूल्यांकनों की अनुमति दी गई थी।
स्केलेबिलिटी: विधि ने बड़े समस्या आकारों (जैसे, $N=200$ के साथ TSP, $N=500$ के साथ KP) और विभिन्न LLM बैकबोन (विभिन्न रीजनिंग स्तरों के साथ GPT-4o-mini, GPT-5-nano) के लिए मजबूत सामान्यीकरण (generalization) प्रदर्शित किया।
एब्लेशन स्टडीज (Ablation Studies): क्रिटिक एजेंट्स या डायवर्सिटी मैकेनिज्म को हटाने से प्रदर्शन में काफी गिरावट आई, जो स्टेट-अवेयर फीडबैक और एक्सप्लोरेशन की आवश्यकता की पुष्टि करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि PathWise "ट्रायल-एंड-एरर इवोल्यूशन" से "रीजनिंग के माध्यम से स्टेट-अवेयर प्लानिंग" की ओर एक बदलाव का प्रतिनिधित्व करता है। एंटेलमेंट ग्राफ पर ह्यूरिस्टिक डिस्कवरी को एक अनुक्रमिक निर्णय प्रक्रिया के रूप में मानकर, सिस्टम पिछली पीढ़ियों में से व्युत्पत्ति जानकारी को आगे ले जा सकता है या उसका पुन: उपयोग कर सकता है या उसे छोड़ सकता है।

लेखक इस बात पर जोर देते हैं कि PathWise ट्रेनिंग-फ्री है क्योंकि यह LLM पैरामीटर्स को अपडेट नहीं करता है; इसके बजाय, यह नेचुरल-लैंग्वेज रिफ्लेक्शन के माध्यम से सुदृढ़ (reinforced) किए गए LLMs के प्री-ट्रेंड ज्ञान का लाभ उठाता है। इसका महत्व मौजूदा AHD विधियों की अल्पदृष्टता (myopia) को दूर करने में निहित है, जो खोज प्रक्रिया की एक स्ट्रक्चर्ड मेमोरी प्रदान करके, रेडंडेंट मूल्यांकनों को कम करता है और जटिल कॉम्बिनेटोरियल समस्याओं के लिए उच्च-गुणवत्ता वाले ह्यूरिस्टिक्स की प्रभावी खोज को सक्षम करता है। यह कार्य सुझाव देता है कि जटिल एल्गोरिदम डिजाइन के लिए स्ट्रक्चर्ड रीजनिंग, जो व्युत्पत्ति इतिहास पर आधारित है, एक महत्वपूर्ण घटक है।