🔢 mathematics

TreeDQN: Sample-Efficient Off-Policy Reinforcement Learning for Combinatorial Optimization

यह शोध पत्र TreeDQN का प्रस्ताव करता है, जो एक सैंपल-एफिशिएंट ऑफ-पॉलिसी सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) विधि है जो अपेक्षित प्रतिफल के ज्यामितीय माध्य को अनुकूलित करती है और एक संकुचन गुण प्रमाण (कॉन्ट्रैक्शन प्रॉपर्टी प्रूफ) द्वारा सैद्धांतिक रूप से पुष्ट है, जो इसे कॉम्बिनेटरियल ऑप्टिमाइज़ेशन कार्यों पर प्रशिक्षण गति और प्रदर्शन दोनों में मौजूदा ऑन-पॉलिसी दृष्टिकोणों से काफी बेहतर प्रदर्शन करने में सक्षम बनाता है।

मूल लेखक: D. Sorokin, A. Kostin, L. Savchenko, G. Gusev, A. V. Savchenko

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: D. Sorokin, A. Kostin, L. Savchenko, G. Gusev, A. V. Savchenko

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "अनंत भूलभुलैया" (The Endless Maze)

कल्पना कीजिए कि आप एक बहुत बड़ी और जटिल पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि एक गोदाम को व्यवस्थित करना या उड़ानों का समय तय करना। कंप्यूटर की दुनिया में, इसे कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन (Combinatorial Optimization) कहा जाता है।

इन पहेलियों को हल करने के लिए, कंप्यूटर ब्रांच-एंड-बाउंड (Branch-and-Bound) नामक एक विधि का उपयोग करते हैं। इसे एक जासूस के रूप में सोचें जो एक विशाल, शाखाओं वाली भूलभुलैया में संदिग्ध को खोजने की कोशिश कर रहा है।

जासूस प्रवेश द्वार (रूट/root) से शुरू करता है।
हर चौराहे पर, उसे चुनना होता है कि कौन सा रास्ता लेना है (एक "शाखा" या branch)।
यदि वह गलत रास्ता चुन लेता है, तो उसे ऐसे मृत अंत (dead end) पर जाना पड़ सकता है जिसे यह समझने में घंटों लग सकते हैं कि वह रास्ता बेकार है।
लक्ष्य कम से कम रास्तों का पता लगाकर निकास (इष्टतम समाधान) खोजना है।

समस्या यह है कि "जासूस" (कंप्यूटर सॉल्वर) आमतौर पर यह तय करने के लिए एक कठोर, पहले से लिखे गए नियम (हीयुरिस्टिक/heuristic) का पालन करता है। कभी-कभी यह नियम अच्छा होता है, लेकिन अक्सर यह अक्षम होता है, जिससे कंप्यूटर भूलभुलैया के विशाल, बेकार हिस्सों को खोजने में समय बर्बाद कर देता है।

पुराना समाधान: प्रयास और त्रुटि से सीखना (On-Policy)

शोधकर्ताओं ने बेहतर निर्णय लेने के लिए कंप्यूटर को रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करके सिखाने की कोशिश की। कल्पना कीजिए कि एक छात्र भूलभुलैया में रास्ता खोजना सीख रहा है।

पुराना तरीका (On-Policy): छात्र एक रास्ता आज़माता है, देखता है कि क्या वह काम करता है, और फिर सीखने के लिए तुरंत फिर से शुरुआत से प्रयास करता है। यदि वह गलती करता है, तो उसे सीखने के लिए पूरी भूलभulैया को फिर से शुरू करना पड़ता है।
दोष: यह अविश्वसनीय रूप से धीमा है। यह कार चलाने को सीखने के बाद क्रैश करने, बाहर निकलने, वापस शुरुआत तक पैदल चलने और फिर से कोशिश करने जैसा है। एक अच्छा रास्ता सीखने के लिए हजारों क्रैश (और हजारों घंटों के कंप्यूटर समय) की आवश्यकता होती है।

नया समाधान: TreeDQN (एक "स्मार्ट नोट-टेकर")

इस पेपर के लेखकों ने TreeDQN बनाया है। इसे एक ऐसे छात्र के रूप में सोचें जो अपने द्वारा आजमाए गए हर एक रास्ते का विस्तृत डायरी (नोट) रखता है, चाहे वह अच्छा हो या बुरा।

यहाँ बताया गया है कि TreeDQN कैसे काम करता है, इसे तीन सरल विचारों में विभाजित किया गया है:

1. "एक्सपीरियंस रिप्ले" (Experience Replay - Off-Policy Learning)

गलती को भूलकर और फिर से शुरू करने के बजाय, TreeDQN अपने द्वारा लिए गए हर निर्णय को एक विशाल मेमोरी बैंक ("रिप्ले बफर") में सहेज लेता है।

उपमा: कल्पना कीजिए कि एक शेफ हर उस रेसिपी को लिख लेता है जो उसने आजमाई थी, यहाँ तक कि वे भी जो खराब स्वाद वाली थीं। बाद में, वह अपनी किताब पलट सकता है, एक पुरानी रेसिपी चुन सकता है, और सोच सकता है, "ओह, मैं समझ गया कि यह क्यों विफल हुई, मैं अब ऐसा नहीं करूँगा।"
परिणाम: कंप्यूटर बहुत तेज़ी से सीखता है क्योंकि वह पुराने डेटा का पुन: उपयोग कर सकता है। उसे हर बार सीखने के लिए पूरी पहेली को शून्य से हल करने की आवश्यकता नहीं होती है। पेपर का दावा है कि यह पुराने तरीकों की तुलना में प्रशिक्षण को 10 गुना तेज़ बनाता है।

2. "जियोमेट्रिक मीन" ट्रिक (लॉन्ग टेल को संभालना)

इन पहेलियों में, अधिकांश रास्ते छोटे होते हैं, लेकिन कभी-कभी एक बुरा निर्णय एक ऐसे रास्ते की ओर ले जाता है जो विशाल (औसत से हजारों गुना लंबा) होता है।

समस्या: यदि आप अपने परिणामों का औसत निकालकर सीखने की कोशिश करते हैं (जैसे कक्षा की औसत ऊंचाई की गणना करना), तो एक विशाल रास्ता पूरे औसत को बिगाड़ सकता है, जिससे छात्र भ्रमित हो सकता है। यह वैसा ही है जैसे यदि किसी कमरे में एक व्यक्ति बहुत लंबा हो, तो "औसत" ऊंचाई भ्रामक होगी।
समाधान: TreeDQN एक विशेष गणितीय ट्रिक का उपयोग करता है जिसे जियोमेट्रिक मीन (Geometric Mean) कहा जाता है (MSLE नामक विशिष्ट लॉस फंक्शन का उपयोग करके)।
उपमा: यह पूछने के बजाय कि "भूलभुलैया का औसत आकार क्या है?", यह पूछता है कि "भूलभुलैया का सामान्य आकार क्या है?" यह उन दुर्लभ, विशाल आउटलेर्स (outliers) को अनदेखा कर देता है जो अन्यथा सीखने की प्रक्रिया को भ्रमित कर सकते थे। यह प्रशिक्षण को स्थिर करता है, ताकि कंप्यूटर दुर्लभ, बड़ी गलतियों से परेशान न हो।

3. "ट्री मैप" (Tree MDP)

अधिकांश AI रैखिक कहानियों (स्टेप 1 $\to$ स्टेप 2 $\to$ स्टेप 3) के लिए डिज़ाइन किए गए हैं। लेकिन ब्रांच-एंड-बाउंड विधि एक पेड़ (tree) है (स्टेप 1 से स्टेप 2A और स्टेप 2B में विभाजन होता है)।

नवाचार: लेखकों ने गणितीय रूप से सिद्ध किया कि आप इस ब्रांचिंग ट्री को सीखने के लिए एक मानक मानचित्र की तरह मान सकते हैं। उन्होंने दिखाया कि "बेलमैन ऑपरेटर" (गणितीय इंजन जो सीखने को संचालित करता है) इन पेड़ों पर पूरी तरह से काम करता है। यह उन्हें इस विशिष्ट प्रकार की समस्या पर शक्तिशाली AI उपकरणों का उपयोग करने का आत्मविश्वास देता है।

परिणाम: दौड़ में कौन जीता?

शोधकर्ताओं ने दो प्रकार की चुनौतियों पर TreeDQN का परीक्षण किया:

सिंथेटिक कार्य (Synthetic Tasks): "सेट कवर" (Set Cover) और "नैपसैक" (Knapsack - बैग में सामान भरना) जैसी काल्पनिक पहेलियाँ।
वास्तविक दुनिया की चुनौती: ML4CO प्रतियोगिता, जिसमें "बैलेंस्ड आइटम प्लेसमेंट" (डिस्कों पर फाइलों को समान रूप से वितरित करना) नामक एक वास्तविक दुनिया की समस्या शामिल थी।

परिणाम:

गति: TreeDQN ने पिछले AI तरीकों की तुलना में नियमों को बहुत तेज़ी से सीखा।
प्रदर्शन: वास्तविक दुनिया की प्रतियोगिता कार्य पर, TreeDQN ने मौजूदा सर्वश्रेष्ठ AI तरीकों को हरा दिया और यहाँ तक कि मानक "इमिटेशन लर्निंग" (जो केवल एक मानव विशेषज्ञ की नकल करता है) से भी बेहतर प्रदर्शन किया।
दक्षता: इसने केवल 500 प्रशिक्षण एपिसोड का उपयोग करके ये परिणाम प्राप्त किए, जबकि अन्य तरीकों को हजारों की आवश्यकता थी।

सारांश

TreeDQN कंप्यूटर को जटिल पहेलियों को कुशलतापूर्वक हल करना सिखाने का एक नया तरीका है।

यह पुराने डेटा को भूलने के बजाय पिछली गलतियों को याद रखता है (Off-Policy)।
यह उन दुर्लभ, बड़ी गलतियों को अनदेखा करने के लिए विशेष गणित का उपयोग करता है जो अन्य AI को भ्रमित कर सकती हैं (Geometric Mean)।
यह पहेली को एक सीधी रेखा के बजाय एक पेड़ (tree) के रूप में मानता है, जो इस तरह से काम करता है जैसे कंप्यूटर वास्तव में इसे हल करता है।

परिणामस्वरूप, एक ऐसा कंप्यूटर जो इन पहेलियों को पहले से कहीं अधिक तेज़ी से, कम डेटा के साथ और अधिक विश्वसनीयता के साथ हल करना सीखता है।

तकनीकी सारांश: कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन के लिए TreeDQN

समस्या विवरण

कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन कार्यों, विशेष रूप से मिक्स्ड इंटीजर लीनियर प्रोग्राम्स (MILP), को अक्सर ब्रांच-एंड-बाउंड (B&B) एल्गोरिदम का उपयोग करके हल किया जाता है। B&B की दक्षता दो निर्णय लेने वाली प्रक्रियाओं पर अत्यधिक निर्भर करती है: नोड चयन (यह चुनना कि अगले उप-समस्या का मूल्यांकन कब किया जाए) और वेरिएबल चयन (यह चुनना कि किस वेरिएबल को विभाजित किया जाए)। हालांकि मानव-निर्मित ह्यूरिस्टिक्स (जैसे स्ट्रॉन्ग ब्रांचिंग) मौजूद हैं, वे अक्सर गणनात्मक रूप से महंगे होते हैं या विशिष्ट कार्य वितरण के अनुकूल नहीं होते हैं।

रीइन्फोर्समेंट लर्निंग (RL) इष्टतम ब्रांचिंग नियमों को सीखने का एक मार्ग प्रदान करती है। हालांकि, B&B पर मानक RL लागू करना गैर-मामूली है क्योंकि B&B प्रक्रिया एक वृक्ष संरचना (tree structure) उत्पन्न करती है न कि एक रैखिक अनुक्रम। मानक टेम्पोरल मार्कोव डिसीजन प्रोसेस (MDPs) एक एक्शन के लिए एक अगले स्टेट की धारणा रखते हैं, जबकि B&B ब्रांचिंग कई चाइल्ड नोड्स बनाती है। मौजूदा दृष्टिकोणों ने इसे एक ट्री MDP (tMDP) के रूप में मॉडल करने में महत्वपूर्ण चुनौतियों का सामना किया है:

सैंपल अक्षमता (Sample Inefficiency): ऑन-पॉलिसी विधियाँ (जैसे tMDP+DFS) प्रत्येक ग्रेडिएंट स्टेप के लिए नए MILP इंस्टेंस को हल करने की आवश्यकता रखती हैं, जिससे प्रशिक्षण का समय अत्यधिक लंबा हो जाता है।
उच्च विचरण (High Variance): परिणामी ट्री साइज का वितरण लॉन्ग-टेल्ड होता है जिसमें अत्यधिक उच्च विचरण होता है। अंकगणितीय माध्य (मानक MSE लॉस) को ऑप्टिमाइज़ करना दुर्लभ, अत्यंत बड़े पेड़ों के प्रति संवेदनशील है, जिससे अस्थिर प्रशिक्षण और खराब सामान्यीकरण (generalization) होता है।
सैद्धांतिक अभिसरण (Convergence) का अभाव: ट्री MDPs के संदर्भ में बेलमैन ऑपरेटर्स के अभिसरण को सिद्ध करने वाला कोई कठोर सैद्धांतिक प्रमाण नहीं था।

कार्यप्रणाली: TreeDQN

लेखक TreeDQN प्रस्तावित करते हैं, जो ट्री MDPs के लिए अनुकूलित एक सैंपल-एफिशिएंट, ऑफ-पॉलिसी डीप Q-नेटवर्क है। यह विधि तीन मुख्य तकनीकी घटकों को एकीकृत करती है:

1. एक्सपीरियंस रिप्ले के साथ ऑफ-पॉलिसी लर्निंग

उन ऑन-पॉलिसी विधियों के विपरीत जो एक एकल अपडेट के बाद डेटा को हटा देती हैं, TreeDQN एक एक्सपीरियंस रिप्ले बफर का उपयोग करता है। यह ट्रांजिशन को $(s_t, a_t, r_t, s^+_{t+1}, s^-_{t+1})$ के रूप में संग्रहीत करता है, जहाँ $s^+$ और $s^-$ ब्रांचिंग एक्शन द्वारा उत्पन्न बाएँ और दाएँ चाइल्ड नोड्स का प्रतिनिधित्व करते हैं। यह एजेंट को पिछले अनुभवों से सीखने की अनुमति देता है, जिससे प्रशिक्षण के दौरान आवश्यक MILP समाधानों की संख्या काफी कम हो जाती है।

2. सैद्धांतिक औचित्य: मीन में कॉन्ट्रैक्शन (Contraction in Mean)

एक ट्री संरचना में बेलमैन बैकअप के उपयोग का समर्थन करने के लिए, लेखक सिद्ध करते हैं कि ट्री बेलमैन ऑपरेटर मीन में कॉन्ट्रैक्टिंग (contracting in mean) है।

परिभाषा: एक ऑपरेटर $T$ मीन में कॉन्ट्रैक्टिंग है यदि $\|TV - TU\|_\infty = p \cdot \|V - U\|_\infty$ जहाँ अपेक्षित मान $E[p] < 1$ है।
प्रूफ लॉजिक: एक परिमित रूटेड ट्री में, किनारों (edges) की संख्या नोड्स की संख्या से एक कम होती है। फलस्वरूप, प्रति नोड अपेक्षित चाइल्ड नोड्स की संख्या $(K-1)/K < 1$ है। यह सुनिश्चित करता है कि, औसतन, बेलमान ऑपरेटर वैल्यू फंक्शन को कॉन्ट्रैक्ट करता है, जो इस विशिष्ट सेटिंग में Q-लर्निंग अपडेट के अभिसरण के लिए एक सैद्धांतिक आधार प्रदान करता है।
सुधार: पेपर एक स्टेट-डिपेंडेंट ब्रांचिंग के लिए भी एक प्रस्ताव प्रदान करता है, जो दिखाता है कि यदि अधिकतम अपेक्षित ब्रांचिंग फैक्टर $p_{max}$ इस प्रकार है कि $\gamma p_{max} < 1$ , तो ऑपरेटर सुप-नॉर्म (sup-norm) में एक कॉन्ट्रैक्शन है।

3. लॉस फंक्शन: ज्योमेट्रिक मीन को ऑप्टिमाइज़ करना

यह पहचानते हुए कि ट्री साइज लॉन्ग-टेल्ड वितरण का पालन करते हैं, लेखक तर्क देते हैं कि अंकगणितीय माध्य (MSE के माध्यम से) को ऑप्टिमाइज़ करना उप-इष्टतम है। इसके बजाय, वे मीन स्क्वेर्ड लॉगरिदमिक एरर (MSLE) को कम करने का प्रस्ताव करते हैं।

तंत्र: लॉस फंक्शन को $L(y, t) = \frac{1}{B} \sum (\log|y| - \log|t|)^2$ के रूप में परिभाषित किया गया है।
प्रभाव: MSLE को कम करना अपेक्षित रिटर्न के ज्योमेट्रिक मीन को ऑप्टिमाइज़ करने के बराबर है। यह लक्ष्यों (targets) की डायनेमिक रेंज को संकुचित करता है, जिससे दुर्लभ, अत्यंत बड़े पेड़ों (आउटलेयर्स) के प्रति संवेदनशीलता कम होती है और प्रशिक्षण प्रक्रिया स्थिर होती है।
कार्यान्वयन: Q-नेटवर्क बड़े रेंज को संख्यात्मक रूप से संभालने के लिए एक एक्सपोनेंशियल एक्टिवेशन फंक्शन ( $f = -\exp(\cdot)$ ) का उपयोग करता है। टारगेट वैल्यू को $r - \exp(Q_{target}(s^+)) - \exp(Q_{target}(s^-))$ के रूप में कंप्यूट किया जाता है, और लॉस को इन मानों के लॉग पर कैलकुलेट किया जाता है।

मुख्य योगदान

एल्गोरिदम प्रस्ताव: TreeDQN का परिचय, जो B&B में वेरिएबल सिलेक्शन के लिए पहला सफल ऑफ-पॉलिसी RL एल्गोरिदम है जो ट्री संरचनाओं के लिए अनुकूलित एक्सपीरियंस रिप्ले का उपयोग करता है।
सैद्धांतिक योगदान: यह प्रमाण कि ट्री MDPs के लिए बेलमैन ऑपरेटर मीन में कॉन्ट्रैक्टिंग है, जो इस विशिष्ट वर्ग की समस्याओं के लिए पहला सैद्धांतिक अभिसरण गारंटी प्रदान करता है।
लॉस फंक्शन नवाचार: एक MSLE-आधारित लॉस फंक्शन का विकास जो रिटर्न के ज्योमेट्रिक मीन को ऑप्टिमाइज़ करता है, जो ट्री साइज वितरण के उच्च विचरण को प्रभावी ढंग से संभालता है और प्रशिक्षण को स्थिर करता है।
अनुभवजन्य प्रदर्शन: TreeDQN मौजूदा ऑन-पॉलिसी विधियों की तुलना में 10 गुना कम ट्रेनिंग डेटा की आवश्यकता रखता है और सिंथेटिक एवं व्यावहारिक बेंचमार्क दोनों पर स्टेट-ऑफ-द-आर्ट तकनीकों से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

सिंथेटिक कार्य

लेखकों ने पांच NP-हार्ड कार्यों पर TreeDQN का मूल्यांकन किया: कॉम्बिनेटोरियल ऑक्शन, सेट कवर, मैक्सिमम इंडिपेंडेंट सेट, फैसिलिटी लोकेशन, और मल्टीपल नैपसैक।

प्रशिक्षण दक्षता: TreeDмDQN ने ऑन-पॉलिसी बेसलाइन्स (tMDP+DFS) और ऑफ-पॉलिसी बेसलाइन्स (FMSTS) की तुलना में अपने बेस्ट चेकपॉइंट को काफी तेजी से प्राप्त किया। उदाहरण के लिए, सेट कवर कार्य पर, TreeDQN को 800 एपिसोड की आवश्यकता थी जबकि FMSTS के लिए 3,000 और tMDP+DFS के लिए 30,000 की।
प्रदर्शन: TreeDQN ने स्ट्रॉन्ग ब्रांचिंग, इमिटेशन लर्निंग (IL), और अन्य RL विधियों की तुलना में कम ज्योमेट्रिक मीन ट्री साइज और निष्पादन समय प्राप्त किया।
सांख्यिकीय महत्व: विल्कोक्सन साइन्ड-रैंक टेस्ट ने पुष्टि की कि अधिकांश कार्यों में TreeDQN का प्रदर्शन बेसलाइन्स की तुलना में सांख्यिकीय रूप से महत्वपूर्ण सुधार दिखाता है।
ट्रांसफर लर्निंग: जब बड़े "ट्रांसफर" इंस्टेंस पर परीक्षण किया गया, तो TreeDQN ने आम तौर पर FMSTS और tMDP+DFS से बेहतर प्रदर्शन किया, हालांकि कार्य की जटिलता के आधार पर प्रदर्शन भिन्न हुआ। प्रायरिटाइज्ड एक्सपीरियंस रिप्ले के उपयोग ने मैक्सिमम इंडिपेंडेंट सेट जैसे कठिन कार्यों पर मजबूती को और बढ़ाया।

वास्तविक दुनिया का अनुप्रयोग (ML4CO प्रतियोगिता)

TreeDQN को ML4CO प्रतियोगिता के बैलेंस्ड आइटम प्लेसमेंट कार्य पर लागू किया गया, जो एक जटिल, मल्टी-डायमेंशनल मल्टी-नैपसैक समस्या है।

रिवॉर्ड मेट्रिक: सिंथेटिक कार्यों के विपरीत जहाँ लक्ष्य ट्री साइज को कम करना था, यहाँ रिवॉर्ड ड्यूल इंटीग्रल (ड्यूल बाउंड कर्व के नीचे का क्षेत्र) था, क्योंकि समय सीमा के भीतर इष्टतम समाधान तक पहुँचना असंभव था।
परिणाम: केवल 500 एपिसोड पर प्रशिक्षित होकर, TreeDQN ने SCIP डिफॉल्ट सॉल्वर, स्ट्रॉन्ग ब्रांचिंग और एक इमिटेशन लर्निंग एजेंट की तुलना में काफी बेहतर प्रदर्शन किया।
दक्षता: TreeDQN ने IL की तुलना में काफी कम लीनियर प्रोग्रामिंग (LP) उप-समस्याओं को हल करते हुए उच्चतम ड्यूल बाउंड और प्राइमल बाउंड सुधार प्राप्त किए, जो श्रेष्ठ सैंपल एफिशिएंसी को दर्शाता है।

महत्व और दावे

पेपर दावा करता है कि TreeDQN सुपरवाइज्ड इमिटेशन लर्निंग (जो इन्फरेंस में तेज़ है लेकिन एक्सपर्ट से आगे नहीं बढ़ सकती) और ऑन-पॉलिसी RL (जो एक्सपर्ट से आगे बढ़ सकती है लेकिन सैंपल-हैवी है) के बीच के अंतर को पाटता है।

व्यावहारिक प्रभाव: TreeDQN बहुत कम MILP समाधानों के साथ कार्य-विशिष्ट ब्रांचिंग ह्यूरिस्टिक्स सीखने में सक्षम बनाता है, जिससे यह रियल-टाइम या संसाधन-बाधित प्रशिक्षण वातावरण के लिए व्यवहार्य हो जाता है।
मेथोडोलॉजिकल प्रगति: यह प्रदर्शित करता है कि अनुभव रिप्ले, सैद्धांतिक रूप से न्यायसंगत कॉन्ट्रैक्शन प्रॉपर्टी, और कॉम्बिनेटोरियल मेट्रिक्स (ज्योमेट्रिक मीन) के साथ संरेखित ऑप्टिमाइज़ेशन उद्देश्यों के संयोजन के माध्यम से, पहले जिसे ट्री-स्ट्रक्चर्ड MDPs पर लागू करना कठिन माना जाता था, उन ऑफ-पॉलिसी डीप RL तकनीकों को स्थिर और प्रभावी बनाया जा सकता है।
पहली सफलता: लेखक इस बात पर जोर देते हैं कि TreeDQN ML4CO प्रतियोगिता में जटिल बैलेंस्ड आइटम प्लेसमेंट कार्य के लिए एक कुशल वेरिएबल-सिलेक्शन पॉलिसी सीखने वाला पहला सफल RL एल्गोरिदम है, जो पारंपरिक ह्यूरिस्टिक्स और इमिटेशन लर्निंग दोनों से बेहतर प्रदर्शन करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि यह विधि समान MILP कार्यों के वितरण के लिए डिज़ाइन की गई है, फिर भी यह व्यावहारिक, डेटा-एफिशिएंट ब्रांचिंग ह्यूरिस्टिक्स सीखने की दिशा में एक महत्वपूर्ण कदम है, जो इमिटेशन और ऑन-पॉलिसी RL के बीच के प्रदर्शन अंतराल को कम करती है।