💬 NLP

DORA Explorer: Improving the Exploration Ability of LLMs Without Training

DORA Explorer एक प्रशिक्षण-मुक्त (training-free) ढांचा है जो विविध एक्शन उम्मीदवारों को उत्पन्न करके और एक ट्यूनेबल पैरामीटर के माध्यम से उन्हें चुनकर क्रमिक निर्णय लेने वाले कार्यों में LLM एजेंटों की अन्वेषण क्षमताओं को बढ़ाता है, जिससे बिना किसी अतिरिक्त मॉडल प्रशिक्षण के मौजूदा डिकोडिंग रणनीतियों और प्रॉम्प्टिंग विधियों की सीमाओं को दूर किया जा सकता है।

मूल लेखक: Priya Gurjar, Md Farhan Ishmam, Kenneth Marino

प्रकाशित 2026-04-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Priya Gurjar, Md Farhan Ishmam, Kenneth Marino

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े ज़िद्दी रोबोट को एक टेक्स्ट-आधारित एडवेंचर गेम खेलना सिखा रहे हैं। रोबोट ने लाइब्रेरी की हर किताब पढ़ ली है और वह दुनिया के व्याकरण (grammar) को पूरी तरह जानता है। फिर भी, जब वह एक बंद दरवाजे वाले कमरे में फंस जाता है, तो वह बार-बार "दरवाजे को लात मारने" की कोशिश करता रहता है, भले ही उसे पता हो कि पहली बार में ऐसा करने से कुछ नहीं हुआ था। वह एक लूप में फंस जाता है, अपनी ही "सबसे अच्छी धारणा" को दोहराता रहता है क्योंकि उसे खुद पर बहुत भरोसा है।

यही वह समस्या है जिसे DORA Explorer हल करने की कोशिश करता है।

यहाँ DORA की कहानी सरल शब्दों में दी गई है:

समस्या: रोबोट का "इको चैंबर" (Echo Chamber)

लार्ज लैंग्वेज मॉडल्स (LLMs) उन प्रतिभाशाली छात्रों की तरह हैं जो हमेशा "सही" उत्तर देना चाहते हैं। एक गेम में, इसका मतलब है कि वे हमेशा वही क्रिया चुनते हैं जो उन्हें लगता है कि सबसे अधिक काम करेगी।

समस्या: यदि "सही" उत्तर वास्तव में एक जाल है, तो रोबोट उसी में फंसा रहता है।
पुराना समाधान: डेवलपर्स ने रोबोट को अधिक "रैंडम" बनाने की कोशिश की, जिसके लिए उन्होंने एक "क्रिएटिविटी नॉब" (जिसे टेम्परेचर कहा जाता है) को बढ़ा दिया।
यह क्यों विफल रहा: टेम्परेचर बढ़ाने से रोबता लीक से हटकर सोचने नहीं लगा; बल्कि वह बड़बड़ाने लगा या बेमतलब की बातें बनाने लगा। यह एक शेफ को यह कहने जैसा था कि "ज़रा जंगली बनो," और नए व्यंजन बनाने के बजाय, उसने बस ज़मीन पर रैंडम सामग्रियां फेंकना शुरू कर दिया।

समाधान: DORA Explorer

लेखकों ने DORA (डाइवर्सिटी-ओरिएंटेड रैंकिंग ऑफ एक्शन्स) बनाया है। DORA को एक रैंडमाइज़र के रूप में नहीं, बल्कि रोबोट के लिए एक रणनीतिक टूर गाइड के रूप में समझें।

DORA कैसे काम करता है, यहाँ चरण-दर-चरण दिया गया है:

1. "क्या होगा अगर?" मीटिंग (कैंडिडेट जनरेशन)

रोबोट से यह पूछने के बजाय कि "अभी करने के लिए सबसे अच्छी एक चीज़ क्या है?", DORA पूछता है: "उन 5 अलग-अलग चीज़ों की सूची बनाएं जो आप अभी कर सकते हैं।"

उपमा: कल्पना करें कि आप एक चौराहे पर हैं। केवल उस रास्ते को चुनने के बजाय जिस पर आप पहले चल चुके हैं, DORA रोबोट को पांच अलग-अलग रास्तों की कल्पना करने के लिए मजबूर करता है: "बाएं जाओ," "पेड़ पर चढ़ो," "गड्ढा खोदो," "मदद के लिए चिल्लाओ," और "बैठ जाओ।"
जब रोबोट को विकल्प सूचीबद्ध करने के लिए कहा जाता है, तो वह आश्चर्यजनक रूप से अच्छा प्रदर्शन करता है, भले ही वह आमतौर पर केवल एक ही विकल्प चुनता हो।

2. "स्कोरकार्ड" (स्कोरिंग)

अब, DORA उन 5 विचारों को देखता है। वह केवल पहले विचार को नहीं चुनता। वह प्रत्येक विचार को दो चीजों के आधार पर एक स्कोर देता है:

आत्मविश्वास (Confidence): क्या रोबोट को लगता है कि यह क्रिया तर्कसंगत है?
निरंतरता (Consistency): क्या रोबोट उस क्रिया के प्रत्येक शब्द के बारे में आश्वस्त है?
उपमा: यह एक शिक्षक की तरह है जो छात्र की विचारों की सूची को ग्रेड दे रहा है। "बाएं जाना" को उच्च स्कोर मिलता है क्योंकि यह तार्किक है। "गड्ढा खोदना" को कम स्कोर मिलता है क्योंकि रोबोट सुनिश्चित नहीं है कि इसे कैसे करना है। लेकिन, DORA उस "गड्ढा खोदने" वाले विचार को रखता है क्योंकि यह उस चीज़ से अलग है जो रोबोट आमतौर पर करता है।

3. "एक्सप्लोरेशन डायल" (जादुई स्विच)

यही असली सफलता का मंत्र है। DORA में एक डायल है जिसे $\lambda$ (लैम्ब्डा) कहा जाता है।

कम $\lambda$ (एक्सप्लोरेशन मोड): रोबोट को बताया जाता है, "परफेक्ट होने की चिंता मत करो। अजीब विचारों को आज़माओ! शायद 'गड्ढा खोदना' वास्तव में एक गुप्त सुरंग खोल दे।"
उच्च $\lambda$ (एक्सप्लॉइटेशन मोड): रोबोट को बताया जाता है, "तुमने काफी सीख लिया है। अब, बस जीतने के लिए सबसे सुरक्षित और तार्किक रास्ता चुनो।"
उपमा: इसे एक वीडियो गेम की कठिनाई सेटिंग की तरह समझें। गेम की शुरुआत में, आप इसे "एक्सप्लोर" मोड पर सेट करते हैं ताकि छिपे हुए चेस्ट मिल सकें। बाद में, आप इसे "फिनिश" मोड पर स्विच कर देते हैं ताकि बॉस को कुशलतापूर्वक हरा सकें।

यह पुराने तरीके से बेहतर क्यों है?

पुराना तरीका एक पासा फेंकने जैसा था जिससे यह तय किया जाता था कि क्या करना है। कभी-कभी आपको एक अच्छा मूव मिलता है, लेकिन अक्सर आपको एक बुरा मूव मिलता है।

DORA एक स्मार्ट प्लानर की तरह है।

यह विविध विकल्पों का एक मेनू बनाता है (ताकि आप लूप में न फंसें)।
यह बेमतलब की बातों को फ़िल्टर करता है (ताकि आप बड़बड़ाना शुरू न करें)।
यह तय करता है कि कब साहसी होना है और कब सुरक्षित रहना है।

परिणाम

पेपर ने दो चीजों पर इसका परीक्षण किया:

स्लॉट मशीनें (मल्टी-आर्म्ड बैंडिट्स): कल्पना करें कि 5 स्लॉट मशीनें हैं। आपको नहीं पता कि कौन सी मशीन पैसे देगी। DORA ने रोबोट को विजेता खोजने के लिए सभी 5 मशीनों को जल्दी से आज़माने के लिए सिखाया, बजाय इसके कि वह पहली मशीन को ही बार-बार चलाता रहे। इसने लगभग एक पूर्ण गणितीय एल्गोरिदम के समान प्रदर्शन किया।
टेक्स्ट एडवेंचर गेम्स (TALES): "TextWorld" जैसे गेम्स में, रोबोट आमतौर पर लूप में फंस जाते हैं (जैसे, "दरवाजा खोलो" -> "दरवाजा बंद है" -> "दरवाजा खोलो" -> "दरवाजा बंद है")।
- DORA के बिना: रोबोट 600+ बार लूप में फंस जाता है और कभी नहीं जीत पाता।
- DORA के साथ: रोबोट नई चीजें आज़माता है, लूप को तोड़ता है, छिपी हुई चाबी ढूंढता है, और जीत जाता है। इसने एक रोबोट की सफलता दर को 29% से बढ़ाकर 45% (और अन्य मॉडलों पर इससे भी अधिक) कर दिया।

निष्कर्ष

DORA Explorer एक "ट्रेनिंग-फ्री" अपग्रेड है। आपको रोबोट को फिर से सिखाने या उसे नया डेटा खिलाने की आवश्यकता नहीं है। आप बस इस नए "टूर गाइड" सिस्टम को रोबोट के दिमाग में लगा देते हैं। यह रोबोट को अपनी गलतियों को दोहराने से रोकने, अज्ञात कोनों को खोजने और उन जगहों में छिपा हुआ खजाना खोजने में मदद करता है जहाँ देखने से वह डरता था।

यह एक ऐसे रोबोट को बदल देता है जो कहता है, "मुझे जवाब पता है," एक ऐसे रोबोट में जो कहता है, "आइए कुछ नया आज़माते हैं, बस एक संभावना के तौर पर।"

यहाँ शोध पत्र "DORA Explorer: Improving the Exploration Ability of LLMs Without Training" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

क्रमिक निर्णय लेने (sequential decision-making) के लिए एजेंट के रूप में उपयोग किए जाने वाले लार्ज लैंग्वेज मॉडल्स (LLMs) एक गंभीर सीमा से ग्रस्त हैं: अपर्याप्त अन्वेषण (insufficient exploration)। जबकि LLMs में मजबूत तर्क क्षमताएं होती हैं, उनकी ऑटो-रिग्रेसिव प्रकृति उच्च-संभाव्यता वाली, दोहराव वाली अनुक्रमों (sequences) को उत्पन्न करने की ओर प्रवृत्त होती है, जिससे एजेंट:

उप-इष्टतम समाधानों (sub-optimal solutions) पर अभिसरित (converge) हो जाते हैं।
एक्शन लूप्स (एक ही क्रिया को दोहराना) में फंस जाते हैं।
उन वातावरणों में उच्च-पुरस्कार वाले व्यवहारों को खोजने में विफल रहते हैं जिनमें सक्रिय सूचना एकत्र करने की आवश्यकता होती है (जैसे, टेक्स्ट एडवेंचर गेम्स, मल्टी-आर्म्ड बैंडिट्स)।

मौजूदा समाधानों की सीमाएँ हैं:

टेम्परेचर स्केलिंग (Temperature Scaling): यह टोकन-स्तर पर यादृच्छिकता (randomness) तो लाता है लेकिन अक्सर नवीन अनुक्रमों या क्रियाओं को उत्पन्न करने में विफल रहता है। उच्च तापमान सामंजस्य और कार्य सटीकता को कम कर देता है, जबकि निम्न तापमान लालची (greedy), गैर-अन्वेषणात्मक व्यवहार की ओर ले जाता है।
प्रॉम्प्टिंग (CoT, ToT): यह तर्क में सुधार करता है लेकिन अन्वेषण/दोहन (exploration/exploitation) के बीच के संतुलन को स्पष्ट रूप से नियंत्रित नहीं करता या विविध क्रिया उत्पादन की गारंटी नहीं देता।
लर्निंग-आधारित विधियाँ: इनके लिए अतिरिक्त प्रशिक्षण या कार्य-विशिष्ट क्लासिफायर की आवश्यकता होती है, जो सामान्यीकरण (generalizability) को सीमित करता है।

2. कार्यप्रणाली: DORA Explorer

लेखक DORA (Diversity-Oriented Ranking of Actions) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री, इन्फरेंस-टाइम फ्रेमवर्क है जिसे मूल LLM को संशोधित किए बिना स्पष्ट रूप से अन्वेषण को नियंत्रित करने के लिए डिज़ाइन किया गया है।

मुख्य वर्कफ़्लो (Core Workflow)

DORA प्रत्येक निर्णय चरण $t$ पर तीन चरणों में कार्य करता है:

कैंडिडेट एक्शन जनरेशन (Candidate Action Generation):
- एजेंट एक निर्णय नीति $\pi_d$ के आधार पर Greedy या Explore करने का निर्णय लेता है।
- यदि Exploring मोड में है, तो LLM को एक साथ $n_C$ कैंडिडेट क्रियाओं की सूची उत्पन्न करने के लिए प्रॉम्प्ट किया जाता है। यह "लिस्ट-लेवल" प्रॉम्प्टिंग मॉडल को एकल उच्च-संभाव्यता वाले टोकन अनुक्रम में सिमटने के बजाय अपने वितरण की व्यापकता (breadth) का अन्वेषण करने के लिए मजबूर करती है।
- अमान्य या पहले से उपयोग की गई क्रियाओं को फ़िल्टर कर दिया जाता है।
एक्शन स्कोरिंग (Action Scoring):
- प्रत्येक कैंडिडेट क्रिया $a$ $a$ (टोकन का एक अनुक्रम) को टोकन लॉग-संभाव्यता से प्राप्त दो मेट्रिक्स के आधार पर स्कोर किया जाता है:
  - मीन लॉग-प्रोबेबिलिटी ( $\tilde{\mu}$ ): वैश्विक संभावना (आत्मविश्वास) को दर्शाता है।
  - लॉग-प्रोबेबिलिटी का वेरिएंस ( $\tilde{\sigma}^2$ ): आंतरिक निरंतरता (internal consistency) को दर्शाता है।
- अंतिम स्कोर $s$ एक भारित संयोजन (weighted combination) है: $s = \alpha \cdot \tilde{\mu}(a) - (1-\alpha) \cdot \tilde{\sigma}^2(a)$ ।
- यह स्कोरिंग तंत्र उन अनुक्रमों को प्राथमिकता देता है जो संभाव्य (probable) और आंतरिक रूप से सुसंगत दोनों हैं, जिससे असंगत "रैंडम" आउटपुट फ़िल्टर हो जाते हैं।
$\lambda$ के माध्यम से संभाव्य सैंपलिंग (Probabilistic Sampling via $\lambda$ ):
- एक ट्यूनेबल एक्सप्लोरेशन पैरामीटर $\lambda$ सैंपलिंग वितरण को नियंत्रित करता है।
- एक क्रिया $a$ चुनने की संभावना इस प्रकार गणना की जाती है: $P_\lambda(a) = \text{Softmax}(\lambda \cdot s_a)$ ।
- कम $\lambda$ : वितरण को समतल (flatten) करता है, जिससे कम-स्कोरिंग (विविध) क्रियाओं के अन्वेषण को प्रोत्साहन मिलता है।
- उच्च $\lambda$ : वितरण को तीव्र (sharpen) करता है, जिससे उच्चतम-स्कोरिंग क्रिया के लालची चयन को बढ़ावा मिलता है।
- $\lambda$ को एक निश्चित शेड्यूल (जैसे, समय के साथ घटता हुआ) द्वारा निर्धारित किया जा सकता है या संदर्भ के आधार पर LLM द्वारा गतिशील रूप से सैंपल किया जा सकता है।

प्रमुख डिज़ाइन विशेषताएं

ट्रेनिंग-फ्री: इसके लिए किसी फाइन-ट्यूनिंग या अतिरिक्त मॉडल पैरामीटर्स की आवश्यकता नहीं है।
मॉड्यूलर: मौजूदा LLM पाइपलाइनों में प्लग-एंड-प्ले इंटीग्रेशन के लिए उपयुक्त।
स्टेट-अवेयर: तत्काल लूप्स को रोकने के लिए पहले से उपयोग की गई क्रियाओं को स्पष्ट रूप से ट्रैक करता है।

3. मुख्य योगदान (Key Contributions)

नवीन फ्रेमवर्क: DORA का परिचय, जो पहला ट्रेनिंग-फ्री फ्रेमवर्क है जो टोकन स्तर के बजाय अनुक्रम स्तर पर अन्वेषण को नियंत्रित करने के लिए कैंडिडेट जनरेशन और सिलेक्शन को स्पष्ट रूप से अलग करता है।
विविधता के लिए तंत्र: यह प्रदर्शित करता है कि कई उम्मीदवारों को संयुक्त रूप से प्रॉम्प्ट करना, लॉग-प्रोबेबिलिटी स्कोरिंग के साथ मिलकर, उस अंतर्निहित विविधता को पुनः प्राप्त करता है जिसे मानक सैंपलिंग मिस कर देती है।
डायनेमिक कंट्रोल: एक लचीला $\lambda$ पैरामीटर पेश करता है जो एजेंटों को अन्वेषण (exploration) और दोहन (exploitation) के बीच सुचारू रूप से संक्रमण करने की अनुमति देता है, जिसे शेड्यूलिंग या पॉलिसी के माध्यम से अनुकूलित किया जा सकता है।
व्यापक मूल्यांकन: दो अलग-अलग डोमेन में मान्य किया गया:
- मल्टी-आर्म्ड बैंडिट्स (MAB): अन्वेषण-दोहन ट्रेड-ऑफ के लिए एक सैद्धांतिक टेस्टबेड।
- TALES (Text Adventure Learning Environment Suite): जटिल टेक्स्ट-आधारित वातावरण (TextWorld, AlfWorld, ScienceWorld, आदि) का एक सूट जिसमें दीर्घकालिक योजना (long-horizon planning) की आवश्यकता होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मल्टी-आर्म्ड बैंडिट्स (MAB)

प्रदर्शन: DORA ने UCB-प्रतिस्पर्धी प्रदर्शन प्राप्त किया, जो मानक LLM बेसलाइन्स (Zero-shot, CoT, ToT) और विशिष्ट मेट्रिक्स में पारंपरिक बैंडिट एल्गोरिदम जैसे Thompson Sampling को भी पीछे छोड़ दिया।
रिग्रेट और विफलता: DORA ने शून्य सफिक्स विफलता आवृत्ति (zero Suffix Failure Frequency) प्राप्त की (पहला आधा क्षितिज समाप्त होने के बाद भी उप-इष्टतम आर्म पर कभी नहीं फंसा), जबकि टेम्परेचर-स्केल्ड बेसलाइन्स 95% बार विफल रहे।
तुलना: DORA ने ग्रीडी और फिक्स्ड-टेम्परेचर रणनीतियों की तुलना में संचयी रिग्रेट (cumulative regret) को काफी कम कर दिया।

टेक्स्ट एडवेंचर लर्निंग एनवायरनमेंट सूट (TALES)

कार्य सफलता: DORA ने सभी वातावरणों में सफलता दर में लगातार सुधार किया।
- उदाहरण: Qwen2.5-7B के साथ TextWorld पर, प्रदर्शन 29.2% (Zero-shot) से बढ़कर 45.5% (DORA) हो गया।
- Mistral Small 22B पर, DORA ने TextWorld में 74.28% प्राप्त किया, जो अगले सर्वश्रेष्ठ बेसलाइन (57.78%) से काफी बेहतर है।
अन्वेषण गहराई (Exploration Depth): DORA एजेंटों ने बेसलाइन विधियों की तुलना में 2 गुना अधिक अद्वितीय अवस्थाओं (observations) का दौरा किया, जो छिपी हुई वस्तुओं और कार्य-प्रासंगिक संकेतों की खोज में श्रेष्ठता को दर्शाता है।
लूप रिकवरी: DORA ने सामना किए गए लूप्स की संख्या को नाटकीय रूप रूप से कम किया और बेसलाइन्स (जैसे, TextWorld में 19.5% रिकवरी बनाम अन्य के लिए <4%) की तुलना में लूप रिकवरी दरों में 5x से 20x का सुधार किया।
दक्षता: कई उम्मीदवारों को जेनरेट करने के बावजूद, DORA में कम टोकन ओवरहेड हुआ (साधारण प्रॉम्प्टिंग का लगभग 2x, लेकिन भारी प्रदर्शन लाभ के साथ)।

एब्लेशन स्टडीज (Ablation Studies)

स्ट्रक्चर्ड बनाम स्टोकेस्टिक: साधारण टेम्परेचर सैंपलिंग ( $\tau$ ) के साथ DORA को बदलने से प्रदर्शन में गिरावट आई, जिससे सिद्ध हुआ कि DORA की सफलता केवल यादृच्छिकता से नहीं, बल्कि स्ट्रक्चर्ड एक्सप्लोरेशन से आती है।
स्कोरिंग: मीन लॉग-प्रोब और वेरिएंस का संयोजन महत्वपूर्ण था; वेरिएंस पेनल्टी को हटाने से असंगत एक्शन सिलेक्शन हुआ।

5. महत्व (Significance)

अंतराल को पाटना: DORA, LLM एजेंटों के लिए टोकन-स्तरीय सैंपलिंग और एक्शन-स्तरीय निर्णय लेने के बीच के मौलिक अंतर को संबोधित करता है।
सामान्यीकरण: एक ट्रेनिंग-फ्री विधि के रूप में, यह फाइन-ट्यूनिंग की लागत के बिना किसी भी प्री-ट्रेंड LLM और किसी भी टेक्स्ट-आधारित वातावरण में तुरंत लागू किया जा सकता है।
व्यावहारिक प्रभाव: यह LLM एजेंटों को उन "डार्क" वातावरणों में प्रभावी ढंग से कार्य करने में सक्षम बनाता है जहाँ सूचना कम है और ट्रायल-एंड-एरर आवश्यक है, जिससे वे रोबोटिक्स, वैज्ञानिक खोज और जटिल गेम खेलने जैसे वास्तविक दुनिया के अनुप्रयोगों के लिए अधिक मजबूत बनते हैं।
पैराडाइम शिफ्ट: यह शोध पत्र सुझाव देता है कि LLM एजेंटों के लिए, क्रमिक निर्णय लेने की समस्याओं को हल करने के लिए स्टोकेस्टिक डायवर्सिटी (टेम्परेचर स्केलिंग के माध्यम से) की तुलना में नियंत्रित विविधता (कैंडिडेट जनरेशन और रैंकिंग के माध्यम से) बेहतर है।