← नवीनतम पेपर
🤖 AI

ASK in the Dark: Uncertainty-Gated LLM Assistance under Partial Observability

यह शोध पत्र ASK+ प्रस्तुत करता है, जो एक ऐसा ढांचा है जो अप्रभावी नग्न प्रॉम्प्ट्स (bare prompts) को प्रक्षेपवक्र-जागरूक संदर्भ (trajectory-aware context) और चेन-ऑफ-थॉट रीजनिंग से बदलकर आंशिक रूप से दृश्य वातावरण (partially observable environments) में सुदृढीकरण सीखने (reinforcement learning) वाले एजेंटों को बेहतर बनाता है, जिससे छोटे भाषा मॉडलों को अर्थपूर्ण, अनिश्चितता-गेटेड मार्गदर्शन प्रदान करने में सक्षम बनाया जा सके जो वैनिला दृष्टिकोणों की तुलना में काफी बेहतर प्रदर्शन करता है और बड़े मॉडलों की आवश्यकता के बिना कुशलतापूर्वक स्केल होता है।

मूल लेखक: Juarez Monteiro, Nathan Gavenski, Guilherme Lima, Francisco Galuppo, Odinaldo Rodrigues, Adriano Veloso

प्रकाशित 2026-07-07
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Juarez Monteiro, Nathan Gavenski, Guilherme Lima, Francisco Galuppo, Odinaldo Rodrigues, Adriano Veloso

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ आप अपने पात्र के चारों ओर केवल प्रकाश का एक छोटा सा घेरा देख सकते हैं। उस घेरे के बाहर सब कुछ पूरी तरह काला है। आपको नहीं पता कि कुछ ही कदमों की दूरी पर कोई दीवार है, कोई खजाना है, या कोई राक्षस है। इसे कंप्यूटर वैज्ञानिक पार्शियल ऑब्जर्वेबिलिटी (आंशिक दृश्यता) कहते हैं।

इस शोध पत्र में, लेखक एक समस्या को हल करने की कोशिश करते हैं: आप एक कंप्यूटर "खिलाड़ी" (AI एजेंट) को बेहतर निर्णय लेने में कैसे मदद कर सकते हैं जब वह पूरी तस्वीर नहीं देख पाता?

समस्या: "अंधा" खिलाड़ी और "भुलक्कड़" मार्गदर्शक

लेखक दो प्रकार के AI का उपयोग करते हैं:

  1. खिलाड़ी (RL एजेंट): एक रोबोट जिसे गेम खेलने के लिए प्रशिक्षित किया गया है। यह जो कुछ भी जानता है उसमें अच्छा है, लेकिन यदि गेम थोड़ा बदल जाता है (जैसे कि एक दरवाजा हिल जाना), तो यह भ्रमित हो जाता है क्योंकि इसे केवल वही याद रहता है जो इसने अभी देखा है।
  2. मार्गदर्शक (Small Language Model - SLM): एक स्मार्ट, जानकार सहायक (जैसे एक मिनी-ChatGPT) जो दुनिया के सामान्य नियमों को जानता है। यह तर्क कर सकता है, "यदि मुझे एक चाबी दिखती है, तो शायद मुझे एक दरवाजे की आवश्यकता है।"

विफल प्रयास (वैनिला ASK):
पहले, शोधकर्ताओं ने यह कोशिश की कि मार्गदर्शक खिलाड़ी की मदद तभी करे जब खिलाड़ी "अनिश्चित" हो। उन्होंने ASK नामक एक सिस्टम बनाया।

  • सेटअप: खिलाड़ी अंधेरी स्क्रीन को देखता है और कहता है, "मुझे समझ नहीं आ रहा कि क्या करूँ।"
  • गलती: शोधकर्ताओं ने मार्गदर्शक को वही ठीक वही छोटा, अंधेरा घेरा दिखाया जो खिलाड़ी देख रहा था।
  • परिणाम: मार्गदर्शक भी खिलाड़ी की तरह ही अंधा था। वह संदर्भ (context) की कमी के कारण समाधान नहीं निकाल सका। वह बस कह देता, "वही करो जो तुम्हें ठीक लगे," जिसका अर्थ था प्रभावी रूप से कुछ न करना। मार्गदर्शक एक ऐसे टूर गाइड की तरह था जो आपके साथ एक अंधेरे कमरे में खड़ा है, और वह भी नक्शा देखने में असमर्थ है।

समाधान: ASK+ (द "मेमोरी-एनहैंस्ड" गाइड)

लेखकों ने महसूस किया कि मार्गदर्शक "मूर्ख" नहीं था; उसे बस पर्याप्त जानकारी नहीं दी गई थी। उन्होंने ASK+ बनाया, जो इस समस्या को ठीक करता है कि वे मार्गदर्शक को क्या दिखाते हैं।

मार्गदर्शक को केवल वर्तमान अंधेरी स्क्रीन दिखाने के बजाय, ASK+ उसे एक ट्रैवल लॉग (यात्रा विवरण) देता है। इस लॉग में शामिल हैं:

  • नक्शा: एक आंशिक रूप से प्रकट किया गया नक्शा जो दिखाता है कि खिलाड़ी कहाँ-कहाँ गया है।
  • इतिहास: उन चालों की एक सूची जो खिलाड़ी पहले ही ले चुका है।
  • संदर्भ (Context): "आप एक कमरे में हैं, आपने एक चाबी पाई है, और आपने एक बंद दरवाजा खोलने की कोशिश की।"

उपमा:
सोचिए कि खिलाड़ी धुंधले जंगल में एक हाइकर (हाइकिंग करने वाला) है।

  • वैनिला ASK: हाइकर अपने दोस्त से पूछता है, "मुझे क्या करना चाहिए?" दोस्त धुंध में उसके ठीक बगल में खड़ा है, और कुछ देख नहीं पा रहा है। दोस्त कहता है, "मुझे नहीं पता, तुम खुद तय करो।"
  • ASK+: हाइकर अपने दोस्त से पूछता है, "मुझे क्या करना चाहिए?" लेकिन इस बार, दोस्त के पास नोट्स से भरा एक बैग है। नोट्स कहते हैं: "हमने ट्रेलहेड से शुरुआत की, 10 मिनट उत्तर की ओर चले, एक लाल चट्टान पाई, और अब हम एक चट्टान के सामने हैं।" इस इतिहास के साथ, दोस्त कह सकता है, "आह, तुम चट्टान पर हो! बाईं ओर मुड़ जाओ, वहाँ एक रास्ता है जिसे तुमने पहले छोड़ दिया था।"

यह कैसे काम करता है ("अनसर्टेन्टी गेट")

सिस्टम एक चतुर "गेटकीपर" तंत्र का उपयोग करता है:

  1. खिलाड़ी एक चाल चलने की कोशिश करता है।
  2. सिस्टम जाँचता है: "क्या खिलाड़ी भ्रमित है?" (यह एन्ट्रॉपी नामक एक गणितीय संकेत का उपयोग करके मापता है)।
  3. यदि खिलाड़ी आश्वस्त है: तो वह आगे बढ़ता रहता है। किसी मदद की आवश्यकता नहीं है।
  4. यदि खिलाड़ी भ्रमित है: तो वह गेट खोल देता है और मार्गदर्शक से पूछता है।
  5. मार्गदर्शक, अब ट्रैवल लॉग (नक्शा और इतिहास) को थामे हुए, सावधानी से सोचता है और कहता है, "वास्तव में, उस तरफ मत जाओ। यहाँ जाओ।"

परिणाम: छोटे दिमाग, बड़ी जीत

लेखकों ने इसे तीन अलग-अलग "गेम्स" पर परखा:

  1. FourRooms: एक भूलभुलैया में रास्ता खोजना।
  2. DoorKey: एक दरवाजा खोलने के लिए चाबी खोजना।
  3. HigherLower: मेमोरी के आधार पर कार्ड रैंक का अनुमान लगाना।

मुख्य निष्कर्ष:

  • संदर्भ ही राजा है (Context is King): "ट्रैवल लॉग" (प्रॉम्ट) सबसे महत्वपूर्ण हिस्सा था। इसके बिना, मार्गदर्शक ने कुछ नहीं किया। इसके साथ, मार्गदर्शक ने खिलाड़ी की गलतियों को सुधारा।
  • छोटा ही सुंदर है: उन्होंने एक "छोटा" मार्गदर्शक (2 बिलियन पैरामीटर्स) और एक "बड़ा" मार्गदर्शक (4 बिलियन पैरामीटर्स) का परीक्षण किया। आश्चर्यजनक रूप से, छोटा मार्गदर्शक बड़े वाले के समान ही प्रदर्शन करता था। यह साबित करता है कि AI को सही जानकारी (प्रॉम्ट) देना, AI को बड़ा बनाने से अधिक महत्वपूर्ण है।
  • सफलता दर:
    • भूलभुलैया वाले गेम में, सफलता 53% से बढ़कर 70% हो गई।
    • चाबी/दरवाजे वाले गेम में, सफलता 89% से बढ़कर 93% हो गई।
    • कार्ड वाले गेम में, मार्गदर्शक ने सर्वश्रेष्ठ संभव प्रदर्शन का मुकाबला किया।

निचोड़

यह शोध पत्र तर्क देता है कि हमें अंधेरे में गेम खेलने वाले रोबोटों की मदद करने के लिए विशाल, महंगे AI मॉडल की आवश्यकता नहीं है। हमें बस AI के साथ अंधे व्यक्ति जैसा व्यवहार करना बंद करना होगा और उसे एक मेमोरी बुक (स्मृति पुस्तिका) देनी शुरू करनी होगी। यह दिखाकर कि AI कहाँ गया है और उसने क्या देखा है, एक छोटा, स्मार्ट सहायक भी एक रोबोट को जीत दिलाने के लिए मार्गदर्शन कर सकता है।

लेखक निष्कर्ष निकालते हैं कि पुराने तरीके की विफलता इसलिए नहीं थी कि AI पर्याप्त स्मार्ट नहीं था; बल्कि इसलिए थी क्योंकि AI को आँखों पर पट्टी बांधकर पहेली सुलझाने के लिए कहा गया था। एक बार जब उन्होंने आँखों से वह पट्टी हटा दी (संदर्भ जोड़कर), तो सिस्टम पूरी तरह से काम करने लगा।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →