$How^{2}$: How to learn from procedural How-to questions

तकनीकी सारांश: How2 – प्रक्रियात्मक 'कैसे करें' (How-to) प्रश्नों से सीखना

समस्या विवरण

इंटरैक्टिव वातावरण में काम करने वाले एजेंट अक्सर ऐसी योजना बनाने की समस्याओं का सामना करते हैं जहाँ उनके पास विशिष्ट कार्यों को पूरा करने के लिए आवश्यक प्रक्रियात्मक ज्ञान (procedural knowledge) की कमी होती है। जबकि AI सहायक अस्पष्टता को दूर करने के लिए स्पष्टीकरण संबंधी प्रश्न पूछ सकते हैं, वे भविष्य की योजना के लिए ज्ञान के अंतराल को भरने हेतु प्रक्रियात्मक ज्ञान (जैसे, "मैं X कैसे करूँ?") के लिए प्रश्न शायद ही कभी पूछते हैं। चुनौती "कैसे करें" वाले प्रश्नों की मुक्त-अंत प्रकृति (open-ended nature) में निहित है: वैध उत्तर उच्च-स्तरीय उप-लक्ष्य विवरणों से लेकर पूरी तरह से निष्पादन योग्य क्रिया अनुक्रमों (action sequences) तक हो सकते हैं। यह परिवर्तनशीलता एजेंटों के लिए सही प्रश्न पूछने और "शिक्षकों" (मानव या ऑरेकल) के लिए ऐसे उत्तर प्रदान करने को कठिन बनाती है जो तत्काल उपयोगी और दीर्घकालिक सीखने के लिए पुन: प्रयोज्य (reusable) दोनों हों। विशेष रूप से, वर्तमान स्थिति (जैसे, विशिष्ट इन्वेंट्री स्लॉट्स) से मजबूती से जुड़े उत्तर अक्सर नई स्थितियों में सामान्यीकरण (generalize) नहीं हो पाते, जिससे दीर्घकालिक स्वायत्तता बाधित होती है।

कार्यप्रणाली (Methodology)

लेखक How2 का प्रस्ताव करते हैं, जो एक मेमोरी-संचालित एजेंट फ्रेमवर्क है जिसे इंटरैक्टिव वातावरण में आजीवन सीखने (lifelong learning) के लिए डिज़ाइन किया गया है। यह प्रणाली Plancraft के भीतर कार्य करती है, जो एक Minecraft-आधारित क्राफ्टिंग वातावरण है जहाँ एजेंटों को लक्षित वस्तुओं को असेंबल करने के लिए इन्वेंट्री आइटमों को संचालित करना होता है।

मुख्य ढांचा (Core Framework)

How2 एक एजेंट को एक शिक्षक और एक मेमोरी मॉड्यूल के साथ निम्नलिखित वर्कफ़्लो के माध्यम से एकीकृत करता है:

1. मेमोरी रिट्रीवल (Memory Retrieval): एजेंट पहले एक क्वेरी $\theta$ (जैसे, एक रेसिपी का नाम) के साथ read-memory टूल का उपयोग करके मेमोरी स्टोर को क्वेरी करता है। मेमोरी एक की-वैल्यू स्टोर है जहाँ वैल्यूज मेमोरी प्रविष्टियों के सेट होते हैं।
2. प्रासंगिकता जांच (Relevance Check): यदि प्रविष्टियाँ मौजूद हैं, तो एक LLM-आधारित प्रासंगिकता जांच यह निर्धारित करती है कि क्या संग्रहीत मेमोरी वर्तमान गेम स्टेट ($o_t$) पर लागू होती है।
3. प्रश्न पीढ़ी (Question Generation): यदि कोई प्रासंगिक मेमोरी नहीं मिलती है (कैश मिस), तो एजेंट वर्तमान अवलोकन (observation) की स्थिति में एक प्रक्रियात्मक "कैसे करें" प्रश्न ($q_\theta$) उत्पन्न करता है।
4. शिक्षक प्रतिक्रिया (Teacher Response): एक शिक्षक मॉडल ($T$) प्रश्न का उत्तर देता है। पेपर में उनके उत्तरों के एब्स्ट्रैक्शन लेवल के आधार पर चार अलग-अलग प्रकार के शिक्षकों का मूल्यांकन किया गया है:
   • एग्जीक्यूटेबल (Executable): पूरी तरह से ग्राउंडेड, चरण-दर-चरण क्रिया अनुक्रम प्रदान करता है (जैसे, "I12 से A1 पर जाएँ")।
   • पार्शियली-एग्जीक्यूटेबल (Partially-Executable): स्टेट-विशिष्ट विवरणों को हटा देता है (जैसे, "ग्लास को A1 पर ले जाएँ") लेकिन यह क्रियाओं की एक सपाट सूची बनी रहती है।
   • सबगोल-पार्शियली-एग्जीक्यूटेबल (Subgoal-Partially-Executable): योजना को पदानुक्रमित उप-लक्ष्यों (hierarchical subgoals) में संरचना देता है (जैसे, "ग्लास को पिघलाना" के बाद "बोतल बनाना"), क्रियाओं को पहचान योग्य रेसिपी में समूहित करता है।
   • नॉन-एग्जीक्यूटेबल (Non-Executable): पैटर्न और आकृतियों का उपयोग करते हुए उच्च-स्तरीय, अनग्राउंडेड प्राकृतिक भाषा विवरण प्रदान करता है (जैसे, "वस्तुओं को V-आकार में व्यवस्थित करें"), जो विशिष्ट स्लॉट नामों को पूरी तरह से हटा देता है।
5. पार्सिंग और स्टोरेज (Parsing and Storage): एजेंट का ParseAnswer मॉड्यूल शिक्षक की प्रतिक्रिया को प्रोसेस करता है। यह स्टेट-विशिष्ट विवरणों को एब्सट्रैक्ट करता है (विशिष्ट स्लॉट ID को आइटम नामों से बदल देता है) और टैग जेनरेट करता है। सामान्यीकृत प्रविष्टि को मूल क्वेरी और संबंधित टैग के तहत मेमोरी में संग्रहीत किया जाता है।

प्रयोगात्मक सेटअप

लेखकों ने अपने फ्रेमवर्क का मूल्यांकन करने के लिए Llama 3.3 70B और Qwen 3 32B मॉडलों का उपयोग किया। उन्होंने आजीवन सीखने की क्षमताओं का परीक्षण करने के लिए दो डेटासेट स्प्लिट पेश किए:

• लो रिपीटेशन (Low Repetition): मूल Plancraft वैलिडेशन सेट जिसमें 347 अद्वितीय कार्य हैं।
• हाई रिपीटेशन (High Repetition): एक नया स्प्लिट जिसमें 107 अद्वितीय कार्यों को 570 उदाहरणों में दोहराया गया है, जिसे ज्ञान के पुन: उपयोग का परीक्षण करने के लिए डिज़ाइन किया गया है।

मूल्यांकन ने पूर्ण How2 फ्रेमवर्क की तुलना निम्नलिखित एब्लेशन (ablations) से की:

• जस्ट आस्क (Just Ask): एक ऑरेकल सेटअप जहाँ शिक्षक प्रत्येक क्वेरी का उत्तर बिना मेमोरी स्टोरेज के देता है (अपर बाउंड)।
• मेमोरी-ओनली (Memory-Only): पार्सिंग या प्रासंगिकता जांच के बिना मेमोरी का उपयोग करना।
• पार्स/रिलिवेंस (Parse/Relevance): पूर्ण फ्रेमवर्क के व्यक्तिगत घटक।

मुख्य योगदान

1. How2 फ्रेमवर्क: एक नवीन आर्किटेक्चर जो एजेंटों को प्रश्न पूछकर, उत्तरों को संग्रहीत करके और उन्हें मेमोरी मॉड्यूल के माध्यम से पुन: उपयोग करके प्रक्रियात्मक ज्ञान सीखने में सक्षम बनाता है।
2. एब्स्ट्रैक्शन लेवल्स का विश्लेषण: इस बात की व्यवस्थित जांच कि शिक्षक के उत्तरों की सूक्ष्मता (तत्काल कार्य सफलता और दीर्घकालिक पुन: प्रयोज्यता दोनों को प्रभावित करती है)।
3. ट्रेड-ऑफ की पहचान: एक उत्तर की तत्काल उपयोगिता और उसकी दीर्घकालिक पुन: प्रयोज्यता के बीच एक महत्वपूर्ण ट्रेड-ऑफ की पहचान।

परिणाम

प्रयोगों से प्रमुख निष्कर्ष निकले:

• तत्काल बनाम दीर्घकालिक उपयोगिता:

  • एग्जीक्यूटेबल शिक्षकों ने "जस्ट आस्क" सेटिंग (0.59) में उच्चतम सफलता दर प्राप्त की, जो पुष्टि करता है कि वे तत्काल निष्पादन के लिए सबसे प्रभावी हैं।
  • हालाँकि, जब उन्हें मेमोरी-ओनली सेटिंग में पुन: उपयोग किया गया, तो एग्जीक्यूटेबल प्लान्स के प्रदर्शन में भारी गिरावट आई (हाई-रिपीटेशन स्प्लिट में 0.58 से 0.32 तक), क्योंकि वे विशिष्ट स्टेट्स के साथ बहुत मजबूती से जुड़े थे।
  • एब्स्ट्रैक्टेड उत्तरों (सबगोल-पार्शियली-एग्जीक्यूटेबल और नॉन-एग्जीक्यूटेबल) ने काफी उच्च पुन: प्रयोज्यता दिखाई। "जस्ट आस्क" से "मेमोरी" सेटिंग्स में जाने पर उनका प्रदर्शन केवल ~9% गिरा।

• एब्स्ट्रैक्शन की प्रभावशीलता:

  • सबगोल-पार्शियली-एग्जीक्यूटेबल शिक्षक ने लगातार फ्लैट पार्शियली-एग्जीक्यूटेबल शिक्षक से बेहतर प्रदर्शन किया, जो इस परिकल्पना का समर्थन करता है कि उत्तरों को उप-लक्ष्यों में संरचना देने से मेमोरी की प्रभावशीलता बढ़ती है।
  • Parse मॉड्यूल एग्जीक्यूटेबल प्लान्स को पुन: प्रयोज्य बनाने के लिए महत्वपूर्ण था, जिसने हाई-रिपीटेशन स्प्लिट में उनकी सफलता दर को 0.32 से बढ़ाकर 0.44 कर दिया।

• पूर्ण फ्रेमवर्क का प्रदर्शन:

  • पूर्ण How2 फ्रेमवर्क (मेमोरी, पार्सिंग और प्रासंगिकता जांच को एकीकृत करते हुए) ने हाई-रिपीटेशन सेटिंग में 0.52 की सफलता दर प्राप्त की।
  • महत्वपूर्ण रूप से, यह "जस्ट आस्क" ऑरेकल (0.92) की तुलना में 42% कम हस्तक्षेप दर (0.53) के साथ प्राप्त किया गया, जो यह दर्शाता है कि एजेंट ने लगातार शिक्षक से प्रश्न पूछने के बजाय सफलतापूर्वक संग्रहीत ज्ञान का पुन: उपयोग किया।
  • फ्रेमवर्क ने एजेंटों को नॉन-एग्जीक्यूटेबल शिक्षकों (जो ग्राउंड करने में सबसे कठिन हैं) का उपयोग करने के बावजूद, पार्स और रिलिवेंस मॉड्यूल के माध्यम से एब्सट्रैक्ट निर्देशों को प्रभावी ढंग से ग्राउंड करके, पूरी तरह से एग्जीक्यूटेबल शिक्षकों वाले एजेंटों के समान सफलता दर (0.53) प्राप्त करने में सक्षम बनाया।

• मॉडल विविधताएं:

  • Qwen 3 32B रीजनिंग मॉडल के साथ प्रयोगों ने समान रुझान दिखाए, हालांकि मॉडल मेमोरी एक्शन का उपयोग कम बार करता है। दिलचस्प बात यह है कि नॉन-एग्जीक्यूटेबल शिक्षक ने Qwen 3 के साथ सबसे अच्छा प्रदर्शन किया, जो बताता है कि रीजनिंग क्षमताएं एब्सट्रैक्ट, अनग्राउंडेड निर्देशों को बेहतर ढंग से संभाल सकती हैं।

महत्व और दावे

पेपर का दावा है कि How2 बिना फाइन-ट्यूनिंग के इंटरैक्टिव वातावरण में एजेंटों की योजना बनाने की क्षमताओं को बेहतर बनाने के लिए एक व्यवहार्य तंत्र प्रदान करता है। प्राथमिक महत्व इस बात को प्रदर्शित करने में है कि "कैसे करें" वाले प्रश्नों से ज्ञान को एब्सट्रैक्ट करना प्रभावी आजीवन सीखने के लिए आवश्यक है।

जबकि प्रत्यक्ष, एग्जीक्यूटेबल निर्देश किसी कार्य के एकल इंस्टेंस को हल करने के लिए इष्टतम होते हैं, वे सामान्यीकरण करने में विफल रहते हैं। इसके विपरीत, एब्सट्रैक्ट किए गए उत्तर (उप-लक्ष्य या उच्च-स्तरीय पैटर्न), जब पार्सिंग और प्रासंगिकता-जांच तंत्र के साथ संयोजित होते हैं, तो एजेंटों को एक मजबूत, पुन: प्रयोज्य ज्ञान आधार बनाने की अनुमति देते है। यह निरंतर बाहरी पर्यवेक्षण (शिक्षक हस्तक्षेप) पर निर्भरता को कम करता है जबकि उच्च कार्य सफलता दर बनाए रखता है, जो तत्काल समस्या समाधान और दीर्घकालिक कौशल प्राप्ति के बीच के अंतर को प्रभावी ढंग से पाटता है। लेखक निष्कर्ष निकालते हैं कि प्रक्रियात्मक प्रश्नों से सीखना एजेंटों के लिए एक शक्तिशाली रणनीति है जो सीमित, इंटरैक्टिव डोमेन में काम करते हैं।