CaSKG: Counterfactual-Causal Skill Graphs for Scalable Agent Skill Retrieval
CaSKG एक काउंटरफैक्चुअल-कॉज़ल (counterfactual-causal) ढांचा है जो ऑफलाइन साक्ष्य एकत्रीकरण और टेक्स्टुअल काउंटरफैक्चुअल प्रोब्स के माध्यम से एक निर्देशित कौशल ग्राफ (directed skill graph) का निर्माण और अंशांकन करके स्केलेबल LLM एजेंट कौशल पुनर्प्राप्ति को बढ़ाता है, जिससे मौजूदा विधियों की तुलना में विविध बेंचमार्क में कार्य सफलता दर और दक्षता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे कंप्यूटर प्रोग्राम की कल्पना करें जो बात कर सकता है, तर्क कर सकता है और वास्तविक दुनिया में कार्य कर सकता है, बिल्कुल एक मानव सहायक की तरह। ये प्रोग्राम, जिन्हें लार्ज लैंग्वेज मॉडल एजेंट कहा जाता है, टेक्स्ट जेनरेट करने की अपनी क्षमता को बाहरी उपकरणों और वातावरणों तक पहुंच के साथ जोड़कर जटिल समस्याओं को हल करने में तेजी से सक्षम होते जा रहे हैं। वे एपीआई (API) का उपयोग करना, सिम्युलेटेड कमरों के साथ बातचीत करना या वैज्ञानिक प्रक्रियाओं का पालन करना सीख सकते हैं। हालाँकि, जैसे-जैसे ये एजेंट पुन: प्रयोज्य कौशलों (skills) का विशाल पुस्तकालय संचित करते हैं—जैसे कि भोजन पकाने से लेकर रासायनिक परीक्षण करने तक की प्रक्रियाएं—चुनौती केवल उपकरणों को रखने की नहीं, बल्कि यह जानने की हो जाती है कि किनका उपयोग किया जाना चाहिए। यदि कोई एजेंट एक साथ हर संभव क्रिया को याद रखने की कोशिश करता है, तो वह शोर (noise) से अभिभूत हो जाता है। यदि वह केवल उन शब्दों को खोजता है जो वर्तमान कार्य से मेल खाते हैं, तो वह एक महत्वपूर्ण चरण को छोड़ सकता है जो सुनने में समान नहीं है लेकिन तार्किक रूप से आवश्यक है। मुख्य समस्या यह है कि कैसे एक विशाल पुस्तकालय से क्रियाओं के सही क्रम को बिना अप्रासंगिक विवरणों में खोए या छिपी हुई निर्भरताओं (dependencies) को छोड़े प्राप्त किया जाए।
जिलिन यूनिवर्सिटी और एंट ग्रुप के शोधकर्ताओं ने इस रिट्रीवल (retrieval) समस्या को हल करने के लिए CaSKG नामक एक नई विधि विकसित की है। कौशलों को केवल टेक्स्ट के अलग-थलग टुकड़ों के रूप में मानने या उन्हें केवल इस आधार पर जोड़ने के बजाय कि वे सुनने में कितने समान हैं, टीम ने एक ऐसी प्रणाली बनाई जिसने एजेंट द्वारा उपयोग किए जाने से पहले ही कौशलों के बीच के संबंधों की विश्वसनीयता का परीक्षण किया। उन्होंने एक निर्देशित ग्राफ (directed graph) का निर्माण किया, एक ऐसा नेटवर्क जहाँ कौशल 'नोड्स' हैं और उनके बीच के तीर इस क्रम का प्रतिनिधित्व करते हैं कि क्रियाएं किस क्रम में होनी चाहिए। नवाचार इस बात में निहित है कि उन्होंने किन तीरों को रखने का निर्णय लिया। अंतिम मानचित्र प्रकाशित करने से पहले, प्रणाली ने संभावित कनेक्शनों को कठोर परीक्षणों की एक श्रृंखला के अधीन किया। इसने आर्टिफिशियल इंटेलिजेंस से ऐसे परिदृश्य सोचने को कहा जहाँ एक कौशल को हटा दिया गया हो, उसे किसी अन्य कौशल से बदल दिया गया हो, या उसे गलत क्रम में किया गया हो। इन काल्पनिक स्थितियों में यह देखकर कि कार्य कैसे विफल हुआ या कैसे भ्रमित हुआ, प्रणाली यह निर्धारित कर सकती थी कि एक कनेक्शन एक वास्तविक निर्भरता है या केवल एक संयोग।
शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण दो अलग-अलग बेंचमार्क पर किया: वस्तुओं को खोजने और हिलाने से जुड़े घरेलू कार्यों का एक सेट, और विज्ञान प्रयोगों का एक संग्रह जिनमें अवलोकन और हेरफेर के विशिष्ट अनुक्रमों की आवश्यकता होती है। उन्होंने इन परीक्षणों को छह अलग-अलग लार्ज लैंग्वेज मॉडल्स का उपयोग करके चलाया, जो छोटे, कुशल मॉडल्स से लेकर विशाल, शक्तिशाली मॉडल्स तक विस्तृत थे। परिणामों ने दिखाया कि नई विधि ने मौजूदा दृष्टिकोणों को लगातार पछाड़ दिया। मॉडल और कार्य प्रकार के प्रत्येक संयोजन में, CaSKG ने उच्चतम सफलता दर प्राप्त की। विज्ञान कार्यों के लिए, सभी मॉडल्स के औसत स्कोर लगभग 72.6 से बढ़कर 80.5 हो गए, और घरेलू कार्यों के लिए, सफलता दर 80.01% से बढ़कर 86.79% हो गई। शायद इससे भी महत्वपूर्ण बात यह है कि इस विधि का उपयोग करने वाले एजेंट अपने लक्ष्यों तक कम चरणों में पहुँचे, जिससे पता चलता है कि वे गलत सलाह के कारण होने वाली गलतियों को सुधारने या यादृच्छिक (random) क्रियाएं करने में समय बर्बाद नहीं कर रहे थे।
इस सफलता की कुंजी कमजोर कड़ियों को फ़िल्टर करने की क्षमता थी। पिछले तरीके अक्सर उन ग्राफों पर निर्भर करते थे जहाँ कनेक्शन इस आधार पर थे कि कौशल कितनी बार एक साथ दिखाई देते हैं या उनके विवरण कितने समान हैं। नया अध्ययन पाया कि ये तरीके अक्सर एजेंट को गलत रास्ते पर ले जाते थे, जिससे वह अप्रासंगिक पथों का अनुसरण करता था या महत्वपूर्ण पूर्व-आवश्यकताओं (prerequisites) को छोड़ देता था। काउंटरफैक्टुअल रीजनिंग (counterfactual reasoning) का उपयोग करके—अनिवार्य रूप से यह पूछकर कि "क्या होगा यदि यह चरण नहीं हुआ?"—प्रणाली ने प्रत्येक कनेक्शन के विश्वास को कैलिब्रेट किया। इसने उन मजबूत, आवश्यक कड़ियों को रखा जो एक सुसंगत वर्कफ़्लो बनाते थे, जैसे कि सर्किट का परीक्षण करने से पहले पावर सोर्स चालू करने की आवश्यकता, जबकि उन कमजोर जुड़ावों को त्याग दिया जो केवल संबंधित दिखते थे। इसने एजेंट को कौशलों के एक संक्षिप्त, निष्पादन योग्य समूह (bundle) को प्राप्त करने की अनुमति दी जो संचालन के तार्किक क्रम को बनाए रखता था, यह सुनिश्चित करते हुए कि तैयारी, क्रिया, सत्यापन और पूर्णता के चरण सभी मौजूद और सही क्रम में हों।
अध्ययन ने यह भी पता लगाया कि यह विधि कौशल के पुस्तकालय के बड़े होने पर कैसा प्रदर्शन करती है। जब उपलब्ध कौशलों की संख्या कुछ सौ से बढ़कर दो हजार हो गई, तो नई विधि का लाभ स्थिर रहा, और कुछ मामलों में, और भी मजबूत हो गया। यह सुझाव देता है कि जैसे-जैसे एजेंट अधिक ज्ञान संचित करते हैं, उस ज्ञान को नेविगेट करने के लिए एक विश्वसनीय तरीके की आवश्यकता और भी महत्वपूर्ण हो जाती है। शोधकर्ताओं ने पाया कि प्रणाली तब सबसे अच्छा काम करती है जब वह केवल टेक्स्ट विवरण के बजाय, कौशल की इनपुट और आउटपुट आवश्यकताओं या वर्कफ़्लो में उसके स्थान जैसे कई प्रकार के साक्ष्यों का उपयोग कर सकती है। उन्होंने यह भी पाया कि हालांकि इस विधि ने अधिकांश कार्यों में महत्वपूर्ण मदद की, लेकिन यह सरल, प्रत्यक्ष खोजों के लिए कम महत्वपूर्ण थी जहाँ उत्तर स्पष्ट था, जो इस बात की पुष्टि करता है कि प्रणाली का मूल्य जटिल, बहु-चरणीय प्रक्रियाओं को संभालने में है।
अंततः, यह कार्य प्रदर्शित करता है कि ज्ञान के टुकड़ों के बीच के कनेक्शन की गुणवत्ता उतनी ही महत्वपूर्ण है जितना कि स्वयं ज्ञान। कनेक्शनों को केवल शब्दों के मिलान के बजाय कारण संबंधों (causal relationships) को सत्यापित करने की समस्या के रूप में मानकर, शोधकर्ताओं ने एक ऐसा ढांचा तैयार किया है जो एजेंटों को उनकी स्मृति का अधिक प्रभावी ढंग से उपयोग करने की अनुमति देता है। यह विधि यह नहीं बदलती कि एजेंट कैसे कार्य करता है या वह किन उपकरणों का उपयोग कर सकता है; यह केवल यह सुनिश्चित करती है कि सही निर्देश सही समय पर उपलब्ध हों। यह दृष्टिकोण ऐसे एजेंट बनाने के लिए एक स्केलेबल मार्ग प्रदान करता है जो तेजी से जटिल कार्यों को संभाल सकते हैं, यह सिद्ध करते हुए कि कौशलों का एक अच्छी तरह से कैलिब्रेटेड मानचित्र, एक बड़े, अव्यवस्थित पुस्तकालय की तुलना में अधिक मूल्यवान है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।