From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents
यह शोध पत्र RUPA को प्रस्तुत करता है, जो एक प्रक्षेपवक्र-स्तर (ट्रैजेक्टरी-लेवल) अनिश्चितता परिमाणीकरण ढांचा है जो रिलेशनल डिपेंडेंसीज़ के माध्यम से अनिश्चितता को प्रसारित करने के लिए निष्पादन इतिहास (एग्जीक्यूशन हिस्ट्रीज़) को निर्देशित ग्राफ़ के रूप में मॉडल करता है, जिससे यह लंबी दूरी के त्रुटि संचय का पता लगाने में मौजूदा विधियों से बेहतर प्रदर्शन करता है और जटिल संवादात्मक वातावरणों में LLM एजेंटों की विश्वसनीयता में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, सॉफ्टवेयर की एक नई पीढ़ी उभरी है जो केवल सवालों के जवाब देने या टेक्स्ट लिखने से कहीं अधिक करती है। ये सिस्टम, जिन्हें स्वायत्त एजेंट (autonomous agents) कहा जाता है, अपने आप कार्य करने के लिए डिज़ाइन किए गए हैं। वे एक जटिल लक्ष्य को छोटे चरणों में तोड़ सकते हैं, जानकारी एकत्र करने के लिए डिजिटल उपकरणों का उपयोग कर सकते हैं, और उन समस्याओं को हल करने के लिए कंप्यूटर वातावरण के साथ इंटरैक्ट कर सकते हैं जिनमें दर्जनों या सैकड़ों निर्णयों की आवश्यकता होती है। उन्हें निरंतर मानवीय पर्यवेक्षण के बिना इंटरनेट चलाने, कोड लिखने या डेटा प्रबंधित करने में सक्षम डिजिटल कर्मचारियों के रूप में समझें। हालाँकि, जैसे-जैसे ये एजेंट अधिक कठिन कार्य संभालते हैं, एक महत्वपूर्ण प्रश्न उठता है: हम कैसे जान सकते हैं कि वे गलती करने वाले हैं? एक साधारण टेक्स्ट जनरेटर के विपरीत, जो केवल एक गलत वाक्य बना सकता है, एक एजेंट की विफलता अक्सर एक धीमी प्रक्रिया होती है। तर्क की एक लंबी श्रृंखला में शुरू में की गई एक छोटी सी गलती आगे की ओर लहरों की तरह फैल सकती है, जिससे बाद के चरण विकृत हो जाते हैं और अंतिम परिणाम पूरी तरह से विफल हो जाता है। इन प्रणालियों को वास्तविक दुनिया में भरोसेमंद बनाने के लिए, डेवलपर्स को इसे केवल घटना के बाद नहीं, बल्कि घटना के दौरान ही विफलता के जोखिम को मापने का एक तरीका खोजने की आवश्यकता है।
शोधकर्ताओं ने लंबे समय से ऐसे सिस्टम बनाने की कोशिश की है जो यह बता सकें कि मॉडल कब अनिश्चित है। पारंपरिक तरीके आमतौर पर कंप्यूटर के तत्काल आउटपुट को देखते हैं, यह जाँचते हैं कि मॉडल उस अगले शब्द के बारे में कितना आश्वस्त है जिसे वह उत्पन्न करने वाला है। यह दृष्टिकोण छोटे कार्यों के लिए अच्छा काम करता है, लेकिन जब कार्य एक लंबी समयरेखा तक खिंच जाता है, तो यह विफल हो जाता है। समस्या यह है कि ये तरीके प्रत्येक चरण को एक अलग घटना के रूप में देखते हैं, और इस बात को अनदेखा करते हैं कि वहां तक पहुँचने के इतिहास ने कैसे भूमिका निभाई। वे उस सूक्ष्म संबंधों को चूक जाते हैं जो दस कदम पहले लिए गए निर्णय और वर्तमान क्रिया के बीच होते हैं। यदि एक एजेंट उपयोगकर्ता के अनुरोध को शुरुआत में गलत समझ लेता है, तो वह प्रारंभिक भ्रम उस समय गलती जैसा नहीं लग सकता है, लेकिन यह पूरे प्रोजेक्ट को पटरी से उतार सकता है। वर्तमान उपकरण उस ड्राइवर की तरह हैं जो केवल कार के ठीक सामने की सड़क को देखता है, यह भूल जाता है कि मीलों पहले एक गलत मोड़ लिया गया था जो अंततः उसे डेड एंड (बंद रास्ते) की ओर ले जाएगा।
इसे हल करने के लिए, चीनी विज्ञान अकादमी के शोधकर्ताओं की एक टीम ने RUPA नामक एक नया ढांचा विकसित किया है। एजेंट के कार्य को केवल चरणों की एक सरल सूची के रूप में देखने के बजाय, वे पूरी प्रक्रिया को जुड़ी हुई घटनाओं के एक नेटवर्क के रूप में मैप करते हैं। इस प्रणाली में, प्रत्येक क्रिया, टूल का उपयोग और फीडबैक एक ग्राफ में एक नोड है, और उन्हें जोड़ने वाली रेखाएं उनके बीच के तार्किक संबंधों का प्रतिनिधित्व करती हैं। शोधकर्ताओं ने पाया कि त्रुटियां अक्सर इन विशिष्ट कनेक्शनों के माध्यम से चलती हैं। इस मानचित्र को बनाकर, सिस्टम यह पता लगा सकता है कि अनिश्चितता कैसे बढ़ती है और एजेंट के इतिहास में आगे बढ़ती है। यह न केवल मॉडल के तत्काल आत्मविश्वास को देखकर, बल्कि उस पथ की विश्वसनीयता को देखकर भी वर्तमान क्षण के लिए एक जोखिम स्कोर की गणना करता है जो वहां तक पहुँचा है। यदि कोई प्रारंभिक चरण संदिग्ध था, तो सिस्टम पहचान लेता है कि वर्तमान चरण एक कमजोर नींव पर बना है, भले ही वर्तमान चरण स्वयं आत्मविश्वासी दिखाई दे रहा हो।
टीम ने जटिल सॉफ्टवेयर इंजीनियरिंग समस्याओं, टर्मिनल-आधारित कंप्यूटिंग चुनौतियों और खुले-अंत वाले समस्या-समाधान परिदृश्यों सहित विभिन्न चुनौतीपूर्ण कार्यों पर इस दृष्टिकोण का परीक्षण किया। उन्होंने इन परीक्षणों को छह अलग-अलग लार्ज लैंग्वेज मॉडल्स का उपयोग करके चलाया, जो छोटे से लेकर बहुत बड़े सिस्टम तक विस्तृत थे। परिणामों ने दिखाया कि यह नई विधि मौजूदा तकनीकों की तुलना में समस्याओं को पकड़ने में काफी बेहतर थी। परीक्षणों के एक सेट में, नए सिस्टम ने पिछले सर्वोत्तम तरीकों की तुलना में विफलताओं का पता लगाने की क्षमता में उल्लेखनीय अंतर से सुधार किया। इससे भी महत्वपूर्ण बात यह है कि यह प्रक्रिया के बहुत पहले ही संभावित विफलताओं की पहचान कर सकता था। जहाँ पुराने तरीके अक्सर प्रक्रिया के बिल्कुल अंत में ही एहसास करते थे कि कुछ गलत हुआ है, वहीं यह नया दृष्टिकोण कुछ ही चरणों के बाद खतरे का संकेत दे सकता था, जिससे सिस्टम को कार्य खराब होने से पहले अपना रास्ता सुधारने का मौका मिल जाता है।
शोधकर्ताओं ने यह भी प्रदर्शित किया कि जोखिम की इस बेहतर समझ का उपयोग एजेंटों को बेहतर बनाने के लिए किया जा सकता है। जब सिस्टम को कई संभावित क्रियाओं के बीच चयन करने का विकल्प दिया गया, तो वह सबसे सुरक्षित विकल्प चुनने के लिए जोखिम स्कोर का उपयोग कर सका। इन परीक्षणों में, इस नई पद्धति द्वारा निर्देशित एजेंटों ने पारंपरिक आत्मविश्वास मापों द्वारा निर्देशित एजेंटों की तुलना में अधिक कार्यों को सफलतापूर्वक पूरा किया। अध्ययन बताता है कि विश्वसनीय आर्टिफिशियल इंटेलिजेंस की कुंजी केवल वर्तमान क्षण को देखना नहीं है, बल्कि यात्रा की संरचना को समझना है। एजेंट द्वारा उठाए गए प्रत्येक कदम के बीच के संबंधों को मैप करके, हम देख सकते हैं कि कैसे छोटी अनिश्चितताएं बड़ी समस्याओं में बदल जाती हैं। यह दृष्टिकोण ऐसे एजेंट बनाने का एक व्यावहारिक तरीका प्रदान करता है जो न केवल सक्षम हैं, बल्कि भरोसेमंद भी हैं, और जटिल वातावरण में अपना रास्ता भटके बिना नेविगेट करने में सक्षम हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।