Leveraging Trajectory Graphs for Pre-Execution Error Diagnosis in Agentic LLM Systems
यह शोध पत्र "ट्रैजेक्टरी ग्राफ कोपायलट" (Trajectory Graph Copilot) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो ऐतिहासिक प्रक्षेप पथों (trajectories) को संभाव्य ग्राफ़ के रूप में मॉडल करने के लिए एक ग्राफ न्यूरल नेटवर्क का लाभ उठाता है, जिससे LLM एजेंटों को निष्पादन से पहले संभावित क्रिया त्रुटियों का निदान करने और स्वयं को सुधारने में सक्षम बनाया जा सके, जिससे जटिल, दीर्घकालिक कार्यों में सफलता दर में उल्लेखनीय सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल डिटेक्टिव: AI की गलतियों को होने से पहले ही पकड़ना
कल्पना कीजिए कि आप एक बहुत ही स्मार्ट, लेकिन थोड़े अनाड़ी रोबोट को एक विशाल, अदृश्य भूलभुलैया (maze) में रास्ता खोजने के लिए सिखा रहे हैं। यह रोबोट एक लार्ज लैंग्वेज मॉडल (LLM) द्वारा संचालित है, जो आर्टिफिशियल इंटेलिजेंस का एक प्रकार है जो भाषा समझने और टेक्स्ट जेनरेट करने में अविश्वसनीय रूप से कुशल है। कंप्यूटर विज्ञान की दुनिया में, हम इन्हें "एजेंट्स" कहते हैं। वे डिजिटल खोजकर्ताओं की तरह हैं जो कोड लिख सकते हैं, विज्ञान की पहेलियाँ सुलझा सकते हैं, या यहाँ तक कि एक आभासी घर की सफाई करने का नाटक भी कर सकते हैं। लेकिन यहाँ एक पेच है: जब ये एजेंट लंबे, जटिल कार्यों का सामना करते हैं, तो वे अक्सर अपने ही पैरों में उलझकर गिर जाते हैं। एक छोटी सी गलती, जैसे गलत वस्तु उठा लेना या गोल-गोल घूमना, एक बड़ी विफलता में बदल सकती है, जिससे उनकी सारी ऊर्जा और समय बर्बाद हो जाता है।
लंबे समय तक, वैज्ञानिकों ने इसे इस तरह ठीक करने की कोशिश की कि रोबोट को विफल होने दिया जाए, मलबे को देखा जाए, और फिर उसे दोबारा वह विशिष्ट गलती न करने के लिए सिखाया जाए। यह साइकिल चलाने के सीखने जैसा है, जो केवल तब होता है जब आप पेड़ से टकराकर गिर जाते हैं। लेकिन यह शोध पत्र एक बेहतर तरीका सुझाता है: क्या होगा अगर हमारे पास एक "को-पायलट" हो जो दुर्घटना होने से पहले ही डगमगाहट को पहचान सके? इस अध्ययन के पीछे के शोधकर्ताओं ने, जो सॉफ्टवेयर डिबगिंग (जहाँ प्रोग्रामर प्रोग्राम चलाने से पहले कोड में बग ढूंढते हैं) और ग्राफ थ्योरी (चीजों के बीच संबंधों को मैप करने का एक तरीका) की अवधारणाओं का उपयोग करते हैं, एक नया तरीका प्रस्तावित किया है। वे एक त्रुटि को पकड़ना चाहते हैं जैसे ही कोई एजेंट कोई कदम उठाने वाला होता है, एक सुरक्षा जाल की तरह जो कहता है, "हे, यह कदम जोखिम भरा लग रहा है!" इससे पहले कि रोबोट वास्तव में वह कदम उठाए।
"को-पायलट" जो भविष्य देख सकता है
यह शोध पत्र एक चतुर नए ढांचे (framework) को पेश करता है जिसे ट्रैजेक्टरी ग्राफ को-पायलट (Trajectory Graph Copilot) कहा जाता है। एक AI एजेंट को पहेली सुलझाने की कोशिश करते हुए एक घने जंगल में हाइकर (हाइकर) के रूप में सोचें। यदि हाइकर गलत मोड़ ले लेता है, तो उसे तब तक पता नहीं चलेगा जब तक कि वह रास्ते से मीलों दूर न हो जाए। पारंपरिक तरीके तब तक इंतजार करते हैं जब तक हाइकर खो न जाए और फिर कहते हैं, "आप गलत दिशा में गए थे।" हालाँकि, यह नई प्रणाली एक अत्यंत जागरूक मार्गदर्शक की तरह काम करती है जिसने जंगल के हर रास्ते को याद कर लिया है।
इस प्रणाली का मूल एक उपकरण है जिसे वे ग्राफ डिबगर (Graph Debugger) कहते हैं। एजेंट के विचारों को केवल शब्दों की एक साधारण सूची (जैसे एक टेक्स्ट मैसेज) के रूप में पढ़ने के बजाय, ग्राफ डिबगर एजेंट के इतिहास को एक मैप (नक्शे) में बदल देता है। एक सबवे मैप की कल्पना करें जहाँ स्टेशन वे क्रियाएं हैं जो एजेंट करता है (जैसे "चाबी उठाना") और उन्हें जोड़ने वाली रेखाएं अवलोकन (observations) हैं (जैसे "दरवाजा बंद है")। यह मैप केवल एक चित्र नहीं है; यह एक जीवित, संभाव्यता आधारित ग्राफ (probabilistic graph) है जो पिछली यात्राओं से सीखता है। यह जानता है कि यदि आप बिना चाबी के बंद दरवाजा खोलने की कोशिश करते हैं, तो वह रास्ता आमतौर पर एक डेड एंड (बंद रास्ते) की ओर ले जाता है।
एक विशेष प्रकार के AI, जिसे ग्राफ न्यूरल नेटवर्क (GNN) कहा जाता है, का उपयोग करके, यह प्रणाली मैप को देखती है और उन पैटर्न को पहचानती है जो आमतौर पर विफलता की ओर ले जाते हैं। यह एक ऐसे जासूस की तरह है जो देखता है कि हर बार जब कोई संदिग्ध एक विशिष्ट प्रकार का टिकट खरीदता है, तो वह गलत स्टेशन पर पहुँच जाता है। ग्राफ डिबगर केवल "रुको!" नहीं कहता; यह एक "डायग्नोस्टिक सैंडबॉक्स" के रूप में कार्य करता है। यह एक संभावित त्रुटि को चिह्नित करता है और एजेंट को बताता है, "हे, जो कुछ भी पहले हुआ उसके आधार पर, यह कदम एक गलती लग रहा है। क्या आप इस पर फिर से विचार करना चाहते हैं?"
उन्होंने क्या पाया
शोधकर्ताओं ने इस विचार का परीक्षण चार अलग-अलग "दुनियाओं" पर किया जहाँ AI एजेंटों को समस्याओं को हल करना होता है: AlfWorld (एक आभासी घर), TextWorld (टेक्स्ट-आधारित एडवेंचर गेम), ScienceWorld (वैज्ञानिक प्रयोग), और TravelPlanner (जटिल यात्राओं की योजना बनाना)। उन्होंने एजेंटों को संचालित करने के लिए तीन अलग-अलग AI दिमागों का उपयोग किया: GPT-4o-mini, Qwen2.5, और Gemma3।
परिणाम काफी उत्साहजनक थे। जब ग्राफ डिबगर ने एक चेतावनी प्रणाली के रूप में कार्य किया, तो एजेंट कार्यों को पूरा करने में काफी बेहतर हो गए। औसतन, सफलता दर (जिसे "पास रेश्यो" कहा जाता है) में 14.69% की वृद्धि हुई। AI की दुनिया में, जहाँ हर एक प्रतिशत हासिल करना कठिन होता है, यह एक बहुत बड़ा सुधार है।
शोध पत्र ने अपने नए "मैप-आधारित" जासूस की तुलना अन्य तरीकों से भी की। उन्होंने सरल टेक्स्ट क्लासिफायर (जैसे स्पेलचेकर), रिट्रीवल सिस्टम (पिछले समान गलतियों को देखना), और यहाँ तक कि अन्य AI मॉडलों से चालों का न्याय करने के लिए पूछने का प्रयास किया। ग्राफ डिबगर ने इन विधियों को लगातार पछाड़ दिया। वास्तव में, AlfWorld वातावरण में, इसने दूसरे सबसे अच्छे तरीके को 10% से अधिक से पीछे छोड़ दिया। लेखकों का सुझाव है कि ऐसा इसलिए है क्योंकि कनेक्शनों के "मैप" को देखना केवल शब्दों की सूची पढ़ने की तुलना में कार्य के तर्क को बेहतर तरीके से पकड़ता है।
यह क्यों मायने रखता है (बिना किसी अतिशयोक्ति के)
इस शोध पत्र का सबसे रोमांचक हिस्सा केवल यह नहीं है कि नंबर बढ़ गए; बल्कि यह है कि वे कैसे बढ़े। शोधकर्ताओं ने पाया कि उनका तरीका बिना विशाल AI मॉडल को शुरू से फिर से प्रशिक्षित (retrain) किए काम करता है। AI को नए नियम याद करने के लिए मजबूर करने के बजाय (जो धीमा और महंगा है), उन्होंने बस इस "को-पायलट" मॉड्यूल को जोड़ा जो वास्तविक समय में फीडबैक देता है। यह एक छात्र को पूरी क्लास दोबारा लेने के लिए मजबूर करने के बजाय परीक्षा के दौरान संकेत देने जैसा है।
हालाв, शोध पत्र इस बात का दावा करने में सावधान है कि यह कोई जादुई समाधान (magic bullet) नहीं है। इस प्रणाली को अपना मैप बनाने के लिए पिछले यात्राओं के डेटासेट की आवश्यकता होती है, जिसे एकत्र करने में समय लग सकता है। साथ ही, हालांकि एजेंट बेहतर हुए, वे पूर्ण (perfect) नहीं हुए। यह प्रणाली सुधार के लिए एक उपकरण है, सफलता की गारंटी नहीं। लेकिन जो कोई भी ऐसे विश्वसनीय AI बनाने की कोशिश कर रहा है जो त्रुटियों के चक्र में फंसे बिना लंबे, जटिल कार्यों को संभाल सके, उसके लिए यह "प्री-एग्जीक्यूशन" डायग्नोसिस एक नया और प्रभावी मार्ग प्रदान करता है। यह AI को एक लापरवाह खोजकर्ता से एक सतर्क, आत्म-सुधार करने वाले यात्री में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।