TraceGraph: Shared Decision Landscapes for Diagnosing and Improving Agent Trajectories
TraceGraph एक ग्राफ-आधारित ढांचे को पेश करता है जो मल्टी-मॉडल एजेंट ट्रैजेक्टरीज को साझा निर्णय परिदृश्यों (decision landscapes) में परिवर्तित करता है ताकि छिपे हुए नेविगेशन अंतरों और विफलता पैटर्न को उजागर किया जा सके, जो बदले में एक ट्रैप-अवेयर रिकवरी पाइपलाइन को सक्षम करता है जो SWE-bench पर रेजोल्यूशन दरों में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप पाँच अलग-अलग खोजकर्ताओं के एक समूह को एक जटिल भूलभुलैया (maze) सुलझाते हुए देख रहे हैं। अतीत में, यदि आप जानना चाहते थे कि सबसे अच्छा खोजकर्ता कौन था, तो आप केवल अंतिम स्कोर देखते थे: "क्या वे निकास तक पहुँचे? हाँ या नहीं?"
TraceGraph पेपर तर्क देता है कि यह "हाँ या नहीं" वाला स्कोर बहुत कुछ छिपा देता है। यह एक शेफ (chef) को केवल इस आधार पर आंकने जैसा है कि केक खाया गया या नहीं, बिना यह देखे कि एक शेफ ने वहाँ पहुँचने के लिए रसोई में आग लगा दी, जबकि दूसरे ने बगीचे के सुंदर रास्ते से यात्रा की।
TraceGraph कैसे काम करता है, इसका सरल विवरण यहाँ दिया गया है:
1. साझा मानचित्र (निर्णय परिदृश्य - The Decision Landscape)
प्रत्येक खोजकर्ता के पथ को अलग-थलग देखने के बजाय, TraceGraph उनके सभी कदमों को लेकर उन्हें एक विशाल, साझा मानचित्र पर मिला देता है।
- कदम (The Steps): हर बार जब एक AI एजेंट (खोजकर्ता) एक क्रिया करता है (जैसे "एक फ़ाइल पढ़ना" या "एक परीक्षण चलाना") और परिणाम देखता है, तो वह एक "पदचिह्न" (footprint) छोड़ देता है।
- क्लस्टरिंग (The Clustering): TraceGraph इन पदचिह्नों को देखता है। यदि दो कदम बहुत समान दिखते हैं (उदाहरण के लिए, दोनों एक ही फ़ाइल में एक विशिष्ट त्रुटि को ठीक करने की कोशिश कर रहे हैं), तो यह उन्हें जोड़ने के लिए एक रेखा खींचता है।
- परिणाम: इससे कार्य का एक जाल या एक "परिदृश्य" (landscape) बन जाता है। कुछ क्षेत्र सुरक्षित हैं और सफलता की ओर ले जाते हैं; अन्य मृत अंत (dead ends) हैं।
2. तीन प्रमुख घटनाएँ
एक बार जब मानचित्र बन जाता है, तो TraceGraph देखता है कि प्रत्येक AI उस पर कैसे चलता है। इसे अभी अंतिम स्कोर की परवाह नहीं है; यह तीन विशिष्ट क्षणों पर ध्यान केंद्रित करता है:
- पहुँच (Access): क्या AI ने "उत्पादक कोर" (productive core) को खोज लिया? (वह सुरक्षित, उच्च-मूल्य वाला क्षेत्र जहाँ अच्छा काम होता है)।
- जाल का सामना (Trap Exposure): क्या AI किसी "जाल" में फँस गया? (एक भ्रमित करने वाला क्षेत्र जहाँ कई अन्य लोग विफल हुए या अटक गए)।
- सुधार (Repair): यदि AI किसी जाल में गिर गया, तो क्या वह बाहर निकलने और वापस उत्पादक कोर तक पहुँचने में सफल रहा?
3. मानचित्र ने क्या खुलासा किया
जब शोधकर्ताओं ने इस साझा मानचित्र को देखा, तो उन्होंने पाया कि साधारण स्कोर क्या मिस कर देते हैं:
- अलग-अलग शैलियाँ: कुछ मॉडल (जैसे DeepSeek-V3.2) साहसी खोजकर्ता थे। वे अक्सर उत्पादक कोर को खोज लेते थे, कभी-कभी जाल में फँस जाते थे, लेकिन वे बाहर निकलने (Repair) में बहुत अच्छे थे। अन्य (जैसे Qwen3-Next) बहुत सतर्क थे। वे शायद ही कभी जाल में फँसते थे, लेकिन वे उत्पादक कोर को भी शायद ही कभी खोज पाते थे क्योंकि वे अन्वेषण करने से बहुत डरते थे।
- अलग-अलग भूलभुलैया के लिए अलग नियम: शोधकर्ताओं ने पाँच अलग-अलग प्रकार के कार्यों (जैसे सॉफ़्टवेयर बग ठीक करना, वेब खोजना या टूल का उपयोग करना) पर इसका परीक्षण किया। उन्होंने पाया कि कुछ भूलभुलैया बचने (गलती न करना!) के लिए पुरस्कृत करती हैं, जबकि अन्य (जैसे सॉफ़्टवेयर बग ठीक करना) गलतियों से उबरने (recover) के लिए पुरस्कृत करती हैं। एक मॉडल जो जाल से बचने में माहिर है, वह वास्तव में उस कार्य में विफल हो सकता है जहाँ आपको गलती से उबरने की आवश्यकता होती है।
4. "ट्रैप डिटेक्टर" प्रयोग
सबसे रोमांचक हिस्सा यह है कि उन्होंने इस मानचित्र का उपयोग वास्तविक समय में AI की मदद करने के लिए कैसे किया।
- विचार: चूँकि वे जानते थे कि मानचित्र पर एक "जाल" कैसा दिखता है (क्रियाओं और त्रुटियों का एक विशिष्ट पैटर्न), उन्होंने एक डिटेक्टर बनाया।
- ट्रिगर: जब एक AI किसी नई समस्या को हल कर रहा था और उसने एक ऐसे पैटर्न में कदम रखा जो ज्ञात "जाल" से मेल खाता था, तो डिटेक्टर ने अलार्म बजा दिया।
- बचाव: जब अलार्म बजा, तो सिस्टम ने AI को विफल होने देने के बजाय उसे रोकने और दो सरल सुधारों को आज़माने का प्रयास किया:
- "हॉट" फिक्स (The "Hot" Fix): इसने AI को थोड़ा अधिक यादृच्छिकता (randomness) के साथ फिर से प्रयास करने के लिए कहा (जैसे पासा फेंकना) ताकि यह देखा जा सके कि क्या कोई अलग रास्ता काम करता है।
- "नोट" फिक्स (The "Note" Fix): इसने AI को त्रुटि के आधार पर एक कोमल रिमाइंडर नोट दिया: "हे, आप यहाँ अटक गए लगते हैं। त्रुटि को फिर से पढ़ें, इस विशिष्ट फ़ाइल पर ध्यान केंद्रित करें, और एक छोटा सा बदलाव करने का प्रयास करें।"
परिणाम: एक सॉफ़्टवेयर रिपेयर कार्य (SWE-bench) पर, इस ट्रैप डिटेक्टर का उपयोग करने से AI अपनी क्षमता से लगभग 3 से 4% अधिक समस्याओं को ठीक करने में सफल रहा। इसने साबित कर दिया कि यह जानना कि जाल कहाँ हैं, आपको एक सुरक्षा जाल बनाने की अनुमति देता है जो AI को विफल होने से पहले पकड़ लेता है और उसे ठीक करने का दूसरा मौका देता है।
सारांश
TraceGraph एक ऐसा उपकरण है जो हमें केवल AI के अंतिम स्कोर को देखने से रोकता है। इसके बजाय, यह एक साझा मानचित्र बनाता है कि AI एजेंट कार्यों के माध्यम से कैसे चलते हैं। यह हमें दिखाता है:
- कौन से मॉडल साहसी खोजकर्ता बनाम सतर्क यात्री हैं।
- किन कार्यों के लिए गलतियों से बचना बनाम उनसे उबरना आवश्यक है।
- कैसे एक "सुरक्षा जाल" बनाया जाए जो यह पता लगा सके कि कब एक AI ज्ञात जाल में गिरने वाला है और उसे ठीक करने के लिए उसे दूसरा मौका दे सके।
यह "AI विफल रहा" के ब्लैक बॉक्स को एक स्पष्ट कहानी में बदल देता है: "AI एक जाल में फँस गया, लेकिन थोड़ी मदद के साथ, वह इससे बाहर निकल सकता था।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।