TraceView: Interactive Visualization of Agentic Program Repair Trajectories
यह शोध पत्र TraceView को प्रस्तुत करता है, जो एक इंटरैक्टिव विज़ुअलाइज़ेशन टूल है जिसे डेवलपर्स को लेबल किए गए ग्राफ व्यूज़ के साथ फ़िल्टरिंग और साक्ष्य क्षमताओं के माध्यम से व्यवस्थित करके, LLM-आधारित स्वचालित प्रोग्राम रिपेयर ट्रेजेक्टरीज के भीतर तर्क, कार्यों और फीडबैक लूप्स को निदान करने और समझने में मदद करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन कभी-कभी भ्रमित होने वाला रोबोट सहायक है। आप उससे सॉफ्टवेयर के एक टूटे हुए हिस्से (एक "बग") को ठीक करने के लिए कहते हैं। रोबोट इसे ठीक करने की कोशिश करता है, और कभी-कभी यह सफल होता है, और कभी-कभी विफल।
अतीत में, यदि रोबोट विफल हो जाता था, तो आपको केवल अंतिम परिणाम दिखाई देता था: "सुधार विफल रहा।" आपको यह पता नहीं चलता था कि क्यों वह विफल हुआ। क्या वह भ्रमित हो गया था? क्या उसने एक ही गलती को बार-बार दोहराया? क्या उसने मिले हुए सुरागों को अनदेखा कर दिया? यह एक ऐसी फिल्म देखने जैसा था जहाँ अंत में स्क्रीन अचानक काली हो जाती है, और आपको पता नहीं चलता कि बीच में क्या हुआ।
TraceView एक नया टूल है जिसे शोधकर्ताओं द्वारा इस समस्या को हल करने के लिए बनाया गया है। यह कैसे काम करता है, यहाँ सरल रूप में समझाया गया है:
1. "ब्लैक बॉक्स" की समस्या
आमतौर पर, जब ये AI एजेंट कोड को ठीक करने की कोशिश करते हैं, तो वे सोचने, कार्य करने और परिणामों की जाँच करने की एक लंबी प्रक्रिया से गुजरते हैं। इसे "ट्रैजेक्टरी" (trajectory) कहा जाता है।
- पुराना तरीका: आप केवल अंतिम पैच (सुधार) देखते हैं। यदि यह काम करता है, तो बहुत अच्छा। यदि नहीं, तो आप अनुमान लगाने के लिए छोड़ दिए जाते हैं कि क्या गलत हुआ।
- समस्या: रोबोट ने 20 चरणों तक चक्कर लगाने में समय बिताया होगा, या उसने किसी चेतावनी संकेत को अनदेखा कर दिया होगा। बिना चरणों को देखे, आप रोबोट को अगली बार बेहतर करने के लिए नहीं सिखा सकते।
2. TraceView क्या करता है: "फ्लाइट रिकॉर्डर"
TraceView को रोबोट के दिमाग के लिए एक फ्लाइट रिकॉर्डर (ब्लैक बॉक्स) के रूप में समझें। केवल दुर्घटना दिखाने के बजाय, यह आपको पूरा उड़ान पथ दिखाता है।
यह रोबोट के हर कदम को तीन सरल भागों में तोड़ता है:
- विचार (Thought): रोबोट क्या सोच रहा था या क्या योजना बना रहा था।
- क्रिया (Action): रोबोट ने वास्तव में क्या किया (जैसे किसी फ़ाइल को खोजना या कोई परीक्षण चलाना)।
- परिणाम (Result): क्रिया के बाद क्या हुआ (जैसे परीक्षण का पास होना या फेल होना)।
3. इंटरैक्टिव मैप (संवादात्मक मानचित्र)
TraceView इस लंबे चरणों की सूची को एक विजुअल मैप (ग्राफ) में बदल देता है।
- अवलोकन (The Overview): कल्पना कीजिए कि आप एक सबवे मैप देख रहे हैं। आप मुख्य स्टॉप (चरण) और उन्हें जोड़ने वाली रेखाओं को देखते हैं। यह आपको बड़ी तस्वीर देखने में मदद करता है: "ओह, रोबलेट यहाँ एक लूप में घूमता रहा!" या "यह भटक गया और ट्रैक से बाहर चला गया!"
- विवरण (The Details): यदि आप किसी विशिष्ट स्टॉप पर क्लिक करते हैं, तो मैप ज़ूम इन हो जाता है। आप उस क्षण में रोबोट के सटीक विचारों और कार्यों को पढ़ सकते हैं।
4. यात्रा को लेबल करना
शोधकर्ता TraceView का उपयोग करके रोबोट की यात्रा को "टैग" करते हैं, ठीक वैसे ही जैसे एक शिक्षक छात्र के होमवर्क को ग्रेड देता है। वे चरणों के बीच के कनेक्शन को इन शब्दों के साथ लेबल कर सकते हैं:
- "अच्छा फॉलो-अप" (Good Follow-up): रोबोट ने एक सुराग का सही उपयोग किया।
- "दोहराव" (Repetition): रोबोट ने बिना किसी कारण के एक ही चीज़ को दो बार किया।
- "विचलन" (Divergence): रोबोट भ्रमित हो गया और किसी असंबंधित चीज़ के बारे में बात करने लगा।
- "गलत व्याख्या" (Misinterpretation): रोबोट ने एक सुराग देखा लेकिन उसे गलत समझा।
इन कनेक्शनों को अलग-अलग रंगों से चिह्नित करके, यह टूल इस बात को उजागर करता है कि रोबोट कहाँ उत्पादक था और कहाँ वह फंस गया था।
5. शोधकर्ताओं ने क्या पाया
टीम ने इस टूल का परीक्षण पांच शोधकर्ताओं के साथ किया। उन्होंने पाया कि:
- यह स्कैन करने में आसान है: मैप को देखना लंबे टेक्स्ट लॉग पढ़ने की तुलना में बहुत तेज़ था।
- यह समझ में मदद करता है: "ज़ूम आउट, फिर ज़ूम इन" वाले दृष्टिकोण ने उन्हें यह समझने में मदद की कि रोबोट ने कुछ गलतियाँ क्यों कीं।
- सुधार की गुंजाइश: कुछ उपयोगकर्ताओं ने कहा कि मैप और भी स्पष्ट हो सकता है यदि नोड्स (मैप पर बिंदु) में केवल "T1" या "A2" जैसे कोड के बजाय संक्षिप्त सारांश हों।
संक्षेप में
TraceView एक ऐसा टूल है जो AI रोबोट के कार्यों की एक भ्रमित करने वाली, लंबी सूची को एक स्पष्ट, इंटरैक्टिव मैप में बदल देता है। यह मनुष्यों को यह देखने में मदद करता है कि रोबोट कहाँ खो गया, खुद को दोहराने लगा, या सुरागों को अनदेखा कर दिया, जिससे अगली बार रोबोट के व्यवहार को ठीक करना और उसे बेहतर काम करने के योग्य बनाना बहुत आसान हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।