Automated Root-Cause Subclassification and No-Code Fix Generation for Invalid Bug Reports
यह शोध पत्र अमान्य बग रिपोर्टों के उप-वर्गीकरण के लिए एक मानकीकृत वर्गीकरण (taxonomy) प्रस्तुत करता है और विभिन्न एआई दृष्टिकोणों का मूल्यांकन करता है, जिसमें यह पाया गया है कि रिट्रीवल ऑगमेंटेड जनरेशन (Retrieval Augmented Generation) मूल-कारण की पहचान करने में उत्कृष्ट है जबकि एजेंटिक वेब सर्च (agentic web search) कार्रवाई योग्य नो-कोड फिक्स (no-code fixes) उत्पन्न करने के लिए सबसे प्रभावी है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त, हाई-टेक रिपेयर शॉप चलाते हैं। हर दिन, सैकड़ों लोग अपने गैजेट्स लेकर आते हैं, यह दावा करते हुए कि कुछ टूट गया है। लेकिन यहाँ एक पेंच है: कई गैजेट्स वास्तव में टूटे नहीं होते हैं।
कुछ लोग बस उन्हें प्लग इन करना भूल गए (कॉन्फ़िगरेशन इश्यू)। कुछ ऐसी नई सुविधा मांग रहे हैं जो अभी मौजूद नहीं है (फीचर रिक्वेस्ट)। कुछ डिवाइस को उल्टा पकड़कर पूछ रहे हैं कि स्क्रीन काली क्यों है (यूज़र एरर)। और कुछ बस पूछ रहे हैं, "इसे चालू कैसे करूँ?" (सवाल)।
सॉफ्टवेयर की दुनिया में, इन्हें इनवैलिड बग रिपोर्ट्स (Invalid Bug Reports) कहा जाता है।
समस्या यह है कि आपकी विशेषज्ञ इंजीनियरों (डेवलपर्स) की टीम घंटों तक इन गैर-समस्याओं को "ठीक करने" में बिता देती है। यह एक मास्टर मैकेनिक द्वारा इंजन को फिर से बनाने की कोशिश करने जैसा है जबकि कार को बस एक नई बैटरी की जरूरत है। यह समय और पैसे की बर्बादी है।
यह पेपर एक नए AI-संचालित "ट्राइएज असिस्टेंट" (Triage Assistant) को पेश करता है जिसे ठीक इसी समस्या को हल करने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, इसे सरल रूप में यहाँ दिया गया है:
1. लक्ष्य: कचरे से खजाने को अलग करना
शोधकर्ताओं ने एक ऐसा सिस्टम बनाने की कोशिश की जो किसी शिकायत को देखते ही तुरंत कह सके:
- "यह एक टूटा हुआ हिस्सा है; इसे इंजीनियरों के पास भेजें।"
- "यह टूटा नहीं है; यहाँ एक सरल निर्देश दिया गया है कि बिना किसी औज़ार को छुए आप इसे खुद कैसे ठीक कर सकते हैं।"
वे इन सरल निर्देशों को "नो-कोड फिक्स" (No-Code Fixes) कहते हैं। इसे "इसे बंद करके फिर से चालू करने की कोशिश करें" या "अपने सेटिंग्स मेनू की जाँच करें" जैसे गाइड के रूप में सोचें, लेकिन इन्हें एक स्मार्ट कंप्यूटर द्वारा स्वचालित रूप से बनाया जाता है।
2. नया "नियमकोश" (Taxonomy)
AI बनाने से पहले, शोधकर्ताओं ने इन शिकायतों को वर्गीकृत करने के लिए एक नया, व्यवस्थित नियमकोश तैयार किया। केवल "इनवैलिड" कहने के बजाय, उन्होंने इन्हें विशिष्ट श्रेणियों में बांटा, जैसे:
- "यह टूटा नहीं है, यह बस डिज़ाइन के अनुसार काम कर रहा है" (आपने ऐसी सुविधा मांगी जो मौजूद नहीं है)।
- "आप गलत वर्शन का उपयोग कर रहे हैं" (आप ऐप का पुराना वर्शन चला रहे हैं; अपडेट करें!)।
- "यह आपकी गलती नहीं है, यह किसी और की है" (समस्या उस दूसरे ऐप या वेबसाइट के साथ है जिससे आप जुड़े हुए हैं)।
- "मुझे समस्या दिखाई नहीं दे रही है" (आपने त्रुटि को दोबारा उत्पन्न करने के लिए पर्याप्त विवरण नहीं दिए)।
3. प्रयोग: तीन अलग-अलग "जासूस"
यह देखने के लिए कि कौन सा AI तरीका सबसे अच्छा काम करता है, उन्होंने ब्रेव (Brave) वेब ब्राउज़र (एक लोकप्रिय ओपन-सोर्स प्रोजेक्ट) के वास्तविक बग रिपोर्ट्स के डेटासेट पर तीन अलग-अलग "जासूसों" का परीक्षण किया।
- जासूस A ("वैनिला" LLM): यह एक स्मार्ट AI है जो शिकायत को पढ़ता है और अपने प्रशिक्षण के दौरान सीखी गई हर चीज़ के आधार पर उत्तर का अनुमान लगाता है। यह एक जानकार लाइब्रेरियन की तरह है जिसने हर किताब पढ़ी है लेकिन उसने उस विशिष्ट शेल्फ को नहीं देखा जहाँ आप खड़े हैं।
- जासूस B ("RAG" जासूस): इस AI को एक आवर्धक लेंस (magnifying glass) और एक लाइब्रेरी कार्ड दिया गया है। अनुमान लगाने से पहले, यह प्रोजेक्ट के अपने इतिहास, पिछले बग रिपोर्ट्स और आधिकारिक मैनुअलों में समान मामलों को खोजने के लिए खोज करता है। यह एक ऐसे मैकेनिक की तरह है जो निदान करने से पहले विशिष्ट कार के सर्विस इतिहास की जाँच करता है।
- जासूस C ("वेब सर्च" जासूस): यह AI एक एक्सप्लोरर (अन्वेषक) है। यदि उसे उत्तर नहीं पता होता है, तो वह हाल की खबरों, अपडेट या विशिष्ट त्रुटि के बारे में चर्चाओं को देखने के लिए लाइव इंटरनेट पर जाता है। यह एक ऐसे मैकेनिक की तरह है जो निर्माता की हेल्पलाइन पर कॉल करता है या ऑनलाइन फ़ोरम चेक करता है कि क्या कल कोई नया पैच जारी किया गया था।
4. परिणाम: कौन जीता?
शोधकर्ताओं ने पाया कि अलग-अलग काम के लिए अलग-अलग जासूस बेहतर होते हैं:
शिकायतों को वर्गीकृत करने के लिए (Subclassification):
लाइब्रेरी कार्ड वाला जासूस (RAG) समग्र रूप से सबसे अच्छा था। प्रोजेक्ट के अपने इतिहास को देखकर, यह समझने में थोड़ा बेहतर था कि रिपोर्ट क्यों अमान्य थी। यह यह पहचानने में विशेष रूप से अच्छा था कि जब उपयोगकर्ता किसी बग को दोबारा उत्पन्न नहीं कर पा रहा था या जब वह एक नई सुविधा मांग रहा था।- इसकी कमजोरी: सबसे अच्छे जासूस को भी "गलत वर्शन" (Wrong Version) वाली रिपोर्टों के साथ संघर्ष करना पड़ा। यह जानना AI के लिए कठिन है कि क्या कोई बग कल जारी किए गए वर्शन में ठीक हो गया है, जब तक कि उसके पास रीयल-टाइम एक्सेस न हो।
समाधान लिखने के लिए (No-Code Fixes):
एक्सप्लोरर जासूस (Agentic Web Search) यहाँ जीत गया। जब उसे उपयोगकर्ता को उनकी समस्या ठीक करने का तरीका बताना था, तो लाइव वेब पर जाने से उसे सबसे अद्यतित (up-to-date) समाधान और वर्कअराउंड खोजने में मदद मिली। यह उपयोगकर्ताओं को एक उपयोगी, कार्रवाई योग्य उत्तर देने में सबसे सफल रहा।
5. मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि आप हर चीज़ के लिए केवल एक "स्मार्ट AI" का उपयोग नहीं कर सकते।
- यदि आप किसी समस्या को वर्गीकृत (categorize) करना चाहते हैं, तो AI को कंपनी के आंतरिक इतिहास (RAG) तक पहुँच दें।
- यदि आप किसी उपयोगकर्ता के लिए किसी समस्या को हल (solve) करना चाहते हैं, तो AI को लाइव वेब चेक करने दें (Agentic Search)।
इन उपकरणों का उपयोग करके, "रिपेयर शॉप" स्वचालित रूप से उन 40% ग्राहकों को सरल निर्देश भेज सकती है जिन्हें बस थोड़े मार्गदर्शन की आवश्यकता है, जिससे मानव इंजीनियरों को केवल उन गैजेट्स पर ध्यान केंद्रित करने के लिए मुक्त किया जा सके जो वास्तव में टूटे हुए हैं।
यह पेपर क्या दावा नहीं करता है:
- यह दावा नहीं करता कि यह सिस्टम परफेक्ट है; यह अभी भी कुछ विशिष्ट प्रकार की त्रुटियों (जैसे "गलत वर्शन") के साथ संघर्ष करता है।
- यह दावा नहीं करता कि यह दुनिया की हर सॉफ्टवेयर कंपनी के लिए काम करता है; उन्होंने विशेष रूप से ब्रेव ब्राउज़र पर इसका परीक्षण किया।
- यह दावा नहीं करता कि मानव सहायता कर्मचारी अब बेकार हो गए हैं; लक्ष्य उनके दोहराव वाले काम को कम करना है, उन्हें पूरी तरह से बदलना नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।