LLM-Based Automated Diagnosis Of Integration Test Failures At Google
यह शोध पत्र Auto-Diagnose को प्रस्तुत करता है, जो Google के कोड रिव्यू सिस्टम में एकीकृत एक LLM-संचालित टूल है, जो जटिल इंटीग्रेशन टेस्ट लॉग्स का प्रभावी ढंग से विश्लेषण करके 90.14% सटीकता के साथ मूल कारणों की पहचान करता है, जिससे डेवलपर के प्रयासों में काफी कमी आती है और दसियों हज़ार टेस्ट विफलताओं में सकारात्मक एडॉप्शन फीडबैक प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-टेक रेस्टोरेंट चलाने वाले एक शेफ हैं। आपके पास रसोइयों की एक टीम है (सॉफ्टवेयर घटक) जो जटिल व्यंजन (सॉफ्टवेयर फीचर्स) बनाने के लिए मिलकर काम करती है।
समस्या: रसोई में "शोर" (The "Noise" in the Kitchen)
कभी-कभी, कोई व्यंजन गलत बनता है। शायद सूप ठंडा है, या स्टेक जल गया है। पुराने दिनों में, जब कोई व्यंजन विफल होता था, तो मुख्य शेफ (डेवलपर) को रसोई में जाना पड़ता था और हर एक रसोइये, बर्तन धोने वाले, डिलीवरी ड्राइवर और वेटर द्वारा छोड़े गए हजारों हस्तलिखित नोट्स को देखना पड़ता था।
ये नोट्स ही लॉग्स (logs) हैं।
- ये बहुत अधिक हैं (हजारों लाइनें)।
- ये अव्यवस्थित, अलग-अलग लिखावट में लिखे गए हैं (अनस्ट्रक्चर्ड फॉर्मेट)।
- अधिकांश नोट्स कहते हैं "मैंने एक प्लेट धोई" या "मैंने फ्रिज खोला" (रूटीन शोर), लेकिन इनके भीतर कहीं गहराई में एक छोटा सा नोट छिपा होता है जो कहता है, "दोपहर 2:03 बजे चूल्हा टूट गया" (वास्तविक त्रुटि)।
कागज के ढेर में उस एक छोटे से नोट को ढूंढना घंटों का काम है। यह निराशाजनक, थका देने वाला है, और पूरे रेस्टोरेंट की गति को धीमा कर देता है। गूगल में, डेवलपर्स इस "भूसे के ढेर में सुई" को खोजने में हर दिन घंटों बिता रहे थे।
समाधान: सुपर-इंटेलिजेंट सू-शेफ (Auto-Diagnose)
गूगल की टीम ने एक नया टूल बनाया जिसे Auto-Diagnose कहा जाता है। इसे एक सुपर-इंटेलिजेंट, हाइपर-फास्ट सू-शेफ के रूप में सोचें जिसने दुनिया की हर एक मैनुअल पढ़ ली है और जो एक सेकंड में हजारों पन्नों के नोट्स पढ़ सकता है।
यह इस प्रकार काम करता है:
- अलार्म: जब कोई व्यंजन विफल होता है, तो रसोई सू-शेफ को नोट्स का एक बड़ा ढेर भेजती है।
- स्कैन: सू-शेफ (जो एक लार्ज लैंग्वेज मॉडल, या LLM द्वारा संचालित है) केवल पढ़ता नहीं है; वह समझता है। वह तुरंत "मैंने फ्रिज खोला" जैसे नोट्स को अनदेखा कर देता है और "चूल्हा टूटा" वाले नोट पर ध्यान केंद्रित करता है।
- रिपोर्ट: शेफ को कागजों का ढेर थमाने के बजाय, सू-शेफ एक छोटा, स्पष्ट स्टिकी नोट लिखता है: "स्टेक इसलिए जल गया क्योंकि स्टेशन 3 का चूल्हा दोपहर 2:03 बजे ओवरहीट हो गया था। चूल्हे के लॉग्स की जांच करें।"
- डिलीवरी: यह नोट तुरंत शेफ के कंप्यूटर स्क्रीन पर चिपका दिया जाता है जहाँ वे काम कर रहे हैं, ताकि उन्हें इसे ठीक करने के लिए अपनी सीट से उठने की भी जरूरत न पड़े।
यह कितना अच्छा काम कर रहा था?
टीम ने इस नए सू-शेफ का परीक्षण 71 वास्तविक रसोई आपदाओं पर किया।
- सटीकता (Accuracy): इसने 90% समय समस्या के वास्तविक कारण का पता लगा लिया। यह एक जासूस की तरह है जो 10 में से 9 रहस्यों को सही ढंग से सुलझाता है।
- गति (Speed): इसने लगभग एक मिनट में काम पूरा किया, जबकि एक इंसान को एक घंटे या उससे अधिक समय लग सकता था।
- लोकप्रियता (Popularity): जब उन्होंने इसे पूरी कंपनी में लागू किया, तो डेवलपर्स को यह बहुत पसंद आया। कोडर्स को फीडबैक देने वाले सैकड़ों टूल्स में से, इसे मददगार होने के मामले में टॉप 4% में रैंक किया गया।
चुनौती (और भविष्य)
भले ही एक सुपर-स्मार्ट AI भी परफेक्ट नहीं है। कभी-कभी, रसोई ने नोट्स सही तरीके से नहीं लिखे थे (लॉगिंग सिस्टम में एक बग), इसलिए AI उत्तर नहीं ढूंढ सका। ऐसे दुर्लभ मामलों में, इसने ईमानदारी से कहा, "मैं इसे अभी हल नहीं कर सकता; मुझे और जानकारी चाहिए।"
हालाने, डेवलपर्स इस AI के आदी हो रहे हैं। वे इससे इतने खुश हैं कि वे पूछने लगे हैं, "ठीक है, आपने टूटा हुआ चूल्हा ढूंढ लिया है... क्या आप इसे मेरे लिए ठीक कर सकते हैं?" टीम अब AI को न केवल एक जासूस, बल्कि एक मैकेनिक बनाने पर काम कर रही है जो वास्तव में कोड की मरम्मत कर सके।
निष्कर्ष (The Bottom Line)
यह पेपर दिखाता है कि AI अव्यवस्थित, भ्रमित करने वाले टेक्स्ट को पढ़ने और महत्वपूर्ण चीज़ को खोजने में अद्भुत है। डेवलपर्स के दैनिक वर्कफ़्लो में इस AI को सीधे शामिल करके, गूगल ने उनके घंटों की निराशा को बचाया, यह साबित करते हुए कि कभी-कभी, आपको बस भूसे के ढेर में सुई खोजने के लिए एक स्मार्ट सहायक की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।