कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो एक बहुत ही प्रतिभाशाली, लेकिन थोड़े अव्यवस्थित (chaotic) होने वाले सु-शेफ (sous-chef) को एक आदर्श व्यंजन बनाना सिखाने की कोशिश कर रहे हैं। आप सु-शेफ को एक रेसिपी (कोड) देते हैं और उससे एक "टेस्ट टेस्ट" (यूनिट टेस्ट) लिखने के लिए कहते हैं ताकि यह साबित हो सके कि व्यंजन काम करता है। सॉफ्टवेयर की दुनिया में, ये "टेस्ट टेस्ट" छोटे प्रोग्राम होते हैं जो यह जांचते हैं कि कोड का एक विशिष्ट हिस्सा वह काम कर रहा है या नहीं जिसके लिए उसे बनाया गया है। वर्षों से, इंसानों ने ये टेस्ट अपने हाथों से लिखे हैं, लेकिन यह एक उबाऊ काम है। हाल ही में, हमने आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करना शुरू किया है, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) का, जो हमारे लिए ये टेस्ट लिख सकें। एक LLM को एक सुपर-स्मार्ट रोबोट के रूप में सोचें जिसने दुनिया की लगभग हर कुकबुक पढ़ ली है और नए व्यंजन तुरंत लिख सकता है।

हालाँकि, इसमें एक पेंच है। हालाँकि ये AI शेफ टेस्ट की "कहानी" लिखने में माहिर हैं, लेकिन वे अक्सर "रसोई के नियमों" को भूल जाते हैं। वे सही सामग्री (imports) लेना भूल सकते हैं, गलत प्रकार के बर्तन (frameworks) का उपयोग कर सकते हैं, या बिना चूल्हा जलाए खाना पकाने की कोशिश कर सकते हैं (missing setup)। वास्तविक दुनिया में, यदि एक टेस्ट कंपाइल नहीं होता है—यानी वह छोटी-मोटी गलतियों के कारण चल भी नहीं पाता—तो वह बेकार है, चाहे उसका लॉजिक कितना भी चतुर क्यों न हो। यह पेपर बताता है कि क्यों AI-जनरेटेड टेस्ट अक्सर अव्यवस्थित वास्तविक रसोई में विफल हो जाते हैं और AI को सफल होने में मदद करने के लिए एक नया तरीका प्रस्तावित करता है।

समस्या: वह AI शेफ जो बर्तन लाना भूल जाता है

इस पेपर के लेखक, टियांजिन यूनिवर्सिटी और हुआवेई क्लाउड की एक टीम ने, बड़े औद्योगिक सॉफ्टवेयर प्रोजेक्ट्स के साथ काम करते समय कुछ निराशाजनक अनुभव किया। उन्होंने स्वचालित रूप से यूनिट टेस्ट लिखने के लिए नवीनतम AI टूल्स का उपयोग करने की कोशिश की, और जबकि AI चतुर टेस्ट आइडिया तो बना सकता था, व्यावहारिक रूप से परिणाम अक्सर आपदाजनक रहे।

कल्पना कीजिए कि आप एक रोबोट से लेगो (Lego) का किला बनाने के लिए कह रहे हैं। रोबोट टावरों और झंडों के लिए एक शानदार डिज़ाइन तो बना सकता है, लेकिन अगर वह बेसप्लेट (baseplate) शामिल करना भूल जाए या किसी दूसरे सेट का टुकड़ा इस्तेमाल करने की कोशिश करे जो फिट न बैठता हो, तो पूरी संरचना ढह जाएगी। सॉफ्टवेयर के संदर्भ में, AI अक्सर टेस्ट को "कंपाइल" करने में विफल रहा। ऐसा इसलिए हुआ क्योंकि वास्तविक दुनिया का सॉफ्टवेयर एक विशाल, आपस में जुड़े हुए शहर की तरह है। कोड का एक एकल हिस्सा (एक "फोकल मेथड") उन लाइब्रेरीज़, अन्य फाइलों और विशिष्ट फ्रेमवर्क्स पर निर्भर हो सकता है जिनके बारे में AI को पता नहीं था क्योंकि वह केवल उस एक हिस्से को देख रहा था जिसे उसे टेस्ट करने के लिए कहा गया था।

शोधकर्ताओं ने पाया कि AI बार-बार क्यों विफल हो रहा था, इसके तीन मुख्य कारण थे:

1. संदर्भ का बेमेल होना (Context Mismatch): AI रसोई के नियमों का अनुमान लगा रहा था (जैसे कि किस टेस्टिंग फ्रेमवर्क का उपयोग करना है) बजाय इसके कि उसे बताया जाए। वह गलत सामग्री का अनुमान लगाता था, जिससे तुरंत त्रुटियाँ आती थीं।
2. कमजोर ढांचा (Fragile Scaffolding): AI पूरे टेस्ट स्ट्रक्चर को शुरुआत से बनाने की कोशिश करता था, जिसमें सेटअप और इम्पोर्ट्स भी शामिल थे। यह वैसा ही था जैसे रोबोट से बेसप्लेट और किला दोनों एक साथ बनाने के लिए कहना; वह अक्सर बेसप्लेट को गलत बना देता था, जिससे पूरा किला गिर जाता था।
3. महंगी मरम्मत (Costly Repairs): जब टेस्ट विफल होता था, तो सामान्य समाधान AI को फिर से प्रयास करने के लिए कहना था, और फिर से, और फिर से। यह रोबोट को एक पेंच ठीक करने के लिए दस बार ड्राइंग बोर्ड पर वापस भेजने जैसा था। इसमें बहुत समय लगता था, बहुत अधिक कंप्यूटर पावर (टोकन) खर्च होती थी, और अक्सर रोबोट वही गलती दोबारा कर देता था।

समाधान: CATGen, द स्मार्ट किचन असिस्टेंट

इसे ठीक करने के लिए, टीम ने एक नया वर्कफ़्लो बनाया जिसे CATGen कहा जाता है। AI को सब कुछ अनुमान लगाने देने के बजाय, उन्होंने तय किया कि वे एक सख्त लेकिन सहायक किचन मैनेजर की तरह काम करेंगे जो शेफ के खाना पकाना शुरू करने से पहले स्टेशन को पूरी तरह से तैयार कर देता है।

उनका दृष्टिकोण चार मुख्य चरणों में है, जिसे वे "कॉन्टेक्स्ट-अवेयर वर्कफ़्लो" कहते हैं:

1. संदर्भ एकत्र करना (Gathering the Context): AI द्वारा कोड की एक भी लाइन लिखने से पहले, CATGen पूरे प्रोजेक्ट को स्कैन करता है ताकि उन "सामग्रियों" को खोजा जा सके जिनकी उसे आवश्यकता है। यह बिल्ड फाइलों को देखता है ताकि यह देख सके कि कौन से टेस्टिंग फ्रेमवर्क (जैसे JUnit) और मॉकिंग लाइब्रेरीज़ (जैसे Mockito) का उपयोग किया जा रहा है। यह भी जाँचता है कि कोड किन अन्य फाइलों से बात करता है। यह सुनिश्चित करता है कि AI को पता हो कि कौन से उपकरण उपलब्ध हैं।
2. कंकाल बनाना (Building the Skeleton): AI को शून्य से पूरा टेस्ट क्लास बनाने के लिए कहने के बजाय, CATGen पहले एक "कंकाल" (skeleton) बनाता है। इसे आप लेगो बेसप्लेट और किले के ढांचे को पहले से असेंबल करने के रूप में समझ सकते हैं। यह सुनिश्चित करने के लिए सख्त नियमों का उपयोग करता है कि इम्पोर्ट्स, क्लास के नाम और सेटअप मेथड्स 100% सही हों। इसके बाद AI को केवल इस पूर्व-निर्मित, सुरक्षित संरचना के भीतर "मांस" यानी वास्तविक लॉजिक भरने के लिए कहा जाता है।
3. अंतराल भरना (Filling in the Gaps): अब AI टेस्ट मेथड्स लिखता है, लेकिन चूंकि वह एक परफेक्ट कंकाल के भीतर काम कर रहा है, इसलिए संरचनात्मक त्रुटियां करने की संभावना बहुत कम है। वह शुद्ध रूप से टेस्ट के लॉजिक पर ध्यान केंद्रित करता है।
4. सुरक्षा जाल (Static Analysis): यदि AI अभी भी कोई छोटी गलती करता है (जैसे सेमीकोलन का छूटना या गलत वेरिएबल का नाम), तो AI को फिर से प्रयास करने के लिए कहने के बजाय, CATGen एक "स्टैटिक एनालिसिस" टूल का उपयोग करता है। यह कोड के लिए स्पेल-चेकर की तरह है जो प्रोजेक्ट के नियमों के आधार पर सामान्य त्रुटियों को तुरंत ठीक कर देता है। यह तेज़ है, निश्चित (deterministic) है, और AI को फिर से अनुमान लगाने में समय बर्बाद नहीं करता है।

परिणाम: तेज़, स्मार्ट और वास्तव में काम करने वाला

टीम ने वास्तविक औद्योगिक परियोजनाओं (जो बहुत जटिल हैं) और एक प्रसिद्ध ओपन-सोर्स बेंचमार्क जिसे Defects4J कहा जाता है, पर CATGen का परीक्षण किया। उन्होंने इसकी तुलना छह अन्य शीर्ष विधियों से की, जिनमें पारंपरिक सर्च-बेस्ड टूल्स और अन्य AI दृष्टिकोण शामिल थे।

परिणाम प्रभावशाली थे। औद्योगिक सेटिंग में, CATGen ने 91.83% कंपाइलेशन सफलता दर हासिल की। इसका मतलब है कि 100 टेस्ट में से 91 से अधिक वास्तव में तुरंत काम कर गए। तुलनात्मक रूप से, अगली सर्वश्रेष्ठ AI विधि केवल लगभग 67% ही कर पाई, और पारंपरिक टूल (EvoSuite) ने 75.80% हासिल किया।

लेकिन यह केवल काम करने के बारे में नहीं था; यह गुणवत्ता के बारे में भी था। CATGen ने अन्य विधियों की तुलना में अधिक लाइनों को कवर किया (70.10% लाइन कवरेज) और लॉजिक के अधिक ब्रांचों को कवर किया (63.92% ब्रांच कवरेज)। शायद सबसे महत्वपूर्ण बात यह है कि यह अविश्वसनीय रूप से कुशल था। जहाँ अन्य विधियों को टेस्ट उत्पन्न करने और ठीक करने में हजारों सेकंड और लाखों "टोकन" (AI गणना की मुद्रा) लगे, वहीं CATGen ने पूरा काम केवल 1,836 सेकंड में पूरा कर लिया और केवल 203,000 टोकन का उपयोग किया। यह समय और लागत में एक बड़ी कमी है—अन्य विधियों की तुलना में लगभग 50% से 80% कम।

शोधकर्ताओं ने एक "एब्लेशन स्टडी" (ablation study) भी चलाई, जो एक मशीन को पुर्जों में अलग करके यह देखने जैसा है कि कौन सा हिस्सा क्या करता है। उन्होंने पाया कि यदि वे "कंकाल" (skeleton) चरण को हटा देते हैं, तो सफलता दर काफी गिर जाती है। यदि वे "स्टैटिक एनालिसिस" रिपेयर चरण को हटा देते हैं, तो सफलता दर और भी बुरी तरह गिर जाती है। इससे सिद्ध हुआ कि उनके नए सिस्टम का हर हिस्सा आवश्यक था।

निष्कर्ष

इस पेपर का बड़ा सबक यह है कि AI को वास्तविक दुनिया में अच्छा बनाने के लिए केवल एक बेहतर "प्रॉम्ट" (निर्देश जो आप AI को देते हैं) लिखना ही काफी नहीं है। यह AI के चारों ओर एक बेहतर सिस्टम बनाने के बारे में है। AI को सही संदर्भ देकर, उसके काम करने के लिए एक ठोस आधार बनाकर, और छोटी गलतियों को ठीक करने के लिए तेज़, गैर-AI टूल्स का उपयोग करके, हम AI-जनरेटेड टेस्ट को डेवलपर्स के लिए वास्तव में उपयोगी बना सकते हैं।

लेखकों का सुझाव है कि AI को सॉफ्टवेयर इंजीनियरिंग में वास्तव में सहायक होने के लिए, हमें इसे एक जादू की छड़ी के रूप में देखना बंद करना होगा जो अकेले सब कुछ हल कर देती है। इसके बजाय, हमें इसे एक बड़े, अच्छी तरह से इंजीनियर किए गए सिस्टम के भीतर एक शक्तिशाली घटक के रूप में मानना चाहिए। जैसा कि उन्होंने कहा, विश्वसनीय टेस्ट जनरेशन केवल "प्रॉम्ट इंजीनियरिंग" पर कम और "सिस्टमैटिक इंजीनियरिंग सपोर्ट" पर अधिक निर्भर करता है। अंततः, CATGen दिखाता है कि जब आप AI शेफ को एक उचित रसोई और एक स्पष्ट रेसिपी देते हैं, तो वह वास्तव में बेहतरीन टेस्ट बना सकता है।