Context-Augmented Code Generation: How Product Context Improves AI Coding Agent Decision Compliance by 49%
यह शोध पत्र एक नियंत्रित बेंचमार्क प्रस्तुत करता है जो यह प्रदर्शित करता है कि एआई कोडिंग एजेंटों को एक प्रोडक्ट-कॉन्टेक्स्ट रिट्रीवल सिस्टम (Brief) के साथ संवर्धित करने से, केवल कोडबेस एक्सेस की तुलना में टीम-विशिष्ट प्रोडक्ट निर्णयों के प्रति उनकी अनुपालन क्षमता में 49 प्रतिशत अंकों का सुधार होता है, जिससे वास्तविक सॉफ्टवेयर इंजीनियरिंग कार्यों पर 95% अनुपालन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपनी कंपनी की वेबसाइट के लिए एक नया फीचर बनाने के लिए एक बेहद प्रतिभाशाली, सुपर-फास्ट प्रशिक्षु (apprentice) प्रोग्रामर को काम पर रखा है। यह प्रशिक्षु (AI) आपके द्वारा लिखे गए कोड की हर लाइन को पढ़ सकता है, समझ सकता है कि आपका कंप्यूटर कैसे काम करता है, और नया कोड लिख सकता है जो बिना क्रैश हुए वास्तव में चलता है।
लेकिन समस्या यह है: उस प्रशिक्षु को आपके कंपनी के अलिखित नियमों (unwritten rules) का पता नहीं है।
एक वास्तविक ऑफिस में, टीमों के पास कोडिंग के लिए कुछ "गुप्त हैंडशेक" (secret handshakes) होते हैं। शायद कोई नियम हो कि "हम अब उस विशिष्ट कैलेंडर विजेट का उपयोग नहीं करते हैं," या "हर बार जब हम डेटा एक्सपोर्ट करते हैं, तो हमें सुरक्षा ऑडिट के लिए उसे लॉग करना चाहिए," या "हम हमेशा अपने टेस्ट को उसी कोड के ठीक बगल में रखते हैं जिसका हम परीक्षण कर रहे हैं।" ये नियम स्वयं कोड के भीतर नहीं लिखे होते; वे मीटिंग नोट्स, डिज़ाइन दस्तावेज़ों, या टीम की सामूहिक स्मृति में जीवित रहते हैं।
इस संदर्भ (context) के बिना, वह प्रतिभाशाली प्रशिक्षु एक ऐसा फीचर बना सकता है जो तकनीकी रूप से कंपाइल तो होता है, लेकिन आपकी टीम के सबसे महत्वपूर्ण नियमों का उल्लंघन करता है। यह एक सुंदर घर बनाने जैसा है, लेकिन गलत ईंटों के साथ, क्योंकि आर्किटेक्ट को यह नहीं पता था कि शहर का एक विशिष्ट ज़ोनिंग कानून है।
प्रयोग: दो दृष्टिकोण
इस पेपर के लेखकों ने एक परीक्षण सेटअप किया यह देखने के लिए कि क्या AI को इन "अलिखित नियमों" तक पहुंच देने से मदद मिलती है। उन्होंने एक सिम्युलेटेड ऑफिस वातावरण (एक कोड रिपॉजिटरी) बनाया जिसमें 8 अलग-अलग कार्य थे, जैसे "डार्क मोड टॉगल जोड़ना" या "सर्च बार बनाना।" इन कार्यों के भीतर 41 विशिष्ट "ट्रैप्स" या नियम छिपे हुए थे जिन्हें AI को एक परफेक्ट स्कोर पाने के लिए पालन करना था।
उन्होंने AI के दो संस्करणों का परीक्षण किया:
- "कोड-ओनली" प्रशिक्षु (बेसलाइन): इस AI को कोड फाइलें दी गईं और कहा गया, "इसे बनाओ।" इसे मौजूदा कोड पैटर्न को देखकर नियमों का अनुमान लगाना था।
- "कॉन्टेक्स्ट-अवेयर" प्रशिक्षु (ऑगमेंटेड): इस AI के पास वही कोड फाइलें थीं, लेकिन इसके पास एक "कंपनी हैंडबुक" (जिसे Brief कहा गया) भी थी। कोडिंग शुरू करने से पहले, यह AI पूछ सकता था जैसे, "हमारे डिज़ाइन नियम क्या हैं?" या "हमारे ग्राहकों को किन चीजों की शिकायत है?" इसके पास एक चरण-दर-चरण योजना (एक spec) भी थी जिसे निर्माण शुरू करने से पहले लिखा गया था।
परिणाम: एक बड़ी छलांग
अंतर नाटकीय था।
- "कोड-ओनली" प्रशिक्षु नियमों का पालन केवल 46% समय कर पाया। इसने अक्सर अदृश्य नियमों को मिस कर दिया। उदाहरण के लिए, एक कार्य में, इसने कोड देखा, पेजिनेशन (pagination) के लिए एक हेल्पर फंक्शन देखा, और निर्णय लिया, "ओह, यह पहले से ही हो चुका है!" और शून्य कोड लिखा। यह इस तथ्य को मिस कर गया कि वर्तमान पेजिनेशन टूटा हुआ था और उसे एक विशिष्ट सुधार की आवश्यकता थी।
- "कॉन्टेक्स्ट-अवेयर" प्रशिक्षु ने नियमों का पालन 95% समय किया। हैंडबुक की जांच करके, इसे पता था कि कौन से विजेट का उपयोग करना है, कौन से सुरक्षा लॉग जोड़ने हैं, और कोड को कैसे स्ट्रक्चर करना है।
बड़ी जीत: कॉन्टेक्स्ट-अवेयर वर्शन ने अनुपालन (compliance) में 49 प्रतिशत अंक का सुधार किया।
यह क्यों हुआ: "दृश्यमान" बनाम "अदृश्य" नियम
पेपर ने एक स्पष्ट पैटर्न पाया:
- दृश्यमान नियम (Visible Rules): यदि कोई नियम कोड के भीतर एक कमेंट में लिखा था (जैसे, "सुरक्षा के लिए इस फंक्शन का उपयोग करें"), तो दोनों प्रशिक्षुओं ने इसे ढूंढ लिया और 100% समय इसका पालन किया।
- अदृश्य नियम (Invisible Rules): यदि कोई नियम केवल एक प्रोडक्ट डॉक्यूमेंट में था (जैसे, "हम फीचर फ्लैग्स के लिए PostHog का उपयोग करते हैं, लेकिन यह कोड में नहीं है"), तो कोड-ओनली प्रशिक्षु इसे 0% समय पकड़ पाया। कॉन्टेक्स्ट-अवेयर प्रशिक्षु इसे 100% समय पकड़ पाया क्योंकि इसने काम शुरू करने से पहले नियम की जांच की थी।
यह केवल "नियमों को जानने" के बारे में नहीं है
पेपर में यह भी नोट किया गया है कि कॉन्टेक्स्ट-अवेयर AI ने केवल "नियमों को खोजा" ही नहीं; इसने अलग तरह से भी काम किया। इसने कोडिंग करने से पहले आवश्यकताओं की एक चेकलिस्ट के साथ एक विस्तृत योजना (एक spec) बनाई। इसमें एक "मिड-बिल्ड कंसल्टेशन" भी था, जिसका अर्थ है कि यह काम करते समय रुक सकता था और पूछ सकता था, "क्या मैं इसे सही कर रहा हूँ?"
लेखक स्वीकार करते हैं कि वे पूरी तरह से यह अलग नहीं कर सकते कि सफलता में कितना हिस्सा जानकारी होने से आया और कितना बेहतर वर्कफ़्लो से। हालांकि, डेटा दृढ़ता से सुझाव देता है कि सही जानकारी (प्रोडक्ट कॉन्टेक्स्ट) होना ही उन समस्याओं को हल करने की कुंजी है जिन्हें दूसरा AI नहीं देख सका।
"सही होने" की लागत
दिलचस्प बात यह है कि कॉन्टेक्सट-अवेयर AI को चलाने की लागत थोड़ी अधिक थी (API फीस में लगभग 28% अधिक), क्योंकि इसने हैंडबुक पढ़ने और योजनाएं लिखने में समय बिताया। हालांकि, क्योंकि इसने ऐसा कोड तैयार किया जो तुरंत मुख्य प्रोजेक्ट में मर्ज करने के लिए तैयार था, प्रति सफल कार्य लागत वास्तव में 68% गिर गई।
कोड-ओनली AI प्रति प्रयास सस्ता था, लेकिन इसने ऐसा कोड बनाया जिसे इंसानों को ठीक करना और फिर से लिखना पड़ा, जिससे यह लंबे समय में अधिक महंगा हो गया। कॉन्टेक्स्ट-अवेयर AI ने अधिक कोड लिखा, टेस्ट लिखे, और पुराने (deprecated) पैटर्न्स से बचा, जिसका अर्थ था कि यह 100% समय "मर्ज-रेडी" था।
निचोड़ (The Bottom Line)
यह पेपर एक प्रूफ-ऑफ-कांसेप्ट है। यह दिखाता है कि AI कोडिंग एजेंट्स के लिए वास्तव में उपयोगी होने के लिए, वे केवल कोड को नहीं पढ़ सकते। उन्हें संगठनात्मक ज्ञान (organizational knowledge) तक पहुंच की आवश्यकता है—वे निर्णय, ग्राहकों की शिकायतें, डिज़ाइन प्राथमिकताएं और सुरक्षा नियम जो कोड फाइलों के बाहर रहते हैं।
जब आप AI को "पूरी तस्वीर" देते हैं, तो वह अनुमान लगाना बंद कर देता है और बिल्कुल वही बनाने लगता है जिसकी टीम को वास्तव में आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।