Auditable Acceptance of LLM-Generated Code:An Evidence-Based Testing Architecture and Multi-Source Evaluation
यह शोध पत्र इंटेलिजेंट टेस्टिंग इंफ्रास्ट्रक्चर (ITI) को प्रस्तुत करता है, जो एक साक्ष्य-आधारित आर्किटेक्चर है जो ऑडिट योग्य स्वीकृति निर्णयों को सक्षम करने के लिए सत्यापन परिणामों को कोड उम्मीदवारों से जोड़ता है, जो सत्यापन ओवरहेड और गलत स्वीकृतियों को कम करने की इसकी क्षमता को प्रदर्शित करता है और साथ ही शुद्धता भेदभाव में सुधार की पुष्टि करने के लिए स्वतंत्र अधिनिर्णय की आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक सॉफ्टवेयर की दुनिया में, कंप्यूटर तेजी से अपना स्वयं का कोड लिख रहे हैं। लार्ज लैंग्वेज मॉडल्स, जो उसी प्रकार के आर्टिफिशियल इंटेलिजेंस हैं जो ईमेल ड्राफ्ट करने या समाचारों का सारांश बनाने में सक्षम हैं, अब उन जटिल निर्देशों को लिखने के लिए कहे जा रहे हैं जो हमारे अनुप्रयोगों (एप्लिकेशन्स) को चलाते हैं। यह बदलाव अविश्वसनीय गति तो प्रदान करता है, लेकिन यह एक मौलिक समस्या भी पेश करता है: हमें कैसे पता चलेगा कि कोड वास्तव में सही है? एक कंप्यूटर प्रोग्राम परीक्षणों के एक विशिष्ट सेट को पास कर सकता है और फिर भी उन तरीकों से विफल हो सकता है जिनकी उन परीक्षणों ने कभी कल्पना भी नहीं की थी। जिस तरह एक पुल हल्के भार के तहत टिक सकता है लेकिन भारी ट्रक के नीचे ढह सकता है, वैसे ही कोड जो एक बुनियादी जांच को पास कर लेता है, उसमें अभी भी छिपी हुई त्रुटियां हो सकती हैं। इंजीनियरों के लिए चुनौती केवल परीक्षण चलाना नहीं है, बल्कि यह समझना है कि वे परीक्षण वास्तव में क्या सिद्ध करते हैं, ताकि वे एक ऐसे कोड के बीच अंतर कर सकें जो वास्तव में सुरक्षित है और एक ऐसे कोड के बीच जो केवल अभी तक पकड़ा नहीं गया है।
यह प्रश्न साउथवेस्ट जियाओटोंग यूनिवर्सिटी, यूनिवर्सिटी ऑफ ब्रिस्टल और सिचुआन एग्रीकल्चरल यूनिवर्सिटी के शोधकर्ताओं के एक नए अध्ययन के केंद्र में है। उन्होंने एक ऐसा सिस्टम बनाने के लिए काम किया जो केवल "पास" या "फेल" नहीं कहता, बल्कि एक विस्तृत, ऑडिट करने योग्य रिकॉर्ड बनाता है कि क्यों किसी कोड को स्वीकार किया गया, अस्वीकार किया गया, या आगे की समीक्षा के लिए भेजा गया। वे इस सिस्टम को इंटेलिजेंट टेस्टिंग इंफ्रास्ट्रक्चर (ITI) कहते हैं। कोड जनरेशन को एक 'मैजिक ब्लैक बॉक्स' मानने के बजाय, शोधकर्ताओं ने सत्यापन (वेरिफिकेशन) की जटिल वास्तविकता पर ध्यान केंद्रित किया: यह रिकॉर्ड करना कि वास्तव में कौन से परीक्षण चलाए गए, उन्होंने क्या कवर किया, और उन परीक्षणों से हमें वास्तव में कितना विश्वास मिलना चाहिए। उनका कार्य यह प्रकट करता है कि हालांकि हम परीक्षणों को अधिक कठोर बना सकते हैं, लेकिन केवल अधिक परीक्षण जोड़ने से हमारा अंतिम कोड चयन स्वतः ही सुरक्षित नहीं हो जाता है। वास्तव में, उनके प्रयोग बताते हैं कि सख्त नियम अच्छे कोड को उतनी ही बार खारिज करते हैं जितने कि वे खराब कोड को पकड़ते हैं, जिससे एक दोषपूर्ण प्रोग्राम को स्वीकार करने का समग्र जोखिम अपरिवर्तित रहता है।
शोधकर्ताओं ने इस समस्या को हल करने के लिए एक वर्कफ़्लो डिजाइन किया जो एक सतर्क द्वारपाल की तरह कार्य करता है। जब कोई कोड आता है, तो उसे केवल एक त्वरित जांच से नहीं गुजारा जाता; उसे नियंत्रित परिस्थितियों में सत्यापन की एक श्रृंखला के अधीन किया जाता है। सिस्टम हर विवरण को रिकॉर्ड करता है: कोड का विशिष्ट संस्करण, परीक्षण के लिए उपयोग किए गए उपकरण, और वह सटीक वातावरण जिसमें वह चला। महत्वपूर्ण रूप से, सिस्टम तीन परिणामों के बीच अंतर करता है। यदि कोई परीक्षण स्पष्ट त्रुटि पाता है, तो कोड को अस्वीकार कर दिया जाता है। यदि परीक्षणों में कुछ भी गलत नहीं पाया जाता है, लेकिन साक्ष्य अपूर्ण महसूस होते हैं या परीक्षण पर्याप्त मजबूत नहीं थे, तो कोड को अधिक सूक्ष्म जांच के लिए भेज दिया जाता है (एस्केलेट किया जाता है)। केवल तभी कोड को स्वीकार किया जाता है जब साक्ष्य पूर्ण और सकारात्मक दोनों हों। यह प्रक्रिया एक "डिसीजन फ्रीज" (निर्णय फ्रीज) बनाती है, जो एक ऐसा क्षण है जहाँ बाहरी ज्ञान कि कोड वास्तव में सही है या नहीं, प्रकट होने से पहले साक्ष्य को लॉक कर दिया जाता है। यह सुनिश्चित करता है कि निर्णय पूरी तरह से उस जानकारी पर आधारित है जो उस समय ज्ञात थी, जिससे पूरी प्रक्रिया पारदर्शी और बाद में समीक्षा योग्य बन जाती है।
यह देखने के लिए कि क्या यह दृष्टिकोण काम करता है, टीम ने दो अलग-अलग प्रकार के प्रयोग चलाए। पहला एक कड़ाई से नियंत्रित अध्ययन था जिसमें 80 कोड के टुकड़े शामिल थे जिन्हें शोधकर्ताओं ने स्वयं विशिष्ट, ज्ञात त्रुटियों के साथ बनाया था। उन्होंने इन्हें बुनियादी जांचों के एक सेट और फिर एक दूसरे, अधिक गहन सेट के विरुद्ध परखा। परिणाम काफी महत्वपूर्ण थे। दूसरे सेट के परीक्षणों ने 16 खराब कोड के टुकड़ों को पकड़ लिया जिन्हें पहले सेट ने छोड़ दिया था, जिससे यह सिद्ध हुआ कि मजबूत परीक्षण वास्तव में अधिक त्रुटियां ढूंढ सकते हैं। हालांकि, जब शोधकर्ताओं ने अपने सख्त "एक्सेप्ट-एस्केलेट-रिजेक्ट" नियमों को लागू किया, तो परिणाम कम आशाजनक था। सख्त नियमों ने सफलतापूर्वक खराब कोड के टुकड़ों की संख्या को कम किया, लेकिन उन्होंने समान अनुपात में अच्छे कोड के टुकड़ों को भी खारिज कर दिया। परिणाम यह था कि स्वीकृत कोड के अंतिम समूह में त्रुटियों की दर पहले के समान ही रही: 50 प्रतिशत। दूसरे शब्दों में, अधिक सावधान होकर, उन्होंने अंतिम बैच को अधिक सुरक्षित नहीं बनाया; उन्होंने बस बैच को छोटा बना दिया।
शोधकर्ताओं ने दो अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडल्स, Qwen और DeepSeek द्वारा उत्पन्न 50 अलग-अलग प्रोग्रामिंग कार्यों में से 200 कोड के टुकड़ों का उपयोग करके एक बड़े, अधिक वास्तविक पैमाने पर इस सिस्टम का परीक्षण किया। यहाँ, सिस्टम ने एक अलग प्रकार का मूल्य दिखाया। एक स्मार्ट एस्केलेशन रणनीति का उपयोग करके, सिस्टम उसी अंतिम निर्णय तक पहुँचने में सक्षम रहा जैसा कि तब होता यदि उसने प्रत्येक कोड के टुकड़े पर अपने सबसे महंगे, शक्तिशाली परीक्षण चलाए होते, लेकिन उसने यह काम 200 उम्मीदवारों में से केवल 132 पर ही भारी परीक्षण चलाकर किया। इससे कंप्यूटिंग समय और संसाधनों की महत्वपूर्ण बचत हुई। हालांकि, जब उन्होंने स्वीकृत कोड की गुणवत्ता को देखा, तो सिस्टम का प्रदर्शन उसी आकार के रैंडम (यादृच्छिक) चयन की तुलना में बेहतर नहीं था। "स्मार्ट" सिस्टम ने संयोग से बेहतर कोड चुनने में प्रबंधन नहीं किया; इसने केवल स्पष्ट रूप से खराब या स्पष्ट रूप से अच्छे कोड पर अनावश्यक जांच से बचकर पैसे बचाए।
अध्ययन ने परीक्षणों की संरचना का भी परीक्षण किया, यह देखते हुए कि क्या विभिन्न परीक्षण वास्तव में अलग-अलग प्रकार की त्रुटियां ढूंढ रहे हैं या केवल एक ही तरह की जांच दोहरा रहे हैं। उन्होंने पाया कि कई बड़े परीक्षण संग्रहों में, एक महत्वपूर्ण हिस्सा रेडंडेंट (अनावश्यक/दोहराव वाला) था, जिसका अर्थ था कि वे बिल्कुल एक ही तरह की गलतियों को देख रहे थे। अन्य "जीरो-डिटेक्शन" परीक्षण थे, जो ज्ञात खराब कोड में त्रुटियां खोजने में विफल रहे जिन्हें उन्हें पकड़ना चाहिए था। इसके अलावा, उन्होंने पाया कि कई त्रुटियां केवल एक ही परीक्षण द्वारा पकड़ी गई थीं। यदि वह एक परीक्षण विफल हो जाता या हटा दिया जाता, तो त्रुटि अनसुनी रह जाती। यह भंगुरता (फ्रैजिलिटी) बताती है कि परीक्षणों की एक बड़ी संख्या होने से सुरक्षा की गारंटी नहीं मिलती है यदि परीक्षण विविध और मजबूत नहीं हैं।
अंततः, शोध पत्र यह निष्कर्ष निकालता है कि हालांकि इंटेलिजेंट टेस्टिंग इंफ्रास्ट्रक्चर सफलतापूर्वक यह स्पष्ट करता है कि निर्णय कैसे लिए जाते हैं, लेकिन यह अभी तक सर्वश्रेष्ठ कोड चुनने की समस्या को हल नहीं करता है। यह सिस्टम प्रक्रियाओं को प्रलेखित करने और अनावश्यक जांच को छोड़कर संसाधनों को बचाने में अच्छा काम करता है, लेकिन यह अभी तक रैंडम चांस (संयोग) से बेहतर विश्वसनीय रूप से अच्छे और बुरे कोड के बीच अंतर करने में सिद्ध नहीं हुआ है। शोधकर्ता इस बात पर जोर देते हैं कि उनके निष्कर्ष विशिष्ट, नियंत्रित प्रयोगों पर आधारित हैं और कोड की "सत्यता" को स्वतंत्र मानव विशेषज्ञों के बजाय अन्य आर्टिफिशियल इंटेलिजेंस मॉडल्स द्वारा परखा गया था। वे तर्क देते हैं कि अगला कदम इस सिस्टम का वास्तविक स्वतंत्र सत्यापन और उन कार्यों के साथ परीक्षण करना है जिन्हें सिस्टम ने पहले कभी नहीं देखा है। तब तक, सबसे मूल्यवान चीज़ जो यह सिस्टम प्रदान करता है, वह सुरक्षा की गारंटी नहीं है, बल्कि एक स्पष्ट, ईमानदार रिकॉर्ड है कि उस यात्रा के हर चरण में क्या जाना जाता था और क्या निर्णय लिया गया था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।