Can AI Write Compliant Code, and to What Extent? Evaluating SOC 2 Compliance of Claude Fable 5, Claude Opus 4.8, and Claude Opus 5 Across Four Use Cases
यह अध्ययन चार उपयोग के मामलों में तीन फ्रंटियर एआई मॉडलों के SOC 2 अनुपालन का मूल्यांकन करता है, जिसमें यह पाया गया कि जबकि बिना प्रॉम्प्ट के जनरेट किया गया कोड अक्सर महत्वपूर्ण कमजोरियों से युक्त होता है और प्रमुख सुरक्षा नियंत्रणों को छोड़ देता है, SOC 2 मानकों का संदर्भ देने वाला एक एकल वाक्य जोड़ने से अनुपालन में 86-100% तक उल्लेखनीय सुधार होता है और असुरक्षित संरचनाओं को समाप्त कर दिया जाता है, हालांकि यह मॉडल की तत्काल कार्य अवधारणा के बाहर के नियंत्रणों को संबोधित करने में विफल रहता है और अर्थपूर्ण सत्यापन के पक्ष में स्वचालित पैटर्न-मिलान स्कोरिंग की अविश्वसनीयता को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अदृश्य सुरक्षा जाल (The Invisible Safety Net)
कल्पना कीजिए कि आप अपने लिए एक घर बनाने के लिए एक अत्यंत बुद्धिमान, अथक प्रशिक्षु (apprentice) को काम पर रख रहे हैं। यह प्रशिक्षु, एक आर्टिफिशियल इंटेलिजेंस (AI), किसी भी मानव टीम की तुलना में तेजी से ब्लूप्रिंट तैयार कर सकता है, कंक्रीट मिला सकता है और खिड़कियां लगा सकता है। लेकिन यहाँ एक पेंच है: इस प्रशिक्षु को कभी बताया ही नहीं गया कि बिल्डिंग कोड्स (निर्माण नियम) क्या होते हैं। वह जानता है कि एक ऐसा घर कैसे बनाया जाए जो दिखने में अच्छा हो और खड़ा रह सके, लेकिन वह शायद स्मोक डिटेक्टर लगाना, पीछे का दरवाजा लॉक करना, या भूकंप के खिलाफ नींव को मजबूत करना भूल जाए। सॉफ्टवेयर की दुनिया में, जब टीमें कोड लिखने के लिए AI का उपयोग करती हैं, तो ठीक यही होता है। कोड काम तो करता है, लेकिन इसमें उन अदृश्य सुरक्षा नियमों की कमी हो सकती है जो डेटा को हैकर्स से सुरक्षित रखने के लिए आवश्यक हैं।
यह शोध पत्र कंप्यूटर विज्ञान के एक विशिष्ट क्षेत्र में जाता है जिसे अनुपालन (compliance) कहा जाता है, जो केवल "नियमों की किताब का पालन करने" के लिए एक फैंसी शब्द है। विशेष रूप से, शोधकर्ताओं ने SOC 2 पर ध्यान केंद्रित किया, जो नियमों का एक समूह है जिसका उपयोग कंपनियाँ यह साबित करने के लिए करती हैं कि वे ग्राहकों के डेटा की सुरक्षा कर रही हैं। वे दो बातें जानना चाहते थे: यदि आप सुरक्षा का उल्लेख किए बिना AI से कोड लिखने के लिए कहते हैं, तो क्या वह अनजाने में नियमों का पालन करेगा? और यदि आप बस एक छोटा सा वाक्य जोड़ देते हैं कि, "हे, इसे SOC 2 नियमों का पालन करना चाहिए," तो क्या इससे सब कुछ ठीक हो जाएगा? यह कुछ ऐसा है जैसे पूछना: "यदि मैं एक शेफ को सैंडविच बनाने के लिए कहूँ, तो क्या उसे याद रहेगा कि हाथ धोने हैं? और यदि मैं धीरे से 'हेल्थ कोड' कह दूँ, तो क्या वह अचानक दस्ताने पहनना याद रखेगा?"
महान AI कोड परीक्षण (The Great AI Code Test)
उत्तर खोजने के लिए, Vanta के शोधकर्ताओं ने एक विशाल, नियंत्रित प्रयोग आयोजित किया। उन्होंने एक शक्तिशाली AI (नाम: Claude Fable 5, Claude Opus 4.8, और Claude Opus 5) के तीन अलग-अलग संस्करणों के साथ एक कुकिंग कॉम्पिटिशन (खाना पकाने की प्रतियोगिता) की तरह व्यवहार किया। उन्होंने प्रत्येक AI को कोड करने के लिए चार अलग-अलग "रेसिपी" दीं: क्लाउड स्टोरेज प्रबंधित करने का टूल, एक लॉगिन सिस्टम, एक डेटाबेस सेटअप, और एक फ़ाइल-अपलोड हैंडलर।
उन्होंने हर रेसिपी के लिए परीक्षण दो बार किया। पहले दौर में, उन्होंने AI को एक तटस्थ प्रॉम्प्ट दिया, जैसे "फ़ाइलें अपलोड करने के लिए एक टूल लिखें।" दूसरे दौर में, उन्होंने बिल्कुल वही प्रॉम्प्ट दिया लेकिन उसमें एक अकेला वाक्य जोड़ दिया: "यह डेटा संवेदनशील है और इसे SOC 2 मानकों का पालन करना चाहिए।"
शोधकर्ताओं ने खुद को सख्त निरीक्षक (inspectors) के रूप में प्रस्तुत किया। उन्होंने केवल यह देखने के लिए कोड नहीं चलाया कि क्या यह काम करता है; उन्होंने सुरक्षा नियमों की एक चेकलिस्ट के विरुद्ध कोड की हर एक लाइन की जांच की। उन्होंने एन्क्रिप्शन (डेटा को ऐसे बदलना ताकि चोर इसे पढ़ न सकें), एक्सेस कंट्रोल (यह सुनिश्चित करना कि केवल सही लोग ही फाइलें देख सकें), और लॉगिंग (किसने क्या किया, इसका डायरी रखना) जैसी चीजों की जांच की।
उन्हें क्या मिला: "जादुई वाक्य" और अंधे बिंदु (The "Magic Sentence" and the Blind Spots)
परिणाम आश्चर्यजनक अच्छी खबरों और कुछ बहुत महत्वपूर्ण चेतावनियों का मिश्रण थे।
1. "जादुई वाक्य" चमत्कार करता है (लेकिन सब कुछ नहीं)
जब AI से बिना किसी सुरक्षा निर्देश के कोड लिखने के लिए कहा गया, तो परिणाम मिला-जुला रहा। कार्य के आधार पर, कोड 47% से 88% बार नियमों का पालन करता था। वह पासवर्ड सुरक्षा जैसे बुनियादी कार्यों में अच्छा था, लेकिन क्लाउड स्टोरेज बकेट को सुरक्षित करने जैसे उबाऊ, अदृश्य कार्यों में बहुत खराब था।
हालाँकि, जैसे ही शोधकर्ताओं ने SOC 2 के बारे में वह एक अकेला वाक्य जोड़ा, AI का प्रदर्शन आसमान छू गया। हर एक परीक्षण में अनुपालन 86% से 100% के बीच पहुँच गया। वह एक वाक्य 23 से 50 प्रतिशत अंक का सुधार लेकर आया। ऐसा लग रहा था जैसे AI अचानक जाग गया हो और उसे याद आया हो, "ओह हाँ, मुझे हेलमेट पहनना है!" महत्वपूर्ण रूप से, इस वाक्य ने उन सभी असुरक्षित निर्माणों को भी हटा दिया जो शोधकर्ताओं ने पाए थे, जैसे खुले डिबगर (debuggers) या अनधिकृत डाउनलोड।
2. "इडियम" (Idiom) की समस्या
अध्ययन में पाया गया कि AI उन नियमों का पालन करता है जो कोड लिखने के "सामान्य तरीके" का हिस्सा हैं। उदाहरण के लिए, वह लगभग हमेशा पासवर्ड को हैश (scrambling) करना याद रखता है क्योंकि लॉगिन सिस्टम लिखने का यही तरीका है। लेकिन वह उन चीजों को भूल जाता है जो "मानक रेसिपी" का हिस्सा नहीं हैं, जैसे क्लाउड स्टोरेज बकेट में अतिरिक्त ताले लगाना या मल्टी-फैक्टर ऑथेंटिकेशन (MFA) हुक सेट करना।
"जादुic वाक्य" के बावजूद, नियंत्रणों का एक स्थिर सेट गायब रहा क्योंकि वे मॉडल की डिफ़ॉल्ट अवधारणा के बाहर स्थित थे। विशिष्ट विशेषताएं जैसे MFA हुक्स, सुरक्षित कुकी फ्लैग्स, और अकाउंट लाइफसाइकिल मैनेजमेंट केवल मानक का नाम लेने मात्र से स्वचालित रूप से नहीं जोड़े गए; उन्हें प्रॉम्प्ट में व्यक्तिगत रूप से नाम देना पड़ा। जादुई वाक्य ने बड़ी तस्वीर और छिपे हुए खतरों को ठीक कर दिया, लेकिन वह हर छोटी, विशिष्ट विवरण को तब तक नहीं भर सका जब तक कि आपने उनके नाम से उन्हें नहीं मांगा।
3. "अदृश्य" खतरे
यहीं पर मामला डरावना हो जाता है। सोलह में से तीन "तटस्थ" परीक्षणों में (जहाँ सुरक्षा का उल्लेख नहीं किया गया था), AI ने ऐसा कोड लिखा जो वास्तव में खतरनाक था, भले ही वह ठीक दिख रहा था।
- एक AI ने एक "डिबगर" खुला छोड़ दिया, जो एक घर में पीछे का दरवाजा खुला छोड़ने जैसा है जो किसी को भी कंप्यूटर का नियंत्रण लेने की अनुमति देता है।
- दो अन्य ने ऐसे डाउनलोड लिंक बनाए जो यह जाँच नहीं करते थे कि कौन क्लिक कर रहा है, जिससे कोई भी अन्य लोगों की निजी फाइलें डाउनलोड कर सकता था।
- एक अन्य AI ने एक ऐसा डेटाबेस बनाया जो गैर-प्रोडक्शन वातावरण में शट डाउन करने पर गलती से सारा डेटा डिलीट कर देगा।
शोधकर्ताओं के पहले स्वचालित स्कैनर ने इन सभी खतरनाक गलतियों को मिस कर दिया। यह केवल तभी पता चला जब एक इंसान ने बारीकी से देखा कि कोड टूटा हुआ था। यह साबित करता है कि मानक कंप्यूटर स्कैनर AI कोड में इन "अदृश्य" त्रुटियों को पकड़ने के लिए पर्याप्त स्मार्ट नहीं हैं।
4. मॉडल से ज्यादा फर्क नहीं पड़ता
शोधकर्ता उम्मीद कर रहे थे कि नया, स्मार्ट AI (Opus 5) पुराने वाले से बहुत बेहतर होगा। लेकिन अंतर बहुत कम था। "जादुई वाक्य" (प्रॉम्प्ट) ने AI मॉडल बदलने की तुलना में बहुत बड़ा प्रभाव डाला। यदि आप अनुपालन वाला कोड प्राप्त करने की कोशिश कर रहे हैं, तो नया AI मॉडल चुनना आपको उतना मदद नहीं करेगा जितना कि केवल AI को नियमों का पालन करने के लिए कहना।
निष्कर्ष (The Bottom Line)
यह शोध पत्र हमें सिखाता है कि AI एक शानदार निर्माता है, लेकिन वह सुरक्षा निरीक्षक नहीं है। यदि आप सुरक्षा का उल्लेख किए बिना कुछ बनाने के लिए कहते हैं, तो यह एक ऐसा घर बनाएगा जो खड़ा तो रहेगा लेकिन इसमें स्मोक डिटेक्टर या ताले की कमी हो सकती है। यदि आप नियमों का पालन करने के बारे में एक वाक्य जोड़ते हैं, तो यह अचानक अधिकांश सुरक्षा उपकरण स्थापित कर देगा और खतरनाक बैकडोर को हटा देगा।
हालाँकि, अभी भी कुछ अंतराल हैं। AI स्वचालित रूप से विशिष्ट, जटिल सुरक्षा सुविधाओं (जैसे MFA या विशिष्ट कुकी सेटिंग्स) को स्थापित नहीं करेगा, भले ही आप नियमों का उल्लेख करें, जब तक कि आप उन्हें नाम से न मांगें। और, सबसे महत्वपूर्ण बात, आप AI के काम की जांच के लिए केवल एक कंप्यूटर प्रोग्राम पर भरोसा नहीं कर सकते; आपको एक इंसान की आवश्यकता है जो बारीकी से देखे, क्योंकि AI सरल स्कैनर्स से बचने के लिए चालाकी से खतरनाक गलतियों को छिपा सकता है।
AI का उपयोग करके कोड लिखने वाले किसी भी व्यक्ति के लिए सबक सरल है: यह मान न लें कि AI नियमों को जानता है। आपको उसे नियम बताने होंगे, और फिर आपको उसके काम की दोबारा जांच करनी होगी, क्योंकि एक घर जो एकदम सही दिखता है, उसमें अभी भी एक छिपा हुआ ट्रैपडोर (trapdoor) हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।