Who Analyses the Analyser? Self-Validating LLM Hazard Analysis with Constitutional Meta-STPA
यह शोध पत्र "कॉन्स्टिट्यूशनल मेटा-STPA" को पेश करके सुरक्षा विश्लेषण के लिए उपयोग किए जाने वाले AI उपकरणों के विश्लेषण के महत्वपूर्ण अंतराल को संबोधित करता है, जो एक स्व-सत्यापन ढांचा (self-validating framework) है जो स्वयं पर सिस्टम-थ्योरेटिक प्रोसेस एनालिसिस (STPA) लागू करने के लिए एक शासन संविधान (governance constitution) को व्युत्पन्न और लागू करता है, जिससे यह सुनिश्चित होता है कि LLM-सहायता प्राप्त विश्लेषक का मतिभ्रम (hallucinations) और unverifiable बाधाओं के लिए कड़ाई से ऑडिट किया गया है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट असिस्टेंट बनाया है जिसका काम अन्य मशीनों में सुरक्षा खामियों की जांच करना है। यह कारों में टूटे हुए गियर या पंपों में लीक होते वाल्व खोजने में माहिर है। लेकिन इसमें एक पेंच है: किसी ने कभी यह नहीं पूछा, "रोबोट की जांच कौन करेगा?"
यह शोध पत्र ठीक यही सवाल पूछता है: विश्लेषक का विश्लेषण कौन करता है?
लेखकों ने महसूस किया कि जबकि हर कोई इन AI टूल्स पर सुरक्षा रिपोर्ट लिखने के लिए भरोसा करता है, वे टूल्स खुद दोषपूर्ण हो सकते हैं। वे फर्जी सुरक्षा नियम बना सकते हैं, अपना काम लॉग करने में भूल सकते हैं, या एक ऐसा आत्मविश्वास भरा जवाब दे सकते हैं जो वास्तव में निरर्थक हो। यह एक ऐसे जासूस को काम पर रखने जैसा है जो कभी अपने सुराग नहीं लिखता और कभी-कभी सबूत भी गढ़ लेता है।
स्व-निरीक्षण करने वाला रोबोट
इसे ठीक करने के लिए, टीम ने अपने सुरक्षा टूल का एक विशेष संस्करण बनाया जो सूक्ष्मदर्शी (microscope) को खुद पर ही घुमा देता है। उन्होंने अपने AI टूल के अपने डिज़ाइन का विश्लेषण करने के लिए STPA (सुरक्षा जोखिम खोजने का एक कठोर तरीका) नामक पद्धति का उपयोग किया।
इसे ऐसे समझें जैसे एक रोबोट जो अपने ही मस्तिष्क का मानचित्र बनाता है, कमजोर बिंदुओं को ढूंढता है, और फिर उन निष्कर्षों के आधार पर अपने लिए एक नियम पुस्तिका लिखता है। उन्होंने केवल नियमों का अनुमान नहीं लगाया; उन्होंने टूल को खुद के "सुरक्षा विश्लेषण" से नियम उत्पन्न करने दिया।
दो-स्तरीय नियम पुस्तिका
टूल के पास एक "संविधान" (नियम पुस्तिका) तैयार हुई जो दो अलग-अलग परतों से बनी है:
- "टूल सिद्धांत" (व्यवहार परत): ये 21 नियम हैं कि AI को अपना काम करते समय कैसे व्यवहार करना चाहिए। उदाहरण के लिए, "सुरक्षा मानक न बनाएं," "अपनी सीमाओं के बारे में विशिष्ट रहें," और "हमेशा अपना काम दोबारा जांचें।"
- "मेटा-सेफ्टी सिद्धांत" (शासन परत): ये 8 नियम हैं कि AI को चलाने वाली मशीन को कैसा व्यवहार करना चाहिए। इनमें शामिल हैं जैसे, "हर प्रश्न और उत्तर का एक स्थायी लॉग रखें," "उस विशिष्ट संस्करण को लॉक करें जिसका आप उपयोग कर रहे हैं ताकि कार्य के बीच में वह बदले नहीं," और "जब तक रिपोर्ट सख्त चेकलिस्ट पास न कर ले, तब तक उसे एक्सपोर्ट न होने दें।"
सबसे बड़ा आश्चर्य: यह जादू नहीं, मांसपेशी है
लेखकों ने विभिन्न AI मॉडलों से टूल का विश्लेषण करने के लिए कहकर इसका परीक्षण किया। उन्हें क्या मिला:
- मजबूत मॉडल: जब उन्होंने सबसे उन्नत AI मॉडलों (दो शीर्ष-स्तरीय मॉडलों के एक "फ्रंटियर एन्सेम्बल") का उपयोग किया, तो टूल ने अपने स्वयं के डिज़ाइन को देखकर 21 में से 18 व्यवहार नियमों और सभी 8 शासन नियमों को सफलतापूर्वक खोज लिया।
- कमजोर मॉडल: जब उन्होंने कमजोर, सस्ते मॉडलों का उपयोग किया, तो वे 21 में से 12 व्यवहार नियम और केवल 8 में से 3 शासन नियम ही खोज पाए।
निष्कर्ष: नियम खुद समस्या नहीं थे; विश्लेषण करने वाला मस्तिष्क समस्या था। "संविधान" काम करता है, लेकिन केवल तभी जब AI खुद में कमियां खोजने के लिए पर्याप्त स्मार्ट हो।
AI को वास्तव में क्या सुरक्षित बनाता है?
टीम ने 20 "एडवर्सरियल प्रोब्स" (tricky questions) के साथ एक कठिन परीक्षण चलाया—ऐसे पेचीदा सवाल जो AI को असुरक्षित होने या झूठ बोलने के लिए उकसाने के लिए डिज़ाइन किए गए थे। उन्होंने इस नियम पुस्तिका के विभिन्न संस्करणों के साथ AI का परीक्षण किया:
- कोई नियम नहीं: AI का औसत सुरक्षा स्कोर 1.03 रहा।
- जेनेरिक नियम: एक सामान्य "सहायक और ईमानदार बनें" की सूची जोड़ने से कोई मदद नहीं मिली (स्कोर: 1.05)।
- 21 टूल सिद्धांत: जब उन्होंने विशिष्ट 21 व्यवहार नियम जोड़े, तो सुरक्षा स्कोर बढ़कर 1.85 हो गया। यह 79% का सुधार है, और यह एक बहुत बड़ी, सांख्यिकीय रूप से महत्वपूर्ण जीत थी।
- 8 शासन नियम: 8 शासन नियमों (लॉगिंग और वर्जन-लॉकिंग जैसी चीजें) को जोड़ने से इन विशिष्ट ट्रिकी सवालों पर स्कोर में कोई बदलाव नहीं आया।
सबक: विशिष्ट व्यवहार नियम (21 टूल सिद्धांत) ही वास्तव में AI के उत्तरों में गलतियाँ करने से रोकते हैं। शासन नियम (8 मेटा-सेफ्टी सिद्धांत) सिस्टम के लिए महत्वपूर्ण हैं (जैसे ऑडिट ट्रेल रखना), लेकिन वे अपने आप में AI के टेक्स्ट उत्तरों को अधिक सुरक्षित नहीं बनाते।
"कवरेज" के बारे में क्या?
लेखकों ने AI सुरक्षा के एक सामान्य विचार को भी देखा: "यदि हम बस AI को अधिक बॉक्स चेक करने के लिए मजबूर कर दें, तो यह सुरक्षित हो जाएगा।" उन्होंने मापा कि AI ने अपने विश्लेषण में कितने नियमों को "कवर" किया।
उन्होंने पाया कि कुछ अजीब हुआ: प्रॉम्प्ट में अधिक नियम होने का मतलब हमेशा अधिक सुरक्षा कवरेज नहीं था।
- जब उन्होंने एक मानक हार्डवेयर मशीन (जैसे कार ब्रेक) पर परीक्षण किया, तो "मेटा-सेफ्टी" नियमों (ऑडिट लॉग और वर्जन्स के बारे में) का स्कोर 8 में से 0 था। AI ने उनके बारे में उल्लेख नहीं किया क्योंकि कार में कोई ऑडिट लॉग नहीं होता।
- जब AI ने स्वयं का विश्लेषण किया, तो स्कोर बढ़कर 8 में से 6 हो गया।
इससे सिद्ध हुआ कि "कवरेज" कोई जादुई डायल नहीं है जिसे आप चीजों को सुरक्षित बनाने के लिए घुमा सकें। यह एक डिटेक्टर है। यह आपको बताता है कि आप किस तरह के सिस्टम को देख रहे हैं। यदि AI ऑडिट लॉग के बारे में बात कर रहा है, तो वह एक AI टूल का विश्लेषण कर रहा है। यदि वह लॉग के बारे में चुप है, तो वह एक मशीन का विश्लेषण कर रहा है। आप केवल AI को सुरक्षित बनाने के लिए उसे "मैंने लॉग की जांच की" कहने के लिए मजबूर नहीं कर सकते; लॉग का वास्तव में मौजूद होना आवश्यक है।
"ओप्स" क्षण
लेखक अपनी एक गलती के बारे में भी बहुत ईमानदार थे। पहले, उन्हें लगा था कि अधिक नियम जोड़ने से AI सीधे क्रम में (जैसे दवा की खुराक की तरह) अधिक सुरक्षा मुद्दे खोजेगा। लेकिन जब उन्होंने सख्त, निश्चित सेटिंग्स के साथ फिर से परीक्षण किया, तो वह "डोज-रिस्पॉन्स" का विचार गायब हो गया। उन्होंने पाया कि जैसे-जैसे उन्होंने अधिक नियम जोड़े, खोजे गए मुद्दों की संख्या वास्तव में कम हो गई या स्थिर रही। उन्होंने इस "विफल" परिणाम को खुले तौर पर प्रकाशित किया, यह दिखाते हुए कि कभी-कभी AI बस अधिक केंद्रित हो जाता है और इधर-उधर की बातें करना बंद कर देता है, बजाय इसके कि वह अधिक समस्याएं ढूंढे।
मुख्य बात
यह शोध पत्र यह दावा नहीं करता है कि इसने AI सुरक्षा को "हल" कर दिया है। इसके बजाय, इसने एक ऐसा टूल बनाया जो:
- अपने स्वयं के डिज़ाइन का विश्लेषण करके अपना स्वयं का नियम पुस्तिका लिखता है।
- सिद्ध करता है कि विशिष्ट व्यवहार नियम (21 टूल सिद्धांत) AI के उत्तरों को बहुत अधिक सुरक्षित बनाते हैं (79% की वृद्धि)।
- दिखाता है कि जेनेरिक "अच्छे बनें" वाले नियम काम नहीं करते।
- सब कुछ जारी करता है: कोड, नियम पुस्तिका और लॉग, ताकि कोई भी ठीक उसी प्रयोग को दोबारा दोहरा सके।
लेखक निष्कर्ष निकालते हैं कि यदि आप एक AI सुरक्षा टूल बना रहे हैं, तो आपको AI को भ्रमित होने (hallucinating) से रोकने के लिए विशिष्ट व्यवहार नियमों की आवश्यकता है, और आपको एक पेपर ट्रेल रखने के लिए शासन नियमों की आवश्यकता है। लेकिन इसके लिए सबसे पहले एक वास्तव में स्मार्ट AI मॉडल की भी आवश्यकता है। एक सक्षम मस्तिष्क के बिना, सबसे अच्छी नियम पुस्तिका भी आपको बचा नहीं पाएगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।