Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification
यह शोध पत्र प्रकट करता है कि वर्तमान क्रिप्टोग्राफिक मॉडल प्रमाणन प्रोटोकॉल उन हमलों के प्रति संवेदनशील हैं जहाँ मॉडल निश्चित ऑडिट डेटासेट पर तो अच्छा व्यवहार करते हैं लेकिन अपर驗ified (unverified) सामान्यीकरण के कारण व्यवहार में विफल हो जाते हैं, और यह सुनिश्चित करने के लिए कि प्रमाणित गारंटी उसी वितरण से नए डेटा के लिए भी बनी रहे, कठोर सुरक्षा परिभाषाएँ और एक नया प्रोटोकॉल टेम्पलेट प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ हम कंप्यूटर से महत्वपूर्ण निर्णय लेने के लिए कह सकते हैं—जैसे ऋण (loan) स्वीकृत करना, बीमारी का निदान करना, या यह तय करना कि किसे नौकरी मिलेगी—बिना कभी कंप्यूटर के "मस्तिष्क" को देखे। यह प्राइवेसी-प्रिजर्विंग मशीन लर्निंग (Privacy-Preserving Machine Learning) का वादा है। यह एक शेफ को आपके लिए एक गुप्त पारिवारिक रेसिपी बनाने के लिए काम पर रखने जैसा है; आप व्यंजन का स्वाद लेना चाहते हैं ताकि यह सुनिश्चित हो सके कि यह स्वादिष्ट (सटीक) और निष्पक्ष (भेदभाव न करने वाला) है, लेकिन आप रेसिपी या सामग्री नहीं देखना चाहते क्योंकि वे शेफ के व्यापारिक रहस्य हैं।
इसे हल करने के लिए, वैज्ञानिक जीरो-नॉलेज प्रूफ (Zero-Knowledge Proofs - ZKPs) का उपयोग करते हैं। इसे एक जादू के खेल के रूप में सोचें जहाँ शेफ यह साबित करता है कि उसने रेसिपी का पूरी तरह से पालन किया है, बिना आपको सामग्री दिखाए। वे एक "प्रमाणपत्र" बनाने के लिए जटिल गणित का उपयोग करते हैं जो कहता है, "मैं वादा करता हूँ कि यह व्यंजन 99% स्वादिष्ट है," और गणित गारंटी देता है कि वे झूठ नहीं बोल रहे हैं। लंबे समय तक, सभी ने माना कि यदि गणित कहता था कि प्रमाणपत्र वैध है, तो व्यंजन हर किसी के लिए स्वादिष्ट होगा चाहे कोई भी खाए। लेकिन क्या होगा अगर शेफ जादू के खेल को धोखा दे सके? क्या होगा अगर वे विशेष रूप से टेस्ट-टेस्टर के लिए व्यंजन का एक विशेष संस्करण पकाएं, यह जानते हुए कि टेस्टर क्या पूछेगा, जबकि बाकी सभी को पूरी तरह से अलग (और बहुत खराब) भोजन परोसें? यही वह प्रश्न है जो यह शोध पत्र पूछता है।
द ग्रेट ऑडिट हेइस्ट: सिद्धांत में प्रमाणित, व्यवहार में टूटा हुआ (The Great Audit Heist: Certified in Theory, Broken in Practice)
यह शोध पत्र, जिसका शीर्षक "Certified in Theory, Broken in Practice" है, यह उजागर करता है कि हम वर्तमान में इन गुप्त AI मॉडलों की जांच कैसे करते हैं, उसमें एक चालाकी भरा लूपहोल (खामी) है। लेखकों ने, जो विश्वविद्यालयों और जे.पी. मॉर्गन के शोधकर्ताओं की एक टीम है, पाया कि "जादुई प्रमाणपत्र" जिनका उपयोग AI मॉडलों को सत्यापित करने के लिए किया जाता है, उन्हें आसानी से फर्जी बनाया जा सकता है यदि मॉडल निर्माता को पहले से पता हो कि परीक्षण कैसा दिखेगा।
सेटअप: ब्लाइंड टेस्ट (The Setup: The Blind Taste Test)
वास्तविक दुनिया में, जब कोई कंपनी यह सिद्ध करना चाहती है कि उनका AI निष्पक्ष या सटीक है, तो वे आमतौर पर एक ऑडिटर (लेखा परीक्षक) को नियुक्त करती है। ऑडिटर परीक्षण प्रश्नों की एक सूची (एक डेटासेट) चुनता है और AI से उनका उत्तर देने को कहता है। AI का मालिक फिर एक जीरो-नॉलेज प्रूफ का उपयोग करके कहता है, "देखो, मैंने इनमें से 99% का सही उत्तर दिया है, और मैंने धोखाधड़ी नहीं की है!"
समस्या यह है कि कई वर्तमान प्रणालियों में, AI मालिक अपना अंतिम मॉडल लॉक करने से पहले परीक्षण के प्रश्नों को देख पाता है। यह एक छात्र को परीक्षा से एक सप्ताह पहले सटीक प्रश्न मिलने जैसा है, उत्तरों को रट लेना, और फिर एक खाली शीट जमा कर देना जो जादुई रूप से यह सिद्ध करती है कि उसे उत्तर पता थे।
हमला: जज के लिए खाना बनाना (The Attack: Cooking for the Judge)
लेखक दिखाते हैं कि एक दुर्भावनापूर्ण मॉडल मालिक ऑडिट पास करने के लिए अपने प्रशिक्षण डेटा (training data) को "फर्जी" बना सकता है, जबकि वास्तविक दुनिया में वह विफल हो जाता है। वे इसे डेटा फोर्जिंग अटैक (Data Forging Attack) कहते हैं।
यहाँ यह ट्रिक कैसे काम करती है, इसे एक डिसीजन ट्री (Decision Tree) (एक फ्लोचार्ट जो निर्णय लेता है) के उदाहरण से समझते हैं:
- सेटअप: ऑडिटर मॉडल मालिक को 1,000 परीक्षण प्रश्नों की एक विशिष्ट सूची देता है।
- ट्रिक: मॉडल मालिक उन 1,000 प्रश्नों को लेता है और उनके चारों ओर हजारों "पड़ोसी" बिंदु (neighbor points) बनाता है। वे इन नए बिंदुओं को अपने प्रशिक्षण डेटा में जोड़ते हैं, लेकिन इन पड़ोसियों पर उत्तरों को उलट (flip) देते हैं। वे अपने मॉडल में एक नियम भी जोड़ते हैं: "यदि प्रश्न बिल्कुल उन्हीं 1,000 परीक्षण प्रश्नों जैसा दिखता है, तो सही उत्तर दें। यदि यह थोड़ा भी अलग दिखता है (जैसे हमारे नए पड़ोसी बिंदु), तो गलत उत्तर दें।"
- परिणाम: जब ऑडिटर परीक्षण चलाता है, तो मॉडल 99% या 100% सही होता है क्योंकि उसने परीक्षण को रट लिया है। जीरो-नॉलेज प्रूफ भी सही निकलता है, और मॉडल को "उच्च सटीकता" के रूप में प्रमाणित किया जाता है।
- विश्वासघात: लेकिन जैसे ही मॉडल को वास्तविक दुनिया में तैनात किया जाता है और वह नए डेटा (यहाँ तक कि परीक्षण डेटा जैसा दिखने वाले डेटा) को देखता है, तो वह बुरी तरह विफल हो जाता है। शोध पत्र के प्रयोगों में, मॉडल जो परीक्षण पर 99% सटीकता के साथ पास हुआ था, वह नए, ताज़ा डेटा पर 30% से कम सटीकता पर गिर गया।
लेखकों ने निष्पक्षता ऑडिट (fairness audits) पर भी इसका परीक्षण किया। उन्होंने दिखाया कि एक मॉडल परीक्षण सूची पर पूरी तरह से निष्पक्ष दिख सकता है (विभिन्न समूहों को समान अनुमोदन दर देना), लेकिन वास्तविक दुनिया में बेहद अनुचित हो सकता है, जिससे विशिष्ट समूहों को लगभग 100% समय ऋण देने से मना कर दिया जाता है।
साधारण जाँच क्यों काम नहीं करती
आप सोच सकते हैं, "रुको, क्या ऑडिटर केवल यह नहीं देख सकता कि प्रशिक्षण डेटा परीक्षण डेटा जैसा दिखता है या नहीं?" शोध पत्र दिखाता है कि हमलावर इतने स्मार्ट हैं कि वे मानक सांख्यिकीय परीक्षणों को भी चकमा दे सकते हैं। अपने प्रशिक्षण सेट में परीक्षण डेटा की अतिरिक्त प्रतियां जोड़कर, हमलावर दोनों डेटासेट को सांख्यिकीय रूप से समान बना देता है। वेल्च टी-टेस्ट (Welch's t-test) (संख्याओं के दो समूहों को एक ही स्रोत से देखने का एक सामान्य तरीका) जैसे परीक्षण डेटा को देखेंगे और कहेंगे, "हाँ, ये एक जैसे दिखते हैं!" भले ही मॉडल गुप्त रूप से हेरफेर किया गया हो।
लेखकों ने छह अलग-अलग वास्तविक दुनिया के डेटासेट्स (जैसे क्रेडिट कार्ड डिफॉल्ट और रोजगार रिकॉर्ड) पर सिमुलेशन चलाया और पाया कि यह हमला विश्वसनीय रूप से काम करता है। उन्होंने यह भी दिखाया कि यह हमला केवल सरल डिसीजन ट्री ही नहीं, बल्कि XGBoost और न्यूरल नेटवर्क जैसे अधिक जटिल मॉडलों पर भी काम करता है।
समाधान: सरप्राइज टेस्ट (The Solution: The Surprise Test)
तो, हम इसे कैसे ठीक कर सकते हैं? शोध पत्र इन ऑडिट को चलाने का एक नया तरीका प्रस्तावित करता है, जिसे वे सिक्योर क्रिप्टोग्राफिक मॉडल सर्टिफिकेशन (CMC) कहते हैं।
मुख्य विचार सरल लेकिन शक्तिशाली है: मॉडल मालिक को परीक्षण के प्रश्न देखने से पहले अपना मॉडल लॉक करना होगा।
एक खेल की कल्पना करें जहाँ:
- छात्र (मॉडल मालिक) अपने उत्तर एक कागज पर लिखता है और उसे एक बंद बक्से में सील कर देता है (एक क्रिप्टोग्राफिक कमिटमेंट)।
- केवल बॉक्स सील होने के बाद ही शिक्षक (ऑडिटर) उन्हें परीक्षा के प्रश्न सौंपता है।
- छात्र फिर जादुई प्रमाण का उपयोग करके यह दिखाता है कि उसने बॉक्स के अंदर जो कुछ भी था, उसके आधार पर प्रश्नों का सही उत्तर दिया है।
चूंकि छात्र ने बॉक्स लॉक करते समय प्रश्नों को नहीं देखा था, इसलिए वह उत्तरों में हेरफेर नहीं कर सका। शोध पत्र गणितीय रूप से सिद्ध करता है कि यदि आप इस "कमिट-सैंपल-प्रूव" (Commit-Sample-Prove) क्रम का पालन करते हैं, तो मॉडल वास्तव में कार्य में अच्छा होना चाहिए, न कि केवल परीक्षण पास करने में अच्छा।
इसका क्या अर्थ है
लेखक सावधानीपूर्वक कहते हैं कि वे यह नहीं कह रहे हैं कि पुराना गणित "टूटा" हुआ है या जीरो-नॉलेज प्रूफ स्वयं गलत हैं। गणित पूरी तरह से काम करता है; बस खेल के नियम त्रुटिपूर्ण थे। पुराने नियमों ने मॉडल मालिक को परीक्षण को पहले से जानकर धोखाधड़ी करने की अनुमति दी।
यह शोध पत्र एक चेतावनी के रूप में कार्य करता है। यह दिखाता है कि प्राइवेसी-प्रिजर्विंग AI को वास्तव में भरोसेमंद बनाने के लिए, हम केवल ज्ञात डेटासेट के साथ एक बार के परीक्षण पर निर्भर नहीं रह सकते। हमें यह सुनिश्चित करने की आवश्यकता है कि परीक्षण एक सरप्राइज हो, या हमें ताज़ा डेटा के साथ मॉडल की निरंतर जांच करनी होगी। इन परिवर्तनों के बिना, हम ऐसे AI सिस्टम तैनात करने का जोखिम उठाते हैं जो "परफेक्ट" के रूप में प्रमाणित हैं लेकिन वास्तव में वास्तविक दुनिया में टूटे हुए हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।