Silent Updates: Measuring and Closing the Post-Deployment Disclosure Gap
यह शोध पत्र एआई (AI) प्रणालियों में "पोस्ट-डिप्लॉयमेंट डिस्क्लोजर गैप" (तैनाती के बाद के प्रकटीकरण अंतराल) की जांच करता है, जो यह प्रकट करता है कि जबकि प्रदाता सुरक्षा दस्तावेज़ प्रकाशित करते हैं, उनके पास इस बात को बाहरी रूप से सत्यापित करने के लिए तंत्रों का अभाव है कि तैनात किए गए मॉडल उनके रिपोर्ट किए गए संस्करणों से मेल खाते हैं या नहीं, जिसके कारण लेखक पारदर्शिता और जवाबदेही को लागू करने के लिए एक "साइलेंट अपडेट्स स्कोरकार्ड" और एक "थ्री-पार्ट बिहेवियरल ट्रिगर सिस्टम" प्रस्तावित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जादुई बुफे में हैं जहाँ शेफ सुपर-स्मार्ट रोबोट हैं। आप एक विशिष्ट व्यंजन ऑर्डर करते हैं, मान लीजिए "द GPT-5 बर्गर," और मेनू आपको ठीक से बताता है कि इसमें क्या है, यह खाने के लिए कितना सुरक्षित है, और एक प्रसिद्ध खाद्य समीक्षक की समीक्षा के आधार पर इसका स्वाद कैसा है। आप सुरक्षित महसूस करते हैं क्योंकि आप मेनू पर भरोसा करते हैं। लेकिन यहाँ एक मोड़ है: शेफ गुप्त रूप से बर्गर की पैटी को बदल सकते हैं, सीक्रेट सॉस को बदल सकते हैं, या प्लेट पर नाम बदले बिना, मेनू को अपडेट किए बिना, या आपको बताए बिना पूरे बन को किसी पूरी तरह से अलग चीज़ से बदल सकते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह वही होता है जो "फाउंडेशन मॉडल्स" के साथ होता है। ये विशाल AI मस्तिष्क हैं जो चैटबॉट्स और टूल्स को शक्ति प्रदान करते हैं। यहाँ एक प्रमुख अवधारणा "चेन ऑफ कस्टडी" (chain of custody) है, जो एक रसीद की तरह है जो यह साबित करती है कि आप जो बर्गर खा रहे हैं, वह वही है जिसका स्वाद समीक्षक ने चखा था। दूसरी अवधारणा "साइलेंट अपडेट्स" (silent updates) है, जो वे गुप्त बदलाव हैं जो शेफ करते हैं। लोग इस बात पर ध्यान देते हैं क्योंकि यदि मेनू कहता है कि बर्गर सुरक्षित है, लेकिन शेफ ने गुप्त रूप से उसमें तीखा ज़हर मिला दिया है, तो समीक्षा बेकार है, और आप बीमार पड़ सकते हैं। हमें यह जानने की आवश्यकता है कि हम जो चीज़ उपयोग कर रहे हैं, क्या वह वास्तव में वही है जिसका परीक्षण किया गया था।
अब, शोधकर्ता सोफिया अब्राहम और बेन बकनॉल के काम को देखते हैं। उन्होंने खाद्य निरीक्षकों की तरह काम किया, लेकिन रेस्टोरेंट की जाँच करने के बजाय, उन्होंने नौ बड़ी AI कंपनियों और सात जगहों की जाँच की जहाँ ये AI टूल्स होस्ट किए जाते हैं। उन्होंने एक विशेष चेकलिस्ट बनाई जिसे "साइलेंट अपडेट्स स्कोरकार्ड" कहा जाता है, ताकि यह देखा जा सके कि क्या ये कंपनियाँ अपने गुप्त सामग्री बदलावों के बारे में ईमानदार हैं। उन्होंने इस बात का प्रमाण खोजा कि आज आप जिस AI से बात कर रहे हैं, क्या वह वही है जिसका उनके सुरक्षा रिपोर्टों में परीक्षण किया गया था।
परिणाम कुछ ऐसे थे जैसे पता चलना कि बुफे में एक "घोस्ट किचन" (ghost kitchen) है। शोधकर्ताओं ने पाया कि जबकि शेफ (AI कंपनियाँ) विस्तृत मेनू और सुरक्षा रिपोर्ट लिखने (सुरक्षा दस्तावेज़ और मूल्यांकन प्रकाशित करने) में बहुत अच्छे हैं, वे यह साबित करने में बहुत खराब हैं कि आपकी प्लेट पर मौजूद भोजन मेनू से मेल खाता है। वास्तव में, जिन नौ मुख्य AI प्रदाताओं की उन्होंने जाँच की, उनमें से शून्य ने ऐसा कोई तरीका दिया जिससे कोई बाहरी व्यक्ति यह सत्यापित कर सके कि परोसी जा रही विशिष्ट AI मॉडल वही थी जिसका वर्णन उनकी सुरक्षा रिपोर्टों में किया गया था। यह ऐसा ही है जैसे शेफ कह रहा हो, "मुझ पर भरोसा करो, यह मेनू वाला बर्गर है," लेकिन वह रसोई देखने या रसीद देखने देने से इनकार कर रहा हो।
पेपर सुझाव देता है कि ऐसा इसलिए होता है क्योंकि AI सिस्टम स्थिर नहीं हैं; वे बैकग्राउंड में लगातार बदल रहे हैं। शोधकर्ताओं ने पहचाना कि यह "साइलेंट अपडेट" गेम खेलने के चार मुख्य तरीके हैं:
- रूप बदलने वाला नाम (The Shapifying Name): कंपनियाँ "GPT-5" या "Claude" जैसे स्थिर नामों का उपयोग करती हैं, लेकिन ये नाम जादु적인 लेबल की तरह हैं जो समय के साथ अलग-अलग बर्गर से चिपके रहते हैं। एक दिन "GPT-5" बीफ पैटी हो सकता है, और अगले महीने यह वेजी पैटी हो सकता है, लेकिन नाम वही रहता है।
- लुप्त लॉगबुक (The Missing Logbook): जबकि कंपनियाँ एक नया बर्गर लॉन्च करने की घोषणा करने में बहुत अच्छी होती हैं, वे शायद ही कभी यह लिखती हैं कि उन्होंने पहले से ही मेनू में मौजूद एक पुराने बर्गर की सामग्री को गुप्त रूप से कब बदला।
- दो चेहरे (The Two Faces): कभी-कभी वेबसाइट पर मिलने वाला बर्गर (चैटबॉट) उस बर्गर से अलग होता है जो आपको कंप्यूटर प्रोग्राम (API) के माध्यम से मिलता है, और कंपनी आपको यह नहीं बताती कि वे अलग हैं।
- अनलिंक्ड रसीद (The Unlinked Receipt): सुरक्षा रिपोर्ट अक्सर मॉडल्स के एक "परिवार" (जैसे "द GPT-5 फैमिली") के बारे में बात करती है, न कि किसी विशिष्ट, अपरिवर्तनीय संस्करण के बारे में। इसका मतलब है कि सुरक्षा रिपोर्ट पिछले साल के बर्गर के बारे में हो सकती है, लेकिन आप आज का बर्गर खा रहे हैं।
शोधकर्ताओं ने यह भी पाया कि कुछ कंपनियों के पास अनुबंधों में ऐसे नियम हैं जो वास्तव में लोगों को भोजन की जाँच करने से रोकते हैं। उदाहरण के लिए, जिन नौ कंपनियों की उन्होंने जाँच की उनमें से छह के पास ऐसी शर्तें हैं जो कहती हैं कि आप यह देखने के लिए अपने स्वयं के परीक्षण नहीं चला सकते कि क्या AI अलग व्यवहार कर रहा है। यह ऐसा ही है जैसे एक रेस्टोरेंट कहे, "आप हमारा मेनू पढ़ सकते हैं, लेकिन यदि आप यह देखने के लिए भोजन का स्वाद लेने की कोशिश करते हैं कि क्या यह मेनू से मेल खाता है, तो हम आपको बाहर निकाल देंगे।"
इसे ठीक करने के लिए, लेखक एक नई प्रणाली का प्रस्ताव करते हैं जिसे "थ्री-पार्ट बिहेवियरल ट्रिगर सिस्टम" (Three-Part Behavioral Trigger System) कहा जाता है। इसे एक नए किचन नियमों के सेट के रूप में सोचें। शेफ के यह स्वीकार करने का इंतज़ार करने के बजाय कि उन्होंने रेसिपी बदल दी है, नियम कहेंगे कि:
- यदि AI अलग तरह से व्यवहार करने लगता है (जैसे उन सवालों के जवाब देने से मना करना जो वह पहले देता था), तो वह एक "ड्रिफ्ट ट्रिगर" (Drift Trigger) है, और उन्हें मेनू अपडेट करना होगा।
- यदि वे मशीन के किसी विशिष्ट हिस्से (जैसे सॉस डिस्पेंसर या ग्रिल) को बदलते हैं, तो वह एक "कंपोनेंट ट्रिगर" (Component Trigger) है, और उन्हें इसे तुरंत लॉग करना होगा।
- यदि AI अचानक बहुत अधिक स्मार्ट या बहुत अधिक खतरनाक हो जाता है, तो वह एक "कैपेबिलिटी ट्रिगर" (Capability Trigger) है, और उन्हें पूरी चीज़ का पुन: परीक्षण करना होगा।
वे एक "सेफ हार्बर" (safe harbor) नियम का भी सुझाव देते हैं, जो एक कानून जैसा होगा कि, "यदि आप सार्वजनिक भलाई के लिए बर्गर की जाँच करने वाले खाद्य समीक्षक हैं, तो रेस्टोरेंट आपको बाहर नहीं निकाल सकता या आप पर मुकदमा नहीं कर सकता।"
यह पेपर यह दावा नहीं करता है कि ये कंपनियाँ झूठ बोल रही हैं या AI अभी खतरनाक है। इसके बजाय, यह सुझाव देता है कि वर्तमान प्रणाली टूटी हुई है क्योंकि यह प्रमाणित करने का कोई तरीका नहीं है कि आपके द्वारा उपयोग किया जाने वाला AI वास्तव में वही है जिसका परीक्षण किया गया था। लेखकों ने सार्वजनिक जानकारी का उपयोग करके इसे मापा और पाया कि हालांकि कागजी कार्रवाई मौजूद है, लेकिन "चेन ऑफ कस्टडी" टूट गई है। वे सुझाव देते हैं कि जब तक हम यह सत्यापित नहीं कर सकते कि हम जो AI उपयोग कर रहे हैं वह वही है जिसका परीक्षण किया गया था, हम अंधेरे में खा रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।