Telemetry and Concealment in Self-Adapting Generative AI: Logging Architecture, Adversarial Model Hiding, and the Limits of Detection
यह शोध पत्र स्व-अनुकूलनशील जनरेटिव एआई (generative AI) के लिए एक द्वि-शासन ढांचे (dual-regime governance framework) का प्रस्ताव करता है जो पारंपरिक स्थिर मॉडल जोखिम प्रबंधन की अपर्याप्तता को संबोधित करने के लिए निरंतर निगरानी हेतु एक कठोर, मॉडल-अज्ञेय (model-agnostic) टेलीमेट्री आर्किटेक्चर को प्रतिकूल प्रच्छन्नता रणनीतियों (adversarial concealment strategies) और प्रति-उपायों के एक व्यवस्थित वर्गीकरण के साथ जोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
नीचे एक शोध पत्र का सारांश दिया गया है, जिसके बाद एक स्वचालित चेकर द्वारा पाई गई कमियां दी गई हैं।
=== सारांश ===
कल्पना कीजिए कि आप एक जादुई, स्वयं को सुधारने वाले रोबोट शेफ (रसोइया) को देख रहे हैं। हर बार जब वह किसी ग्राहक के लिए भोजन बनाता है, तो वह अनुभव से सीखता है और तुरंत अपनी आंतरिक रेसिपी बुक (नुस्खा पुस्तिका) में बदलाव करता है। पुराने दिनों में, यदि आप यह जांचना चाहते थे कि क्या कोई शेफ सुरक्षित है, तो आप उनके भोजन को एक बार चखते, उन्हें मंजूरी का स्टैम्प देते और मान लेते कि वे हमेशा बिल्कुल उसी तरह खाना बनाएंगे। लेकिन यह नया रोबोट शेफ काम करते समय अपने मस्तिष्क को बदल रहा है। यह एक समस्या पैदा करता है: जब तक आप अगला भोजन चखेंगे, तब तक हो सकता है कि शेफ ने यह सोचने का अपना तरीका बदल लिया हो कि खाना कैसे बनाया जाए। यह "स्वयं-अनुकूलन" (self-adapting) आर्टिफिशियल इंटेलिजेंस की दुनिया है, जहाँ आप जिस टूल का उपयोग कर रहे हैं, वह लगातार अपने स्वयं के निर्देशों को फिर से लिख रहा है। सुरक्षा की परवाह करने वाले किसी भी व्यक्ति के लिए—जैसे बैंक, अस्पताल या सरकारें—बड़ा सवाल यह है: आप उस शेफ पर नज़र कैसे रखें जो लगातार अपनी रेसिपी बुक को बदल रहा है, खासकर यदि वह शेफ काम जारी रखने के लिए बिना रुके बदलावों को छिपाने की कोशिश करे?
यह शोध पत्र इसी समस्या को हल करने के लिए इन AI शेफ के लिए एक उच्च-तकनीकी "ब्लैक बॉक्स" रिकॉर्डर बनाने और फिर यह परीक्षण करने के लिए कि यह रिकॉर्डर कितना प्रभावी है जब शेफ इसे चकमा देने की कोशिश करता है। लेखक, श्रीराम नागराज और उनके सहयोगियों ने एक ऐसी प्रणाली प्रस्तावित की है जो न केवल अंतिम भोजन (आउटपुट) को देखती है, बल्कि रेसिपी बुक के सूक्ष्म, निरंतर परिवर्तनों (वेट्स/weights) को भी ट्रैक करती है। उन्होंने एक गणितीय "टेलीमेट्री" प्रणाली बनाई है जो हर बार लॉग करती है जब शेफ अपना विचार बदलता है, जिसमें एक विशेष प्रकार के डिजिटल फिंगरप्रिंट जिसे "मर्कल चेन" (Merkle chain) कहा जाता है, का उपयोग किया गया है ताकि कोई भी इतिहास को मिटा न सके। वे "ल्यपुनोव स्थिरता" (Lyapunov stability) नामक एक अवधारणा का भी उपयोग करते हैं, जो एक सुरक्षा हार्नेस की तरह है जो यह सुनिश्चित करता है कि शेफ सुरक्षित, स्वीकृत रेसिपी से बहुत दूर न भटक जाए।
हालाँकि, शोध पत्र के दूसरे भाग में एक मोड़ आता है। यह पूछता है: "क्या होगा यदि शेफ एक धोखेबाज है?" यह स्पष्ट है कि यदि कोई कंपनी अपने AI को सुरक्षा जांच के लिए रुकने से बचाने के लिए इसे चलाने की इच्छा रखती है, तो उसके पास अपनी लर्निंग (सीखने की प्रक्रिया) को छिपाने का एक मजबूत प्रोत्साहन है। लेखक ने छह अलग-अलग तरीकों का अनुकरण (simulate) किया है जिनसे एक चालाक कंपनी निगरानी प्रणाली को धोखा देने की कोशिश कर सकती है। वे पाते हैं कि जबकि कुछ चालों को चतुर गणित और क्रिप्टोग्राफी के साथ पकड़ा जा सकता है, दो विशिष्ट चालें पकड़ना अविश्वसनीय रूप से कठिन है। एक में सीखने की प्रक्रिया की प्राकृतिक "शोर" (noise) या यादृच्छिकता (randomness) के भीतर बदलावों को छिपाना शामिल है, और दूसरा इस संभावना (probability) में हेरफेर करना है कि AI कैसे सीखता है, जो कागज़ पर पूरी तरह से सामान्य दिखता है।
शोध पत्र का सबसे महत्वपूर्ण निष्कर्ष उन लोगों के लिए निराशाजनक है जो एक पूर्ण समाधान की उम्मीद कर रहे हैं: आप डेटा स्ट्रीम को देखकर हर सूक्ष्म परिवर्तन को नहीं पकड़ सकते। यह एक "रेज़ोल्यूशन फ्लोर" (resolution floor) है। कल्पना कीजिए कि आप तूफान में रेत के एक कण को हिलते हुए देखने की कोशिश कर रहे हैं; यदि गति पर्याप्त छोटी है, तो हवा (या इस मामले में, सिस्टम का प्राकृतिक शोर) उसे हमेशा छिपा देगी। लेखक गणितीय रूप से सिद्ध करते हैं कि आपके सेंसर कितने भी अच्छे क्यों न हों, हमेशा बदलावों का एक छोटा सा गोला रहेगा जो रिकॉर्डर के अकेले दम पर अदृश्य रहेगा। इस कारण से, वे निष्कर्ष निकालते हैं कि हम केवल रिकॉर्डर पर भरोसा नहीं कर सकते। इसके बजाय, हमें एक "दोहरी-प्रणाली" (dual-regime) की आवश्यकता है: एक निरंतर, वास्तविक समय का मॉनिटर जो बड़े बदलावों को पकड़े, और साथ ही समय-समय पर होने वाले "आक्रामक निरीक्षण" (invasive check-ups) जहाँ ऑडिटर्स भौतिक रूप से रोबोट के मस्तिष्क का निरीक्षण करते हैं ताकि यह सुनिश्चित हो सके कि इसे गुप्त रूप से फिर से नहीं लिखा गया है। यह एक ऐसा सिस्टम है जो स्वीकार करता है कि यह सब कुछ नहीं देख सकता, लेकिन यह हमें यह बताने का तरीका देता है कि हम वास्तव में कितना नहीं देख सकते और हमें कितनी बार करीब से देखने की आवश्यकता है।
स्वयं सुधारने वाले रोबोट की कहानी
सेटअप: एक शेफ जो अपनी कुकबुक खुद लिखता है
मॉडल रिस्क मैनेजमेंट (MRM) की दुनिया में, पुराना नियम सरल था: एक मॉडल बनाओ, उसका परीक्षण करो, और फिर उसे चलने दो। आप मान लेते हैं कि मॉडल स्थिर रहता है, जैसे कि एक छपी हुई कुकबुक। लेकिन आधुनिक जनरेटिव AI अलग है। यह एक "स्वयं-अनुकुकूल" (self-adapting) प्रणाली है, जैसे कि एक शेफ जो हर व्यंजन चखता है और अगली बार के लिए तुरंत रेसिपी बुक को फिर से लिख देता है। यह वास्तविक समय में "निरंतर लर्निंग" (continual learning) नामक प्रक्रिया का उपयोग करके होता है। समस्या यह है कि कल की गई सुरक्षा जांच आज बेकार है क्योंकि मॉडल पहले ही बदल चुका है। अंतिम सुरक्षा जांच और वर्तमान स्थिति के बीच के इस अंतर को "कंटीन्यूअस वैलिडेशन गैप" कहा जाता है।
भाग 1: परम ब्लैक बॉक्स बनाना
इसे ठीक करने के लिए, शोध पत्र शेफ को देखने का एक नया तरीका प्रस्तावित करता है। केवल अंत में भोजन की जाँच करने के बजाय, वे रेसिपी बुक में होने वाले हर छोटे बदलाव को लॉग करना चाहते हैं।
- मिनिमल स्टैटिस्टिक (Minimal Statistic): उन्होंने महसूस किया कि यह मापना कि रेसिपी बुक का आकार कितना बदला है (जैसे कि किताब का वजन मापना), पर्याप्त नहीं है। सही जगह पर एक छोटा बदलाव व्यंजन को खराब कर सकता है, जबकि गलत जगह पर एक बड़ा बदलाव कुछ भी नहीं करेगा। इसलिए, वे "व्यवहार संबंधी विचलन" (behavioral divergence) को मापते हैं—यानी टेस्ट प्रश्नों के एक सेट के लिए आउटपुट में कितना बदलाव आता है।
- टैम्पर-प्रूफ चेन (Tamper-Proof Chain): यह सुनिश्चित करने के लिए कि लॉग्स को फर्जी नहीं बनाया जा सकता, वे एक "मर्कल वेट चेन" (Merkle Weight Chain) का उपयोग करते हैं। इसे रेसिपी बुक के लिए ब्लॉकचेन की तरह समझें। हर बार जब शेफ एक पन्ना बदलता है, तो वे पुराने पन्ने के साथ नए पन्ने का 'हैश' (फिंगरप्रिंट) बनाते हैं। यदि कोई कल के पन्ने को बदलने की कोशिश करता है, तो आज का फिंगरप्रिंट टूट जाता है। बिना चेन को तोड़े बदलाव को छिपाना गणितीय रूप से असंभव है।
- निरंतर निगरानी (The Continuous Watch): चूंकि शेफ बहुत तेज़ी से बदलता है, वे हर सेकंड लॉग नहीं कर सकते। इसके बजाय, वे केवल तभी लॉग करते हैं जब बदलाव इतना बड़ा हो जाए कि मायने रखे। वे "KL डाइवर्जेंस" (दो संभाव्यता वितरणों के बीच अंतर का माप) पर आधारित "स्टॉपिंग टाइम्स" (stopping times) नामक एक गणितीय उपकरण का उपयोग करते हैं। यह एक मोशन सेंसर की तरह है जो केवल तभी चालू होता है जब शेफ वास्तव में हिलता है, जिससे ऊर्जा और स्टोरेज बचता है।
- सुरक्षा हार्नेस (The Safety Harness): वे "ल्यपुनोव स्थिरता" (Lyapunov stability) ढांचे का उपयोग करते हैं। कल्पना कीजिए कि एक कटोरे में लुढ़कती हुई गेंद। जब तक गेंद कटोरे के अंदर रहती है, सिस्टम सुरक्षित है। यदि गेंद किनारे की ओर लुढ़कने लगती है, तो सिस्टम अलार्म बजा देता है। यह सुनिश्चित करता है कि AI अपने सुरक्षित, स्वीकृत व्यवहार से बहुत दूर न भटक जाए।
भाग 2: लुका-छिपी का खेल
शोध पत्र फिर पूछता है: "क्या होगा यदि शेफ एक धोखेबाज है?" यदि किसी कंपनी को पता चलता है कि उसका मॉडल बदल गया है, तो उसे रुकना पड़ सकता है और फिर से मंजूरी लेनी पड़ सकती है, जिसमें पैसा और समय लगता है। इसलिए, वे अपनी लर्निंग को छिपाने की कोशिश कर सकते हैं। लेखक एक "मॉडल हाइडिंग प्रॉब्लम" (Model Hiding Problem) का आविष्कार करते हैं और छह अलग-अलग तरीकों का परीक्षण करते हैं जिनसे एक कंपनी निगरानी प्रणाली को मूर्ख बनाने की कोशिश कर सकती है।
वे चालें जिन्हें पकड़ा जा सकता है:
- सप्रेशन (Suppression): यदि शेफ केवल लॉग भेजना बंद कर देता है, तो सिस्टम "कैनरी" (canary) प्रश्नों की एक गुप्त सूची के विरुद्ध भोजन की जांच करता है। यदि भोजन का स्वाद अलग है, तो सिस्टम जान जाता है कि शेफ झूठ बोल रहा है।
- फोर्जरी (Forgery): यदि शेफ असली बदलाव करते हुए भी "मैं सुरक्षित हूँ" कहते हुए फर्जी लॉग भेजता है, तो सिस्टम परोसे गए भोजन के डिजिटल सिग्नेचर की जांच करता है। यदि सिग्नेचर फर्जी लॉग से मेल नहीं खाता, तो वह पकड़ा जाता है।
- शैडो मॉडल्स (Shadow Models): यदि शेफ असली काम करने के लिए एक गुप्त "शैडो" मॉडल चलाता है जबकि ऑडिटर्स को एक फर्जी मॉडल दिखाता है, तो सिस्टम "ट्रस्टेड एक्जीक्यूशन एनवायरनमेंट" (TEE) का उपयोग करता है। यह एक सुरक्षित, लॉक किए गए कमरे की तरह है जहाँ खाना पकाया जाता है। हार्डवेयर स्वयं काम पर हस्ताक्षर करता है, जिससे आपको पता चलता है कि यह स्वीकृत मॉडल से आया है, न कि किसी गुप्त मॉडल से।
वे चालें जिन्हें पकड़ना कठिन है:
- नॉइज़ एम्प्लीफिकेशन (Noise Amplification): शेफ बदलाव को छिपाने के लिए सीखने की प्रक्रिया को अधिक शोर वाला (जैसे रेसिपी में अधिक रैंडम चीजें जोड़ना) बना सकता है। लेखक ने "पावर वेरिएशन" (power variation) नामक एक गणितीय ट्रिक का उपयोग करने की कोशिश की, लेकिन उन्होंने पाया कि यह काम नहीं करता। गणित दिखाता है कि शोर इतना अराजक है कि आप कम समय में छिपे हुए बदलाव और केवल रैंडम उतार-चढ़ाव के बीच अंतर नहीं कर सकते।
- गिरासोव मैनिपुलेशन (Girsanov Manipulation): यह एक फैंसी तरीका है यह कहने का कि शेफ संभाव्यता के नियमों को बदल देता है ताकि बदलाव सामान्य लगे। लेखक ने इसे पकड़ने के लिए "ग्रेडिएंट प्रोब" (एक टेस्ट प्रश्न) का उपयोग करने की कोशिश की, लेकिन उन्होंने पाया कि यह भी काम नहीं करता। प्रोब केवल बदलाव के परिणाम को देखता है, जिसे अन्य परीक्षण पहले ही पकड़ लेते हैं, इसलिए यह कुछ भी नया नहीं जोड़ता।
बड़ा निष्कर्ष: रेज़ोल्यूशन फ्लोर (The Resolution Floor)
शोध पत्र एक मौलिक सीमा को सिद्ध करता है: आप सब कुछ नहीं देख सकते। आपके सेंसर कितने भी अच्छे क्यों न हों, बदलाव का एक सूक्ष्म हिस्सा (एक "बॉल ऑफ स्ट्रिक्टली पॉजिटिव रेडियस") हमेशा शोर के भीतर छिपा रहेगा। यदि बदलाव सिस्टम के रेज़ोल्यूशन से छोटा है, तो वह केवल डेटा स्ट्रीम को देखकर गणितीय रूप से पता लगाने योग्य नहीं होगा।
इस कारण से, लेखक एक दोहरी-प्रणाली (Dual-Regime Principle) का प्रस्ताव करते हैं:
- निरंतर टेलीमेट्री (Continuous Telemetry): ब्लैक बॉक्स को 24/7 चालू रखें ताकि बड़े बदलावों को पकड़ा जा सके और शेफ को अधिकांश समय ईमानदार रखा जा सके।
- समय-समय पर आक्रामक ऑडिट (Periodic Invasive Audits): चूंकि ब्लैक बॉक्स में एक ब्लाइंड स्पॉट (अंध बिंदु) है, इसलिए आपको नियमित रूप से रोबोट के मस्तिष्क को भौतिक रूप से खोलकर और उसका निरीक्षण करना चाहिए। इन निरीक्षणों की आवृत्ति इस बात पर निर्भर करती है कि "ब्लाइंड स्पॉट" कितना बड़ा है। यदि ब्लाइंड स्पॉट छोटा है, तो आप जांच के बीच लंबा समय प्रतीक्षा कर सकते हैं। यदि यह बड़ा है, तो आपको अधिक बार जांच करने की आवश्यकता है।
संक्षेप में, शोध पत्र कहता है कि हम स्वयं-अनुकूलित AI के चारों ओर एक पूर्ण, अदृश्य बाड़ नहीं बना सकते। लेकिन हम एक बहुत अच्छी बाड़ बना सकते हैं जिसमें कुछ छोटे अंतराल हैं, और हम उन अंतरालों के माध्यम से चलने के लिए नियमित गश्त का कार्यक्रम बना सकते हैं ताकि यह सुनिश्चित हो सके कि वहां कुछ बुरा छिपा हुआ है। यह एक यथार्थवादी, गणितीय रूप से सुदृढ़ तरीका है जिससे उन उपकरणों के जोखिम का प्रबंधन किया जा सके जो लगातार खुद को बदल रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।