Timing and Memory Telemetry on GPUs for AI Governance
यह शोध पत्र एक कंप्यूट-आधारित टेलीमेट्री फ्रेमवर्क का प्रस्ताव करता है जो अनट्रस्टेड (untrusted) वातावरण में GPU उपयोग की निगरानी करने और AI गवर्नेंस को लागू करने के लिए ऑब्जर्वेबल टाइमिंग और मेमोरी सिग्नल्स उत्पन्न करने हेतु प्रोबेबिलिस्टिक वर्कलोड्स, वेरिफिएबल डिले फंक्शन्स, टेंसर-कोर मेजरमेंट्स और मेमोरी रेजीडेंसी टेस्ट्स जैसे आर्किटेक्चरल प्रिमिटिव्स का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।
बड़ी समस्या: "ब्लैक बॉक्स" GPU
कल्पना कीजिए कि आपने न्यूयॉर्क से लॉस एंजिल्स तक जाने के लिए एक सुपर-फास्ट, हाई-टेक रेस कार (GPU) किराए पर ली है। आप इसके लिए भुगतान करते हैं, लेकिन एक बार जब आप ड्राइवर की सीट पर बैठ जाते हैं, तो निर्माता की दृश्यता (visibility) पूरी तरह खत्म हो जाती है। वे नहीं देख सकते कि आप वास्तव में निर्धारित मार्ग पर चल रहे हैं या नहीं, क्या आप 200 मील प्रति घंटे की रफ्तार से गाड़ी चला रहे हैं, या आपने चुपके से इंजन को हटाकर उसकी जगह लॉन मूवर (Lawnmower) लगा दिया है ताकि आप कुछ और काम कर सकें।
AI की दुनिया में, यह एक बहुत बड़ी समस्या है। विशाल आर्टिफिशियल इंटेलिजेंस मॉडल को प्रशिक्षित करने के लिए शक्तिशाली GPUs की आवश्यकता होती है। लेकिन यदि कोई बुरा व्यक्ति (bad actor) GPU किराए पर लेता है, तो वह गुप्त रूप से इसका उपयोग खतरनाक AI (जैसे वायरस जनरेटर) को प्रशिक्षित करने या सुरक्षा नीतियों को तोड़ने के लिए कर सकता है, और GPU के मालिक को पता भी नहीं चलेगा।
वर्तमान समाधान GPU के अंदर एक "ब्लैक बॉक्स" रिकॉर्डर (Trusted Execution Environments) रखने की कोशिश करते हैं, लेकिन हैकर्स ने साबित कर दिया है कि वे इन बॉक्सों को तोड़ सकते हैं। इसलिए, शोधकर्ताओं ने पूछा: यदि हम कार के आंतरिक रिकॉर्डर पर भरोसा नहीं कर सकते, तो क्या हम केवल उसके व्यवहार को देखकर यह बता सकते हैं कि कार क्या कर रही है?
समाधान: "ट्रैफिक पुलिस" रणनीति
लेखक बिना किसी विशेष हार्डवेयर की आवश्यकता के GPU की निगरानी करने का एक नया तरीका प्रस्तावित करते हैं। GPU से यह पूछने के बजाय कि "तुम क्या कर रहे हो?", वे उसे चुनौतियों (पहेलियों) की एक श्रृंखला भेजते हैं और मापते हैं कि उन्हें हल करने में कितना समय लगता है और डेटा कहाँ स्थित है।
इसे एक ऐसे ट्रैफिक पुलिसकर्मी की तरह समझें जिसके पास रडार गन नहीं है, लेकिन वह जानता है कि एक विशिष्ट सड़क पर कार को कितनी गति से चलना चाहिए। यदि कार उम्मीद से धीमी है, तो पुलिसकर्मी को पता चल जाता है कि ड्राइवर शायद भारी भार ले जा रहा है या अलग लेन में गाड़ी चला रहा है।
पेपर में GPU को पकड़ने के लिए चार विशिष्ट "ट्रिक्स" (measurement primitives) पेश की गई हैं:
1. "प्रूफ-ऑफ-वर्क" पहेली (मैराथन धावक)
- उपमा: कल्पना कीजिए कि आप एक धावक से 10 मिनट में एक मैदान में जितनी बार संभव हो सके, आगे-पीछे दौड़ने के लिए कहते हैं।
- यह कैसे काम करता है: GPU को एक गणितीय पहेली दी जाती है जिसमें ब्रूट फोर्स (लाखों संयोजनों को आज़माना) की आवश्यकता होती है।
- पकड़ने का तरीका: यदि GPU कुछ और करने में व्यस्त है (जैसे गुप्त AI को प्रशिक्षित करना), तो उसे पहेली को पूरा करने में अधिक समय लगेगा। यदि वह खाली है, तो वह इसे जल्दी पूरा कर लेगा। इस दौड़ के समय को मापकर, आप बता सकते हैं कि GPU "पसीना बहा रहा है" (व्यस्त है) या बस टहल रहा है।
2. "GEMM" पहेली (विशेष शेफ)
- उपमा: आधुनिक GPU के पास एक विशेष रसोई उपकरण होता है जिसे "टेन्सर कोर" (Tensor Core) कहा जाता है जो सब्जियां काटने (मैट्रिक्स मैथ) में अद्भुत है लेकिन सेब छीलने (साधारण गणित) में बहुत खराब है।
- यह कैसे काम करता है: शोधकर्ता GPU को एक ऐसा कार्य देते हैं जिसे केवल विशेष उपकरण ही कुशलतापूर्वक कर सकता है।
- पकड़ने का तरीका: यदि GPU धोखाधड़ी करने की कोशिश करता है (जैसे सामान्य CPU या साधारण चाकू का उपयोग करना) या यदि विशेष उपकरण पहले से ही कोई गुप्त भोजन बनाने में व्यस्त है, तो कार्य में बहुत अधिक समय लगेगा। यह साबित करता है कि GPU वास्तव में अपनी हाई-स्पीड "काटने वाली" शक्ति का उपयोग कर रहा है।
3. "VDF" पहेली (एकतरफा सीढ़ी)
- उपमा: कल्पना कीजिए कि एक सीढ़ी है जहाँ आप कदम छोड़ नहीं सकते। आपको पहले कदम 1 पर चढ़ना होगा, फिर कदम 2, फिर कदम 3। आप अधिक लोगों को जोड़कर तेज़ नहीं भाग सकते; आपको बस अपनी बारी का इंतज़ार करना होगा।
- यह कैसे काम करता है: यह एक "वेरिएबल डिले फंक्शन" (Verifiable Delay Function) है। यह GPU को क्रमवार, एक-एक करके काम करने के लिए मजबूर करता है।
- पकड़ने का तरीका: यह GPU को काम को कहीं और "आउटसोर्स" करने से रोकता है। यदि कार्य में 5 सेकंड लगते हैं, तो उसे 5 सेकंड ही लगने चाहिए। यदि वह 1 सेकंड में वापस आता है, तो यह एक झूठ है। यदि इसमें 10 सेकंड लगते हैं, तो संभावना है कि GPU किसी और काम में व्यस्त है।
4. "VRAM रेजिडेंसी" टेस्ट (गर्म बनाम ठंडा मेमोरी)
- उपमा: कल्पना कीजिए कि आपके पास आपके डेस्क के ठीक बगल में एक बुकशेल्फ़ (VRAM/GPU मेमोरी) है और शहर के दूसरे कोने में एक लाइब्रेरी है (System Memory)।
- Hot (गर्म): आप अपने पास रखी शेल्फ से किताब उठाते हैं। यह तुरंत होता है।
- Cold (ठंडा): आपको लाइब्रेरी तक जाना पड़ता है, किताब लेनी पड़ती है और वापस आना पड़ता है। इसमें बहुत समय लगता है।
- यह कैसे काम करता है: शोधकर्ता GPU की स्थानीय मेमोरी में एक बड़ा, रैंडम डेटासेट स्टोर करते हैं। फिर वे GPU को इसे पढ़ने के लिए कहते हैं।
- पकड़ने का तरीका: यदि GPU एक बड़े AI मॉडल के साथ व्यस्त है, तो वह जगह बनाने के लिए उस डेटासेट को स्थानीय शेल्फ से बाहर निकाल सकता है, जिससे उसे "शहर के दूसरे कोने की लाइब्रेरी" (धीमी कनेक्शन) से डेटा लाने के लिए मजबूर होना पड़ेगा। शोधकर्ता डेटा प्राप्त करने में लगने वाले समय को मापते हैं। यदि यह धीमा है, तो वे जानते हैं कि GPU किसी भारी काम के लिए उपयोग किया जा रहा है और वह टेस्ट डेटा को "बाहर निकाल" (evict) रहा है।
परिणाम: क्या यह काम करता है?
शोधकर्ताओं ने लोकप्रिय AI मॉडल (जैसे चैटबॉट्स) चलाते समय वास्तविक GPU पर इन ट्रिक्स का परीक्षण किया।
- "Hot" बनाम "Cold" टेस्ट: उन्होंने गति में एक बड़ा अंतर पाया। यदि डेटा GPU पर था, तो यह तेज़ था। यदि GPU व्यस्त था और उसे मुख्य कंप्यूटर की मेमोरी से डेटा लाना पड़ा, तो यह 350 मिलीसेकंड धीमा था। यह एक स्प्रिंट और जॉगिंग के बीच के अंतर जैसा है।
- "Busy" प्रभाव: जब उन्होंने एक बड़े AI मॉडल को एक ही समय में पहेलियों के साथ चलाया, तो पहेलियों को हल करने में अधिक समय लगा। इससे सिद्ध हुआ कि सिस्टम यह पता लगा सकता है कि GPU को अन्य कार्यों के लिए "चुराया" जा रहा है।
यह क्यों महत्वपूर्ण है
यह GPU को लॉक डाउन करने के बारे में नहीं है; यह पारदर्शिता के बारे में है।
- सरकारों के लिए: वे सुनिश्चित कर सकते हैं कि AI का उपयोग हथियार या मैलवेयर बनाने के लिए नहीं किया जा रहा है।
- कंपनियों के लिए: वे सुनिश्चित कर सकते हैं कि वे वास्तव में उपयोग किए जा रहे कंप्यूट पावर के लिए भुगतान कर रहे हैं।
- सुरक्षा के लिए: यह जवाबदेही की एक "परछाई" बनाता है। भले ही कोई हैकर अपनी गतिविधि को छिपाने की कोशिश करे, "ट्रैफिक पुलिस" (टाइमिंग और मेमोरी टेस्ट) नोटिस कर लेगी कि कार उम्मीद से अलग तरह से चल रही है।
निष्कर्ष
आपको यह जानने के लिए कि कंप्यूटर क्या कर रहा है, किसी जादुई, अटूट बॉक्स की आवश्यकता नहीं है। यह देखकर कि पहेलियों को हल करने में कितना समय लगता है और डेटा को पकड़ने में कितनी तेज़ी आती है, आप बता सकते हैं कि GPU कड़ी मेहनत कर रहा है, किसी गुप्त चीज़ पर काम कर रहा है, या धोखाधड़ी करने की कोशिश कर रहा है। यह AI की दुनिया को ईमानदार रखने का एक सरल और चतुर तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।