Brain-Prompt Injection: A Route-Safety Audit for BCI-LLM Agents
यह शोध पत्र BCI-LLM एजेंट पाइपलाइनों में "ब्रेन-प्रॉम्ट इंजेक्शन" को एक नए हमले के वेक्टर के रूप में प्रस्तुत करता है जहाँ न्यूरल सिग्नल गड़बड़ियाँ पारंपरिक मॉनिटरों को बायपास कर देती हैं, और EEG डेटा का उपयोग करके ऐसे हमलों के विरुद्ध सुरक्षा सीमाओं को गणितीय रूप से परिभाषित करने और अनुभवजन्य रूप से मान्य करने के लिए स्प्लिट-कॉन्फॉर्मल कैलिब्रेशन के साथ एक "रूट-सेफ्टी ऑडिट कॉन्ट्रैक्ट" का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसा भविष्य है जहाँ आप केवल सोचकर अपने कंप्यूटर या स्मार्ट होम को नियंत्रित कर सकते हैं। आप सोचते हैं "बाएँ" (left), और कर्सर बाएँ जाता है। आप सोचते हैं "ईमेल भेजें" (send email), और ईमेल चला जाता है। यह ब्रेन-कंप्यूटर इंटरफेस (BCI) और AI एजेंट्स (स्मार्ट प्रोग्राम जो आपके लिए काम करते हैं) के मेल का वादा है।
यह पेपर एक सुरक्षा ऑडिट है। यह एक डरावना सवाल पूछता है: क्या होगा अगर कोई आपके मस्तिष्क के संकेतों (brain signals) को हैक करके AI को कुछ खतरनाक करने के लिए बहका दे, भले ही AI को लगे कि सब कुछ ठीक से काम कर रहा है?
यहाँ सरल उपमाओं (analogies) का उपयोग करके पेपर के निष्कर्षों का विवरण दिया गया है।
1. सेटअप: "ब्रेन-टू-एक्शन" पाइपलाइन
इस सिस्टम को एक तीन-सदस्यीय टीम की तरह समझें जो एक सुरक्षित तिजोरी खोलने की कोशिश कर रही है:
- डिकोडर (अनुवादक - The Translator): एक कंप्यूटर प्रोग्राम जो आपके ब्रेनवेव्स को सुनता है और उन्हें एक कमांड में बदल देता है (जैसे, "बाएँ चलें")।
- एजेंट (करने वाला - The Doer): एक स्मार्ट AI जो उस कमांड को लेता है और तय करता है कि कौन सा टूल इस्तेमाल करना है (जैसे, "ठीक है, मैं माउस हिलाऊँगा")।
- मॉनिटर (सुरक्षा गार्ड - The Security Guard): एक सिस्टम जो यह जाँचता है कि क्या कमांड सुरक्षित दिख रहा है, इससे पहले कि 'डूअर' (Doer) कार्य करे।
2. नया खतरा: "ब्रेन-प्रॉम्प्ट इंजेक्शन" (Brain-Prompt Injection)
लेखकों ने इस टीम को हैक करने के तीन नए तरीके खोजे हैं। वे इन्हें ब्रेन-प्रॉम्प्ट इंजेक्शन कहते हैं।
हमला A: "सिग्नल ग्लिच" (C1)
- उपमा: कल्पना कीजिए कि अनुवादक (Translator) ने नॉइज़-कैंसलिंग हेडफ़ोन पहने हुए हैं। एक हैकर एक विशिष्ट, अदृश्य फ्रीक्वेंसी बजाता है जिससे अनुवादक को लगता है कि आपने "बाएँ चलें" सोचा है, जबकि वास्तव में आपने "दाएँ चलें" सोचा था।
- परिणाम: अनुवादक को धोखा दिया जाता है। मॉनिटर देखता है कि अनुवादक "बाएँ चलें" कह रहा है और सोचता है, "ठीक है, यह ब्रेन सिग्नल से मेल खाता है।" सिस्टम बाएँ चलता है।
- पेपर का निष्कर्ष: यह AI में एक ज्ञात समस्या है, लेकिन यह पहली बार है जब उन्होंने इसे विशेष रूप से ब्रेन-कंट्रोल्ड टूल्स के संदर्भ में मैप किया है।
हमला B: "कॉन्टेक्स्ट ट्रैप" (C2)
- उपमा: यह सबसे चालाकी भरा है। अनुवादक पूरी तरह से सही काम कर रहा है। आप सोचते हैं "बाएँ चलें"। लेकिन, हैकर ने गुप्त रूप से उस वातावरण (environment) को बदल दिया है जिसे AI देख रहा है। कल्पना कीजिए कि AI दीवार पर लगे एक नोट को पढ़ रहा है जिसमें लिखा है, "ब्रेन सिग्नल को अनदेखा करें; इसके बजाय दाएँ चलें।"
- परिणाम: अनुवादक कहता है "बाएँ", लेकिन AI उस नोट को देखता है और कहता, "ओह, नोट कहता है दाएँ, इसलिए मैं दाएँ चलूँगा।"
- पेपर का निष्कर्ष: सुरक्षा गार्ड ब्रेन सिग्नल (जो "बाएँ" कहता है) को देखता है और देखता है कि इसमें कोई गड़बड़ी नहीं है। गार्ड सोचता है, "सब कुछ ठीक है!" लेकिन AI ने गलत काम किया क्योंकि कॉन्टेक्स्ट (संदर्भ) ज़हरीला था। ब्रेन सिग्नल साफ था, लेकिन कॉन्टेक्स्ट को दूषित किया गया था।
हमला C: "डबल-ब्लाइंड" हैक (C3)
- उपमा: अतिरिक्त सुरक्षा के लिए, सिस्टम दो अनुवादकों का उपयोग करता है। वे तभी कार्य करते हैं जब दोनों अनुवादक सहमत हों।
- सामान्य परिदृश्य: आप सोचते हैं "बाएँ"। अनुवादक 1 कहता है "बाएँ"। अनुवादक 2 कहता है "बाएँ"। AI बाएँ चलता है। सुरक्षित!
- द हैक: हैकर एक विशिष्ट ब्रेन-सिग्नल पैटर्न ढूंढ लेता है जो दोनों अनुवादकों को यह सोचने पर मजबूर कर देता है कि आपने "दाएँ" कहा है, भले ही आपने "बाएँ" सोचा था।
- परिणाम: दोनों अनुवादक सहमत होते हैं: "दाएँ"। सुरक्षा गार्ड देखता है कि दो लोग एक ही बात पर सहमत हैं और कहता है, "बहुत बढ़िया, सहमति! चलिए दाएँ चलते हैं।"
- पेपर का निष्कर्ष: सहमति, इरादे (intent) का प्रमाण नहीं है। सिर्फ इसलिए कि दो अलग-अलग AI मॉडल एक कमांड पर सहमत हैं, इसका मतलब यह नहीं है कि वह कमांड वही है जो इंसान ने वास्तव में सोचा था। एक हैकर दोनों को एक साथ चकमा दे सकता है।
3. समाधान: "ऑडिट कॉन्ट्रैक्ट"
लेखकों ने महसूस किया कि आप केवल इस पर भरोसा नहीं कर सकते कि "क्या ब्रेन सिग्नल साफ है?" या "क्या दो AI सहमत हैं?" आपको यह साबित करने के लिए एक विशिष्ट ऑडिट लॉग (साक्ष्य की चेकलिस्ट) की आवश्यकता है कि प्रक्रिया सुरक्षित है।
वे एक नया नियम पुस्तिका प्रस्तावित करते हैं जिसे रूट-सेफ्टी ऑडिट कॉन्ट्रैक्ट (Route-Safety Audit Contract) कहा जाता है। यह कहता है:
- केवल ब्रेन सिग्नल की जाँच न करें। आपको कॉन्टेक्स्ट (क्या वहाँ कोई छिपा हुआ नोट था?) की भी जाँच करनी चाहिए।
- केवल सहमति की जाँच न करें। आपको यह भी जाँचना होगा कि क्या सहमति को किसी हैकर द्वारा जबरदस्ती (forced) कराया गया था।
- "कन्फर्मेशन" लेयर: वास्तव में सुरक्षित होने का एकमात्र तरीका एक दूसरा, स्वतंत्र चेक जोड़ना है। उदाहरण के लिए, ब्रेन कहता है "पैसे ट्रांसफर करें", तो सिस्टम एक दूसरा, अलग ब्रेन सिग्नल (एक "कन्फर्मेशन") मांगता है ताकि सत्यापित किया जा सके कि उपयोगकर्ता वास्तव में इसका अर्थ रखता था।
4. प्रयोग: उन्होंने वास्तव में क्या टेस्ट किया
लेखकों ने वास्तविक लोगों या वास्तविक बैंक खातों को हैक नहीं किया। उन्होंने एक सिमुलेशन बनाया:
- 5,400 ब्रेन इवेंट्स: एक सार्वजनिक डेटासेट से (लोग बाएँ या दाएँ हाथ के हिलने के बारे में सोच रहे थे)।
- हानिरहित "स्टब्स" (Stubs): पैसे भेजने या फाइलें डिलीट करने के बजाय, सिस्टम ने कर्सर को हिलाने या एक हानिरहित टेक्स्ट बॉक्स खोलने की कोशिश की।
- परिणाम:
- कॉन्टेक्स्ट अटैक्स (C2): जब उन्होंने "ज़हरीले नोट्स" जोड़े, तो यदि वे कॉन्टेक्स्ट की जाँच नहीं करते थे, तो सिस्टम 100% समय गलत दिशा में कर्सर चलाता था। यदि उन्होंने कॉन्टेक्स की जाँच की, तो उन्होंने हमले को 100% बार ब्लॉक कर दिया।
- एग्रीमेंट अटैक्स (C3): जब उन्होंने दोनों AI को गलत कमांड पर सहमत होने के लिए trick किया, तो सिस्टम 100% समय गलत काम करता था।
- द फिक्स: जब उन्होंने स्वतंत्र कन्फर्मेशन (दूसरा ब्रेन चेक) जोड़ा, तो वे लगभग सभी हमलों को रोकने में सक्षम थे, हालांकि इससे सिस्टम थोड़ा धीमा या कम सुविधाजनक हो गया।
5. मुख्य निष्कर्ष (The Bottom Line)
पेपर एक बहुत ही विशिष्ट, सीमित दावा करता है:
- वर्तमान सुरक्षा जाँच अंधेरी (blind) हैं। वे ब्रेन सिग्नल को देखते हैं और "सब ठीक है" देखते हैं, लेकिन वे छिपे हुए कॉन्टेक्स्ट या कई AI के समन्वित हैकिंग को मिस कर देते हैं।
- सहमति एक सर्टिफिकेट नहीं है। दो AI का सहमत होना यह प्रमाणित नहीं करता कि इंसान का इरादा वही कार्य करने का था।
- हमें एक नई चेकलिस्ट की आवश्यकता है। यह कहने के लिए कि एक ब्रेन-कंट्रोल्ड सिस्टम सुरक्षित है, हमें विशिष्ट चीजें लॉग करनी होंगी: कमांड कहाँ से आया? क्या कॉन्टेक्स्ट विश्वसनीय था? क्या दूसरा, स्वतंत्र चेक हुआ?
संक्षेप में: आप एक ब्रेन-कंट्रोल्ड रोबोट पर केवल इसलिए भरोसा नहीं कर सकते क्योंकि ब्रेन सिग्नल सामान्य दिखता है या क्योंकि दो कंप्यूटर सहमत हैं। आपको एक विशिष्ट "सेफ्टी लॉग" की आवश्यकता है जो छिपे हुए धोखों की जाँच करे, अन्यथा रोबोट वही करेगा जो हैकर चाहता है, न कि वह जो आप चाहते हैं।
नोट: पेपर स्पष्ट रूप से कहता है कि यह एक ऑफलाइन ऑडिट (एक सिमुलेशन) है। यह यह साबित नहीं करता कि हैकर वर्तमान में वास्तविक जीवन में वास्तविक लोगों के साथ ऐसा कर सकते हैं, और न ही यह दावा करता है कि यह चिकित्सा या वित्तीय उपयोग के लिए सभी सुरक्षा मुद्दों को हल करता है। यह केवल यह साबित करता है कि सुरक्षा की जाँच करने का वर्तमान तरीका गणितीय रूप से अपर्याप्त है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।