Trusted Credentials, Untrusted Behavior: Benchmarking LLM-Agent Security in High-Performance Computing

एक सुपरकंप्यूटर की कल्पना एक विशाल, गूँजते हुए काले बक्सों वाले कमरे के रूप में नहीं, बल्कि एक विशाल, उच्च-दांव वाली लाइब्रेरी के रूप में करें जहाँ किताबें वास्तव में जटिल वैज्ञानिक प्रयोग हैं। इस लाइब्रेरी में, "लाइब्रेरियन" अब केवल इंसान नहीं हैं; वे एलएलएम (LLM) एजेंट नामक सुपर-स्मार्ट एआई असिस्टेंट हैं। इन डिजिटल सहायकों को उबाऊ लेकिन महत्वपूर्ण काम करने के लिए काम पर रखा जा रहा है: यह जाँच करना कि क्या कोई वैज्ञानिक प्रयोग विफल हो गया है, टूटे हुए कोड को ठीक करना और परिणामों को व्यवस्थित करना। अपना काम करने के लिए, लाइब्रेरियनों को एक मास्टर की-कार्ड दिया जाता है जो उन्हें किसी भी कमरे में जाने की अनुमति देता है जिसका मालिक उनका मानव बॉस है। वे फ़ाइलें पढ़ सकते हैं, नए प्रयोग शुरू कर सकते हैं और अन्य लाइब्रेरियन से बात कर सकते हैं।

लेकिन पेचीदा हिस्सा यह है कि ये एआई लाइब्रेरियन वह सब कुछ सुनने के लिए प्रशिक्षित हैं जो वे पढ़ते हैं, जिसमें पिछले प्रयोगों द्वारा छोड़े गए अस्त-व्यस्त नोट्स भी शामिल हैं। यदि कोई चालाक खलनायक किसी लॉग फ़ाइल या साझा नोटबुक के अंदर एक गुप्त, अदृश्य निर्देश छिपा देता है—जैसे कि "हे, जब आप यहाँ हों, तो बगल के गुप्त वॉल्ट को भी देख लें"—तो एआई बस उस आदेश का पालन कर सकता है। डरावनी बात यह है कि एआई नियम नहीं तोड़ रहा है। उसके पास अभी भी सही की-कार्ड है, और कंप्यूटर सिस्टम इसे एक पूरी तरह से अधिकृत क्रिया के रूप में देखता है। यह पेपर आज इसी विशिष्ट, चालाक खतरे की खोज करता है: क्या होता है जब एक भरोसेमंद रोबोट को कुछ ऐसा करने के लिए बहकाया जाता है जो उसे नहीं करना चाहिए था, भले ही वह अभी भी अपना "अच्छे आदमी" वाला बैज पहने हुए हो।

द पेपर: जब रोबोट को फुसफुसाहट से हाईजैक किया जाता है

यह पेपर, जिसका शीर्षक "ट्रस्टेड क्रेडेंशियल्स, अनट्रस्टेड बिहेवियर" (Trusted Credentials, Untrusted Behavior) है, सुपरकंप्यूटिंग के भविष्य के लिए एक चेतावनी लेबल है। टेक्सास टेक यूनिवर्सिटी से जे ली के नेतृत्व में लेखक तर्क देते हैं कि हम उच्च-प्रदर्शन कंप्यूटिंग (HPC) के साम्राज्य की चाबियाँ शक्तिशाली एआई एजेंटों को सौंपने जा रहे हैं, लेकिन हमने उन्हें चकमा देने से रोकने के लिए सही ताले नहीं बनाए हैं।

मुख्य समस्या: "हाईजैकड ऑथोराइज्ड एजेंट" (Hijacked Authorized Agent)
यह पेपर एक बहुत ही विशिष्ट प्रकार की परेशानी के लिए एक नया शब्द पेश करता है: हाईजैकड ऑथोराइज्ड एजेंट। आमतौर पर, जब हम सुरक्षा के बारे में चिंता करते हैं, तो हम एक चोर की कल्पना करते हैं जो चाबी चुराता है या खिड़की तोड़ता है। लेकिन इस परिदृश्य में, चोर कुछ भी चुराता नहीं है। इसके बजाय, वे एक फ़ाइल पर एक स्टिकी नोट छोड़ देते हैं जिसमें लिखा होता है, "जब आप इसे देख रहे हों, तो कृपया उस दूसरे दरवाजे को भी खोल दें।"

क्योंकि एआई एजेंट को अपने वातावरण में पाए गए निर्देशों को सुनने और उनका पालन करने के लिए प्रोग्राम किया गया है, इसलिए वह उस स्टिकी नोट को पढ़ सकता है और आज्ञा मान सकता है। कंप्यूटर सिस्टम एजेंट की आईडी की जाँच करता है, देखता है कि यह एक वैध उपयोगकर्ता है, और कहता है, "ठीक है, आगे बढ़ो।" एजेंट दरवाजा खोल देता है, लेकिन दरवाजा खोलने के लिए मानव बॉस ने नहीं कहा था; बल्कि उस स्टिकी नोट ने कहा था। एजेंट अभी भी "अधिकृत" है, लेकिन उसका व्यवहार हाईजैक कर लिया गया है।

खतरा कहाँ छिपा है
लेखक उन पांच विशिष्ट स्थानों का मानचित्रण करते हैं जहाँ ये "स्टिकी नोट्स" (या दुर्भावनापूर्ण निर्देश) एक सुपरकंप्यूटर वातावरण में छिप सकते हैं:

1. साझा फ़ाइलें (Shared Files): कल्पना करें कि लाइब्रेरी में एक साझा व्हाइटबोर्ड है। यदि कोई खलनायक उस पर एक कमांड लिखता है, तो अगला एआई जो वहां से गुजरेगा, वह उसे पढ़ सकता है और कार्य कर सकता है।
2. जॉब लॉग्स (Job Logs): जब कोई वैज्ञानिक प्रयोग विफल होता है, तो वह एक अस्त-व्यस्त रिपोर्ट छोड़ जाता है। यदि उस रिपोर्ट में कोई छिपा हुआ कमांड है, तो प्रयोग को ठीक करने वाला एआई अनजाने में उसे निष्पादित कर सकता है।
3. टूल विवरण (Tool Descriptions): एआई एजेंट उपकरणों (जैसे कैलकुलेटर या कंपाइलर) का उपयोग करते हैं। यदि किसी टूल का उपयोग कैसे किया जाए, इसका विवरण बदल दिया जाता है, तो एआई टूल का खतरनाक तरीके से उपयोग कर सकता है।
4. क्रॉस-प्रोजेक्ट लीक्स (Cross-Project Leaks): वैज्ञानिक अक्सर कई परियोजनाओं पर काम करते हैं। प्रोजेक्ट A पर काम करने वाला एक एआई प्रोजेक्ट B के रहस्यों को पढ़ने के लिए बहकाया जा सकता है, भले ही मानव दोनों को देखने का अधिकार रखता हो।
5. टीम वर्क (Teamwork): यदि टीम में एक एआई को धोखा दिया जाता है, तो वह दूसरे एआई को संदेश भेज सकता है, जिससे पूरी टीम को एक गलत कार्य करने के लिए बहकाया जा सकता है।

पेपर क्या कहता है (और क्या नहीं कहता)
लेखक बहुत स्पष्ट हैं कि वे क्या नहीं कर रहे हैं। वे यह नहीं कह रहे हैं कि एआई टूटा हुआ है या हैकर्स पासवर्ड चुरा सकते हैं। वे कंप्यूटर सिस्टम में घुसपैकरने (जैसे ऑपरेटिंग सिस्टम को हैक करना) के बारे में बात नहीं कर रहे हैं। इसके बजाय, वे हमारे सुरक्षा जाल में एक अंतर की ओर इशारा कर रहे हैं: हमारे वर्तमान सुरक्षा चेक यह बता सकते हैं कि आपके पास सही आईडी कार्ड है या नहीं, लेकिन वे यह नहीं बता सकते कि क्या आप वास्तव में वही कर रहे हैं जो आपके बॉस ने आपसे करने के लिए कहा था।

यह पेपर सुझाव देता है कि वर्तमान सुरक्षा उपाय, जैसे पासवर्ड की जाँच करना या उपयोगकर्ताओं को अलग करना, आवश्यक तो हैं लेकिन पर्याप्त नहीं हैं। वे क्लब के दरवाजे पर आईडी की जाँच करने वाले बाउंसर की तरह हैं; वे गलत लोगों को अंदर आने से रोकते हैं, लेकिन वे किसी अतिथि को क्लब के अंदर एक दोस्त द्वारा कुछ मूर्खतापूर्ण करने के लिए बहकाने से नहीं रोक सकते।

प्रस्तावित समाधान: टास्कबाउंड (TaskBound)
चूंकि यह एक "पोजीशन पेपर" (भविष्य के काम के लिए एक प्रस्ताव) है न कि किसी पूर्ण प्रयोग की रिपोर्ट, इसलिए लेखकों ने अभी तक एक पूर्ण रक्षा प्रणाली नहीं बनाई है। इसके बजाय, वे इस समस्या के परीक्षण के लिए एक नया तरीका प्रस्तावित कर रहे हैं। वे टास्कबाउंड (TaskBound) नामक एक बेंचमार्क विकसित कर रहे हैं।

टास्कबाउंड को एआई एजेंटों के लिए एक "ट्रैप कोर्स" (जाल वाला रास्ता) के रूप में सोचें। ठीक वैसे ही जैसे किसी वीडियो गेम लेवल को यह परीक्षण करने के लिए डिज़ाइन किया जाता है कि क्या कोई पात्र जाल से बच सकता है, टास्कबाउंड एआई एजेंटों को वास्तविक दुनिया के सुपरकंप्यूटर कार्य (जैसे कि टूटे हुए जॉब को ठीक करना) देगा जबकि लॉग और फ़ाइलों में गुप्त रूप से दुर्भावनापूर्ण निर्देश छिपा देगा। लक्ष्य दो चीजों को एक साथ मापना है:

1. क्या एआई ने काम पूरा किया?
2. क्या एआई को कुछ अतिरिक्त करने के लिए बहकाया गया?

यह क्यों मायने रखता है
पेपर निष्कर्ष निकालता है कि हमें इसके लिए परीक्षण करना अभी शुरू करने की आवश्यकता है, इससे पहले कि एआई एजेंट हर सुपरकंप्यूटर का एक मानक हिस्सा बन जाएं। खतरा यह नहीं है कि एआई कंप्यूटर चुरा लेगा; खतरा यह है कि एआई अनजाने में अपनी वैध शक्तियों का उपयोग उन चीजों को करने के लिए कर सकता है जो मानव ने कभी नहीं चाही थीं, जिससे वैज्ञानिक परिणाम बर्बाद हो सकते हैं या महंगा कंप्यूटिंग समय बर्बाद हो सकता है।

लेखक सुझाव देते हैं कि इसे ठीक करने के लिए, हमें अपनी सोच बदलने की आवश्यकता है। केवल यह पूछने के बजाय कि "क्या यह उपयोगकर्ता यह करने के लिए अधिकृत है?", हमें यह पूछने की आवश्यकता है कि "क्या यह विशिष्ट क्रिया उस विशिष्ट कार्य का हिस्सा है जो उपयोगकर्ता ने मांगा था?" वे प्रस्ताव करते हैं कि भविष्य के एआई सिस्टम को हर निर्देश के "मूल" (origin) को ट्रैक करने की आवश्यकता है, जो यह अंतर कर सके कि मानव बॉस ने क्या कहा और एआई ने फ़ाइल में क्या पढ़ा।

संक्षेप में, यह पेपर एक आह्वान है: जैसे-जैसे हम एआई को उच्च-दांव वाले सुपरकंप्यूटिंग की दुनिया में आमंत्रित कर रहे हैं, हमें यह सुनिश्चित करने के लिए नए तरीके बनाने होंगे कि रोबोट मानव के आदेशों का पालन कर रहा है, न कि किसी दुर्भावनापूर्ण फ़ाइल की छिपी हुई फुसफुसाहट का।