Honeyval: A Comprehensive Evaluation Framework for LLM-powered HTTP Honeypots
यह शोधपत्र Honeyval को प्रस्तुत करता है, जो LLM-संचालित HTTP हनीपॉट्स के लिए एक व्यापक मूल्यांकन ढांचा है जो AI हैकिंग एजेंटों और विविध बैकएंड अनुप्रयोगों का उपयोग करके स्केलेबल और पुनरुत्पादक परीक्षण की कमी को संबोधित करता है, और अंततः यह प्रदर्शित करता है कि LLM-आधारित हनीपॉट्स नियम-आधारित बेसलाइन की तुलना में काफी लंबे हमलावर इंटरैक्शन और कम डिटेक्शन दर प्रदान करते हैं जबकि लागत दक्षता बनाए रखते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक महल के गार्ड हैं जो किसी चोर को पकड़ने की कोशिश कर रहे हैं। पुराने दिनों में, चोर को पकड़ने के लिए, आप एक नकली खजाने का कमरा (एक honeypot) तैयार करते थे जो बिल्कुल असली खजाने के कमरे जैसा दिखता था। लेकिन इसमें एक पेंच था: नकली कमरे को विश्वसनीय बनाने के लिए, आपको इसमें असली सोना और असली ताले रखने पड़ते थे। यदि चोर काफी चालाक निकला और अंदर घुस गया, तो वह आपका असली सोना चुरा सकता था या आपके महल को नुकसान पहुँचा सकता था।
हाल ही में, सुरक्षा विशेषज्ञों ने इन नकली कमरों को चलाने के लिए AI (Large Language Models) का उपयोग करना शुरू कर दिया है। असली सोने के बजाय, AI बस सोने का दिखावा करता है। यह चोर से बात कर सकता है, सवालों के जवाब दे सकता है, और एक वास्तविक सिस्टम की तरह व्यवहार कर सकता है, लेकिन चूंकि यह सिर्फ एक चैटबॉट है, इसलिए चोर वास्तव में कुछ भी चुरा नहीं सकता या आपके महल को नुकसान नहीं पहुँचा सकता। यह बहुत अधिक सुरक्षित है।
हालाँकि, एक बड़ी समस्या थी: आप कैसे जानेंगे कि AI अपना काम अच्छी तरह से कर रहा है?
इस पेपर से पहले, लोग इन AI गार्ड्स का तीन अव्यवस्थित तरीकों से परीक्षण करते थे:
- "स्क्रिप्ट" टेस्ट: वे बार-बार एक ही 10 सवाल AI से पूछते थे और देखते थे कि क्या जवाब सही दिख रहे हैं। (लेकिन असली चोर एक ही 10 सवाल नहीं पूछते)।
- "मानव" टेस्ट: उन्होंने इंसानों को अंदर घुसने की कोशिश करने के लिए काम पर रखा। (यह धीमा, महंगा और दोहराने में कठिन है)।
- "वास्तविक दुनिया" का टेस्ट: उन्होंने AI गार्ड को इंटरनेट पर लगा दिया और इंतजार करने लगे। (यह अप्रत्याशित है; आप महीनों तक इंतजार कर सकते हैं जब तक कि कोई चोर न आ जाए, या चोर तुरंत जा भी सकता है)।
"Honeyval" में प्रवेश: AI गार्ड्स के लिए प्रशिक्षण का मैदान
इस पेपर के लेखकों ने एक नया, व्यापक परीक्षण ढांचा बनाया जिसे Honeyval कहा जाता है। इसे एक हाई-टेक वीडियो गेम सिम्युलेटर की तरह समझें।
Honeyval कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. 16 अलग-अलग "फिक्स" (वातावरण)
केवल एक नकली कमरे पर AI गार्ड का परीक्षण करने के बजाय, Honeyval उसे अभ्यास करने के लिए 16 अलग-अलग नकली परिदृश्य देता है। ये वास्तविक दुनिया के वेब अनुप्रयोगों (जैसे शॉपिंग कार्ट, एक फोरम, या लॉगिन सिस्टम) पर आधारित हैं। AI गार्ड को इन विशिष्ट सिस्टमों की तरह पूरी तरह से ढोंग करना होगा।
2. "रोबोट चोर" (हमलावर)
किसी मानव चोर का इंतजार करने या किसी मानव को परीक्षण करने के लिए कहने के बजाय, Honeyval AI हैकिंग एजेंटों का उपयोग करता है। ये अन्य AI हैं जिन्हें विशेष रूप से नकली सिस्टमों को तोड़ने की कोशिश करने के लिए प्रोग्राम किया गया है।
- मुख्य खेल: रोबोट चोर, AI गार्ड को हैक करने की कोशिश करता है।
- स्कोरबोर्ड: सिस्टम यह मापता है कि चोर कितनी देर तक व्यस्त रहा (क्या AI गार्ड ने उन्हें व्यस्त रखा?), इस सिमुलेशन को चलाने की लागत कितनी थी, और क्या चोर को एहसास हुआ, "अरे, यह तो नकली है!"
3. "नियंत्रण परीक्षण" (वास्तविकता की जाँच)
यह सुनिश्चित करने के लिए कि परीक्षण निष्पक्ष हो, Honeyval दो अतिरिक्त जाँच करता है:
- चोर की जाँच: रोबेक्ट चोर उन्हीं ऐप्स के असली (लेकिन असुरक्षित) संस्करणों को हैक करने की कोशिश करता है। यदि चोर असली चीज़ को नहीं तोड़ सकता, तो वह नकली चीज़ को भी नहीं तोड़ पाना चाहिए। यह साबित करता है कि चोर वास्तव में हैकिंग में कुशल है।
- गार्ड की जाँच: AI गार्ड का परीक्षण एक "अच्छे उपयोगकर्ता" (एक कार्यात्मक परीक्षण सूट) द्वारा किया जाता है ताकि यह सुनिश्चित हो सके कि वह वास्तव में वास्तविक सिस्टम की तरह व्यवहार करना जानता है। यदि गार्ड एक साधारण सवाल का सही जवाब नहीं दे सकता, तो वह एक अच्छा नकली सिस्टम नहीं है।
उन्होंने क्या पाया?
शोधकर्ताओं ने यह देखने के लिए कई अलग-अलग AI मॉडल का परीक्षण किया कि कौन से सबसे अच्छे "नकली गार्ड" बनाते हैं। उनकी मुख्य खोजें यहाँ दी गई हैं:
- AI गार्ड "अभिनय" करने में बेहतर हैं: पुराने जमाने के नकली गार्ड्स (जो केवल सरल नियमों का पालन करते हैं, जैसे हर चीज़ के लिए "Access Denied" कहना) की तुलना में, AI-संचालित गार्डों ने रोबोट चोरों को काफी लंबे समय तक व्यस्त रखा। औसतन, AI गार्डों ने चोरों को लगभग 83 अनुरोधों तक व्यस्त रखा, जबकि पुराने नियम-आधारित गार्ड केवल 31 अनुरोधों तक टिक पाए। इससे रक्षकों को चोर की रणनीति का अध्ययन करने के लिए अधिक समय मिलता है।
- वे पहचान में नहीं आते: रोबोट चोर अक्सर AI गार्ड को नकली नहीं समझ पाते थे। अधिकांश मामलों में, चोरों को लगा कि वे एक वास्तविक सिस्टम को हैक कर रहे हैं। पुराने नियम-आधारित गार्ड लगभग तुरंत पकड़े जाते थे।
- लागत दक्षता: भले ही AI चलाना पैसा खर्च करता है, लेकिन AI गार्ड चलाना रोबोट चोरों के हमला करने की लागत की तुलना में आम तौर पर सस्ता था। यह रक्षकों के लिए एक अच्छा सौदा है।
- "गति" की समस्या: सबसे बड़ी कमजोरी जो पाई गई वह थी कि AI गार्ड थोड़े धीमे थे। उन्हें जवाब सोचने में कुछ सेकंड लग जाते थे। रोबोट चोरों ने कभी-कभी इस देरी को नोटिस किया और महसूस किया, "रुको, असली सर्वर जवाब देने में 3 सेकंड नहीं लेते; यह जरूर एक नकली सिस्टम है!"
- दिमागी खेल खेलना: शोधकर्ताओं ने AI गार्ड्स को विशेष निर्देश देकर प्रयोग किया।
- यदि उन्होंने गार्ड को "चोर को विश्वास दिलाओ कि ऐप सुरक्षित है" कहा, तो चोर अधिक समय तक रुके (यह सोचकर कि वे जीत के करीब हैं), लेकिन वे जल्दी संदिग्ध भी हो गए।
- यदि उन्होंने गार्ड को "चोर के AI को चकमा देने" की कोशिश करने के लिए कहा, तो यह अक्सर उल्टा पड़ गया और इससे गार्ड जल्दी पकड़ा गया।
निचोड़
यह पेपर यह दावा नहीं करता है कि AI गार्ड पूर्ण हैं या सभी मानव सुरक्षा टीमों को बदलने के लिए तैयार हैं। इसके बजाय, यह पहला विश्वसनीय पैमाना प्रदान करता है जिससे यह मापा जा सके कि ये AI गार्ड कितने अच्छे हैं।
उन्होंने पाया कि AI-संचालित हनीपॉट्स एक बहुत ही आशाजनक उपकरण हैं। वे वास्तविक सिस्टम की तुलना में अधिक सुरक्षित हैं (क्योंकि कुछ भी वास्तविक जोखिम में नहीं है), हमलावरों के लिए उन्हें पहचानना कठिन है, और वे साधारण, मूर्ख नकली सिस्टमों की तुलना में हमलावरों को अधिक समय तक व्यस्त रखते हैं। हालाँकि, इन्हें और बेहतर बनाने के लिए, हमें इन्हें तेज़ और अपनी "AI-नेस" को छिपाने में अधिक स्मार्ट बनाना होगा।
लेखकों ने अपने परीक्षण ढांचे, Honeyval, को सभी के उपयोग के लिए उपलब्ध करा दिया है, ताकि अन्य शोधकर्ता भविष्य में बेहतर AI गार्ड बना सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।