Selection Integrity for LLM Graph Memory: An Accumulability Criterion for Information-Flow-Blind Retrieval
यह शोध पत्र यह प्रकट करता है कि LLM ग्राफ मेमोरी के लिए मौजूदा प्रोवेनेंस-आधारित रक्षा प्रणालियाँ संरचनात्मक चयन हमलों (structural selection attacks) के प्रति मौलिक रूप से अंधापन रखती हैं, जहाँ अविश्वसनीय इनपुट प्रमाणित सामग्री को बदले बिना पुनर्प्राप्ति परिणामों (retrieval outcomes) में हेरफेर करते हैं, और प्रमाणित उप-ग्राफों (subgraphs) पर पुनर्प्राप्ति को पुनर्गणना करने द्वारा चयन अखंडता को लागू करने के लिए \authselect\ तंत्र का प्रस्ताव करता है, जिससे महत्वपूर्ण कार्यों के मौन दिशा-भटकाव को नगण्य विलंबता ओवरहेड के साथ रोका जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, अत्यंत बुद्धिमान सहायक (एक AI एजेंट) है जो आपकी मदद करने के लिए तथ्यों की एक विशाल, व्यवस्थित नोटबुक रखता है। यह नोटबुक केवल तथ्यों की एक सूची नहीं है; यह संबंधों का एक जाल (एक ग्राफ) है। यदि आप लिखते हैं "एलिस, बॉब की दोस्त है," तो सहायक उन दोनों नामों को जोड़ देता है। यदि आप लिखते हैं "बॉब को पिज्जा पसंद है," तो वह बॉब को पिज्जा से जोड़ देता है।
यह समस्या इस बात पर केंद्रित है कि कैसे इस सहायक को बिना एक भी झूठ लिखे, बहुत ही चालाकी से धोखा दिया जा सकता है।
समस्या: "इनविजिबल हैंड" (अदृश्य हाथ) हमला
आमतौर पर, हमें इस बात की चिंता होती है कि हैकर्स नोटबुक में फर्जी तथ्य डाल देंगे (जैसे कि "चंद्रमा पनीर से बना है")। वर्तमान सुरक्षा प्रणालियाँ इसे पकड़ने में अच्छी हैं। वे जाँच करती हैं: "क्या नोटबुक में मौजूद यह विशिष्ट वाक्य भरोसेमंद है?" यदि वाक्य फर्जी है, तो वे उसे ब्लॉक कर देते हैं।
लेकिन यह शोध पत्र एक नए, अदृश्य हमले का खुलासा करता है जिसे सिलेक्शन इंटीग्रिटी ब्लाइंडनेस (Selection Integrity Blindness) कहा जाता है।
उपमा: लाइब्रेरियन और मानचित्र
कल्पना कीजिए कि एक लाइब्रेरियन (AI) आपके लिए सबसे अच्छी किताबें खोजने के लिए एक मानचित्र (मैप) का उपयोग करता है।
- हमला: हैकर कोई फर्जी किताब नहीं लिखता। इसके बजाय, वे चुपचाप मानचित्र पर तीरों (arrows) को हिला देते हैं। वे बैकग्राउंड में "चंद्रमा" को "पनीर" से जोड़ने वाली एक नई रेखा खींच देते हैं।
- परिणाम: जब आप पूछते हैं, "चंद्रमा किस चीज से बना है?", तो लाइब्रेरियन मानचित्र देखता है। क्योंकि हैकर ने तीरों को बदल दिया है, लाइब्रेरियन का रास्ता अब पनीर के बारे में एक असली, प्रामाणिक पुस्तक की ओर जाता है (जो एक भरोसेमंद लेखक द्वारा लिखी गई है), लेकिन वह पुस्तक आपके प्रश्न के लिए गलत उत्तर है।
- अंधा बिंदु (Blind Spot): लाइब्रेरियन उस किताब की जाँच करता है जो उसने ढूँढी है। वह एक असली, प्रमाणित किताब है! सुरक्षा प्रणाली कहती है, "सब ठीक है! यह किताब एक भरोसेमंद स्रोत से है।" सिस्टम अंधा है क्योंकि उसने केवल किताब (सामग्री) की जाँच की, उस मानचित्र (संरचना) की नहीं जो उसे वहां तक ले गया।
इस शोध पत्र में इसे "नो-सोर्स स्ट्रक्चरल राइट" (No-Source Structural Write) कहा गया है। हमलावर कोई नया कंटेंट (अनुच्छेद) जोड़े बिना कनेक्शन (किनारों/edges) को बदल देता है। अंततः AI एक "साफ" तथ्य के आधार पर गलत निर्णय लेता है, सिर्फ इसलिए क्योंकि उस तथ्य तक पहुँचने वाले रास्ते को हाईजैक कर लिया गया था।
प्रमाण: 28 गलत ट्रांस्फर
शोधकर्ताओं ने केवल सिद्धांत नहीं दिया; उन्होंने इसका परीक्षण भी किया।
- उन्होंने एक परिदृश्य बनाया जहाँ एक AI एजेंट को सही व्यक्ति को पैसे (सिम्युलेटेड ट्रांसफर) भेजने थे।
- एक हमलावर ने चुपके से ग्राफ के कनेक्शनों को फिर से व्यवस्थित (rewire) कर दिया।
- परिणाम: AI ने अपने "भरोसेमंद" तर्क का पालन करते हुए, 28 वास्तविक, अपरिवर्तनीय ट्रांस्फर गलत लोगों को भेज दिए।
- सुरक्षा की विफलता: मानक सुरक्षा जाँच (जिसे "इन्फॉर्मेशन-फ्लो कंट्रोल" कहा जाता है) ने प्राप्तकर्ता को देखा और कहा, "यह व्यक्ति वास्तविक और भरोसेमंद है," इसलिए उन्होंने ट्रांफर को जाने दिया। वे इस तथ्य को पकड़ने में विफल रहे कि AI द्वारा उस व्यक्ति को चुनने का कारण एक जहरीला (poisoned) मानचित्र था।
समाधान: AUTHSELECT
यह शोध पत्र एक नया बचाव प्रस्तावित करता है जिसे AUTHSELECT कहा जाता है।
उपमा: डबल-चेक करने वाला लाइब्रेरियन
केवल उस किताब की जाँच करने के बजाय जिसे लाइब्रेरियन ने ढूँढा है, AUTHSELECT पूछता है: "अगर हम मानचित्र से सभी संदिग्ध तीरों को हटा दें? तो क्या लाइब्रेरियन अभी भी वही किताब चुनेगा?"
- चरण 1: AI पूरे ग्राफ (हैकर के छिपे हुए तीरों सहित) का उपयोग करके एक उत्तर चुनता है।
- चरण 2: सिस्टम अस्थायी रूप से सभी "अविश्वसनीय" तीरों (वे तीर जिन्हें हैकर ने छुआ हो सकता है) को मिटा देता है।
- चरण 3: AI केवल "साफ" मानचित्र का उपयोग करके फिर से एक उत्तर चुनता है।
- चरण 4: यदि दोनों उत्तर अलग-अलग हैं, तो सिस्टम मान लेता है कि मानचित्र को जहरीला बनाया गया था। वह पहले उत्तर को अनदेखा कर देता है और दूसरे उत्तर (साफ मानचित्र वाले) का उपयोग करता है।
यह बचाव तेज़ है (केवल 2-3% देरी जोड़ता है) और इन हमलों को 100% रोकता है, जिसमें वे 28 गलत ट्रांस्फर भी शामिल हैं।
"मैजिक" नियम: यह कब होता है?
इस शोध पत्र ने यह भी पता लगाया है कि वास्तव में किस प्रकार के AI मेमोरी सिस्टम असुरक्षित हैं और कौन से सुरक्षित हैं। वे इसे "एक्यूमुलेबिलिटी क्राइटेरियन" (Accumulability Criterion) कहते हैं।
- असुरक्षित सिस्टम (एक बहती नदी): कुछ सिस्टम, जैसे कि पर्सनलाइज्ड पेज रैंक (Personalized PageRank) का उपयोग करने वाले (एक विधि जो ग्राफ के माध्यम से "चलकर" महत्व की गणना करती है), एक नदी की तरह होते हैं। यदि आप ऊपर की ओर एक छोटा सा बांध (कुछ फर्जी कनेक्शन) बनाते हैं, तो यह पूरे पानी के प्रवाह को एक नई जगह की ओर मोड़ सकता है। ये सिस्टम असुरक्षित हैं।
- सुरक्षित सिस्टम (एक स्थिर शेल्फ): अन्य सिस्टम, जैसे कि वे जो केवल शब्दों की निकटता देखते हैं या उम्मीदवारों की एक निश्चित सूची का उपयोग करते हैं, किताबों की शेल्फ की तरह हैं। आप शेल्फ को पुनर्व्यवस्थित करके कोई अलग किताब सामने नहीं ला सकते; आप केवल उन्हीं किताबों को हिला सकते हैं जो आपके पास पहले से मौजूद हैं। ये सिस्टम सुरक्षित हैं।
मुख्य निष्कर्ष: यह इस बारे में नहीं है कि सिस्टम मानचित्र पर कितना निर्भर है; बल्कि यह इस बारे में है कि क्या मानचित्र को परिणाम बदलने के लिए री-रूट (reroute) किया जा सकता है।
सारांश
- खतरा: हमलावर AI एजेंटों को उनके मेमोरी ग्राफ में गुप्त रूप से कनेक्शन बदलकर धोखा दे सकते हैं, जिससे AI को गलत "भरोसेमंद" तथ्यों को चुनने के लिए मजबूर किया जा सकता है।
- विफलता: वर्तमान सुरक्षा केवल यह जाँचती है कि तथ्य वास्तविक हैं या नहीं, न कि यह कि उन तथ्यों तक पहुँचने वाला रास्ता हाईजैक किया गया था या नहीं।
- समाधान: AUTHSELECT संदिग्ध कनेक्शनों को हटाने के बाद उत्तर की पुनर्गणना करके काम करता है। यदि उत्तर बदल जाता है, तो यह जान जाता है कि रास्ता जहरीला था।
- सबक: सभी ग्राफ-आधारित मेमोरी समान रूप से सुरक्षित नहीं हैं। कुछ को हमलावरों द्वारा "री-रूट" किया जा सकता है; अन्य को नहीं। हमें केवल डेटा की विश्वसनीयता की ही नहीं, बल्कि सिस्टम की "री-रूटेबिलिटी" (reroutability) की भी जाँच करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।