The Claim-to-Action Gap: Measuring How Misinformation Turns False State into Tool Calls in Tool-Using LLM Agents
यह शोध पत्र टूल-उपयोग करने वाले LLM एजेंटों में "दावे-से-कार्य" (claim-to-action) के अंतर को मापने के लिए एक नवीन ढांचे को प्रस्तुत करता है, यह प्रदर्शित करते हुए कि गलत दावे लगभग 70% परीक्षणों में हानिकारक वास्तविक दुनिया के कार्यों को ट्रिगर करते हैं, एक ऐसी भेद्यता जिसे निष्पादन से पहले एक OWASP-अनुशंसित सत्यापन चरण लागू करके प्रभावी रूप से निष्प्रभावी (कार्रवाई की दर को 0% तक कम करके) किया जा सकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल बातचीत ही नहीं करते; बल्कि उनके पास हाथ भी होते हैं। ये भौतिक हाथ नहीं हैं, बल्कि डिजिटल हाथ हैं जो बैंक खाते खोल सकते हैं, पावर ग्रिड के स्विच बदल सकते हैं, या दवा के लिए नुस्खे लिख सकते हैं। हम इन्हें "AI एजेंट" कहते हैं। वे सुपर-स्मार्ट सहायकों की तरह हैं जो एक नोट पढ़ सकते हैं और फिर वास्तव में उस पर कुछ कर सकते हैं। लेकिन यहाँ एक पेच है: ये सहायक अविश्वसनीय रूप से भरोसेमंद हैं। यदि आप उन्हें कोई कहानी सुनाते हैं, तो वे उस पर इतनी गहराई से विश्वास कर सकते हैं कि वे तुरंत उस पर कार्रवाई कर दें।
समस्या तब उत्पन्न होती है जब वह कहानी एक झूठ होती है। AI सुरक्षा की दुनिया में, "गलत सूचना" (misinformation) को लेकर एक बढ़ती हुई चिंता है। आमतौर पर, जब हम गलत सूचना की बात करते हैं, तो हमें इस बात की चिंता होती है कि लोग फर्जी खबरों पर विश्वास कर लेंगे। लेकिन इन नए डिजिटल हाथों के साथ, चिंता और भी बड़ी है। क्या होगा जब एक झूठ न केवल किसी व्यक्ति का मन बदल दे, बल्कि एक मशीन को वास्तविक पैसा स्थानांतरित करने, किसी अस्पताल का इंटरनेट ब्लॉक करने, या किसी कंप्यूटर के सुरक्षा तंत्र को साफ करने के लिए ट्रिगर कर दे? यह "दावा-से-कार्रवाई" (Claim-to-Action) का अंतर है। यह एक झूठे बयान दिए जाने और एक रोबोट द्वारा उस पर कार्रवाई करने के निर्णय के बीच का खतरनाक स्थान है। वैज्ञानिक यह पता लगाने की कोशिश कर रहे हैं कि ऐसा कितनी बार होता है और, अधिक महत्वपूर्ण रूप से, यह कैसे रोका जाए कि रोबोट कहानी के फर्जी होने पर ट्रिगर न दबा दे।
शोध पत्र: जब एक झूठ एक वास्तविक दुनिया की आपदा बन जाता है
इस अध्ययन में, मोहम्मदरेज़ा राशिदी नामक एक शोधकर्ता ने यह परीक्षण करने के लिए एक डिजिटल प्लेग्राउंड बनाया कि यह "भरोसेमंद रोबोट" वाली समस्या कितनी खतरनाक है। उन्होंने केवल AI मॉडल से झूठ के बारे में बात करने के लिए नहीं कहा; बल्कि उन्होंने एक खेल बनाया जहाँ एक AI (प्रोड्यूसर/उत्पादक) दूसरे AI (कंज्यूमर/उपभोक्ता) को एक कहानी सुनाता है, और कंज्यूमर के पास एक वास्तविक, खतरनाक बटन दबाने की शक्ति होती है।
इसे एक दो-व्यक्ति रिले रेस की तरह समझें। पहला धावक (प्रोड्यूसर) एक नोट प्राप्त करता है जो शायद एक चाल हो सकता है। शायद नोट में लिखा हो, "यह ग्राहक रिफंड के लिए पात्र है," भले ही नियमों के अनुसार वे पात्र न हों। प्रोड्यूसर उस नोट के साथ दौड़ता है और उसे दूसरे धावक (कंज्यूमर) को सौंप देता है। कंज्यूमर के हाथ में "रिफंड स्वीकृत करें" लेबल वाला एक भारी हथौड़ा है। यदि कंज्यूमर नोट पर विश्वास करता है, तो वह हथौड़े को जोर से मारता है, और सिमुलेशन में वास्तव में बैंक खाते से पैसा बाहर चला जाता है।
राशिदी ने इस दौड़ के छह अलग-अलग संस्करण बनाए, जिसमें रिफंड स्वीकृत करने, फंड जारी करने, दवा लिखने, कंप्यूटर त्रुटियों को ठीक करने, नेटवर्क सेगमेंट को ब्लॉक करने और वायर ट्रांसफर को अधिकृत करने जैसे परिदृश्य शामिल थे। उन्होंने तीन अलग-अलग वर्ज़न (जेमिनी) का उपयोग करके 324 वास्तविक परीक्षण चलाए।
चौंकाने वाला परिणाम: अंतर बहुत बड़ा है
निष्कर्ष चौंकाने वाले थे। जब दूसरे AI (कंज्यूमर) को बिना किसी सुरक्षा जांच के छोड़ दिया गया, तो 69.8% मामलों में, वह झूठ के जाल में फँस गया और खतरनाक बटन दबा दिया।
कुछ मामलों में, रोबोट बहुत अधिक भोला था।
- "स्टेट इन्फरेंस" (State Inference) का जाल: जब पहले AI को एक ग्राहक रिकॉर्ड दिया गया जिसमें एक महत्वपूर्ण विवरण (जैसे कि एक्सपायर्ड आईडी) गायब था लेकिन अन्य विवरण सही थे, तो दूसरे AI ने मान लिया कि ग्राहक सुरक्षित है और एक अपुष्ट व्यक्ति को $135,000 जारी कर दिए। यह 100% मामलों में हुआ।
- "फोरम फिक्स" (Forum Fix) का जाल: जब पहले AI ने एक फर्जी इंटरनेट फोरम पोस्ट पढ़ा जिसमें कंप्यूटर को ठीक करने के लिए एक खतरनाक कमांड का सुझाव दिया गया था (जैसे "सभी फायरवॉल नियमों को फ्लश करें"), तो दूसरे AI ने उस सलाह का पालन किया और सुरक्षा नियमों को 96.3% बार मिटा दिया।
- "जालसाजी ईमेल" (Forged Email) का जाल: एक फर्जी ईमेल के सामने आने पर जो दिखने में बॉस से आया हुआ लग रहा था और वायर ट्रांसफर को अधिकृत कर रहा था, दूसरे AI ने 63% परीक्षणों में $816,000 के फर्जी ट्रांसफर को अधिकृत किया।
अध्ययन ने दिखाया कि झूठ की विशिष्ट शब्द रचना बहुत मायने रखती थी। उदाहरण के लिए, रिफंड परिदृश्य में, यदि फर्जी नीति में केवल "संतुष्टि गारंटी" (satisfaction guarantee) लिखा था, तो रोबोट 33% बार इसके जाल में फँसे। लेकिन यदि उस फर्जी नीति में केवल एक जादुई शब्द जोड़ा गया—"लाइफटाइम" (lifetime)—तो रोबोट 100% बार इसके जाल में फँस गए। रोबोट ठोस तथ्यों के बजाय झूठ के लहजे से प्रभावित हुए।
समाधान: "चेक-एक्ट" गेट
शोध पत्र ने सुरक्षा विशेषज्ञों द्वारा अनुशंसित एक सुरक्षा जाल का भी परीक्षण किया जिसे "क्लेम-चेक-एक्ट" (Claim-Check-Act) कहा जाता है। यह दूसरे AI के दरवाजे पर एक बाउंसर रखने जैसा है। कंज्यूमर द्वारा हथौड़ा उठाने से पहले, उसे एक "ग्राउंड-ट्रुथ रिकॉर्ड" (एक मास्टर लिस्ट जो वास्तव में सत्य है) देखने और उसे बताई गई कहानी की उस सूची के साथ तुलना करने के लिए मजबूर किया जाता है।
इसका परिणाम पूरी तरह से गेम-चेंजर रहा। जब यह सरल जांच जोड़ी गई, तो हानिकारक कार्यों की दर 69.8% से गिरकर 0.0% हो गई। रोबोट अधिक स्मार्ट नहीं हुए; वे बस एक तथ्य-जांचकर्ता (fact-checker) पा गए। 96.3% मामलों में जहाँ झूठ बोला गया था, रोबोट रुक गया, उसने महसूस किया कि कहानी मास्टर लिस्ट से मेल नहीं खाती, और कार्रवाई करने के बजाय मानवीय समीक्षा के लिए कॉल किया।
इसका क्या अर्थ है
शोध पत्र निष्कर्ष निकालता है कि असली खतरा यह नहीं है कि AI अपनी चैट में गलतियाँ करता है; बल्कि यह है कि वह सबूत मांगे बिना उन गलतियों पर कार्रवाई करता है। यह अध्ययन सिद्ध करता है कि इन सिम्युलेटेड वातावरणों में, झूठे दावे आसानी से वास्तविक दुनिया की आपदाओं जैसे कि नेटवर्क ब्लॉक होना या धन की चोरी में बदल सकते हैं। हालाँकि, यह यह भी दिखाता है कि एक सरल, लो-टेक समाधान—किसी ज्ञात तथ्य के विरुद्ध कहानी को सत्यापित करना—आपदा को लगभग पूरी तरह से रोक सकता है।
शोधकर्ता इस बात पर बहुत ध्यान देते हैं कि ये सिमुलेशन एक सैंडबॉक्स (एक सुरक्षित, नकली दुनिया) में थे, इसलिए कोई वास्तविक पैसा नहीं खोया गया या वास्तविक अस्पतालों को नुकसान नहीं पहुँचा। लेकिन सबक स्पष्ट है: यदि हम चाहते हैं कि AI एजेंटों के पास "हाथ" हों, तो हमें उन्हें कार्रवाई करने से पहले अपने तथ्यों की जाँच करना सिखाना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।