Skills That Don't Exist: A Large-Scale Study of Hallucinated Skill Recommendation in LLM Agents
यह शोध पत्र LLM एजेंटों में एक महत्वपूर्ण आपूर्ति-श्रृंखला भेद्यता (supply-chain vulnerability) को उजागर करता है जहाँ वे अत्यधिक निरंतरता के साथ गैर-मौजूद कौशल नामों की कल्पना (hallucinate) करते हैं, जो एक ऐसे शोषण योग्य हमले के वेक्टर का निर्माण करता है जिसे केवल मॉडल ट्यूनिंग द्वारा हल नहीं किया जा सकता है बल्कि इसके लिए रजिस्ट्री-स्तर के नाम आरक्षण जैसे पारिस्थितिकी तंत्र-व्यापी संरचनात्मक परिवर्तनों की आवश्यकता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट असिस्टेंट है जो नए करतब सीख सकता है। आपको एक विशाल लाइब्रेरी में सही करतब खोजने के लिए खुद खुदाई करने की ज़रूरत नहीं है, आप बस रोबोट से पूछ सकते हैं, "हे, मेरी फाइलों को व्यवस्थित करने के लिए कोई अच्छा करतब क्या है?" रोबोट को एक वास्तविक, पहले से बने हुए निर्देश मैनुअल (जिसे "स्किल" कहा जाता है) को खोजना चाहिए और उसका नाम बताना चाहिए ताकि आप उसे डाउनलोड कर सकें।
लेकिन डरावना हिस्सा यह है: रोबोट एक आत्मविश्वासी झूठा है।
वह जादू का खेल जो जादू भी नहीं है
इस अध्ययन में, शोधकर्ताओं ने 12 अलग-अलग रोबोट दिमागों (कुछ केवल दिमाग हैं, अन्य वेब-सर्च टूल्स वाले दिमाग हैं) से 15,000 अलग-अलग सवालों के लिए स्किल्स की सिफारिश करने के लिए कहा। उन्होंने पाया कि उनमें से हर एक ने नकली स्किल के नाम बना दिए।
औसतन, 36.0% बार, एक स्टैंडअलोन रोबोट दिमाग ने एक नाम गढ़ा। जब रोबोट एक पूर्ण "एजेंट" सिस्टम (टूल्स और सर्च के साथ) का हिस्सा था, तो वह 36.9% नकली था। और जब सवाल मदद के लिए असली डेवलपर्स की ओर से आए, तो झूठ बोलने की दर बढ़कर 43.1% हो गई।
रोबोटों ने सिर्फ यह नहीं कहा कि "मुझे नहीं पता।" उन्होंने आत्मविश्वास के साथ कहा, "ओह, आपको file-system-operations की आवश्यकता है!" या "कोशिश करें visual-studio-code!" समस्या क्या थी? वे स्किल्स मौजूद ही नहीं हैं। रोबोटों ने उस विवरण को लिया जो उनके अनुसार आपको चाहिए था और उसे एक नाम में बदल दिया, जैसे कि एक शेफ जिसे "स्पाइसी सूप" की रेसिपी के लिए पूछा गया हो, और वह एक ऐसा व्यंजन बना दे जिसका नाम "spicy-soup-recipe" हो जिसे आज तक किसी ने वास्तव में नहीं बनाया।
"घोस्ट" (भूतिया) जाल
यह खतरनाक क्यों है? कल्पना कीजिए कि एक चोर खिलौने की दुकान के बाहर खड़ा है। चोर रोबोट को बच्चे से कहते हुए सुनता है, "तुम्हें super-cool-bike की आवश्यकता है!" बच्चा उसे ढूंढता है, लेकिन वह वहां नहीं है।
चोर जानता है कि रोबोट अगले बच्चे को भी यही बात कहेगा। इसलिए, चोर दुकान के कैटलॉग में जाता है और एक असली बाइक को super-cool-bike के रूप में रजिस्टर करता है, लेकिन वह उसके निर्देशों में एक जाल छिपा देता है। अब, जब अगला बच्चा मदद मांगता है, तो रोबोट कहता है, "आपको super-cool-bike लेनी चाहिए!" बच्चा उसे डाउनलोड करता है, और धमाका—जाल सक्रिय हो जाता है।
शोधकर्ताओं ने साबित किया कि यह संभव है। उन्होंने पाया कि रोबोट आश्चर्यजनक रूप से जिद्दी होते हैं। यदि आप एक ही रोबोट से एक ही सवाल 10 बार पूछते हैं, तो वह अक्सर 10 में से 7.8 बार तक वही सटीक नकली नाम देगा। यह रैंडम शोर नहीं है; यह एक अनुमानित पैटर्न है।
वास्तव में, शोधकर्ताओं ने पाया कि 410 नकली नाम इतने लोकप्रिय थे कि अलग-अलग रोबोट उन्हें बार-बार गढ़ते रहे। अगर कोई बुरा आदमी इन नकली नामों में से शीर्ष 500 को भी रजिस्टर कर लेता, तो वह परीक्षणों के दौरान पीड़ित होने वाले सभी लोगों में से 57% को संभावित रूप से धोखा दे सकता था।
हम इसे ठीक क्यों नहीं कर सकते?
आप सोच सकते हैं, "क्या रोबोट इंटरनेट पर चेक नहीं कर सकता कि क्या वह स्किल मौजूद है?" शोधकर्ताओं ने इसका परीक्षण किया। उन्होंने रोबोट्स को वेब-सर्च टूल्स दिए और उन्हें कहा, "जवाब देने से पहले चेक करो!"
यह काम नहीं आया। रोबोट फिर भी झूठ बोलते रहे। क्यों? क्योंकि जब उन्होंने file-system-operations को खोजा, तो इंटरनेट उन लेखों से भरा था जो फाइल सिस्टमों के बारे में थे। रोबोट ने शब्दों को देखा और सोचा, "आहा! यह मौजूद है!" उसे यह समझ नहीं आया कि वह एक विशिष्ट स्किल फाइल को ढूंढ रहा था जो मौजूद नहीं थी। सर्च ने कॉन्सेप्ट (अवधारणा) की पुष्टि की, लेकिन स्किल की नहीं।
"सेल्फ-चेक" की विफलता
शोधकर्ताओं ने रोबोट्स को अपना काम भी चेक करने के लिए कहा। "क्या आपने अभी जो कहा वह मनगढ़ंत है?" उन्होंने पूछा।
रोबोट बुरी तरह विफल रहे। वे सिक्का उछालने से ज्यादा बेहतर नहीं थे, जो केवल 51% समय सही होते थे। यह वैसा ही है जैसे किसी ऐसे व्यक्ति से पूछना जिसने अभी-अभी झूठ बोला है कि क्या वह झूठ बोल रहा है; वे आमतौर पर अपनी बात पर अड़े रहते हैं।
"सुरक्षा" का ट्रेड-ऑफ (समझौता)
तो, हम इसे कैसे रोक सकते हैं? शोधकर्ताओं ने कुछ चीजें आजमाईं:
- रिट्रीवल-ऑगमेंटेड जनरेशन (RAG): यह रोबोट को जवाब देने से पहले असली स्किल्स की एक सूची देखने के लिए मजबूर करता है। इसने झूठ रोकने में बहुत अच्छा काम किया, नकली दर को 40.8% से घटाकर 3.2% कर दिया।
- नुकसान: रोबोट बेकार हो गया। क्योंकि वह गलती करने से इतना डर गया था, उसने अधिकांश सवालों के जवाब देना बंद कर दिया। इस सुरक्षा जाल के बावजूद, रोबोट केवल छह में से एक बार के करीब सही स्किल ढूंढ पाया।
- वोटिंग (मतदान): उन्होंने कई रोबोटों को एक उत्तर पर सहमत होने का प्रयास किया। इसने 92.8% झूठों को रोका, लेकिन फिर से, इसने रोबोट की मददगार होने की क्षमता को खत्म कर दिया, जिससे वास्तविक स्किल्स की सफलता दर काफी कम हो गई।
निचोड़
पेपर निष्कर्ष निकालता है कि यह ऐसा बग नहीं है जिसे आप केवल रोबोट को "ट्यून" करके या उसे अधिक सावधान रहने के लिए कहकर ठीक कर सकते हैं। समस्या इस बात में निहित है कि ये रोबोट कैसे सोचते हैं। वे यह अनुमान लगाने में बहुत अच्छे हैं कि एक नाम कैसा दिखना चाहिए, और यह जानने में बहुत खराब हैं कि वास्तव में क्या मौजूद है।
इसे ठीक करने के लिए, शोधकर्ताओं का कहना है कि हम केवल रोबोटों पर भरोसा नहीं कर सकते। हमें पूरे सिस्टम को बदलने की आवश्यकता है: वे "लाइब्रेरीज़" जहाँ स्किल्स रहती हैं, उन्हें नाम सुरक्षित (reserve) करने होंगे ताकि रोबोट उन्हें गढ़ न सकें, और रोबोट्स के पास बोलने से पहले एक सत्यापित सूची चेक करने का तरीका होना चाहिए। तब तक, यदि आपका रोबोट असिस्टेंट किसी नई स्किल की सिफारिश करता है, तो पहले जांच लें कि क्या वह वास्तव में मौजूद है, क्योंकि वह सिर्फ एक भूत (ghost) हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।