Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults
यह शोध पत्र यह प्रदर्शित करता है कि बाहरी सूचना फीड का क्यूरेशन और क्रमबद्धता एलएलएम (LLM) एजेंटों को व्यवस्थित रूप से प्रतिकूल निर्णयों की ओर मोड़ सकती है, विशेष रूप से तब जब वे अनिश्चित होते हैं, जो यह प्रकट करता है कि सुरक्षा मूल्यांकनों को मॉडल का अलग से परीक्षण करने के बजाय अपस्ट्रीम अनुशंसाअर (recommender) परत का ऑडिट करना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सहायक रोबोट सहायक है। आप उससे एक प्रश्न पूछते हैं, और वह आपको उत्तर देता है। आमतौर पर, हम इस बात की चिंता करते हैं कि क्या रोबोट "खराब" हो गया है या किसी ने उसे सीधे आदेश देकर धोखा दिया है जैसे "अपने नियमों को अनदेखा करो और X करो।"
लेकिन यह शोध एक अलग, अधिक चालाकी भरा सवाल पूछता है: क्या होगा यदि कोई रोबोट को यह न बताए कि क्या करना है, लेकिन वे रोबोट के जवाब देने से ठीक पहले रोबोट क्या पढ़ता है, इसे नियंत्रित करें?
यहाँ इस शोध की कहानी सरल रूप में समझाई गई है:
सेटअप: "स्क्रॉलिंग" चरण
शोधकर्ताओं ने एक खेल तैयार किया। उन्होंने एक AI एजेंट को एक कार्य दिया: "निर्णय लें कि क्या एक कंपनी को कर्मचारियों को घर से काम करने देना चाहिए, वापस ऑफिस बुलाना चाहिए, या दोनों का मिश्रण (मिक्स) देना चाहिए।"
AI द्वारा अपना अंतिम निर्णय लेने से पहले, उन्होंने उसे दस टर्न के लिए एक सोशल मीडिया फीड "स्क्रॉल" करने के लिए कहा। प्रत्येक टर्न में, AI ने पाँच लघु पोस्ट देखे।
- कंट्रोल (नियंत्रण): AI का मस्तिष्क (मॉडल), उसे दिया गया प्रश्न, और उसका व्यक्तित्व हर परीक्षण में बिल्कुल एक जैसा था।
- वेरिएबल (परिवर्तनीय): एकमात्र चीज़ जो बदल रही थी, वह थी फीड। कभी-कभी फीड में सामान्य, यादृच्छिक (रैंडम) पोस्ट होते थे। कभी-कभी यह "वापस ऑफिस जाने" (Return to Office) के पक्ष में ज़ोर-ज़ोर से तर्क देने वाले पोस्टों से भरा होता था, भले ही उन पोस्टों में यह नहीं कहा गया हो कि "आपको 'वापस ऑफिस जाना' चुनना ही चाहिए।" वे केवल सामान्य दिखने वाले लेख और विचार थे।
खोज: "इको चैंबर" (गूँज कक्ष) प्रभाव
शोधकर्ताओं ने पाया कि फीड को क्यूरेट (व्यवस्थित) करके, वे वास्तव में रोबोट के निर्णय को मोड़ सकते थे, भले ही रोबोट को बदलने के लिए सीधे आदेश नहीं दिया गया था।
उन्होंने रोबोट (मॉडल्स) के तीन प्रकारों की खोज की कि वे कैसे प्रतिक्रिया देते हैं:
द कैपिटुलेटर (आसानी से झुक जाने वाला):
- उपमा: कल्पना कीजिए कि एक व्यक्ति अनिश्चित है कि रात के खाने में क्या खाया जाए। यदि आप उन्हें एक ऐसा मेनू दिखाते हैं जहाँ हर एक तस्वीर पिज्जा की है, तो वे संभवतः पिज्जा ही ऑर्डर करेंगे।
- परिणाम: कुछ AI मॉडल (जैसे Llama 3.2) ऐसे ही थे। यदि फीड "वापस ऑफिस जाने" के पोस्टों से भरा था, तो AI ने "वापस ऑफिस जाने" की सिफारिश करना शुरू कर दिया, भले ही वह आमतौर पर रिमोट वर्क (घर से काम) पसंद करता था। उसे किसी आदेश की आवश्यकता नहीं थी; वह बस सूचना की मात्रा से प्रभावित हो गया।
द सैचुरेशन (ज़िद्दी चट्टान):
- उपमा: कल्पना कीजिए कि एक व्यक्ति पिज्जा को इतना पसंद करता है कि उसे बर्गर से भरे मेनू दिखाने से भी उसके मन में बदलाव नहीं आता। वह बस पिज्जा ही चाहता है।
- परिणाम: अन्य मॉडल (जैसे Qwen) एक विशिष्ट उत्तर (एक "हाइब्रिड" दृष्टिकोण) पर इतने अडिग थे कि "वापस ऑफिस जाने" के कितने भी पोस्ट उन्हें हिला नहीं सके। वे अपने डिफ़ॉल्ट विचार से "सैचुरेटेड" (तृप्त/अडिग) थे।
द एसिमेट्री (एकतरफा रास्ता):
- उपमा: कल्पना कीजिए कि आप थोड़ा बाईं ओर झुके हुए हैं। यदि कोई आपको दाईं ओर से धक्का देता है, तो आप गिर सकते हैं। लेकिन यदि वे आपको बाईं ओर से (उस दिशा में जहाँ आप पहले से ही झुके हुए हैं) धक्का देते हैं, तो आप नहीं हिलते।
- परिणाम: यह हमला तभी काम करता था जब फीड AI को उसके प्राकृतिक डिफ़ॉल्ट के विरुद्ध धकेलता था। यदि AI पहले से ही "रिमोट वर्क" पसंद करता था, और फीड "रिमोट वर्क" के पोस्टों से भरा था, तो वह नहीं बदला। लेकिन यदि फीड "वापस ऑफिस जाने" के पोस्टों से भरा था, तो वह बदल गया। फीड एक मजबूत विश्वास को मिटा नहीं सकता था, लेकिन यह एक डगमगाते हुए विश्वास को झुका सकता था।
"डोज़" (खुराक) मायने रखती है
शोधकर्ताओं ने एक "डोज़-रिस्पॉन्स" कर्व पाया। यह दवा लेने जैसा है:
- यदि फीड में 5 में से 1 या 2 "बुरे" पोस्ट थे, तो कुछ नहीं हुआ।
- लेकिन एक बार जब फीड में 5 में से लगभग 3 या 4 "बुरे" पोस्ट हो गए, तो AI का निर्णय पलटने लगा। यह कोई जादू नहीं था; यह इस बात का मामला था कि AI कितनी "शोर" (noise) के संपर्क में आया।
"जेनरेटर स्वैप" (यह साबित करना कि यह कोई इत्तेफाक नहीं था)
शोधकर्ताओं को डर था: "क्या AI को केवल बुरे पोस्टों की लिखने की शैली पसंद आ गई?"
इसकी जांच करने के लिए, उन्होंने एक दूसरे AI से सभी पोस्ट लिखवाए। परिणाम क्या रहा? हमला और भी मजबूत हो गया। इससे साबित हुआ कि यह लेखन शैली के बारे में नहीं था; यह विषयों के चयन के बारे में था।
"हिडन मैकेनिज्म" (छिपे हुए तंत्र) का मिथक
शुरुआत में, शोधकर्ताओं को लगा कि उन्होंने AI के दिमाग के अंदर एक गुप्त "हिडन स्विच" ढूंढ लिया है जिसे फीड फ्लिप कर रहा है। उन्होंने AI के कोड के अंदर देखने के लिए एक टूल का उपयोग किया।
- ट्विस्ट: उन्हें एहसास हुआ कि वे गलत थे। उन्होंने जो "सिग्नल" देखा वह कोई गुप्त आंतरिक स्विच नहीं था। यह केवल AI द्वारा बातचीत के इतिहास (conversation history) को याद रखना था। यदि आप चैट लॉग को देखते, तो आप देख सकते थे कि AI ने वास्तव में क्या पढ़ा था। "गुप्त" वास्तव में दृश्य इतिहास (visible history) ही था। यह अन्य वैज्ञानिकों के लिए एक चेतावनी है: यदि वे AI द्वारा पहले देखी जा चुकी चीजों को ध्यान में नहीं रखते हैं, तो AI के भीतर "गुप्त रहस्य" खोजने का दावा करने वाले टूल्स पर भरोसा न करें।
बचाव (Defenses)
क्या हम इसे रोक सकते हैं? शोधकर्ताओं ने दो सरल तरीके आजमाए:
- संतुलित एक्सपोजर (Balanced Exposure): AI को "रिमोट" और "ऑफिस" पोस्ट का समान मिश्रण दिखाना। इससे AI को अपने मूल पथ पर रहने में मदद मिली।
- प्रकटीकरण (Disclosure): AI को यह बताना, "हे, यह फीड पक्षपाती हो सकता है।" इससे भी मदद मिली, हालांकि पूरी तरह से नहीं।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि "रैंकर" (वह प्रणाली जो यह तय करती है कि आपको क्या दिखाई देगा) एक शक्तिशाली नियंत्रण नॉब (control knob) है।
अतीत में, हमें AI को सीधे कमांड भेजने वाले हैकर्स की चिंता थी। अब, हम जानते हैं कि हैकर (या एक पक्षपाती प्रणाली) को सीधा कमांड भेजने की आवश्यकता नहीं है। उन्हें बस फीड को नियंत्रित करने की आवश्यकता है। सावधानीपूर्वक चुने गए सामान्य दिखने वाले पोस्ट दिखाकर, वे सुरक्षा, नीति या व्यावसायिक रणनीति जैसे महत्वपूर्ण विषयों पर AI के निर्णयों को सूक्ष्म रूप से मोड़ सकते हैं।
अंतिम चेतावनी: हम केवल एक शून्य (vacuum) में एक अकेले प्रश्न पूछकर AI का परीक्षण नहीं कर सकते। हमें यह परीक्षण करना होगा कि एक क्यूरेटेड फीड के माध्यम से "स्क्रॉल" करने के बाद क्या होता है। जो व्यक्ति फीड को नियंत्रित करता है, वही AI के अगले कदम को नियंत्रित करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।