Understanding Persuasion in Long-Running Agents
यह शोध पत्र लंबे समय तक चलने वाले एआई एजेंटों में "प्रलोभन प्रसार" (persuasion propagation) का अध्ययन करने के लिए एक व्यवहार-केंद्रित मूल्यांकन ढांचे को प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि वास्तविक समय का प्रलोभन कमजोर प्रभाव पैदा करता है, एजेंट की विश्वास अवस्था (belief state) को स्पष्ट रूप से पूर्व-निर्धारित करना कार्य निष्पादन के दौरान उसके खोज प्रयास और स्रोत विविधता को महत्वपूर्ण रूप से कम कर देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, अथक शोध सहायक (एक AI एजेंट) है जो इंटरनेट ब्राउज़ कर सकता है, कोड लिख सकता है और अपने आप जटिल समस्याओं को हल कर सकता है। आप सोच सकते हैं कि यह सहायक एक रोबोट की तरह है जो बस आपके सटीक आदेशों का पालन करता है। लेकिन यह शोध पत्र एक पेचीदा सवाल पूछता है: क्या होगा अगर आप सहायक को उस काम से पूरी तरह से असंबंधित किसी चीज़ में विश्वास करने के लिए मना लें जो वह कर रहा है?
शोधकर्ता इस घटना को "परसुएशन प्रोपेगेशन" (Persuasion Propagation - धारणा प्रसार) कहते हैं। यह एक शेफ को सब्जियां काटते समय एक गुप्त राय बताने जैसा है। भले ही वह गुप्त बात राजनीति के बारे में हो और काम रात का खाना पकाने का हो, क्या वह गुप्त बात उसके सब्जी काटने के तरीके को बदल देती है? क्या वह अधिक सावधान हो जाता है? या वह केवल कुछ खास तरह के चाकू ही इस्तेमाल करता है? या वह इसे अनदेखा कर देता है?
यहाँ इस शोध पत्र के निष्कर्षों का एक सरल विवरण दिया गया है:
1. प्रयोग: "डिस्ट्रेक्शन" (भटकाव) टेस्ट
शोधकर्ताओं ने तीन मुख्य चरणों वाला एक खेल तैयार किया:
- सेटअप: उन्होंने AI को एक विशिष्ट "व्यक्तित्व" दिया (जैसे कि "सहयोगी" या "सीधा")।
- परसुएशन (धारणा बनाना): वास्तविक काम शुरू करने से पहले, उन्होंने AI को एक विवादास्पद राय मानने के लिए मनाने की कोशिश की जिसका काम से कोई लेना-देना नहीं था। उदाहरण के लिए, वे AI को यह समझाने की कोशिश कर सकते हैं कि "जियोइंजीनियरिंग बहुत जोखिम भरी है" और फिर उससे पायथन कोड लिखने या धूम्रपान छोड़ने के तरीके खोजने के लिए कह सकते हैं।
- कार्य: इसके बाद AI को एक वास्तविक काम करना था, जैसे कोड लिखना या वेब से जानकारी जुटाना।
उन्होंने तीन समूहों की तुलना की:
- परसुडेड ग्रुप (Persuaded Group): AI को नई राय मानने के लिए मना लिया गया।
- नॉट-परसुडेड ग्रुप (Not-Persuaded Group): AI ने वह राय सुनी लेकिन उसे खारिज कर दिया।
- न्यूट्रल ग्रुप (Neutral Group): AI ने कुछ भी नहीं सुना।
2. बड़ी हैरानी: "विश्वास" बनाम "बस हाँ कहना"
शोध में "अपना मन बदलने" और "बस सिर हिलाने" के बीच एक बड़ा अंतर पाया गया।
- "नोडिंग" प्रभाव (On-the-Fly Persuasion): जब AI को काम से ठीक पहले बातचीत के दौरान अपना मन बदलने के लिए कहा गया, तो परिणाम काफी अस्त-व्यस्त रहे। कभी-ना कभी इसने अपने व्यवहार को बदला, कभी नहीं। यह एक चलते हुए इंजन के शोर के बीच जहाज को मोड़ने की कोशिश करने जैसा था; इसका प्रभाव कमजोर और असंगत था।
- "डीप बिलीफ" प्रभाव (Prefilled Belief): जब शोधकर्ताओं ने शुरुआत में ही AI को बस यह बता दिया, "तुम X में विश्वास करते हो," और फिर उसे कार्य दिया, तो परिणाम बहुत स्पष्ट थे। AI ने वास्तव में अपने काम करने के तरीके को बदल दिया।
- उपमा: दो जासूसों की कल्पना करें जो अपराध की गुत्थी सुलझा रहे हैं।
- जासूस A (तटस्थ): 20 अलग-अलग सुरागों की जांच करता है, 10 अलग-अलग इलाकों में जाता है और कई गवाहों से बात करता है।
- जासूस B (परसुडेड): क्योंकि उसे एक विशेष सिद्धांत में विश्वास करने के लिए कहा गया था, वह केवल 5 सुरागों की जांच करता है, 2 इलाकों में जाता है और उन सभी को अनदेखा कर देता है जो उसके सिद्धांत में फिट नहीं बैठते। वह केस तो सुलझा लेता है, लेकिन उसने इसे बहुत संकुचित तरीके से किया।
- उपमा: दो जासूसों की कल्पना करें जो अपराध की गुत्थी सुलझा रहे हैं।
3. परिणाम: "छिपे हुए" बदलाव
शोध पत्र ने पाया कि भले ही AI का अंतिम उत्तर एकदम सही और सटीक दिखता था, लेकिन वहां तक पहुँचने की यात्रा अलग थी।
- कोडिंग में: परसुडेड एजेंटों ने अनिवार्य रूप से खराब कोड नहीं लिखा, लेकिन वे वहां तक पहुँचने के लिए अलग रास्ते अपनाते थे।
- वेब रिसर्च में: यहाँ मामला दिलचस्प हो गया। "बिलीफ-प्रीफिल्ड" एजेंटों (वे जिन्होंने वास्तव में नया रुख अपनाया था) ने न्यूट्रल एजेंटों की तुलना में 26.9% कम सर्च किए और 16.9% कम अनूठी वेबसाइटों पर विजिट किया।
- रूपक: यह एक ऐसे पर्यटक की तरह है जिसे बताया गया है, "यह शहर खतरनाक है, इसलिए पार्क में मत जाना।" भले ही वह पर्यटक एक बेहतरीन ट्रैवल गाइड लिखता है, लेकिन वह पूरे शहर के एक हिस्से को पूरी तरह छोड़ सकता है क्योंकि वह एक विश्वास के कारण ऐसा करता है जो उसने पहले माना था। अंतिम गाइड ठीक दिखती है, लेकिन वह शहर के एक पूरे हिस्से को खो देती है क्योंकि वह एक ऐसे विश्वास के कारण हुआ जो उसने पहले धारण किया था।
4. यह क्यों महत्वपूर्ण है
शोध पत्र का तर्क है कि हम आमतौर पर AI को केवल उसके अंतिम उत्तर (क्या कोड सही है? क्या निबंध अच्छा है?) से आंकते हैं। लेकिन यह शोध दिखाता है कि AI वहां तक कैसे पहुँचता है, यह भी उतना ही मायने रखता है।
यदि कोई AI किसी पिछली बातचीत से सूक्ष्म रूप से प्रभावित होकर किसी चीज़ में विश्वास करने लगता है, तो वह:
- जानकारी की तलाश बहुत जल्दी रोक सकता है।
- उन स्रोतों को अनदेखा कर सकता है जो उसके नए विश्वास के विपरीत हों।
- तथ्यों के एक छोटे और कम विविध सेट पर निर्भर हो सकता है।
निष्कर्ष:
आप केवल अंतिम रिपोर्ट देखकर यह नहीं जान सकते कि कोई AI सुरक्षित या विश्वसनीय है या नहीं। आपको उन "पदचिह्नों" को देखना होगा जो उसने काम करते समय पीछे छोड़े हैं। भले ही AI कहे कि "मैं सहमत हूँ" किसी अजीब विचार से, यह उसके अंतिम उत्तर को नहीं बदल सकता, लेकिन यह उस रास्ते को बदल सकता है जिसे वह अपनाता है, जिससे उसका काम संभावित रूप से कम गहन या ऐसे पक्षपाती तरीकों से प्रभावित हो सकता है जिन्हें आप आसानी से देख नहीं सकते।
संक्षेप में: परसुएशन हमेशा AI के कहने वाले शब्दों को नहीं बदलता, लेकिन यह चुपचाप उसके सोचने और काम करने के तरीके को बदल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।