Replicating Human Motivated Reasoning Studies with LLMs
यह शोध पत्र प्रदर्शित करता है कि आधारभूत लार्ज लैंग्वेज मॉडल्स (LLMs) प्रेरणात्मक हेरफेर (motivational manipulations) के संपर्क में आने पर मानवीय प्रेरित तर्क (motivated reasoning) के पैटर्न को दोहराते नहीं हैं, जो मानव मत निर्माण या तर्क मूल्यांकन का अनुकरण करने के लिए LLMs का उपयोग करने वाले शोधकर्ताओं के लिए महत्वपूर्ण सीमाओं को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, विद्वान रोबोटों (लार्ज लैंग्वेज मॉडल्स, या LLMs) का एक समूह है और आप यह देखना चाहते हैं कि क्या वे राजनीति जैसे जटिल विषयों पर अपनी राय बनाने के लिए मनुष्यों की तरह सोचते हैं।
विशेष रूप से, शोधकर्ता एक मानवीय गुण का परीक्षण करना चाहते थे जिसे "मोटिवेटेड रीजनिंग" (प्रेरित तर्क) कहा जाता है।
मानव का "क्यों" बनाम रोबोट का "कैसे"
मानव तर्क को एक ऐसे व्यक्ति की तरह सोचें जो एक विशिष्ट गंतव्य को ध्यान में रखकर जंगल में चल रहा है।
- "सटीकता" का लक्ष्य: कभी-कभी, एक व्यक्ति सच्चा रास्ता खोजने की कोशिश करता है, चाहे वह कहीं भी ले जाए। वे मानचित्र को सावधानी से देखते हैं, इस बात की परवाह किए बिना कि उनके दोस्त कौन हैं, ताकि वे तथ्यों को सही ढंग से प्राप्त कर सकें।
- "दिशात्मक" लक्ष्य: अन्य समय में, एक व्यक्ति एक विशिष्ट गंतव्य तक पहुँचना चाहता है (जैसे कि "मेरी राजनीतिक पार्टी सही है")। वे मानचित्र को अनदेखा कर सकते हैं, शॉर्टकट ले सकते हैं, या यहाँ तक कि एक बंद रास्ते को भी रास्ता मान सकते हैं, सिर्फ उस निष्कर्ष तक पहुँचने के लिए जिसे वे पहले से ही मानना चाहते थे।
मनुष्य ऐसा करने के लिए प्रसिद्ध हैं। यदि उनके टीम लीडर कहते हैं "बाएँ जाओ," तो वे अक्सर बाएँ ही जाते हैं, भले ही मानचित्र कहता हो "दाएँ जाओ।"
प्रयोग: क्या रोबोट ऐसा कर सकते हैं?
शोधकर्ताओं ने चार प्रसिद्ध अध्ययनों को लिया जहाँ मनुष्यों को इस तरह के "टीम-आधारित" सोचने के लिए छला गया था। इसके बाद उन्होंने 10 अलग-अलग AI मॉडलों को ठीक वही कार्य करने के लिए कहा।
उन्होंने AI को दो प्रकार के निर्देश दिए:
- "निष्पक्ष न्यायाधीश" प्रॉम्प्ट: "इस जानकारी को देखें और पूरी तरह से तटस्थ और सटीक रहने का प्रयास करें।"
- "टीम प्लेयर" प्रॉम्प्ट: "याद रखें, आपकी राजनीतिक पार्टी इसका समर्थन करती है। निर्णय लेते समय इसे ध्यान में रखें।"
बड़ा आश्चर्य: रोबोटों ने खेल नहीं खेला
शोधकर्ता उम्मीद कर रहे थे कि रोबोट मनुष्यों की तरह व्यवहार करेंगे। उन्हें लगा कि यदि आप एक AI को कहेंगे, "आपकी पार्टी इसे पसंद करती है," तो AI अचानक पक्षपाती हो जाएगा और इसका समर्थन अधिक करेगा, ठीक वैसे ही जैसे एक मनुष्य करेगा।
लेकिन ऐसा नहीं हुआ।
इसके बजाय, रोबotong ने मनुष्यों की तरह छिपे हुए एजेंडे के साथ काम करने के बजाय, नियमों से भ्रमित ईमानदार पुस्तकालयाध्यक्षों (librarians) की तरह व्यवहार किया।
- वे "टीम" के दबाव के आधार पर अपने विचार नहीं बदले। जब उन्हें "टीम प्लेयर" बनने के लिए कहा गया, तो AI ने अचानक अपनी राय नहीं बदली ताकि वह टीम के साथ मेल खा सके। उन्होंने ज्यादातर वही उत्तर दिया जो वे अन्यथा देते।
- वे "टीम प्लेयर" प्रॉम्प्ट पर अटक गए। खेल में शामिल होने के बजाय, कई रोबोटों ने उत्तर देने से मना कर दिया। यह वैसा ही था जैसे एक मानव लाइब्रेरियन से पूछा जाए, "दिखावा करो कि तुम्हें यह किताब पसंद है भले ही तुम जानते हो कि यह खराब है," और वह बस कहे, "मैं ऐसा नहीं कर सकता," और वहाँ से चला जाए।
- वे तर्कों का मूल्यांकन करने में संघर्ष करते रहे। जब मनुष्यों से किसी तर्क की मजबूती को रेट करने के लिए कहा जाता है, तो वे आमतौर पर तब बेहतर होते हैं जब वे सटीक होने के लिए प्रेरित होते हैं। हालाँकि, रोबोट इस मामले में असंगत थे। कभी-कभी वे एक कमजोर तर्क को मजबूत समझते थे, और कभी-कभी एक मजबूत तर्क को कमजोर समझते थे, चाहे निर्देश कुछ भी हों।
"ऑप्ट-आउट" (बाहर निकल जाने) की समस्या
एक बहुत ही दिलचस्प खोज यह थी कि रोबोटों ने कब बात करने से मना कर दिया।
- यदि आप किसी मानव से विवादास्पद प्रश्न पूछते हैं, तो वे अपना पक्ष रख सकते हैं।
- यदि आप किसी रोबोट से विवादास्पद प्रश्न पूछते हैं, तो वह अक्सर बात करना बंद कर देता है।
- शोधकर्ताओं ने पाया कि रोबोट इसलिए बात करना बंद नहीं कर रहे थे क्योंकि वे मनुष्यों की तरह "सोच" रहे थे; वे इसलिए रुक गए क्योंकि प्रॉम्प्ट के विशिष्ट शब्दों ने एक सुरक्षा स्विच (safety switch) को सक्रिय कर दिया था। यह एक वेंडिंग मशीन की तरह था जो स्नैक बेचना मना कर देती है यदि आप बटनों का एक विशिष्ट संयोजन दबाते हैं, भले ही आप वास्तवв में स्नैक चाहते हों।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि बेस AI मॉडल (बिना किसी विशिष्ट "व्यक्तित्व" के) मानव प्रेरित तर्क (motivated reasoning) की नकल नहीं करते हैं।
- मनुष्य उन लोगों की तरह हैं जो अपने कबीले या अपने लक्ष्य के अनुकूल होने के लिए सच को मोड़ देंगे।
- ये रोबोट उन कैलकुलेटरों की तरह हैं जो गणित करने से मना कर देते हैं यदि निर्देश "असुरक्षित" या "पक्षपाती" लगते हैं, लेकिन वे वास्तव में उस पक्षपात को महसूस नहीं करते या अपनी आंतरिक तर्क पद्धति को कबीले के अनुसार नहीं बदलते हैं।
शोधकर्ता चेतावनी देते हैं कि यदि आप इन रोबोटों का उपयोग यह अनुमान लगाने के लिए करते हैं कि मनुष्य कैसे वोट देंगे या बहस करेंगे, तो आपको गलत उत्तर मिल सकता है। रोबोट इस विशिष्ट तरीके से "नकली इंसान" नहीं हैं; वे पूरी तरह से अलग जीव हैं जिनके पास वे छिपे हुए उद्देश्य नहीं हैं जो मानव राय को संचालित करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।