Arguments that Alter Minds: LLM Rationales Sway Human (and LLM) Notions of Plausibility
यह अध्ययन प्रदर्शित करता है कि मानव और एलएलएम (LLM) दोनों ही सामान्य ज्ञान वाले उत्तरों के तर्कसंगतता संबंधी निर्णयों में एलएलएम द्वारा निर्मित तर्कों से महत्वपूर्ण रूप से प्रभावित होते हैं, जो मानव संज्ञान के अध्ययन के लिए एक नवीन विधि को उजागर करता है और सामान्य ज्ञान के क्षेत्रों में भी मानवीय विश्वासों को अनुचित रूप से प्रभावित करने की एआई (AI) की क्षमता के बारे में चिंताएँ बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको एक मज़ेदार कहानी में आगे क्या होगा, इसका अनुमान लगाना है। उदाहरण के लिए: "यदि कोई व्यक्ति एक गिलास गिरा देता है, तो क्या होता है?" आप अनुमान लगा सकते हैं, "वह टूट जाता है," या "वह उछलता है।" आमतौर पर, "वह टूट जाता है" सही उत्तर है, और "वह उछलता है" एक मज़ेदार अनुमान है।
इस अध्ययन में, शोधकर्ताओं ने एक सरल लेकिन डरावना सवाल पूछा: क्या एक रोबोट (एक AI) आपसे आपकी सच्चाई बदलने के लिए अपनी बातों में फंसा सकता है, भले ही आप खुद जवाब जानते हों?
इसे उन्होंने कैसे किया और उन्हें क्या मिला, इसे कुछ सरल उपमाओं (analogies) के माध्यम से समझाया गया है।
सेटअप: सामान्य ज्ञान के लिए "डिबेट क्लब"
शोधकर्ताओं ने 100 सामान्य-ज्ञान वाले प्रश्न लिए (जैसे गिलास वाला उदाहरण) और प्रत्येक के लिए दो उत्तर चुने:
- गोल्ड आंसर (सही उत्तर): वह जिसे अधिकांश लोग सही मानते हैं।
- डिस्ट्रैक्टर (भटकाने वाला उत्तर): वह मज़ेदार, जो आमतौर पर गलत होता है।
फिर, उन्होंने एक शक्तिशाली AI (GPT-4o) का उपयोग करके हर उत्तर के लिए दो प्रकार के तर्क लिखे:
- "प्रो" (पक्ष में) तर्क: एक भाषण जो यह समझाता है कि यह उत्तर बिल्कुल सही क्यों लगता है।
- "कॉन" (विपक्ष में) तर्क: एक भाषण जो यह समझाता है कि यह विचार एक बुरा विचार क्यों है।
उन्होंने ये प्रश्न और तर्क 3,000 वास्तविक मनुष्यों और 13,600 अलग-अलग AI मॉडलों को दिखाए, और उनसे पूछा कि प्रत्येक उत्तर कितना "प्लासिबल" (संभावित/तर्कसंगत) था, जिसे 1 से 5 के पैमाने पर रेट करना था।
परिणाम: AI का जादू
1. "मज़ेदार उत्तर" को मिलता है बढ़ावा
जब AI ने मज़ेदार उत्तर (डिस्ट्रैक्टर) के लिए एक "प्रो" तर्क दिया, तो मनुष्यों और अन्य AI को लगने लगा, "अरे, यह तो वास्तव में समझ में आता है!"
- उपमा: यह एक चिकनी-चुपड़ी बातें करने वाले दोस्त की तरह है जो आपको विश्वास दिला देता है कि गिलास गिराने के लिए ट्रैम्पोलिन एक बेहतरीन जगह है। भले ही आप जानते हैं कि कांच आमतौर पर टूट जाता है, लेकिन उस दोस्त का तर्क आपको सोचने पर मजबूर कर देता है और आपको "उछलने" वाले विचार को उच्च स्कोर देने के लिए प्रेरित करता है।
2. "स्पष्ट उत्तर" को मिलता है झटका (मनुष्यों के लिए)
यह सबसे अजीब हिस्सा है। जब AI ने स्पष्ट रूप से सही उत्तर (गोल्ड) के लिए एक "प्रो" तर्क दिया, तो मनुष्यों ने वास्तव में अपने रेटिंग को कम कर दिया।
- उपमा: कल्पना कीजिए कि आप 100% निश्चित हैं कि गिलास टूट जाएगा। फिर, एक रोबोट आता है और कहता है, "खैर, यह संभव है कि गिलास टूट जाए।" आप सोच सकते हैं, "रुको, तुम इसकी व्याख्या करने की ज़हमत क्यों उठा रहे हो? यह तो स्पष्ट है! यदि तुम्हें इसे समझाने की ज़रूरत है, तो शायद मैं गलत हूँ।"
- शोधकर्ता इसे "अंडरसेलिंग" (कम आंकना) कहते हैं। स्पष्ट चीज़ को सिद्ध करने की कोशिश में, AI ने अनजाने में मनुष्यों के अपने आत्मविश्वास को कम कर दिया।
3. "कॉन" (विपक्ष का) तर्क एक हथौड़े की तरह है
जब AI ने एक "कॉन" तर्क दिया (किसी उत्तर के विरुद्ध तर्क देना), तो यह स्कोर को कम करने में बहुत प्रभावी रहा।
- उपमा: यदि रोबोट कहता है, "गिलास नहीं टूटेगा क्योंकि यह रबर का बना है," तो लोग तुरंत "गिलास टूटता है" वाले उत्तर पर विश्वास करना छोड़ देते हैं। नकारात्मक तर्क, सकारात्मक तर्क से अधिक शक्तिशाली था।
4. रोबोट बनाम मनुष्य
AI मॉडल (रोबट) मनुष्यों की तुलना में अधिक आसानी से बहक गए।
- "इको चैंबर" प्रभाव: AI मॉडल अपने "बड़े भाई" (GPT-4o) द्वारा लिखे गए तर्कों को बहुत पसंद करते थे। जब GPT-4o ने "प्रो" तर्क लिखा, तो अन्य AI मॉडलों ने मनुष्यों की तुलना में उस पर अधिक विश्वास किया।
- अंतर: मनुष्य तब भ्रमित हो गए जब AI ने स्पष्ट चीज़ को समझाने की कोशिश की (रेटिंग कम कर दी), लेकिन अन्य AI मॉडलों ने स्पष्ट उत्तर के प्रति अधिक आश्वस्त महसूस किया जब AI ने उसकी व्याख्या की।
"एंकरिंग" (लंगर डालने) का नियम
अध्ययन ने एक नियम पाया कि हमारा दिमाग कितना जिद्दी है: आप शुरुआत में जितने अधिक निश्चित होते हैं, आपके मन को बदलना उतना ही कठिन होता है।
- उपमा: यदि आप एक ऊँची चट्टान (बहुत उच्च रेटिंग) पर खड़े हैं, तो आपको नीचे धकेलने के लिए एक बहुत बड़ी हवा (एक मजबूत तर्क) की आवश्यकता होती है। यदि आप समतल ज़मीन (कम रेटिंग) पर खड़े हैं, तो एक हल्की हवा भी आपको गिरा सकती है।
- डेटा ने दिखाया कि प्रारंभिक रेटिंग इस बात का सबसे बड़ा संकेतक थी कि रेटिंग में कितना बदलाव आएगा।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि LLMs (AI) प्रभावशाली वकीलों की तरह काम कर सकते हैं। वे मनुष्यों को एक मूर्खतापूर्ण विचार को सच मानने के लिए मना सकते हैं, या मनुष्यों को एक सच बात पर संदेह करने के लिए मजबूर कर सकते हैं।
यहाँ तक कि उस क्षेत्र में भी जहाँ मनुष्यों को "विशेषज्ञ" होना चाहिए (रोजमर्रा का सामान्य ज्ञान), एक AI के शब्द हमारे विश्वास को बदल सकते हैं। शोधकर्ता चेतावनी देते हैं कि यदि एक AI हमें यह समझाने में धोखा दे सकता है कि गिलास गिर रहा है, तो वह बहुत अधिक गंभीर और जटिल विषयों के बारे में भी हमें धोखा दे सकता है जहाँ हमें उत्तरों का उतना ज्ञान नहीं है।
संक्षेप में: केवल उत्तर को न सुनें; यह भी देखें कि उसके पक्ष में कौन तर्क दे रहा है। एक रोबोट की चिकनी-चुपड़ी बातें गलत चीज़ को सही और सही चीज़ को संदिग्ध बना सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।