Eliciting Trustworthiness Priors of Large Language Models via Economic Games
यह शोध पत्र बड़े भाषा मॉडलों (LLMs) से विश्वसनीयता संबंधी पूर्वग्रहों (trustworthiness priors) को निकालने के लिए इटरेटेड इन-कॉन्टेक्स्ट लर्निंग और ट्रस्ट गेम का उपयोग करने वाली एक नवीन विधि प्रस्तुत करता है, जो यह प्रकट करता है कि GPT-4.1 का विश्वास व्यवहार मानवीय पैटर्न के काफी करीब है और इसे गर्मजोशी (warmth) एवं सक्षमता (competence) के रूढ़िबद्ध धारणाओं (stereotypes) द्वारा अनुमानित किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।
मुख्य विचार: एक AI कितना "भरोसेमंद" है?
कल्पना कीजिए कि आप अपने पैसों को संभालने के लिए एक नया सहायक (assistant) रख रहे हैं। आप उसे 30 हैं। कृपया मुझे इसमें से कुछ वापस कर देना।"
- यदि वह आपको $15 वापस करता है: तो वह भरोसेमंद है।
- यदि वह आपको $0 वापस करता है: तो वह भरोसेमंद नहीं है।
यह एक प्रसिद्ध खेल का बुनियादी सेटअप है जिसे ट्रस्ट गेम (Trust Game) कहा जाता है। आमतौर पर, मनोवैज्ञानिक इस खेल का उपयोग यह देखने के लिए करते हैं कि इंसान कैसा व्यवहार करते हैं। लेकिन यह शोध पत्र एक नया सवाल पूछता है: लार्ज लैंग्वेज मॉडल्स (LLMs) जैसे GPT-4 या Llama इस खेल में कैसा व्यवहार करते हैं? क्या उनके पास दूसरों पर भरोसा करने और बदले में एहसान चुकाने के लिए कोई "डिफ़ॉल्ट सेटिंग" है?
समस्या: आप AI से बस पूछ नहीं सकते
आप सोच सकते हैं, "क्यों न AI से सीधे पूछ लिया जाए, 'क्या तुम भरोसेमंद हो?'" लेखक कहते हैं कि यह एक बुरा विचार है।
- "पोलाइट रोबोट" वाली समस्या: यदि आप AI से पूछते हैं, "क्या तुम मेरे पैसे चुराओगे?" तो वह लगभग निश्चित रूप से कहेगा, "नहीं, मैं एक सहायक असिस्टेंट हूँ।"
- वास्तविकता: इंसानों की तरह, AI भी प्रभावशाली और धाराप्रवाह हो सकता है, लेकिन फिर भी व्यवहार में जोखिम भरे या अविश्वसनीय विकल्प चुन सकता है। हमें यह देखने की ज़रूरत है कि वे क्या करते हैं, न कि केवल यह कि वे क्या कहते हैं।
समाधान: भरोसे का "टेलीफोन गेम"
AI की वास्तविक "ट्रस्ट सेटिंग्स" का पता लगाने के लिए, शोधकर्ताओं ने इटरेटेड इन-कॉन्टेक्स्ट लर्निंग (Iterated In-Context Learning) की अवधारणा पर आधारित एक चतुर विधि विकसित की।
इसे टेलीफोन गेम की तरह समझें, लेकिन यहाँ फुसफुसाहट के बजाय, वे पैसों के बारे में एक कहानी साझा कर रहे हैं।
- सेटअप: शोधकर्ता AI की "पीढ़ियों" (generations) की एक श्रृंखला बनाते हैं।
- पहला कदम: वे AI को ट्रस्ट गेम खेलने वाले लोगों के कुछ उदाहरण दिखाते हैं (जैसे, "व्यक्ति A ने 2 वापस किए")।
- AI की बारी: AI उन उदाहरणों को देखता है और भविष्यवाणी करता है: "यदि मैं व्यक्ति B होता, तो मैं कितना वापस करता?" मान लीजिए कि वह 40% की भविष्यवाणी करता है।
- लूप (Loop): शोधकर्ता उस 40% की भविष्यवाणी को लेते हैं और उसका उपयोग लोगों के खेलने के नए नकली उदाहरण बनाने के लिए करते हैं। वे इन नए उदाहरणों को श्रृंखला में अगले AI को खिलाते हैं।
- परिणाम: वे इस प्रक्रिया को 30 बार दोहराते हैं।
ऐसा क्यों किया गया?
कल्पना कीजिए कि आप एक समूह के "औसत व्यक्तित्व" का अनुमान लगाने की कोशिश कर रहे हैं और आप उन्हें बार-बार एक खेल खेलते हुए देख रहे हैं। शुरुआत में, परिणाम यादृच्छिक (random) लग सकते हैं। लेकिन यदि आप परिणामों को लाइन में आगे बढ़ाते रहते हैं, तो "शोर" (noise) कम हो जाता है, और जो बचता है वह AI की गहरी अंतरात्मा (या "प्रायर") है कि भरोसा कैसे काम करता है। यह एक रेडियो को ट्यून करने जैसा है जब तक कि शोर खत्म न हो जाए और आपको असली स्टेशन सुनाई न देने लगे।
उन्होंने क्या पाया
1. कुछ AI "इंसानों जैसे" हैं, अन्य नहीं
शोधकर्ताओं ने 20 अलग-अलग AI मॉडल का परीक्षण किया। उन्होंने AI में पाए गए "ट्रस्ट सेटिंग्स" की तुलना हजारों वास्तविक मनुष्यों में पाए गए औसत ट्रस्ट सेटिंग्स से की।
- विजेता: GPT-4.1 मानव व्यवहार के सबसे करीब था। उसका "ट्रस्ट डायल" लगभग वहीं सेट था जहाँ मनुष्य उसे सेट करते हैं।
- हारने वाले: अन्य कुछ मॉडल या तो बहुत कंजूस थे (बहुत कम पैसे वापस करना) या उनमें अजीब, दोहरी शख्सियत थी (कभी बहुत भरोसेमंद, कभी बहुत संदिग्ध)।
2. "जोखिम" का संबंध
उन्होंने गौर किया: कुछ AI मॉडल जिन्हें "रिस्की" (अधिक जोखिम लेने वाले या साहसी बातें कहने वाले) के रूप में रेट किया गया था, वे वास्तव में मनुष्यों की तरह व्यवहार करने में सबसे अधिक सक्षम थे। वे मॉडल जो नियमों का पालन करने या जोखिम से बचने के मामले में बहुत सख्त थे, वे इस सामाजिक खेल में वास्तविक लोगों की तरह व्यवहार नहीं कर सके।
3. AI लोगों को "गर्माहट" (Warmth) और "क्षमता" (Competence) से आंकता है
अध्ययन के दूसरे भाग में, उन्होंने सबसे अधिक मानव-समान AI (GPT-4.1) का उपयोग विभिन्न "पात्रों" (personas) के खिलाफ खेलने के लिए किया।
- उन्होंने AI को एक "डॉक्टर", "AI", "एलोन मस्क", "मलाला युसुफज़ई" आदि के खिलाफ खेलने के लिए कहा।
- निष्कर्ष: AI ने सभी के साथ एक जैसा व्यवहार नहीं किया। इसने उन लोगों को अधिक पैसा वापस किया जिन्हें इसने गरमाहट (दयालु, देखभाल करने वाला) और क्षमता (स्मार्ट, कुशल) के रूप में देखा।
- जादुई फॉर्मूला: शोधकर्ताओं ने दो चीजों पर आधारित एक सरल गणितीय सूत्र बनाया: गरमाहट (Warmth) और क्षमता (Competence)।
- यदि कोई पात्र केवल "सक्षम" (स्मार्ट) था लेकिन "गरमाहट" (दयालु) नहीं था, तो AI ने उस पर बहुत अधिक भरोसा नहीं किया।
- यदि कोई पात्र "गरमाहट" वाला था लेकिन "क्षमता" वाला नहीं था, तो AI ने उस पर थोड़ा अधिक भरोसा किया।
- परफेक्ट कॉम्बिनेशन (Sweet Spot): यदि कोई पात्र गरमाहट और क्षमता दोनों (जैसे कि एक प्रिय, बुद्धिमान गुरु) के साथ था, तो AI का भरोसा आसमान छू गया। यह ठीक वैसा ही है जैसे इंसान दूसरों को जज करते हैं।
मुख्य निष्कर्ष (Takeaway)
यह शोध पत्र दिखाता है कि हम एक "मनी गेम" का उपयोग करके AI के दिमाग के अंदर झाँक सकते हैं और उसके भरोसे के छिपे हुए नियमों को देख सकते हैं।
- कुछ AI पहले से ही भरोसे के मामले में मनुष्यों की तरह व्यवहार कर रहे हैं।
- ये AI दूसरों को उन्हीं दो चीजों के आधार पर जज करते हैं जो हम करते हैं: क्या वे अच्छे हैं? क्या वे सक्षम हैं?
- यह हमें समझने में मदद करता है कि AI केवल एक कैलकुलेटर नहीं है; इसके पास सामाजिक "पूर्वाग्रह" (biases) और सहज ज्ञान (instincts) हैं जिन्हें हम माप और अध्ययन कर सकते हैं।
यह पेपर क्या नहीं कहता:
लेखक यह दावा नहीं करते हैं कि यह तरीका AI सुरक्षा को ठीक कर सकता है, मानसिक स्वास्थ्य समस्याओं को दूर कर सकता है, या कर्मचारियों को काम पर रखने के लिए उपयोग किया जा सकता है। वे केवल यह कहते हैं: "यहाँ एक तरीका है जिससे हम यह माप सकते हैं कि एक AI भरोसे के बारे में कैसे सोचता है, और यहाँ वह है जो हमने पाया।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।