Payoff scaling shapes cooperation in LLM agents across languages
यह अध्ययन प्रदर्शित करता है कि भुगतान संबंधी दांव (payoff stakes) को बढ़ाना विरोधाभासी रूप से कई भाषाओं में LLM एजेंटों के बीच सहयोग को बढ़ाता है—एक ऐसा रुझान जो एलाइनमेंट ट्रेनिंग और मानव जैसी तर्कशक्ति द्वारा संचालित है जो विकासवादी गेम थ्योरी (evolutionary game theory) के अनुमानों का खंडन करता है—साथ ही यह भी दर्शाता है कि भाषाई फ्रेमिंग (linguistic framing) प्रोप्रायटरी और ओपन-वेट दोनों मॉडलों में रणनीतिक व्यवहार को महत्वपूर्ण रूप से आकार देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य चित्र: विश्वास का खेल खेलते AI एजेंट
कल्पना कीजिए कि आपके पास बहुत सारे बहुत स्मार्ट कंप्यूटर प्रोग्राम (लार्ज लैंग्वेज मॉडल्स, या LLMs) हैं जो एजेंट के रूप में काम कर रहे हैं। आप उन्हें एक कमरे में प्रिज़नर्स डिलेमा (Prisoner's Dilemma) नामक एक क्लासिक खेल खेलने के लिए रखते हैं।
इस खेल में, दो खिलाड़ियों को यह तय करना होता है कि वे सहयोग (Cooperate) करेंगे या धोखा (Defect) देंगे।
- यदि दोनों सहयोग करते हैं, तो दोनों को छोटा इनाम मिलता है।
- यदि एक दूसरे को धोखा देता है, तो धोखेबाज को बहुत बड़ा इनाम मिलता है, और पीड़ित को सजा मिलती है।
- यदि दोनों एक-दूसरे को धोखा देते हैं, तो दोनों को मध्यम सजा मिलती है।
शोधकर्ताओं ने जो बड़ा सवाल पूछा वह यह था: जब खेल के "दांव" (stakes) बदलते हैं, तो ये AI एजेंट कैसा व्यवहार करते हैं, और क्या उनकी बोली जाने वाली भाषा उनके मन को बदल देती है?
प्रयोग: दांव के "वॉल्यूम" को घुमाना
शोधकर्ताओं ने केवल AI को एक बार खेलने के लिए नहीं कहा। उन्होंने AI से खेल को बार-बार खेलाया, लेकिन उन्होंने पुरस्कारों और दंडों के "वॉल्यूम" को बदल दिया।
इसे इस तरह समझें:
- कम दांव (वॉल्यूम 0.1): खेल मोनोपॉली के नकली पैसों से खेलने जैसा है। यदि आप हार जाते हैं, तो इससे ज्यादा फर्क नहीं पड़ता।
- मध्यम दांव (वॉल्यूम 1.0): खेल असली नकदी के लिए खेलने जैसा है।
- उच्च दांव (वॉल्यूम 10.0): खेल अपनी जीवन भर की बचत के लिए खेलने जैसा है।
उन्होंने यह परीक्षण तीन प्रसिद्ध AI मॉडल्स (GPT-4o, Claude 3.5, और Mistral) के साथ किया और तीन छोटे, ओपन-सोर्स मॉडल्स के साथ भी। उन्होंने पांच अलग-अलग भाषाओं में खेल खेला: अंग्रेजी, फ्रेंच, अरबी, मंदारिन (चीनी), और वियतनामी।
चौंकाने वाले निष्कर्ष
1. "मानवीय" बनाम "रोबोटिक" प्रतिक्रिया
पारंपरिक अर्थशास्त्र और गेम थ्योरी ( "रोबोट" वाला दृष्टिकोण) में, यदि दांव बहुत बड़े हो जाते हैं, तो तर्कसंगत खिलाड़ियों को हारने से डरना चाहिए और तुरंत एक-दूसरे को धोखा देना शुरू कर देना चाहिए। तर्क यह है: "यदि मैं बड़ा नुकसान उठाता हूँ, तो मैं किसी पर भरोसा नहीं कर सकता।"
लेकिन AI ने इसके विपरीत किया।
जैसे-जैसे दांव ऊंचे होते गए, AI एजेंट वास्तव में अधिक सहयोगी होते गए।
- उपमा: कल्पना कीजिए कि दो पड़ोसी एक औज़ार साझा करने का निर्णय ले रहे हैं। यदि औज़ार सस्ता है (कम दांव), तो वे आलसी हो सकते हैं और साझा नहीं कर सकते। लेकिन यदि वह औज़ार दस लाख डॉलर की मशीनरी है (उच्च दांव), तो वे अचानक बहुत सावधान हो जाते हैं और साझा करना शुरू कर देते हैं क्योंकि उसे तोड़ने की लागत बहुत अधिक है।
- शोधकर्ता मानते हैं कि ऐसा इसलिए होता है क्योंकि AI को मानवीय डेटा पर प्रशिक्षित किया गया है। मनुष्य तब अधिक सहयोग करते हैं जब विफलता के परिणाम गंभीर होते हैं, और AI ने इसी पैटर्न को सीखा है।
2. "भाषा" का प्रभाव
शोधकर्ताओं ने पाया कि जिस भाषा में AI को प्रॉम्प्ट दिया गया था, वह एक सांस्कृतिक व्यक्तित्व की तरह काम करती थी।
- फ्रेंच और वियतनामी: इन भाषाओं ने AI को दांव के प्रति बहुत संवेदनशील बना दिया। जब दांव बढ़े, तो ये AI बहुत तेज़ी से सहयोग की ओर बढ़ गए।
- अरबी और चीनी: इन भाषाओं ने AI को "सब कुछ या कुछ नहीं" (all-or-nothing) वाली रणनीतियों पर टिके रहने के लिए प्रेरित किया (या तो हमेशा सहयोग करना या हमेशा धोखा देना), चाहे दांव कुछ भी हों।
- अंग्रेजी: अंग्रेजी के प्रॉम्प्ट्स ने रणनीतियों का सबसे संतुलित मिश्रण तैयार किया।
उपमा: AI मॉडल्स को अभिनेता मान लें। यदि आप किसी अभिनेता को अंग्रेजी में एक भूमिका निभाने के लिए कहते हैं, तो वे एक तरह से व्यवहार कर सकते हैं। यदि आप उन्हें वही स्क्रिप्ट फ्रेंच में देते हैं, तो वे चरित्र की भावनाओं की व्याख्या अलग तरह से कर सकते हैं। "भाषा" केवल एक अनुवाद नहीं थी; इसने AI के रणनीतिक "अंदाज़" (vibe) को बदल दिया।
3. "छोटे मॉडल" बनाम "बड़े मॉडल"
शोधकर्ताओं ने इसका परीक्षण विशाल, महंगे AI मॉडल्स और छोटे, मुफ्त मॉडल्स दोनों पर किया।
- बड़े मॉडल्स: वे अनुकूलन करने में बहुत अच्छे थे। जब दांव बढ़े, तो उन्होंने अपनी रणनीति को अधिक सहयोगी होने की ओर बदल दिया।
- छोटे मॉडल्स: वे थोड़े अधिक जिद्दी थे। उनमें से कुछ ने दांव बढ़ने पर अपने व्यवहार को उतना नहीं बदला। एक छोटे मॉडल (Qwen) ने "U-आकार" का व्यवहार दिखाया: वह मध्यम दांव पर सहयोगी था लेकिन अत्यधिक उच्च दांव होने पर वापस स्वार्थी हो गया।
"डायग्नोसिस" टूल
AI यह क्यों कर रहा था, इसे समझने के लिए, शोधकर्ताओं ने केवल यह नहीं गिना कि उन्होंने कितनी बार "हाँ" या "नहीं" कहा। उन्होंने एक विशेष "डिकोडर" (एक मशीन लर्निंग क्लासिफायर) बनाया ताकि AI की छिपी हुई रणनीति का अनुमान लगाया जा सके।
उन्होंने चार क्लासिक रणनीतियों की तलाश की:
- हमेशा सहयोग करना (Always Cooperate): अच्छा लड़का।
- हमेशा धोखा देना (Always Defect): धोखेबाज।
- टिट-फॉर-टैट (Tit-for-Tat): "पिछली बार तुमने जो किया, मैं भी वही करूँगा।"
- जीतें-रुके-हारें-बदलें (Win-Stay-Lose-Shift): "यदि यह काम कर गया, तो इसे जारी रखें। यदि यह विफल रहा, तो बदल दें।"
परिणाम: AI केवल रैंडम तरीके से नहीं बदला। जैसे-जैसे दांव ऊंचे हुए, उन्होंने "हमेशा धोखा देने" को छोड़ दिया और "जीतें-रुके-हारें-बदलें" और "हमेशा सहयोग करने" का उपयोग करना शुरू कर दिया। वे जोखिमों के प्रति अधिक स्मार्ट बनना सीख रहे थे।
"सिद्धांत" बनाम "वास्तविकता" की जाँच
शोधकर्ताओं ने अपने AI परिणामों की तुलना एक सख्त गणितीय भविष्यवाणी (इवोल्यूशनरी गेम थ्योरी) के विरुद्ध की।
- सिद्धांत ने भविष्यवाणी की थी: उच्च दांव = हर कोई धोखाधड़ी करता है।
- वास्तविकता (AI) ने दिखाया: उच्च दांव = हर कोई सहयोग करने की कोशिश करता है।
मुख्य बात (Takeaway): AI एक ठंडे, गणना करने वाले रोबोट की तरह नहीं खेल रहा है। यह एक ऐसे इंसान की तरह खेल रहा है जिसने सीखा है कि जब चीजें गंभीर होती हैं, तो जीवित रहने के लिए आपको मिलकर काम करने की आवश्यकता होती है। शोधकर्ता इसे "एलाइनमेंट ट्रेनिंग का हस्ताक्षर" कहते हैं—AI यह याद रख रहा है कि उच्च-दबाव वाली स्थितियों में मनुष्य कैसे व्यवहार करते हैं।
सारांश
यह पेपर दिखाता है कि यदि आप चाहते हैं कि AI एजेंट समूह में कैसे व्यवहार करें, तो आपके पास दो शक्तिशाली लीवर हैं:
- दांव (The Stakes): विफलता के परिणामों को बड़ा बनाएं, और AI अधिक सहयोगी हो जाएगा।
- भाषा (The Language): आप AI से जिस भाषा में बात करते हैं, वह एक सांस्कृतिक फिल्टर की तरह काम करती है, जो यह बदल देती है कि AI खेल को कैसे समझता है और वह किस पर भरोसा करता है।
यह एक याद दिलाता है कि AI केवल कोड नहीं है; यह मानव पैटर्न, पूर्वाग्रहों और दबाव में हमारी प्रतिक्रियाओं का एक दर्पण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।