🔬 physics

Indirect reciprocity beyond pairwise interactions

यह शोध पत्र मल्टीप्लेयर इनडायरेक्ट रेसिप्रोसिटी (बहु-खिलाड़ी अप्रत्यक्ष पारस्परिकता) के लिए एक एकीकृत सिद्धांत स्थापित करता है, जो यह प्रदर्शित करता है कि स्थिर समूह सहयोग के लिए "सभी अच्छे, सहायता करें; एक बुरा, रुकें" नियम की आवश्यकता होती है, जो युग्मवार मॉडलों से भिन्न द्वि-स्थिरता और हिस्टेरेसिस (hysteresis) को पेश करता है, जबकि यह भी प्रकट करता है कि वर्तमान लार्ज लैंग्वेज मॉडल्स दंडात्मक रणनीतियों की ओर बढ़ने के बावजूद इस सहकारी तर्क को पूरी तरह से अपनाने में विफल रहते हैं।

मूल लेखक: Ming Wei, Xin Wang, Junyu Lu, Longzhao Liu, Yishen Jiang, Hongwei Zheng, Shaoting Tang, Feng Fu

प्रकाशित 2026-04-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ming Wei, Xin Wang, Junyu Lu, Longzhao Liu, Yishen Jiang, Hongwei Zheng, Shaoting Tang, Feng Fu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक ऐसी दुनिया जहाँ आपकी प्रतिष्ठा केवल इस बात से नहीं है कि आप एक व्यक्ति के साथ कैसा व्यवहार करते हैं, बल्कि इस बात से है कि आप एक साथ पूरे समूह के साथ कैसा व्यवहार करते हैं। यह शोधपत्र इस बात को समझने का एक नया तरीका बताता है कि कैसे मनुष्य (और यहाँ तक कि AI भी) निर्णय लेते हैं कि वे "अच्छे" या "बुरे" बनेंगे, जब वे केवल एक-पर-एक बातचीत के बजाय एक टीम का हिस्सा होते हैं।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:

1. पुराना तरीका बनाम नया तरीका

पुराना तरीका (Pairwise): एक क्लासिक "डोनेशन गेम" के बारे में सोचें। आप एक व्यक्ति को देखते हैं। यदि वे "अच्छे" हैं, तो आप उनकी मदद करते हैं। यदि वे "बुरे" हैं, तो आप नहीं करते। इसका दशकों से अध्ययन किया जा रहा है। यह एक साधारण ट्रैफिक लाइट की तरह है: हरा मतलब चलो, लाल मतलब रुको।

नया तरीका (Multiplayer): अब, कल्पना कीजिए कि आप तीन लोगों के समूह में हैं। आपको समूह की मदद करने का निर्णय लेना है। लेकिन स्थिति अधिक जटिल है। हो सकता है कि दो लोग "अच्छे" हों और एक "बुरा" हो। या शायद तीनों ही "बुरे" हों। पुराने नियम यहाँ आपको नहीं बताते कि क्या करना है। क्या आप मदद करेंगे यदि एक व्यक्ति बुरा है? क्या आप मदद करेंगे यदि दो बुरे हैं?

2. स्वर्णिण नियम: "सब अच्छे, मदद करो; एक बुरा, रुक जाओ"

शोधकर्ताओं ने इन समूह स्थितियों के लिए सटीक नियम खोजने के लिए लाखों कंप्यूटर सिमुलेशन चलाए। उन्होंने पाया कि सबसे सफल समूह सभी एक सरल, सख्त सिद्धांत का पालन करते हैं:

"सब अच्छे, मदद करें": यदि समूह में हर कोई एक साफ रिकॉर्ड वाला है, तो आपको सहयोग करना चाहिए और मदद करनी चाहिए।
"एक बुरा, रुक जाएँ": यदि समूह में एक भी व्यक्ति का रिकॉर्ड खराब है, तो आपको तुरंत मदद करना बंद कर देना चाहिए।

उपमा: एक 'पोटलक डिनर' (Potluck Dinner) की कल्पना करें।

पुराना नियम: यदि आपका पड़ोसी एक खराब व्यंजन लाता है, तो आप बस उनकी प्लेट से खाना नहीं खाते।
नया नियम: यदि मेज पर कोई भी एक खराब व्यंजन लाता है, तो आप उस खराब व्यंजन को हटाए बिना पूरी मेज से खाना बंद कर देते हैं। आप यह देखने का इंतज़ार नहीं करते कि अन्य व्यंजन कितने अच्छे हैं; आप पूरे प्रक्रम को रोकने के लिए रुक जाते हैं ताकि "खराब सेब" (bad apple) पूरे भोजन को खराब न कर दे।

शोधपत्र इस नियम के 128 संस्करणों को "सफल 128" (Successful 128) कहता है। उन्होंने पाया कि यह सख्ती आवश्यक है। यदि आप बहुत दयालु हैं और एक व्यक्ति के "फ्री-राइडर" (वह जो बिना कुछ दिए केवल लेता है) होने पर भी समूह की मदद करते हैं, तो फ्री-राइडर्स कब्जा कर लेंगे और पूरा समूह ढह जाएगा।

3. "टिपिंग पॉइंट" का खतरा (Bistability)

वन-ऑन-वन खेलों में, यदि कुछ लोग बुरे होने लगते हैं, तो समूह आमतौर पर खुद को संभाल सकता है। यह एक नाव में एक अकेले रिसाव की तरह है; आप उसे ठीक कर सकते हैं, और आप ठीक रहेंगे।

लेकिन समूहों में, शोधकर्ताओं ने बाइस्टेबिलिटी (Bistability) नामक एक डरावनी चीज़ पाई है।

उपमा: एक गेंद की कल्पना करें जो एक घाटी में स्थित है जिसके बीच में एक पहाड़ी है।
- पक्ष A (सहयोग): यदि समूह में ज्यादातर अच्छे लोग हैं, तो गेंद "अच्छी घाटी" (Good Valley) में लुढ़क जाती है। भले ही कुछ बुरे लोग आ जाएं, समूह अच्छा बना रहता है।
- पक्ष B (धोखा/Defection): यदि समूह में बहुत अधिक बुरे लोग हैं (या यदि बहुत अधिक गलतियाँ होती हैं), तो गेंद पहाड़ी के ऊपर से लुढ़ककर "बदले की घाटी" (Bad Valley) में गिर जाती है। एक बार जब आप बुरी घाटी में पहुँच जाते हैं, तो वापस ऊपर चढ़ना अविश्वसनीय रूप से कठिन हो जाता है। भले ही लोग अच्छे होने की कोशिश करें, सिस्टम ऐसी स्थिति में फंस जाता है जहाँ हर किसी के साथ बुरा व्यवहार किया जाता है, और सहयोग मर जाता है।

शोधपत्र चेतावनी देता है कि एक बार जब समूह बुरे व्यवहार के एक निश्चित "टिपिंग पॉइंट" को पार कर लेता है, तो बाहरी मदद या बहुत विशिष्ट नियमों के बिना इसे ठीक करना असंभव हो सकता है जो बुरे व्यक्तियों को दूसरा मौका देते हैं।

4. AI परीक्षण: क्या रोबोट पर्याप्त स्मार्ट हैं?

शोधकर्ताओं ने इस सिद्धांत का परीक्षण उन्नत AI मॉडल (जैसे GPT-5 और Gemini 2.5 Pro) पर किया। उन्होंने AI को इन समूह खेलों में एक जज के रूप में कार्य करने के लिए कहा: "क्या हमें इस समूह की मदद करनी चाहिए?"

परिणाम: AI बहुत अधिक दयालु था।
उपमा: AI एक "दब्बू" (pushover) की तरह व्यवहार कर रहा था। एक बुरे व्यक्ति वाले समूह के बारे में पूछे जाने पर, AI अक्सर अभी भी कहता था, "हाँ, उनकी मदद करें!" वह "एक बुरा, रुक जाओ" के नियम का पालन करने में विफल रहा।
यह क्यों मायने रखता है: AI सहयोग को मंजूरी देने की प्रवृत्ति रखता है, भले ही उसे ऐसा नहीं करना चाहिए। वह किसी व्यक्ति की गलती के लिए समूह को दंडित करके "क्रूर" नहीं दिखना चाहता। शोधपत्र सुझाव देता है कि जबकि यह AI को मिलनसार बनाता है, यह वास्तव में समूहों को उन "बुरे अभिनेताओं" द्वारा शोषण किए जाने के प्रति संवेदनशील बनाता है जो जानते हैं कि AI खेल को नहीं रोकेगा।

सारांश

यह शोधपत्र तर्क देता है कि बड़े समूहों के सुचारू रूप से काम करने के लिए, हमें जितना हमने सोचा था उससे अधिक सख्त सामाजिक अनुबंध की आवश्यकता है। हम केवल "दयालु" नहीं हो सकते; हमें सतर्क रहना होगा। यदि एक व्यक्ति विश्वास तोड़ता है, तो समूह को खुद को बचाने के लिए तुरंत सहयोग करना बंद कर देना चाहिए। यदि हम बुरे व्यवहार को दंडित करने में बहुत देर कर देते हैं, तो पूरा समूह एक ऐसे जाल में गिर सकता है जिससे निकलना असंभव है। इसके अलावा, वर्तमान AI अभी भी इस सख्त, आवश्यक नियम को लागू करने के लिए पर्याप्त स्मार्ट नहीं है; यह बहुत अधिक क्षमाशील है।

यहाँ शोध पत्र "Indirect reciprocity beyond pairwise interactions" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

अप्रत्यक्ष पारस्परिकता (Indirect reciprocity) के पारंपरिक मॉडल (जो प्रतिष्ठा द्वारा संचालित सहयोग पर आधारित हैं) मुख्य रूप से युग्म-आधारित अंतःक्रियाओं (pairwise interactions/dyads) पर केंद्रित रहे हैं, जहाँ एक दाता (donor) एक एकल प्राप्तकर्ता (recipient) के साथ अंतःक्रिया करता है। इन मॉडलों में, सामाजिक मानदंड (जैसे कि "Leading Eight") यह निर्धारित करते हैं कि दाता और एकल प्राप्तकर्ता की प्रतिष्ठा के आधार पर सहयोग करना है या नहीं।

हालाँकि, वास्तविक दुनिया में सामूहिक कार्रवाई अक्सर बहु-खिलाड़ी अंतःक्रियाओं (multiplayer interactions) (समूह के $n \geq 3$ व्यक्ति) में शामिल होती है, जैसे कि सार्वजनिक वस्तु खेल (public goods games)। इन परिवेशों में, सूचनात्मक संदर्भ काफी जटिल होता है: एक फोकल व्यक्ति को पूरे सह-खिलाड़ियों (co-players) के प्रतिष्ठा प्रोफाइल (जैसे कि सभी अच्छे, सभी बुरे, या एक मिश्रण) के आधार पर निर्णय लेना होता है कि उसे सहयोग करना चाहिए या नहीं। यह शोध निम्नलिखित अंतराल को संबोधित करता है:

समूहों में व्यक्तियों को कैसे व्यवहार करना चाहिए जहाँ प्रतिष्ठा संबंधी जानकारी युग्मों (dyads) से परे विस्तृत होती है?
कौन से सामाजिक मानदंड मल्टीप्लेयर सेटिंग्स में स्थिर सहयोग को बनाए रखते हैं?
प्रतिष्ठा की गतिशीलता (reputation dynamics) युग्म-आधारित मॉडलों की मोनोस्टेबल (monostable) गतिशीलता से कैसे भिन्न है?
क्या लार्ज लैंग्वेज मॉडल्स (LLMs) इन जटिल मल्टीप्लेयर मानदंडों को प्रभावी ढंग से सीख या लागू कर सकते हैं?

2. कार्यप्रणाली (Methodology)

लेखकों ने मल्टीप्लेयर अप्रत्यक्ष पारस्परिकता के लिए एक सामान्य सैद्धांतिक ढांचा विकसित किया और इसे कम्प्यूटेशनल सिमुलेशन और लार्ज लैंग्वेज मॉडल (LLM) प्रयोगों के साथ जोड़ा।

A. सैद्धांतिक ढांचा (Theoretical Framework):

खेल की संरचना (Game Structure): एक अनंत रूप से बड़ा, वेल-मिक्सड (well-mixed) जनसंख्या समूह $n$ -प्लेयर पब्लिक गुड्स गेम (PGG) खेलता है। प्रत्येक दौर में, $n$ व्यक्तियों को यादृच्छिक रूप से चुना जाता है।
कार्य (Actions): खिलाड़ी सहयोग ( $C$ , लागत $c=1$ ) या डिफेक्ट ( $D$ , लागत 0) चुनते हैं। कुल योगदान को एक सिनर्जी फैक्टर $R$ द्वारा गुणा किया जाता है और समान रूप से साझा किया जाता है।
प्रतिष्ठा प्रणाली (Reputation System): व्यक्ति बाइनरी प्रतिष्ठा रखते हैं: अच्छी ( $G=1$ ) या बुरी ( $B=0$ )।
रणनीति और मानदंड (Strategies and Norms):
- व्यवहार संबंधी रणनीति ( $p$ ): एक बाइनरी टेबल जो अपनी प्रतिष्ठा ( $r_0$ ) और अच्छे सह-खिलाड़ियों की संख्या ( $\tilde{r}$ ) के आधार पर एक खिलाड़ी के कार्य ( $C$ या $D$ ) को परिभाषित करती है।
- सामाजिक मानदंड ( $d$ ): एक बाइनरी टेबल जो यह परिभाषित करती है कि एक पर्यवेक्षक (observer) किसी खिलाड़ी के कार्य ( $X$ ), अपनी प्रतिष्ठा ( $r_0$ ), और सह-खिलाड़ियों की प्रतिष्ठा ( $\tilde{r}$ ) के आधार पर खिलाड़ी की प्रतिष्ठा को कैसे अपडेट करता है।
त्रुटियाँ (Errors): मॉडल स्टोकेस्टिक त्रुटियों को शामिल करता है:
- निष्पादन त्रुटियाँ ( $\mu_e$ ): इच्छित सहयोग विफल हो जाता है।
- असाइनमेंट त्रुटियाँ ( $\mu_a^G, \mu_a^B$ ): पर्यवेक्षक गलती से 'अच्छी' या 'बुरी' प्रतिष्ठा दे देते हैं।
विकासवादी स्थिरता विश्लेषण (Evolutionary Stability Analysis): लेखकों ने दुर्लभ उत्परिवर्तन (rare mutations) की सीमा का उपयोग करके इवोल्यूशनरी स्टेबल स्ट्रैटेजी (ESS) जोड़े $(d, p)$ की पहचान करने के लिए इसका उपयोग किया। एक जोड़ा तब स्थिर होता है जब एक निवासी रणनीति (resident strategy) को उत्परिवर्ती (mutant) रणनीति द्वारा आक्रमण नहीं किया जा सकता।

B. LLM प्रयोग:

मॉडल: GPT-5 और Gemini 2.5 Pro।
कार्य: मॉडलों ने विभिन्न प्रतिष्ठात्मक संदर्भों के तहत 3-प्लेयर गेम में कार्यों का मूल्यांकन करने के लिए "असेसमेंट इंजन" के रूप में कार्य किया।
प्रॉम्प्ट्स (Prompts): तीन प्रकारों का परीक्षण किया गया:
1. बेसिक (Basic): केवल गेम सेटअप।
2. लीडिंग एइट (Leading Eight): इसमें सफल डाइएडिक मानदंडों की पृष्ठभूमि शामिल थी।
3. मोरल इन्फो (Moral Info): इसमें स्पष्ट रूप से सहयोग बनाए रखने और फ्री-राइडिंग (free-riding) का विरोध करने के लक्ष्य को बताया गया था।
आउटपुट: LLMs के निहित सामाजिक मानदंडों को पुनर्गठित करने के लिए बाइनरी लेबल (अनुमोदन के लिए 1, अस्वीकृति के लिए 0) का उपयोग किया गया।

3. मुख्य योगदान (Key Contributions)

1. "सफल 128" (Successful 128) और संगठनात्मक सिद्धांत की खोज:
लेखकों ने 128 विशिष्ट सामाजिक मानदंड/रणनीति जोड़ों की पहचान की जो कमजोर सिनर्जी ( $R$ के 1 के करीब) और उच्च त्रुटि दर के बावजूद उच्च स्तर के सहयोग को बनाए रखते हैं। ये जोड़े एक एकीकृत संगठनात्मक सिद्धांत साझा करते हैं:

"सभी अच्छे, मदद करो; एक भी बुरा, रुक जाओ।" (All good, help; one bad, halt.)

सभी अच्छे, मदद करो: यदि सभी सह-खिलाड़ियों की प्रतिष्ठा अच्छी है, तो फोकल खिलाड़ी को सहयोग करना चाहिए।
एक भी बुरा, रुक जाओ: यदि फोकल खिलाड़ी अच्छा है लेकिन उसे ऐसे समूह का सामना करना पड़ता है जिसमें कम से कम एक बुरा सह-खिलाड़ी है, तो उसे डिफेक्ट (मदद रोकना) करना चाहिए ताकि बुरे व्यक्ति को दंडित किया जा सके।
यह सिद्धांत मल्टीप्लेयर सेटिंग्स में स्थिर सहयोग के उद्भव के लिए आवश्यक और पर्याप्त है।

2. प्रतिष्ठा गतिशीलता का लक्षण वर्णन (बाइस्टेबिलिटी और हिस्टेरेसिस):
युग्म-आधारित मॉडलों के विपरीत, जो मोनोस्टेबल (monostable) होते हैं (प्रारंभिक स्थितियों की परवाह किए बिना एक एकल संतुलन की ओर बढ़ते हैं), मल्टीप्लेयर सिस्टम बाइस्टेबिलिटी (bistability) और हिस्टेरेसिस (hysteresis) प्रदर्शित करते हैं।

टिपिंग पॉइंट (Tipping Point): जनसंख्या में "अच्छी" प्रतिष्ठा का एक महत्वपूर्ण थ्रेशोल्ड (threshold) होता है।
सहकारी संतुलन (Cooperative Equilibrium): यदि जनसंख्या में अच्छी प्रतिष्ठा का प्रारंभिक अनुपात टिपिंग पॉइंट से ऊपर है, तो सिस्टम उच्च सहयोग की स्थिति की ओर बढ़ता है।
दोषपूर्ण संतुलन (Defective Equilibrium): यदि प्रारंभिक अनुपात टिपिंग पॉइंट से नीचे है, तो सिस्टम "सभी-बुरे" की स्थिति में गिर जाता है जहाँ डिफेक्टर्स (defectors) उबर नहीं पाते।
हिस्टेरेसिस (Hysteresis): एक बार जब सिस्टम दोषपूर्ण स्थिति में गिर जाता है, तो सुधार के लिए स्थितियाँ बेहतर होने पर भी उबरना कठिन होता है, क्योंकि बुरे व्यक्तियों को अपनी स्थिति सुधारने के लिए पर्याप्त अच्छे सह-खिलाड़ियों के मिलने के लिए संघर्ष करना पड़ता है।

3. स्थिरता का वर्गीकरण:
"सफल 128" को "ऑलवेज डिफेक्ट" (ALLD) रणनीति के विरुद्ध उनकी मजबूती के आधार पर चार समूहों (I–IV) में वर्गीकृत किया गया। समूह IV सबसे मजबूत है, जिसे स्थिरता बनाए रखने के लिए सबसे कम सिनर्जी फैक्टर $R$ की आवश्यकता होती है।

4. AI नैतिक संरेखण (AI Moral Alignment) का मूल्यांकन:
अध्ययन से पता चला कि वर्तमान LLMs, नैतिक लक्ष्यों या डाइएडिक मानदंडों के साथ प्रॉम्प्ट दिए जाने पर भी, पूरी तरह से "एक बुरा, रुक जाओ" तर्क को अपनाने में विफल रहते हैं। वे अत्यधिक उदार (forgiving) होने की प्रवृत्ति रखते हैं, और बुरे अभिनेताओं की उपस्थिति में भी सहयोग को मंजूरी देते हैं, जिससे वे मल्टीप्लेयर सेटिंग्स में शोषण के प्रति सैद्धांतिक रूप से असुरक्षित हो जाते हैं।

4. मुख्य परिणाम (Key Results)

सिद्धांत की मजबूती: "सभी अच्छे, मदद करो; एक भी बुरा, रुक जाओ" नियम 3-प्लेयर और 4-प्लेयर दोनों अंतःक्रियाओं के लिए मान्य है। यह डाइएडिक गेम्स के "लीडिंग एइट" का समूह सेटिंग्स में सामान्यीकरण करता है।
त्रुटि संवेदनशीलता (Error Sensitivity):
- निष्पादन त्रुटियों ( $\mu_e$ ) और गलत 'Bad-assignment' त्रुटियों ( $\mu_a^B$ ) को कम करने से स्थिर सहकारी जोड़ों की संख्या में उल्लेखनीय वृद्धि होती है।
- गलती से 'Good' प्रतिष्ठा देना ( $\mu_a^B$ ) एक "मिश्रित आशीर्वाद" (mixed blessing) है: जबकि यह अंतर को धुंधला करता है, यह कभी-कभी जनसंख्या को दोषपूर्ण संतुलन से बाहर निकलने में मदद कर सकता है क्योंकि यह बुरे अभिनेताओं को उबरने का मौका देता है।
LLM की सीमाएँ:
- बेसिक प्रॉम्प्ट के तहत, LLMs इमेज स्कोरिंग (Image Scoring) (सभी $C$ को अनुमोदित करना, सभी $D$ को अस्वीकार करना) पर निर्भर रहते हैं, और संदर्भ को अनदेखा करते हैं।
- समृद्ध (enriched) प्रॉम्प्ट के तहत, LLMs बुरे अभिनेताओं के खिलाफ दंडात्मक डिफेक्शन (punitive defection) की ओर बढ़ते हैं लेकिन "एक बुरा, रुक जाओ" नियम को लगातार लागू करने में विफल रहते हैं। वे शायद ही कभी केवल एक बुरे व्यक्ति वाले समूह के खिलाफ डिफेक्ट करते हैं, जिससे सिस्टम फ्री-राइडिंग म्यूटेंट्स के प्रति असुरक्षित रह जाता है।
गणितीय थ्रेशोल्ड: शोध पत्र ALLD आक्रमण का विरोध करने के लिए आवश्यक $R$ का थ्रेशोल्ड व्युत्पन्न करता है:
$R > 1 + \frac{2}{3}\mu_a^G + \gamma(\mu_e + \mu_a^B) + O(\mu^2)$
जहाँ $\gamma$ समूहों (0 से 2) के अनुसार बदलता है, जो दर्शाता है कि ग्रुप IV रणनीतियाँ बहुत कमजोर सिनर्जी के साथ भी स्थिर रहती हैं।

5. महत्व (Significance)

सैद्धांतिक प्रगति: यह कार्य डाइड्स से समूहों तक अप्रत्यक्ष पारस्परिकता के सिद्धांत का विस्तार करता है, और एक एकीकृत सिद्धांत ("सभी अच्छे, मदद करो; एक भी बुरा, रुक जाओ") प्रदान करता है जो बताता है कि सामूहिक कार्रवाई की समस्याओं में सहयोग कैसे स्केल होता है।
सामूहिक पतन की समझ: मल्टीप्लेयर प्रतिष्ठा प्रणालियों में बाइस्टेबिलिटी और हिस्टेरेसिस की खोज एक नया स्पष्टीकरण प्रदान करती है कि समाज सार्वभौमिक अविश्वास की स्थिति में क्यों गिर सकता है और एक बार उस स्थिति में पहुँचने के बाद सुधार करना कठिन क्यों होता है।
AI सुरक्षा और संरेखण (AI Safety and Alignment): ये निष्कर्ष कोऑपरेटिव AI (Cooperative AI) के लिए एक महत्वपूर्ण बेंचमार्क के रूप में कार्य करते हैं। वे दर्शाते हैं कि वर्तमान LLMs में जटिल समूह गतिशीलता को बनाए रखने के लिए आवश्यक सूक्ष्म, संदर्भ-निर्भर नैतिक तर्क की कमी है। मल्टीप्लेयर मानदंडों पर स्पष्ट प्रशिक्षण के बिना, AI एजेंट अनजाने में शोषण को सुगम बना सकते हैं या आवश्यक सामाजिक प्रतिबंधों को लागू करने में विफल हो सकते हैं।
नीतिगत निहितार्थ: परिणाम बताते हैं कि मानव समाजों को सहयोग बनाए रखने के लिए, संस्थानों को न केवल बुरे अभिनेताओं को दंडित करना चाहिए बल्कि यह भी सुनिश्चित करने के लिए तंत्र होने चाहिए कि "टिपिंग पॉइंट" को पार करने से रोका जा सके (उदाहरण के लिए, गलत नकारात्मक सूचना के प्रसार को सीमित करके या प्रतिष्ठा पुनर्वास के स्पष्ट मार्ग प्रदान करके)।