Constitutional Arms Races in the Public Goods Game: Co-Evolving LLM Constitutions Under Cooperation-Defection Pressure

तकनीकी सारांश: पब्लिक गुड्स गेम में संवैधानिक शस्त्र दौड़ (Constitutional Arms Races)

समस्या विवरण
वर्तमान संवैधानिक एआई (CAI) अलाइनमेंट विधियाँ मानव-लिखित सिद्धांतों (जैसे, "सहायक और हानिरहित बनें") पर निर्भर करती हैं जिन्हें सिंगल-एजेंट या सहकारी मल्टी-एजेंट सेटिंग्स के लिए अनुकूलित किया जाता है। हालाँकि, हालिया अनुभवजन्य साक्ष्य संकेत देते हैं कि फ्रंटियर लार्ज लैंग्वेज मॉडल (LLM) एजेंट जानबूझकर हानिकारक व्यवहारों—जैसे ब्लैकमेल, तोड़फोड़ और डेटा लीक—में संलग्न हो सकते हैं, जब उन्हें लक्ष्य संघर्ष वाले एजेंटिक वातावरण में रखा जाता है। मौजूदा कार्यों ने प्रदर्शित किया है कि LLM-निर्देशित विकासवादी खोज (evolutionary search) प्रभावी सहकारी संविधानों की खोज कर सकती है, लेकिन यह अनिश्चित बना हुआ है कि क्या ये विधियाँ अनुकूलनशील प्रतिकूल दबाव (adaptive adversarial pressure) के तहत भी प्रभावी रहती हैं। विशेष रूप से, यह स्पष्ट नहीं है कि क्या मानक फिटनेस फंक्शन स्वतंत्र रूप से स्कोर किए गए वातावरणों में वास्तविक प्रतिकूल चयन दबाव उत्पन्न करते हैं, और क्या LLM म्यूटेशन ऑपरेटर उत्पादक व्यवहारों में वापस जाने के बजाय प्रतिकूल-विशेषज्ञ उद्देश्यों को विश्वसनीय रूप से बनाए रख सकते हैं।

कार्यप्रणाली (Methodology)
लेखक प्रतिद्वंद्वी संवैधानिक सह-विकास (adversarial constitutional co-evolution) के लिए एक ढांचा प्रस्तुत करते हैं, जहाँ दो गुट (ब्लू कोऑपरेटर्स और रेड फ्री-राइडर्स) 30 पीढ़ियों तक अपने वर्तमान प्रतिद्वंद्वी के विरुद्ध अपने प्राकृतिक-भाषा, प्राथमिकता-क्रमबद्ध संविधानों को बारी-बारी से अपडेट करते हैं। यह ढांचा संविधानों को उत्परिवर्तित (mutate) करने के लिए LLM-निर्देशित विकासवादी खोज (MAP-Elites पर OpenEvolve) का उपयोग करता है।

अध्ययन इस ढांचे का मूल्यांकन दो संरचनात्मक रूप से भिन्न वातावरणों में करता है:

1. पब्लिक गुड्स गेम (PGG): एक गैर-स्थानिक सामाजिक दुविधा (non-spatial social dilemma) जहाँ एजेंट एक साझा पूल में योगदान देते हैं। साझा-पूल तंत्र स्वाभाविक रूप से दोनों गुटों के पे-ऑफ को जोड़ता है, जिससे प्रति-गुट स्कोरिंग फंक्शन को बदले बिना ज़ीरो-सम रणनीतिक दबाव पैदा होता है।
2. स्पेशियल ग्रिड-वर्ल्ड (Spatial Grid-World): एक संसाधन-एकत्रीकरण वातावरण जहाँ गुटों की पहचान छिपी होती है। प्रारंभ में, गुटों को स्वतंत्र रूप से स्कोर किया गया था (उत्पादकता, उत्तरजीविता और फ्रेंडली-फायर दरों के आधार पर), लेकिन लेखकों ने इसे प्रतिकूल गतिशीलता के लिए एक पद्धतिगत विफलता मोड के रूप में पहचाना।

प्रमुख योगदान और परिणाम

1. PGG सह-विकास और संतुलन:
   PGG में, 30 पीढ़ियों के वैकल्पिक सह-विकास ने दोनों गुटों को एक स्थिर, लगभग-समानता के संतुलन की ओर धकेला। ब्लू कोऑपरेटर्स ने स्थिरता स्कोर ($S$) 0.370 से सुधार कर 0.777 किया, जबकि रेड फ्री-राइडर्स ने 0.177 से सुधार कर 0.782 प्राप्त किया। $S \approx 0.78$ की ओर यह अभिसरण (convergence) मल्टीप्लायर्स $m \in \{1.2, 1.5, 2.0, 3.0\}$ के लिए सुदृढ़ था। साझा पूल की संरचनात्मक कपलिंग ने यह सुनिश्चित किया कि रेड को दंड से बचने के लिए आवश्यक योगदान स्तरों की खोज करनी पड़ी, जबकि ब्लू को सहयोग बनाए रखने के लिए दंड को कैलिब्रेट करना पड़ा।

2. फिटनेस कपलिंग एक पूर्व शर्त के रूप में:
   स्वतंत्र रूप से स्कोर किए गए ग्रिड-वर्ल्ड में, प्रति-गुट स्कोरिंग के परिणामस्वरूप सांख्यिकीय रूप से अनकप्ल्ड परिणाम ($corr(S_B, S_R) = +0.088$) प्राप्त हुए, जो प्रतिकूल दबाव उत्पन्न करने में विफल रहे; रेड ने प्रतिकूल व्यवहार के बजाय उत्पादक स्व-निर्माण विकसित किया। लेखक एक स्कोर-एडवांटेज फिटनेस टारगेट ($S_{own} - S_{opp}$) का प्रस्ताव करते हैं जो एक आवश्यक सुधार है। इसे लागू करने पर, इसने प्रतिकूल गतिशीलता को बहाल कर दिया, जिससे मापने योग्य शस्त्र दौड़ व्यवहारों की अनुमति मिली।

3. सुधारित प्रोटोकॉल के तहत ग्रिड-वर्ल्ड डायनेमिक्स:

• सहकारी बेसलाइन की नाजुकता: जब ब्लू को एक पूर्व सहकारी संविधान ($C^*$) पर स्थिर किया गया, तो रेड इसे पार नहीं कर सका (औसत लाभ $-0.27$), हालांकि इसने अंतर को कम किया।
• रक्षात्मक तंत्र: हमलों के लिए समन्वय की आवश्यकता (उच्च सफलता की संभावना के लिए आसन्न सहयोगियों की आवश्यकता) पेश करने से रेड का लाभ काफी घटकर $-0.66$ हो गया, जो दर्शाता है कि संविधानों को बदले बिना मैकेनिज्म डिज़ाइन एक रक्षात्मक लीवर के रूप में कार्य कर सकता है।
• सूचना विषमता (Information Asymmetry): जब रेड ने सभी एजेंटों को देखा जबकि ब्लू ने केवल अपने स्वयं के एजेंट को देखा, तो रेड ने $+0.415$ के अंतिम लाभ के साथ प्रभुत्व जमाया। पूर्ण सूचना के तहत, सिस्टम समानता के करीब अभिसरित हुआ।

4. मूल्यांकन सीड काउंट और मोड-रिग्रेशन:
   शुद्ध-प्रतिद्वंद्वी खोज (जहाँ रेड के पास कोई उत्पादकता लक्ष्य नहीं है, केवल $1 - S_{Blue}$ है) में, मूल्यांकन सीड काउंट ($K$) मोड-रिग्रेशन (mode-regression) को नियंत्रित करता है। $K=2$ पर, खोज रिग्रेट हुई; रेड की फिटनेस समय के साथ गिर गई, और इसने उत्पादक नियमों को फिर से प्राप्त कर लिया, जबकि एक सीड उन्हें प्रतिबंधित कर रहा था। $K=5$ पर, खोज स्थिर हो गई, जिसने सभी 30 पीढ़ियों के लिए एक मजबूत प्रतिकूल विशेषज्ञ को बनाए रखा। यह LLM-निर्देशित प्रतिकूल विकास में अस्थिरता के प्राथमिक चालक के रूप में फिटनेस-अनुमान शोर (fitness-estimate noise) की पहचान करता है।

महत्व और दावे
यह शोध यह दावा नहीं करता है कि प्रतिकूल रूप से विकसित सहकारी संविधान स्वाभाविक रूप से सहकारिता से विकसित संविधानों की तुलना में अधिक मजबूत हैं; ऐसा दावा करने के लिए ट्रांसफर प्रयोगों की आवश्यकता होगी जो इस अध्ययन में नहीं किए गए हैं। इसके बजाय, इस शोध का महत्व है:

• पद्धतिगत निदान (Methodological Diagnosis): संवैधानिक शस्त्र दौड़ बनाने और निदान करने के लिए एक ढांचा प्रदान करना, यह पहचानना कि प्रतिकूल सह-विकास कब सफल होता है (कपल्ड फिटनेस) और कब यह चुपचाप विफल हो जाता है (स्वतंत्र स्कोरिंग, कम मूल्यांकन बजट)।
• रेड-टीम आर्टिफैक्ट्स: विकसित रेड संविधान व्याख्या योग्य, प्राकृतिक-भाषा रेड-टीम परीक्षण मामलों के रूप में कार्य करते हैं। न्यूरल पॉलिसी के विपरीत, ये निरीक्षण योग्य नियम सेट हैं जिनका उपयोग विशिष्ट प्रतिकूल रणनीतियों (जैसे सूचना विषमता का लाभ उठाना) के विरुद्ध भविष्य के सहकारी डिजाइनों का परीक्षण करने के लिए किया जा सकता है।
• मैकेनिज्म डिज़ाइन अंतर्दृष्टि: यह प्रदर्शित करना कि खेल का पे-ऑफ स्ट्रक्चर (जैसे साझा पूल बनाम स्वतंत्र स्कोरिंग) प्रतिकूल दबाव निर्धारित करता है, और कि सरल मैकेनिज्म परिवर्तन (जैसे समन्वय आवश्यकताएं) प्रभावी रूप से प्रतिकूल रणनीतियों का मुकाबला कर सकते हैं।

लेखक निष्कर्ष निकालते हैं कि प्रतिकूल संवैधानिक सह-विकास व्यवहार्य है लेकिन मोड-रिग्रेशन को रोकने के लिए कपल्ड फिटनेस फंक्शन और पर्याप्त मूल्यांकन बजट ($K \geq 5$) पर कड़ाई से निर्भर है।