Information and Contract Design for Repeated Interactions between Agents with Misaligned Incentives

तकनीकी सारांश: एजेंटों के बीच बार-बार होने वाली अंतःक्रियाओं के लिए सूचना और अनुबंध डिजाइन, जिनके प्रोत्साहन मिसअलाइन्ड (Misaligned) हैं

समस्या विवरण

यह शोध पत्र दो एजेंटों के बीच बार-बार होने वाली अंतःक्रियाओं की गतिशीलता की जांच करता है जिनके प्रोत्साहन मिसअलाइन्ड (Misaligned) हैं और जिनमें सूचना विषमता (Information Asymmetry) है: एक प्रेषक (Sender - S) जिसके पास पर्यावरण के बारे में निजी, महत्वपूर्ण जानकारी है लेकिन वह कार्य करने में असमर्थ है, और एक प्राप्तकर्ता (Receiver - R) जिसे क्रमिक निर्णय लेने होते हैं लेकिन उसके पास पूर्ण पर्यावरणीय अवलोकन (Observability) नहीं है।

मुख्य चुनौती सूचना साझा करने का रणनीतिक आयाम है। जबकि प्रेषक संकेतों के माध्यम से प्राप्तकर्ता के कार्यों को प्रभावित कर सकता है, उनके पुरस्कार फलन (Reward Functions) आवश्यक रूप से संरेखित नहीं होते हैं। प्रेषक अपने संचयी पुरस्कार को अधिकतम करने का लक्ष्य रखता है, जो प्राप्तकर्ता के उपयोगिता (Utility) की कीमत पर भी हो सकता है, क्योंकि यह प्राप्तकर्ता के कार्यों पर निर्भर करता है। यह शोध पत्र इस बात की जांच करता है कि प्रेषक इन परिस्थितियों में इष्टतम संचार रणनीतियों को कैसे सीखता है और रैखिक अनुबंधों (Linear Contracts) (जहाँ प्रेषक सूचना के लिए प्राप्तकर्ता के पुरस्कार का एक हिस्सा शुल्क के रूप में लेता है) का परिचय देने से ये गतिशीलता कैसे बदल जाती है।

यह अध्ययन चार विशिष्ट अनुसंधान प्रश्नों (RQs) को संबोधित करता है:

1. क्या प्रेषक विभिन्न स्तरों के प्रोत्साहन मिसअलाइनमेंट के तहत इष्टतम सिग्नलिंग नीतियां सीख सकता है, और क्या प्राप्तकर्ता इन संकेतों का लाभ उठाना सीख सकता है?
2. प्राप्तकर्ता के निजी अवलोकनों की गुणवत्ता सीखे गए तौर-तरीकों और परिणामों को कैसे प्रभावित करती है?
3. क्या प्रेषक सूचना की कीमत तय करने के लिए अनुबंधों का प्रभावी ढंग से उपयोग करना सीख सकता है?
4. अनुबंधों का उपयोग करने से प्राप्तकर्ता के संचित पुरस्कार पर क्या प्रभाव पड़ता है?

कार्यप्रणाली (Methodology)

सैद्धांतिक मॉडल

लेखक इस अंतःक्रिया को एक मार्कोव गेम (Markov Game) के रूप में औपचारिक रूप देते हैं जिसमें दो परस्पर संबंधित निर्णय समस्याएँ शामिल हैं:

• प्राप्तकर्ता (The Receiver): इसे एक पार्टियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (POMDP) के रूप में मॉडल किया गया है जहाँ स्टेट स्पेस को एक ऑब्जर्वेशन फंक्शन $O$ के माध्यम से प्रोजेक्ट किया जाता है। प्राप्तकर्ता का प्रभावी अवलोकन स्थान प्रेषक से प्राप्त स्थानीय पर्यावरणीय अवलोकनों और संकेतों ($\Sigma$) को शामिल करता है। प्राप्तकर्ता अपेक्षित डिस्काउंटेड रिवॉर्ड को अधिकतम करने के लिए एक नीति $\pi_R$ खोजने का प्रयास करता है।
• प्रेषक (The Sender): प्रेषक के पास पर्यावरण का पूर्ण अवलोकन होता है लेकिन कोई प्रत्यक्ष एजेंसी नहीं होती। इसके "कार्य" संकेत (Signals) हैं। प्रेषक एक सिग्नलिंग नीति के लिए प्रतिबद्ध होता है जो एक प्रायिकता $p \in [0, 1]$ द्वारा परिभाषित है।
  • प्रायिकता $p$ के साथ, प्रेषक प्राप्तकर्ता के लिए इष्टतम कार्य ($\pi'_R$) की सिफारिश करता है।
  • प्रायिकता $1-p$ के साथ, प्रेषक अपने स्वयं के लिए इष्टतम कार्य ($\pi'_S$) की सिफारिश करता है।
  • प्रेषक एक एपिसोड की शुरुआत में $p$ का चयन करता है ताकि प्राप्तकर्ता के आज्ञाकारिता प्रतिबंध (Obedience Constraint) के अधीन अपना अपेक्षित रिटर्न अधिकतम किया जा सके (जहाँ संकेत का पालन करने की अपेक्षित उपयोगिता प्राप्तकर्ता की स्वतंत्र उपयोगिता से अधिक होनी चाहिए)।

रैखिक अनुबंध (Linear Contracts): मॉडल को एक "ले लो या छोड़ दो" (Take it or leave it) रैखिक अनुबंध को शामिल करने के लिए विस्तारित किया गया है। प्रेषक एक टुपल $\langle p, c \rangle$ प्रस्तावित करता है, जहाँ $c \in [0, 1]$ प्राप्तकर्ता के पुरस्कार का वह अंश है जो प्रेषक को हस्तांतरित किया जाता है। यदि स्वीकार कर लिया जाता है, तो पुरस्कार संरचनाएं इस प्रकार संशोधित होती हैं: $Re'_S = Re_S + cRe_R$ और $Re'_R = (1-c)Re_R$।

प्रयोगात्मक सेटअप

लेखक मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) और मल्टी-आर्म्ड बैंडिट्स (MAB) का उपयोग करके दो अलग-अलग वातावरणों में मॉडल का मूल्यांकन करते हैं:

1. अनुशंसा पत्र परिदृश्य (Recommendation Letter Scenario): सीखने के लिए अनुकूलित एक क्लासिक बेयसियन पर्सुएशन सेटअप।

   • संदर्भ: एक प्रोफेसर (प्रेषक) जानता है कि छात्र की गुणवत्ता (मजबूत/कमजोर) क्या है; एक रिक्रूटर (प्राप्तकर्ता) यह तय करता है कि उसे नियुक्त करना है या नहीं।
   • सीखने की प्रक्रिया: प्रेषक सिग्नलिंग नीतियों ($\langle p_1, p_2 \rangle$) का चयन करने के लिए मल्टी-आर्म्ड बैंडिट का उपयोग करता है। प्राप्तकर्ता यह तय करने के लिए कि संकेत के आधार पर नियुक्त करना है या नहीं, एक कॉन्टेक्स्टुअल बैंडिट का उपयोग करता है।
   • विस्तार: अनुबंधों को प्रेषक के एक्शन स्पेस के तीसरे आयाम के रूप में पेश किया गया है।

2. ग्रिडवर्ल्ड वातावरण (Gridworld Environment): एक 10x10 ग्रिड जहाँ प्राप्तकर्ता (एक रोबोट) सेब और हीरे एकत्र करता है।

   • विषमता (Asymmetry): प्रेषक पूरे ग्रिड को देखता है; प्राप्तकर्ता की दृश्यता एक पैरामीटर $v$ (मूर नेबरहुड रेडियस) द्वारा नियंत्रित होती है।
   • मिसअलाइनमेंट: प्रेषक के रिवॉर्ड वेक्टर्स के बीच के कोण $\theta$ द्वारा नियंत्रित किया जाता है। प्राप्तकर्ता केवल सेब ($\langle 1, 0 \rangle$) को महत्व देता है, जबकि प्रेषक की प्राथमिकता हीरे की ओर बढ़ती है जैसे-जैसे $\theta$ बढ़ता है (180° तक)।
   • सीखने की प्रक्रिया:
     • प्रेषक: $\langle p, c \rangle$ रणनीतियों का चयन करने के लिए डिस्काउंटेड $\epsilon$-greedy बैंडिट का उपयोग करता है।
     • प्राप्तकर्ता: अनुबंध स्वीकार करने का निर्णय लेने के लिए टैबुलर Q-लर्निंग का उपयोग करता है और प्रेषक के कार्य की सिफारिश का पालन करने का निर्णय लेने के लिए PPO (प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन) का उपयोग करता है।

मुख्य परिणाम

1. इष्टतम सिग्नलिंग सीखना (RQ1 और RQ2)

• अभिसरण (Convergence): दोनों वातावरणों में, प्रेषक सफलतापूर्वक ऐसी सिग्नलिंग नीतियां सीखता है जो उसके संचयी पुरस्कार को अधिकतम करती हैं, और प्राप्तकर्ता इन संकेतों के प्रति सर्वोत्तम प्रतिक्रिया देना सीखता है।
• अवलोकन की गुणवत्ता का प्रभाव: प्रेषक की रणनीति प्राप्तकर्ता के अवलोकन की गुणवत्ता ($v$) के प्रति अत्यधिक संवेदनशील है।
  • कम दृश्यता: जब प्राप्तकर्ता का अवलोकन खराब होता है, तो प्रेषक कम $p$ वाले रणनीतियों (अपने हितों को प्राथमिकता देने वाले) को अपनाने की प्रवृत्ति रखता है, क्योंकि प्राप्तकर्ता संकेत पर बहुत अधिक निर्भर होता है।
  • उच्च दृश्यता: जब प्राप्तकर्ता का अवलोकन बेहतर होता है, तो प्राप्तकर्ता की आज्ञाकारिता बनाए रखने के लिए प्रेषक को $p$ (प्राप्तकर्ता के हितों के साथ संरेखित) बढ़ाने के लिए मजबूर होना पड़ता है, क्योंकि प्राप्तकर्ता अपने स्वयं के डेटा पर भरोसा कर सकता है।
• मिसअलाइनमेंट: जैसे-जैसे रिवॉर्ड मिसअलाइनमेंट ($\theta$) बढ़ता है, प्रेषक का प्रभाव प्राप्तकर्ता के व्यवहार को प्रेषक के पसंदीदा परिणामों (जैसे, हीरे एकत्र करना) की ओर स्थानांतरित कर देता है, बशर्ते प्राप्तकर्ता की दृश्यता कम हो।

2. अनुबंधों का प्रभाव (RQ3 और RQ4)

• प्रेषक का लाभ: जब अनुबंधों के माध्यम से सूचना की कीमत तय करने की अनुमति दी जाती है, तो प्रेषक महत्वपूर्ण अधिशेष (Surplus) निकालने के लिए सीखता है, जिससे गैर-अनुबंध सिग्नलिंग सेटिंग की तुलना में उसका संचयी पुरस्कार बढ़ जाता है।
• प्राप्तकर्ता की लागत: अनुबंधों का परिचय आमतौर पर प्राप्तकर्ता के संचित पुरस्कार को कम करता है। प्रेषक प्रभावी रूप से अपनी सूचनात्मक बढ़त का मुद्रीकरण (Monetize) करता है।
• रणनीतिक मूल्य निर्धारण:
  • संरेखित प्रोत्साहन ($\theta < 90^\circ$): प्रेषक उपयोगी जानकारी ($p \approx 1$) प्रदान करता है लेकिन उच्च कीमत ($c \ge 0.8$) वसूलता है, प्राप्तकर्ता के आधे से अधिक अधिशेष को निकाल लेता है।
  • मिसअलाइड प्रोत्साहन ($\theta > 90^\circ$): प्रेषक स्व-सेवा संकेतों ($p = 0$) की ओर स्थानांतरित हो जाता है। परिणामस्वरूप, प्राप्तकर्ता यह सीख जाता है कि सूचना का मूल्य कम है, और अनुबंध की कीमत गिरकर $c = 0$ हो जाती है।
• अवलोकन के साथ अंतःक्रिया: उच्च-दृश्यता वाले सेटिंग्स में, प्राप्तकर्ता प्रेषक पर कम निर्भर होता है, जो प्रेषक की अधिशेष निकालने की क्षमता को सीमित करता है जब तक कि प्रोत्साहन अच्छी तरह से संरेखित न हों।

महत्व और योगदान

यह शोध पत्र दावा करता है कि यह तीन अलग-अलग क्षेत्रों को जोड़ता है: बेयसियन पर्सुएशन (Bayesian Persuasion), एल्गोरिद्मिक कॉन्ट्रैक्ट थ्योरी (Algorithmic Contract Theory), और मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL)।

1. सीखने के साथ डायनेमिक बेयसियन पर्सुएशन: स्थिर बेयसियन पर्सुएशन साहित्य के विपरीत, यह कार्य एक अनुक्रमिक निर्णय लेने वाली प्रक्रिया को मॉडल करता है जहाँ दोनों एजेंट सीखते हैं। यह प्रदर्शित करता है कि इष्टतम सिग्नलिंग स्थिर नहीं है बल्कि दोनों एजेंटों की सीखने और अवलोकन क्षमताओं के आधार पर विकसित होती है।
2. अनुबंधों का एकीकरण: यह अध्ययन पर्सुएशन फ्रेमवर्क में रैखिक अनुबंधों को पेश करता है, यह दिखाते हुए कि वित्तीय प्रोत्साहन का उपयोग एजेंटों को संरेखित करने या इसके विपरीत, सूचना-संपन्न पक्ष द्वारा अधिशेष निकालने के लिए कैसे किया जा सकता है। यह सूचना बाजार मॉडलों के विपरीत है जहाँ विक्रेता की उपयोगिता विशुद्ध रूप से राजस्व-संचालित होती है; यहाँ प्रेषक की उपयोगिता परिचालन परिणाम (प्राप्तकर्ता के कार्य) से जुड़ी रहती है।
3. निष्पक्षता और प्रोत्साहन डिजाइन: परिणाम दक्षता और निष्पक्षता के बीच तनाव को उजागर करते हैं। जबकि अनुबंध प्रेषक के पुरस्कारों में सुधार करने में सक्षम बनाते हैं, वे अक्सर "निष्पक्षता" की कीमत पर आते हैं, क्योंकि प्रेषक प्राप्तकर्ता के अधिशेष का एक बड़ा हिस्सा निकाल लेता है। यह मल्टी-एजेंट सिस्टम के डिजाइन के लिए महत्वपूर्ण प्रश्न उठाता है, विशेष रूप से ऑनलाइन मार्केटप्लेस और मानव-AI सहयोग जैसे संदर्भों में, जहाँ सूचना विषमता प्रचलित है।

लेखक निष्कर्ष निकालते हैं कि हालांकि संरचित सूचना और भुगतान संघर्षपूर्ण हितों के बावजूद समन्वय को सक्षम कर सकते हैं, लेकिन परिणामी गतिशीलता अक्सर सूचना-संपन्न एजेंट के पक्ष में होती है, जिसके लिए संतुलित परिणामों को बढ़ावा देने वाले तंत्रों में गहन शोध की आवश्यकता है।