🤖 AI

A Contextual-Bandit Oversight Game with Two-Sided Informational Asymmetry

यह शोध पत्र दो-तरफा सूचनात्मक विषमता (informational asymmetry) वाले एक कॉन्टेक्स्टुअल-बैंडिट ओवरसाइट गेम मॉडल को प्रस्तुत करता है ताकि इष्टतम टीम प्रदर्शन और अदूरदर्शी मानव व्यवहार के बीच के "परिहार योग्य हानि" (avoidable harm) के अंतर को स्पष्ट किया जा सके, और यह विश्लेषण किया जा सके कि इस अक्षमता को बार-बार होने वाली अंतःक्रिया और संकेतन (signaling) के माध्यम से गतिशील रूप से कैसे हल किया जा सकता है।

मूल लेखक: Yunjin Tong

प्रकाशित 2026-07-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yunjin Tong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक इंसान (बॉस) और एक स्मार्ट रोबोट असिस्टेंट के बीच "अनुमान लगाओ मुझे क्या पता है" (Guess What I Know) का एक हाई-स्टेक्स खेल चल रहा है। यह शोध पत्र एक विशिष्ट समस्या का अध्ययन करता है: क्या होता है जब उन दोनों में से दोनों ही एक-दूसरे से कुछ महत्वपूर्ण बात छिपा रहे होते हैं?

आमतौर पर, हम AI की समस्याओं को इस रूप में देखते हैं कि रोबोट को यह नहीं पता कि इंसान क्या चाहता है (जैसे, "बॉस को गति चाहिए या सुरक्षा?")। लेकिन यह शोध पत्र इस दृष्टिकोण को पूरी तरह बदल देता है। यहाँ, इंसान अपनी पसंद (जैसे, "मुझे बुरा लगता है जब चीजें टूट जाती हैं") को जानता है, लेकिन रोबोट कुछ ऐसा जानता है जिसे इंसान देख नहीं सकता (जैसे, "जिस शेल्फ को मैं पकड़ने जा रहा हूँ, वह वास्तव में टूटा हुआ है")।

यह शोध पत्र पूछता है: रोबोट को मदद कब मांगनी चाहिए, और इंसान को रोबोट को रोकने के लिए कब हस्तक्षेप करना चाहिए?

सेटअप: वेयरहाउस रोबोट और फ्लोर मैनेजर

इसे ठोस बनाने के लिए, लेखक एक वेयरहाउस (गोदाम) का उदाहरण देते हैं:

इंसान (मैनेजर): वह फ्लोर पर खड़ी है। वह जानती है कि अगर शेल्फ गिर गया (सुरक्षा) तो उसे नौकरी से निकाल दिया जाएगा, लेकिन अगर सामान तेजी से चलता है (गति) तो उसे बोनस मिलेगा। वह रोबोट के सेंसर्स के तकनीकी विवरणों को नहीं जानती।
रोबोट (AI): इसके पास हाई-टेक कैमरे और फोर्स सेंसर्स हैं। यह "महसूस" कर सकता है कि एक शेल्फ का ब्रैकेट कमजोर है और यदि यह तेजी से कोई वस्तु उठाता है, तो शेल्फ गिर जाएगा। इंसान इसे देख नहीं सकता।
परस्पर क्रिया (Interaction): रोबोट एक कार्य प्रस्तावित करता है ("मैं इस वस्तु को तेजी से उठाऊंगा")। इंसान के पास तीन विकल्प हैं:
1. भरोसा (Trust): रोबोट को करने दें।
2. पूछना (Ask): "रुको, क्या तुम सुनिश्चित हो?" (इसमें समय/पैसा खर्च होता है)।
3. निगरानी (Oversee): "रुको! मैं कार्यभार संभाल रही हूँ।" (इसमें भी समय/पैसा खर्च होता है)।

मुख्य समस्या: "टालने योग्य नुकसान" का स्लैब (The "Slab" of Avoidable Harm)

यह शोध पत्र बताता है कि इंसान और रोबोट आमतौर पर कैसे परस्पर क्रिया करते हैं, उसमें एक खतरनाक अंतर है। वे इस अंतर को "टालने योग्य नुकसान का स्लैब" (Slab of Avoidable Harm) कहते हैं।

यहाँ रोज़मर्रा की भाषा में विफलता कैसे होती है:

रोबोट का रहस्य: रोबोट देखता है कि शेल्फ टूटा हुआ है (हानिकारक)। वह जानता है कि यदि वह वस्तु उठाता है, तो शेल्फ गिर जाएगा।
इंसान का अनुमान: इंसान स्थिति को देखती है और सोचती है, "सांख्यिकीय रूप से, शेल्फ आमतौर पर टिके रहते हैं। रोबोट शायद ठीक होगा।" वह अपने अंतर्ज्ञान (अपने "प्रायर" या पूर्व धारणा) पर भरोसा करती है।
गलतफहमी: रोबोट मदद मांग सकता था, लेकिन वह जानता है कि इंसान संभवतः "नहीं, आगे बढ़ो" कहेगी क्योंकि वह अपने अंतर्ज्ञान पर भरोसा करती है। इसलिए, समय बचाने के लिए रोबोट चुप रहता है।
तबाही: रोबोट वस्तु उठाता है, शेल्फ गिर जाता है, और वेयरहाउस में अफरा-तफरी मच जाती है।

त्रासदी: रोबोट जानता था कि यह खतरनाक था, और इंसान उसे रोक देती यदि उसे सच्चाई पता होती। लेकिन क्योंकि रोबोट ने पूछा नहीं (यह सोचकर कि इससे मदद नहीं मिलेगी) और इंसान ने हस्तक्षेप नहीं किया (अपने अनुमान पर भरोसा करके), तबाही हो गई।

दो समाधानों की तुलना

यह शोध पत्र इस खेल को खेलने के दो तरीकों की तुलना करता है:

1. "मायोपिक" (अल्पदर्शी) तरीका:
यही वह है जो अभी वास्तविक दुनिया में हो रहा है। इंसान रोबोट के सवालों को केवल शोर मानती है। यदि रोबोट पूछता है, तो वह सोचती है, "यह शायद ठीक ही होगा, लेकिन मैं अपने आंकड़ों की जांच कर लेती हूँ।" यदि उसके आंकड़े कहते हैं, "यह शायद ठीक है," तो वह रोबोट को अनदेखा कर देती है।

परिणाम: नुकसान का "स्लैब" मौजूद रहता है। रोबोट चुप रहता है, इंसान आश्वस्त रहता है, और चीजें टूट जाती हैं।

2. "टीम ऑप्टिमल" (पूर्ण समन्वय) तरीका:
कल्पना कीजिए कि इंसान और रोबोट पहले से ही एक गुप्त कोड पर सहमत हुए हैं: "यदि रोबोट पूछता है, तो इसका मतलब है 'मैं एक आपदा देख रहा हूँ।' यदि आप पूछने की आवाज़ सुनें, तो आपको तुरंत रुकना चाहिए।"

परिणाम: रोबोट जब भी खतरा देखता है, वह मदद मांगता है। इंसान तुरंत रुक जाती है।
चुनौती: यह तभी काम करता है जब इंसान रोबोट की सच्चाई पर विश्वास करे। यदि रोबोट केवल परेशान करने के लिए पूछता है, तो इंसान सुनना बंद कर देगी।

"गैर-विश्वसनीय संचार की कीमत" (The "Price of Non-Credible Communication")

शोध पत्र का तर्क है कि "नुकसान का स्लैब" वह कीमत है जो हम एक विश्वसनीय संकेत (credible signal) न होने के कारण चुकाते हैं।
यदि रोबोट का "पूछना" (Ask) एक विश्वसनीय संकेत है (अर्थात "मैं कुछ बुरा होते देख रहा हूँ"), तो इंसान अपने अनुमान को छोड़कर उसकी बात सुनेगी। यदि "पूछने" का बटन विश्वसनीय नहीं है, तो इंसान अपने अनुमान पर टिकी रहेगी, और रोबोट चुप रहेगा।

इसे समय के साथ कैसे ठीक करें

शोध पत्र यह भी देखता है कि क्या होता है यदि वे इस खेल को कई बार खेलते हैं (जैसे महीनों तक वेयरहाउस में काम करने वाला रोबोट)। भले ही इंसान शुरू में अल्पदर्शी हो, दो चीजें इसे ठीक कर सकती हैं:

पैसिव लर्निंग (The "Burned Finger" Effect - जले हुए अंगुलियों का प्रभाव):
यदि रोबोट बार-बार वस्तु उठाने की कोशिश करता है और शेल्फ गिरते रहते हैं, तो इंसान अंततः सीख जाएगी: "ओह, जब यह रोबोट तेजी से उठाने की कोशिश करता है, तो चीजें टूट जाती हैं।" वह अपनी धारणा को अपडेट करती है। अंततः, वह रोबोट पर अंधाधुंध भरोसा करना छोड़ देती है और उसकी बात सुनने लगती है। इसमें समय लगता है और कुछ दुर्घटनाएं भी होती हैं, लेकिन वह सीख जाती है।
एक्टिव सिग्नलिंग (The "Crying Wolf" Strategy - भेड़िया आया की रणनीति):
रोबोट मामले को ज़ोर देकर सामने ला सकता है। भले ही इंसान आमतौर पर उसे अनदेखा करती हो, रोबोट हर बार खतरा देखते ही पूछना शुरू कर सकता है।

लागत: रोबोट को पूछने के लिए एक "लागत" (समय/पैसा) चुकानी पड़ती है।
लाभ: यदि इंसान देखती है कि रोबोट लगातार पूछ रहा है, तो उसे एहसास होगा, "रुको, यह रोबोट केवल तभी पूछ रहा है जब कुछ बुरा हो रहा है।" वह तुरंत अपनी धारणा बदल लेती है। रोबोट बाद में एक बड़ी आपदा को बचाने के लिए अभी एक छोटी लागत चुकाता है।

सारांश

यह शोध पत्र सिद्ध करता है कि जब एक AI कुछ ऐसा जानता है जो खतरनाक है जिसे इंसान देख नहीं सकता, और इंसान AI की चेतावनियों पर भरोसा नहीं करता, तो नुकसान अपरिहार्य है।

समाधान केवल "AI को अधिक स्मार्ट बनाना" नहीं है। यह सिस्टम को इस तरह डिजाइन करना है कि मदद मांगना एक विश्वसनीय संकेत (credible signal) बन जाए। यदि इंसान जानती है कि "पूछना = खतरा", तो वह कार्य को रोक देगी। यदि वह नहीं जानती, तो AI चुप रहेगा, और दुर्घटना हो जाएगी। यह शोध पत्र गणितीय रूप से दिखाता है कि जब यह संचार चैनल टूट जाता है, तो कितना "नुकसान" होता है और अनुभव या बेहतर सिग्नलिंग के माध्यम से इसे ठीक करने में कितना समय लगता है।

तकनीकी सारांश: दो-तरफा सूचनात्मक विषमता के साथ एक कॉन्टेक्स्टुअल-बैंडिट ओवरसाइट गेम

1. समस्या विवरण (Problem Statement)

यह शोध पत्र स्वायत्त प्रणालियों (रोबोटिक या सॉफ्टवेयर) में मानवीय हस्तक्षेप के अंशांकन (calibration) की चुनौती को संबोधित करता है जब दो-तरफा सूचनात्मक विषमता (two-sided informational asymmetry) मौजूद होती है। मानक मॉडलों के विपरीत, जहाँ केवल एक पक्ष के पास निजी जानकारी होती है, यह सेटिंग निम्नलिखित को प्रस्तुत करती है:

मानवीय निजी जानकारी ( $\theta$ ): मानव पर्यवेक्षक अपने रिवॉर्ड फंक्शन (वरीयताएँ, जोखिम सहिष्णुता और परिणामों का मूल्यांकन) को निजी रूप से जानता है।
AI निजी जानकारी ( $\omega$ ): AI एजेंट अपने प्रस्तावित कार्य की "गुणवत्ता" या विफलता के स्वरूपों (failure modes) को निजी रूप से जानता है, जो कि प्रेक्षणों (जैसे सेंसर डेटा, कोड निरीक्षण) से प्राप्त होता है जो मानव के लिए अप्राप्य हैं।

मूल समस्या एक इष्टतम रनटाइम इंटरेक्शन प्रोटोकॉल (एक "प्ले/आस्क/ट्रस्ट/ओवरसी" इंटरफेस) निर्धारित करने की है, जहाँ AI यह चुनता है कि उसे विलंब करना है (पूछना/ask) या नहीं, और मानव यह चुनता है कि उसे हस्तक्षेप करना है (पर्यवेक्षण/oversee) या नहीं। लेखक तर्क देते हैं कि मौजूदा ढांचे इस विशिष्ट द्वैतता को पकड़ने में विफल रहते हैं: कोऑपरेटिव इनवर्स रीइन्फोर्समेंट लर्निंग (CIRL) एक-तरफा वरीयता अनिश्चितता को मॉडल करता है लेकिन इसमें रनटाइम डिफ़रल इंटरफेस और AI-निजी प्रस्ताव गुणवत्ता का अभाव है; ओवरसाइट गेम इंटरफेस को मॉडल करता है लेकिन पूर्ण सूचना (full information) मान लेता है।

2. कार्यप्रणाली (Methodology)

पूर्ण पार्शियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (POMDP) सेटिंग्स में काल्पनिक रहने वाले सटीक अभिलक्षणों को प्राप्त करने के लिए, लेखक एक कॉन्टेक्स्टुअल-बैंडिट (Contextual-Bandit) ढांचे को अपनाते हैं। यह भौतिक अवस्था संक्रमणों ( $S \to S'$ ) को हटा देता है, जिससे सूचना के मूल्य और सुधार को अवस्था गतिकी (state dynamics) से अलग किया जा सके, जबकि सामान्य विश्वास (common belief) को राउंड्स के माध्यम से एक गतिशील रूप से नियंत्रित अवस्था के रूप में बनाए रखा जाता है।

मॉडल (CB-Oversight-CIRL Game):

संरचना: i.i.d. कॉन्टेक्स्ट्स $s_t$ के साथ एक परिमित-क्षितिज (finite-horizon) या डिस्काउंटेड अनंत-क्षितिज वाला गेम।
टाइप्स (Types): $\theta \in \Theta$ (मानव रिवॉर्ड टाइप) और $\omega \in \Omega$ (AI ऑब्जर्वेशन मॉडल टाइप)।
बाइलीनियर पेऑफ (Bilinear Payoff): टीम का पेऑफ $f(\theta, \omega) = \langle O_\omega, R_\theta \rangle$ द्वारा परिभाषित किया गया है, जहाँ $O_\omega$ AI के निजी प्रकार के आधार पर परिणामों का वितरण है, और $R_\theta$ मानव का रिवॉर्ड फंक्शन है। यह गुणनखंडन (factorization) इस बात को अलग करता है कि क्या होता है इसकी AI की जानकारी और क्या महत्वपूर्ण है इसकी मानव की जानकारी को।
इंटरफेस:
1. AI एक एक्शन $a_\sigma$ प्रस्तावित करता है।
2. AI एक मेटा-एक्शन चुनता है: प्ले (play) या आस्क (ask)।
3. यदि आस्क (ask), तो मानव एक मेटा-एक्शन चुनता है: ट्रस्ट (trust) या ओवरसी (oversee)।
4. ओवरसी (oversee) मानव के विश्वास के आधार पर एक सुधार (जैसे शटडाउन) को ट्रिगर करता है।
लागत (Costs): $c_{ask}$ (विलंब की लागत) और $c_{ov}$ (ओवरराइड की लागत)।

3. मुख्य योगदान (Key Contributions)

शोध पत्र तीन प्राथमिक योगदान प्रदान करता है:

औपचारिक गेम परिभाषा: एक कॉन्टेक्स्टुअल-बैंडिट टीम गेम (परिभाषा 1) जो दो-तरफा विषम सूचना के साथ ओवरसाइट गेम इंटरफेस को एकीकृत करता है, जो CIRL और ऑफ-स्विच गेम वेरिएंट्स को इसके सीमा मामलों (limit cases) के रूप में प्राप्त करता है।
वन-शॉट अभिलक्षण (One-Shot Characterizations): एकल दौर ( $T=1$ $T = 1$ ) के लिए दो अलग-अलग समाधान:
- टीम ऑप्टिमम (Team Optimum): एक वैश्विक समन्वयक दोनों एजेंटों की नीतियों को संयुक्त रूप से अनुकूलित करता है। इष्टतम नीति $(B, C)$ के एक नियतात्मक जोड़े (deterministic pair) के रूप में है जहाँ $B \subseteq \Omega$ वे AI प्रकार हैं जो पूछते हैं, और $C \subseteq \Theta$ वे मानव प्रकार हैं जो पर्यवेक्षण करते हैं।
- मायोपिक रूल (Myopic Rule): एक व्यवहारिक रूप से स्वाभाविक नियम जहाँ मानव AI के "आस्क" को सूचनाहीन (non-informative/non-signaling) मानता है और अपने पूर्व विश्वास (prior belief) के आधार पर कार्य करता है।
डायनेमिक रेजोल्यूशन विश्लेषण: एक आंशिक मल्टी-राउंड विश्लेषण जो यह दर्शाता है कि कैसे पैसिव लर्निंग (मानव परिणामों से विश्वास अपडेट करता है) और एक्टिव सिग्नलिंग (AI "आस्क" को एक विश्वसनीय संकेत के रूप में उपयोग करता है) के माध्यम से समय के साथ मायोपिक और टीम-ऑप्टिमल नीतियों के बीच का अंतर कम होता जाता है।

4. मुख्य परिणाम (Key Results)

टालने योग्य नुकसान का "स्लैब" (The "Slab" of Avoidable Harm - One-Shot Analysis)
शोध पत्र प्रायर्स (priors) $(b, q)$ के स्थान में विफलता के एक महत्वपूर्ण क्षेत्र की पहचान करता है जिसे "स्लैब" (slab) कहा जाता है, जहाँ $b$ एक "हाई-स्टेक्स" प्रकार ( $\theta_1$ ) होने की संभावना है और $q$ हानिकारक क्रिया होने की संभावना है।

टीम ऑप्टिमम: पूछता है यदि $b > b^*$ , जहाँ $b^* = \frac{c_{ask}}{|f_{1H}| - c_{ov}}$ । महत्वपूर्ण रूप से, यह थ्रेशोल्ड $q$ से स्वतंत्र है। यदि AI पूछता है, तो मानव पोस्ट-आस्क पोस्टीरियर (यह जानते हुए कि $\omega = \omega_H$ ) पर अपडेट होता है और शटडाउन करता है।
मायोपिक रूल: पूछता है केवल यदि $b > b^*$ और $q > q^*$ , जहाँ $q^*$ पूर्व (prior) के तहत अपेक्षित पेऑफ से प्राप्त एक थ्रेशोल्ड है।
द गैप (The Gap): क्षेत्र $\{b > b^*, q \le q^*\}$ ही "स्लैब" है। यहाँ, AI जानता है कि क्रिया हानिकारक है और शटडाउन फायदेमंद होगा, लेकिन मायोपिक मानव, जो क्रिया के सुरक्षित होने की अपनी पूर्व धारणा ( $q$ कम है) पर भरोसा करता है, हस्तक्षेप करने से मना कर देता है। परिणामस्वरूप, AI पूछता नहीं है, और हानिकारक क्रिया निष्पादित हो जाती है।
आर्थिक व्याख्या: यह अंतर "गैर-विश्वसनीय ओवरसाइट संचार की कीमत" (price of non-credible oversight communication) है। यदि "आस्क" एक विश्वसनीय संकेत है, तो मानव का पूर्व $q$ , शटडाउन के निर्णय के लिए अप्रासंगिक हो जाता है; यदि नहीं, तो पूर्व $q$ हस्तक्षेप के लिए एक बाधा के रूप में कार्य करता है।

मल्टी-राउंड डायनेमिक्स (Multi-Round Dynamics)
शोध पत्र यह विश्लेषण करता है कि सिस्टम बार-बार होने वाले राउंड्स में इस "स्लैब" से कैसे बाहर निकलता है:

पैसिव लर्निंग (Passive Learning): भले ही बिना सिग्नलिंग के, यदि AI प्रस्ताव को 'प्ले' करता है, तो मानव परिणामों को देखता है। धारणा 2 (सूचनात्मक प्रस्तावों) के तहत, मानव का विश्वास $q_n$ लगभग निश्चित रूप से (almost surely) 1 की ओर अभिसरित होता है। विफलता शासन (failure regime) से बाहर निकलने का अपेक्षित समय वाल्ड-प्रकार की असमानताओं (Wald-type inequalities) द्वारा सीमित है जो आउटकम डिस्ट्रीब्यूशन के बीच KL डाइवर्जेंस ( $\eta$ ) से संबंधित है।
एक्टिव सिग्नलिंग (Active Signaling): यदि AI एक सेपरेटिंग पॉलिसी अपनाता है (पूछता है यदि $\omega = \omega_H$ ), तो "आस्क" देखने पर मानव का विश्वास तुरंत 1 हो जाता है। हालांकि, एक वन-पीरियड-लैग्ड मायोपिक रिस्पॉन्स (जहाँ मानव उसी दौर में 'आस्क' पर प्रतिक्रिया नहीं दे सकता) के तहत, यह सिग्नलिंग केवल तभी फायदेमंद है यदि $b > b^{**} = b^*/\gamma$ हो। AI भविष्य के सभी राउंड्स में प्रभावी ओवरसाइट सुनिश्चित करने के लिए वर्तमान दौर में $c_{ask}$ का भुगतान करता है।

5. महत्व और दायरा (Significance and Scope)

शोध पत्र का दावा है कि इसका प्राथमिक महत्व उस दो-तरफा सूचनात्मक विषमता को औपचारिक रूप देना है जो स्वायत्त प्रणालियों में अंतर्निहित है जहाँ एजेंट विफलता मोडों के निजी ज्ञान के स्वामी होते हैं।

सैद्धांतिक योगदान: यह एक ऐसा सेटिंग प्रदान करता है जहाँ सटीक, क्लोज्ड-फॉर्म अभिलक्षण प्राप्त किए जा सकते हैं जो अन्यथा जटिल POMDP विश्लेषण की आवश्यकता वाले होते।
व्यावहारिक अंतर्दृष्टि: यह प्रदर्शित करता है कि "गैर-विश्वसनीय" संचार चैनल (जहाँ AI का मदद के लिए अनुरोध खतरे के संकेत के रूप में विश्वसनीय नहीं माना जाता है) एक विशिष्ट टालने योग्य नुकसान क्षेत्र बनाते हैं। समाधान आवश्यक रूप से बेहतर AI या बेहतर मानव नहीं है, बल्कि एक ऐसा इंटरफेस डिजाइन करना है जो "आस्क" को एक विश्वसनीय संकेत बनाता है, जिससे मायोपिक विफलता क्षेत्र समाप्त हो जाता है।
सीमाएँ: लेखक स्पष्ट रूप से कहते हैं कि उनके परिणाम कॉन्टेक्स्टुअल-बैंडिट संरचना (कोई स्टेट ट्रांजिशन नहीं) और प्रोडक्ट-मेजर प्रायर्स पर निर्भर करते हैं। इष्टतम मल्टी-राउंड पॉलिसी, सहसंबद्ध विश्वासों (correlated beliefs) के प्रभाव, और पूर्ण POMDPs (मार्कोव डायनेमिक्स के साथ) में विस्तार अभी भी खुले प्रश्न हैं। मल्टी-राउंड डायनेमिक्स का विश्लेषण आंशिक है, जो वैश्विक इष्टतम के बजाय विशिष्ट तंत्रों (पैसिव बनाम एक्टिव) की तुलना करता है।