Agentic AI and Hallucinations

यहाँ एंगिन इयिडोगन और अली आई. ओज़केस के शोध पत्र "एजेंटिक एआई और हैलुसिनेशन" (Agentic AI and Hallucinations) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र उभरते हुए एजेंटिक एआई (Agentic AI) के बाजार में एक महत्वपूर्ण आर्थिक चुनौती को संबोधित करता है: एक प्रतिस्पर्धी वातावरण में उच्च-गुणवत्ता वाले, हैलुसिनेशन-मुक्त (hallucination-free) आउटपुट कैसे सुनिश्चित किए जाएं, जहाँ एआई एजेंट अपस्ट्रीम लार्ज लैंग्वेज मॉडल (LLM) प्रदाताओं और अंतिम उपयोगकर्ताओं के बीच मध्यस्थ के रूप में कार्य करते हैं।

• मुख्य संघर्ष: अपस्ट्रीम मॉडल्स में हैलुसिनेशन की आधारभूत दर ($h_0$) और लागत भिन्न होती है। डाउनस्ट्रीम एजेंट महंगी, गैर-अनुबंध योग्य (non-contractible) सत्यापन प्रयासों (जैसे, रिट्रीवल-ऑग्मेंटेशन, ह्यूमन-इन-द-लूप) के माध्यम से इन जोखिमों को कम कर सकते हैं।
• नैतिक संकट (The Moral Hazard): चूंकि सत्यापन प्रयास अदृश्य (unobservable) होता है, इसलिए एजेंट लागत बचाने के लिए प्रयास न करने (शिरकिंग/shirking) के प्रति प्रेरित होते हैं, विशेष रूपकर यदि उपयोगकर्ता यह अंतर नहीं कर पाते कि उत्तर "अच्छा" है या "भ्रमित करने वाला" (hallucinated), जब तक कि वह घटित न हो जाए।
• उपयोगकर्ता विषमता (User Heterogeneity): उपयोगकर्ता त्रुटियों के प्रति अपनी सहनशीलता में काफी भिन्न होते हैं। उच्च-जोखिम वाले उपयोगकर्ता (जैसे, कानून या चिकित्सा में) हैलुसिनेशन से भारी नुकसान झेलते हैं, जबकि कम-जोखिम वाले उपयोगकर्ता (जैसे, मनोरंजन) इसे एक मामूली परेशानी मानते हैं।
• अनुसंधान प्रश्न: क्या केवल प्रतिस्पर्धी बाजार और संबंधपरक अनुबंध (relational contracts) एजेंटों को उच्च-महत्वपूर्ण उपयोगकर्ताओं को संतुष्ट करने के लिए पर्याप्त सत्यापन प्रयास करने के लिए प्रेरित कर सकते हैं, और बाजार संरचना संतुलन मूल्य और गुणवत्ता को कैसे प्रभावित करती है?

2. कार्यप्रणाली (Methodology)

लेखक प्रतिस्पर्धी एजेंटों और विषम उपयोगकर्ताओं के बीच परस्पर क्रिया का विश्लेषण करने के लिए एक सुगम डिस्क्रीट-टाइम, इन्फिनिटली-रिपीटेड गेम (tractable discrete-time, infinitely-repeated game) मॉडल का निर्माण करते हैं।

मुख्य मॉडल घटक:

• एजेंट (Agents): दीर्घजीवी, प्रतिस्पर्धी फर्मों का एक समूह। वे चुनते हैं:
  1. एक अपस्ट्रीम मॉडल $m$ (जिसकी थोक लागत $k_m$ और आधारभूत हैलुसिनेशन दर $h_0(m)$ है)।
  2. एक खुदरा मूल्य $p$।
  3. एक सत्यापन प्रयास स्तर $e$ (अदृश्य, महंगा)।
• उपयोगकर्ता (Users): निजी प्रकार $\theta \in \{H, L\}$ (उच्च बनाम निम्न महत्ता) वाले उपयोगकर्ताओं का एक इकाई द्रव्यमान।
  • उपयोगिता (Utility): सही उत्तर के लिए $v(\theta)$; हैलुसिनेशन के लिए ह्रास (disutility) $\alpha(\theta)$।
  • धारणा (Assumption): $v(H) > v(L)$ और महत्वपूर्ण रूप से $\alpha(H) \gg \alpha(L)$।
  • जनसंख्या: $\mu$ हिस्सा उच्च-प्रकार (High-type) के उपयोगकर्ताओं का है।
• गतिशीलता (Dynamics):
  • हैलुसिनेशन तंत्र: हैलुसिनेशन की संभावना $h(m,e) = h_0(m) \exp(-\beta e)$ है, जहाँ $\beta$ सत्यापन प्रभावकारिता है।
  • समाप्ति (Termination): यदि हैलुसिनेशन होता है, तो उपयोगकर्ता इसे देखता है, संबंध समाप्त हो जाता है, और उपयोगकर्ता बाजार से बाहर हो जाता है।
  • नवीनीकरण (Renewal): जनसंख्या को स्थिर रखने के लिए बाहर निकले हुए उपयोगकर्ताओं को बदलने के लिए नए अनभिज्ञ उपयोगकर्ता बाजार में प्रवेश करते हैं।
• प्रोत्साहन तंत्र (Incentive Mechanism):
  • एजेंट दीर्घकालिक संबंधपरक अनुबंध (relational contracts) प्रदान करते हैं।
  • प्रवर्तन (Enforcement): भविष्य के लाभ (रेंट) खोने का डर एजेंटों को अनुशासित करता है ("भविष्य की छाया")। यदि कोई एजेंट प्रयास नहीं करता है और हैलुसिनेशन होता है, तो वे उस उपयोगकर्ता से भविष्य के लाभ की धारा खो देते हैं।
  • प्रयास की लागत: एक उत्तल (convex) लागत फलन $c(e)$ जिसमें $c(0)=0, c'>0, c''>0$ है।

संतुलन अवधारणा (Equilibrium Concept):

लेखक प्रति reputational equilibria का विश्लेषण करते हैं जहाँ एजेंट सकारात्मक प्रयास करते हैं क्योंकि भविष्य के संबंधपरक लाभों का वर्तमान मूल्य ($V_C$) शिरकिंग (शिरकिंग) की तत्काल लागत से अधिक होता है। मूल्य इनसेंटिव कम्पैटिबिलिटी (IC) बाधा द्वारा निर्धारित होता है, जो यह सुनिश्चित करता है कि एजेंट प्रयास करने और शिरकिंग करने के बीच तटस्थ है।

3. मुख्य योगदान

1. एजेंटिक एआई में संबंधपरक अनुबंध: यह शोध पत्र औपचारिक रूप से बताता है कि कैसे संबंधपरक प्रोत्साहन (प्रतिष्ठा) एआई सत्यापन की नैतिक संकट (moral hazard) समस्या को हल करते हैं, जो स्पष्ट, unverifiable अनुबंधों के विकल्प के रूप में कार्य करते हैं।
2. अंतर्जात बाजार अनुशासन (Endogenous Market Discipline): यह दर्शाता है कि बाजार संरचना ($\mu$) एक अनुशासनात्मक उपकरण के रूप में कार्य करती है। उच्च-महत्वपूर्ण उपयोगकर्ताओं की उपस्थिति पूरे बाजार को उच्च सत्यापन मानकों की ओर धकेलती है, यहाँ तक कि कम-महत्वपूर्ण उपयोगकर्ताओं के लिए भी।
3. दो-स्तरीय गुणवत्ता चयन: मॉडल अपस्ट्रीम चयन (बेहतर, अधिक महंगी LLM चुनना) और डाउनस्ट्रीम सत्यापन (प्रयास खर्च करना) के बीच व्यापार-बंद (trade-off) का स्पष्ट विश्लेषण करता है।
4. कल्याण निहितार्थ (Welfare Implications): यह दिखाता है कि भविष्य की अंतःक्रियाओं के बिना ($\delta=0$), बाजार शून्य प्रयास (स्पॉट मार्केट परिणाम) की ओर गिर जाता है, जो एआई विश्वसनीयता के लिए दीर्घकालिक संबंधों की आवश्यकता को रेखांकित करता है।

4. मुख्य परिणाम

A. स्पॉट मार्केट बेंचमार्क ($\delta = 0$)

• यदि एजेंट अल्पकालिक (myopic) हैं (कोई भविष्य का मूल्य नहीं), तो IC बाधा प्रयास $e^* = 0$ को मजबूर करती है।
• एजेंट केवल मॉडल की थोक लागत को आगे बढ़ाते हैं ($p = k_m$)।
• गुणवत्ता केवल मॉडल चयन द्वारा निर्धारित होती है, जो सभी उपयोगकर्ताओं की भारित औसत उपयोगिता को अधिकतम करता है। यह उच्च-दांव वाले उपयोगकर्ताओं के लिए उप-इष्टतम परिणाम देता है।

B. रिप्यूटेशनल इक्विलिब्रियम ($\delta > 0$)

• अस्तित्व: यदि डिस्काउंट फैक्टर $\delta$ पर्याप्त रूप से उच्च है (एजेंट पर्याप्त धैर्यवान हैं), तो एक अद्वितीय रिप्यूटेशनल इक्विलिब्रियम मौजूद है।
• प्रयास स्तर: संतुलन सत्यापन प्रयास $e^*$ उच्च-प्रकार के उपयोगकर्ताओं के हिस्से ($\mu$) के साथ कड़ाई से बढ़ता है।
  • अंतर्ज्ञान: जैसे-जैसे उच्च-महत्व वाले उपयोगकर्ताओं का अनुपात बढ़ता है, हैलुसिनेशन से भविष्य के लाभ खोने की क्षमता बढ़ जाती है (चूंकि ये उपयोगकर्ता त्रुटियों के प्रति अधिक संवेदनशील होते हैं)। यह IC बाधा को सख्त बनाता है, जिससे संबंध बनाए रखने के लिए उच्च प्रयास की आवश्यकता होती है।
• मूल्य निर्धारण: चूंकि प्रयास महंगा है, इसलिए संतुलन मूल्य $p$, $\mu$ के साथ बढ़ता है। उच्च-महत्वपूर्ण क्षेत्र (कानून, चिकित्सा) आवश्यक सत्यापन तीव्रता के कारण अंतर्जात रूप से अधिक महंगी एआई सेवाओं की ओर ले जाते हैं।
• बाध्यकारी बाधाएं (Binding Constraints):
  • यदि हैलुसिनेशन दर अधिक है, तो उच्च-प्रकार के लिए भागीदारी बाधा ($V_H \ge 0$) बाइंड होती है।
  • यदि हैलुसिनेशन दर कम है, तो निम्न-प्रकार के लिए बाधा ($V_L \ge 0$) बाइंड होती है।
  • संक्रमण बिंदु (transition point) संवेदनशीलता अनुपात $\kappa = \frac{\alpha(H)-\alpha(L)}{v(H)-v(L)}$ पर निर्भर करता है।

C. संख्यात्मक निष्कर्ष (Numerical Findings)

• धैर्य ($\delta$): उच्च धैर्य IC बाधा को शिथिल करता है, जिससे सभी बाजार संरचनाओं में उच्च प्रयास स्तर संभव होता है।
• तकनीक ($\beta$): अधिक प्रभावी सत्यापन तकनीक (उच्च $\beta$) प्रयास वक्र को ऊपर की ओर ले जाती है, जिससे एजेंट उच्च-प्रकार के कम बाजार हिस्से के साथ भी गुणवत्ता लक्ष्यों को प्राप्त कर सकते हैं।
• मॉडल स्विचिंग: मॉडल के लिए एक थ्रेशोल्ड (लगभग 0.26) है।
  • $\mu < 0.26$ के लिए: एजेंट सस्ते, जोखिम भरे अपस्ट्रीम मॉडल (मॉडल A) को चुनते हैं और उच्च सत्यापन प्रयास के साथ इसकी भरपाई करते हैं।
  • $\mu > 0.26$ के लिए: एजेंट महंगे, स्वच्छ अपस्ट्रीम मॉडल (मॉडल B) की ओर स्विच करते हैं क्योंकि जोखिम भरे मॉडल को सत्यापित करने की लागत थोक बचत की तुलना में बहुत अधिक हो जाती है।

5. महत्व और निहितार्थ

• क्षेत्र-विशिष्ट विनियमन: निष्कर्ष बताते हैं कि "एक ही आकार सबके लिए" (one-size-fits-all) वाले एआई नियम अक्षम हो सकते हैं। उच्च $\mu$ वाले क्षेत्र (कानून, चिकित्सा) बाजार बलों के कारण स्वाभाविक रूप से उच्च सत्यापन मानकों और कीमतों की ओर विकसित होते हैं, जबकि मनोरंजन क्षेत्र ऐसा नहीं कर पाते।
• एजेंटों की भूमिका: एआई एजेंट केवल निष्क्रिय पुनर्विक्रेता नहीं हैं; वे सक्रिय गुणवत्ता नियंत्रक हैं। उनकी लाभप्रदता अपनी प्रतिष्ठा बनाए रखने पर निर्भर करती है जो उनके सत्यापन व्यवहार को अनुशासित करती है।
• बाजार विफलता का जोखिम: यदि डिस्काउंट फैक्टर बहुत कम है (जैसे, उच्च टर्नओवर या अल्पकालिक अनुबंधों वाले बाजार में), तो बाजार उच्च-दांव वाले अनुप्रयोगों के लिए सुरक्षित एआई प्रदान करने में विफल रहेगा, चाहे कितने भी बेहतर मॉडल उपलब्ध क्यों न हों।
• नीतिगत अंतर्दृष्टि: महत्वपूर्ण डोमेन में सुरक्षा सुनिश्चित करने के लिए, नीतियों को न्यूनतम अनुबंध अवधि या पारदर्शिता तंत्र लागू करने की आवश्यकता हो सकती है जो "भविष्य की छाया" को बढ़ाते हैं, जिससे सत्यापन के लिए प्रतिष्ठात्मक प्रोत्साहन मजबूत होता है।

संक्षेप में, यह शोध पत्र एक कठोर आर्थिक ढांचा प्रदान करता है जो दिखाता है कि प्रतिस्पर्धी बाजारों में एआई सुरक्षा सुनिश्चित करने के लिए प्रतिष्ठा (reputation) प्राथमिक तंत्र है, और उपयोगकर्ता प्रकारों का मिश्रण मौलिक रूप से सत्यापन प्रयास और मूल्य निर्धारण के स्तर को निर्धारित करता है।