The Wisdom of the Crowd and Higher-Order Beliefs

यहाँ चेन, मुलर-फ्रैंक और पाई के शोध पत्र "The Wisdom of the Crowd and Higher-Order Beliefs" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सूचना एकत्रीकरण (information aggregation) की मौलिक चुनौती को संबोधित करता है: एक प्रिंसिपल (एक एग्रीगेटर) कैसे दुनिया की वास्तविक स्थिति ($\omega$) का अनुमान लगा सकता है, जहाँ प्रत्येक एजेंट के पास निजी और शोरयुक्त (noisy) संकेत हैं, और वह अंतर्निहित सूचना संरचना (information structure) (अर्थात संकेतों का वितरण, सहसंबंध संरचना, या सामान्य पूर्वधारणा/common prior) को जाने बिना?

• प्रथम-क्रम विश्वासों की सीमा (The Limitation of First-Order Beliefs): मौजूदा साहित्य (जैसे, एरिली, बेबीचेन्को, और स्मोरोड्स्की, 2017) यह स्थापित करता है कि केवल प्रथम-क्रम विश्वासों (स्थितियों के बारे में एजेंटों की पश्चातवर्ती संभावनाओं/posterior probabilities) को जानना सामान्यतः वास्तविक स्थिति की पहचान करने के लिए पर्याप्त नहीं है, भले ही जनसंख्या अनंत हो। यह एक पहचान (identification) की समस्या है: कई स्थितियाँ एक ही प्रकार के प्रथम-क्रम विश्वास वितरण को उत्पन्न कर सकती हैं।
• अंतराल (The Gap): अधिकांश मौजूदा विधियाँ (जैसे, प्रेडिक्शन मार्केट्स या 'सरप्राइजिंगली पॉपुलर') या तो कड़े अनुमानों की आवश्यकता रखती हैं (जैसे, बाइनरी स्थितियाँ, स्वतंत्र संकेत) या जटिल और अक्सर अव्यवहारिक डेटा मांगती हैं (जैसे, स्थिति-आश्रित विश्वास या संकेतों की सशर्त संभावनाएँ)।
• लक्ष्य: एक ऐसी सुदृढ़ प्रक्रिया विकसित करना जो केवल निम्नलिखित का उपयोग करके सूचना को एकत्रित करे और वास्तविक स्थिति की पहचान करे:
  1. एजेंटों के प्रथम-क्रम विश्वास ($\mu_i$)।
  2. जनसंख्या के औसत विश्वास के बारे में एजेंटों की अपेक्षाएँ (उच्च-क्रम विश्वास/higher-order beliefs)।
  3. सूचना संरचना का न्यूनतम ज्ञान (पूर्वधारणा या सिग्नल वितरण को जानने की आवश्यकता नहीं है)।

2. कार्यप्रणाली: जनसंख्या-माध्य-आधारित एकत्रीकरण (Population-Mean-Based Aggregation - PMBA)

लेखक एक नवीन प्रक्रिया प्रस्तावित करते हैं जिसे पॉपुलेशन-मीन-बेस्ड एग्रीगेशन (PMBA) कहा जाता है। इसका मूल तर्क इटरेटेड एक्सपेक्टेशंस के नियम (Law of Iterated Expectations) पर आधारित है।

A. मुख्य तंत्र (The Core Mechanism)

मान लीजिए $\Omega = \{\omega_1, \dots, \omega_L\}$ $L$ संभावित स्थितियों का सेट है।

1. प्रथम-क्रम उद्घोषणा (First-Order Elicitation): प्रिंसिपल प्रत्येक एजेंट $i$ से विश्वास वेक्टर $\mu_i$ एकत्र करता है। अनुभवजन्य माध्य (empirical mean) $\hat{\mu} = \frac{1}{n}\sum \mu_i$, वास्तविक स्थिति-निर्भर जनसंख्या माध्य $\bar{\mu}(\omega)$ की ओर अभिसरित (converge) होता है।
2. पहचान की समस्या (The Identification Problem): प्रिंसिपल $\hat{\mu}$ को देखता है लेकिन उसे स्थितियों $\omega$ और अपेक्षित जनसंख्या माध्य $\bar{\mu}(\omega)$ के बीच के मैपिंग का ज्ञान नहीं होता।
3. उच्च-क्रम उद्घोषणा (Higher-Order Elicitation): प्रिंसिपल $L$ एजेंटों (या एजेंटों के $L$ समूहों) का चयन करता है और उनसे जनसंख्या के औसत विश्वास की उनकी अपेक्षा पूछता है।
   • मान लीजिए $\alpha_i = E[\bar{\mu} | s_i]$ एजेंट $i$ द्वारा जनसंख्या के औसत का अनुमान है।
   • इटरेटेड एक्सपेक्टेशंस के नियम के अनुसार, $\alpha_i$ स्थिति-निर्भर जनसंख्या माध्यों का एक भारित औसत (weighted average) है, जहाँ भार एजेंट का अपना प्रथम-क्रम विश्वास है:
     $$\alpha_i = \sum_{\omega \in \Omega} \mu_i(\omega) \cdot \bar{\mu}(\omega)$$
4. समीकरण प्रणाली (System of Equations): यदि प्रिंसिपल रैखिक रूप से स्वतंत्र विश्वास वेक्टर्स वाले $L$ एजेंटों से ये रिपोर्ट एकत्र करता है, तो वे रैखिक समीकरणों की एक प्रणाली बनाते हैं:
   $$\mathbf{\alpha} = \mathbf{M} \cdot \mathbf{\bar{\mu}}$$
   जहाँ $\mathbf{M}$ प्रथम-क्रम विश्वासों का मैट्रिक्स है और $\mathbf{\bar{\mu}}$ अज्ञात स्थिति-निर्भर जनसंख्या माध्यों का वेक्टर है।
5. विपर्यय (Inversion): चूंकि $\mathbf{M}$ व्य परिवर्तनीय (invertible) है (विशिष्ट रैंक शर्तों के तहत), प्रिंसिपल $\mathbf{\bar{\mu}} = \mathbf{M}^{-1}\mathbf{\alpha}$ के लिए हल कर सकता है।
6. स्थिति पहचान (State Identification): प्रिंसिपल देखे गए अनुभवजन्य माध्य $\hat{\mu}$ की तुलना प्राप्त किए गए स्थिति-निर्भर माध्यों $\bar{\mu}(\omega)$ से करता है। वास्तविक स्थिति वह $\omega$ है जिसके लिए $\bar{\mu}(\omega)$, $\hat{\mu}$ के सबसे निकट है।

B. सुदृढ़ता और गलत विनिर्देश (Robustness and Misspecification)

लेखक मॉडल को गलत विनिर्देश (misspecification) को संभालने के लिए विस्तारित करते हैं, जहाँ एजेंटों के पास सूचना संरचना के बारे में गलत विश्वास हो सकते हैं (उदाहरण के लिए, वे गलत समझते हैं कि अन्य लोग विश्वास कैसे बनाते हैं)।

• अनुमानित PMBA (Approximate PMBA): इस प्रक्रिया को एक रैखिक प्रतिगमन (linear regression) समस्या के रूप में पुनर्व्याख्यायित किया गया है।
  • आश्रित चर (Dependent Variable): एजेंट का द्वितीय-क्रम विश्वास ($\alpha_i$)।
  • स्वतंत्र चर (Independent Variables): एजेंट का प्रथम-क्रम विश्वास ($\mu_i$)।
  • गुणांक (Coefficients): अज्ञात स्थिति-निर्भर जनसंख्या माध्य।
• गलत विनिर्देश को संभालना (Misspecification Handling): भले ही एजेंटों के पास जनसंख्या के औसत के प्रति पक्षपाती दृष्टिकोण (योगात्मक शोर $\zeta$) हो, यह प्रक्रिया तब भी वैध रहती है जब यह पूर्वाग्रह वास्तविक स्थिति-निर्भर माध्यों के बीच के अंतर की तुलना में छोटा हो। लार्ज नंबर्स का नियम (Law of Large Numbers) यह सुनिश्चित करता है कि बड़े समूहों पर औसत निकालने से व्यक्तिगत त्रुटियाँ समाप्त हो जाती हैं।

3. प्रमुख योगदान (Key Contributions)

1. संरचना के बिना सामान्य पहचान (General Identification without Structure): PMBA पहली ऐसी प्रक्रिया है जो बिना सिग्नल संरचना, सहसंबंध या सामान्य पूर्वधारणा की जानकारी के, सीमित $L > 2$ स्थितियों के लिए स्थिति की पहचान सुनिश्चित करती है। यह केवल प्रथम-क्रम विश्वासों की पहचान विफलता को दूर करती है।
2. गलत विनिर्देश के प्रति सुदृढ़ता (Robustness to Misspecification): लेखक सिद्ध करते हैं कि यह प्रक्रिया तब भी काम करती है जब एजेंटों के पास समूह की सूचना संरचना के बारे में गलत धारणा हो, बशर्ते कि कुल त्रुटि बहुत अधिक न हो। यह विधि मानव तर्क में शोर को "औसत" करने में सक्षम है।
3. रैखिक प्रतिगमन व्याख्या (Linear Regression Interpretation): PMBA को रैखिक प्रतिगमन के रूप में प्रस्तुत करके, लेखक सदियों पुराने सांख्यिकीय उपकरणों (कॉन्फिडेंस इंटरवल, परिकल्पना परीक्षण, परिमित-नमूना त्रुटि सीमा) के द्वार खोलते हैं। यह एक सैद्धांतिक मैट्रिक्स इनवर्जन को एक व्यावहारिक, कार्रवाई योग्य सांख्यिकीय उपकरण में बदल देता है।
4. परिमित-नमूना गारंटी (Finite-Sample Guarantees): शोध पत्र गैर-एसिम्प्टोटिक (non-asymptotic) त्रुटि सीमाएं प्रदान करता है, जो यह दर्शाता है कि अनुमान त्रुटि $O(1/\sqrt{n})$ की मानक दर से घटती है, जो विश्वासों की विविधता और शोर के स्तर पर निर्भर करती है।
5. प्रायोगिक सत्यापन (Experimental Validation): लेखक NFT मूल्य भविष्यवाणी (एक जटिल, अनिश्चित बाजार) से संबंधित एक नवीन प्रयोग आयोजित करते हैं।
   • परिणाम: PMBA, बहुमत मतदान (Majority Voting) (प्रथम-क्रम विश्वासों पर आधारित) और 'सरप्राइजिंगली पॉपुलर' (SP) विधि की तुलना में काफी बेहतर प्रदर्शन करता है।
   • महत्व: SP दो से अधिक स्थितियों (बाइनरी सीमा) के साथ संघर्ष करता है, जबकि PMBA उच्च सटीकता के साथ बहु-स्थिति (4-रेंज) भविष्यवाणियों को सफलतापूर्वक संभालता है।

4. परिणाम (Results)

• सैद्धांतिक (Theoretical):

  • प्रमेय 1 (Theorem 1): कमजोर नियमितता शर्तों (सीमित सहसंबंध, विश्वासों का पूर्ण रैंक) के तहत, PMBA जैसे-जैसे $n \to \infty$ होता है, वास्तविक स्थिति को संभाव्यता (probability) में पुनः प्राप्त करता है।
  • प्रमेय 3 (Theorem 3): PMBA गलत विनिर्देशित विश्वासों के तहत भी लगभग निश्चित रूप से (almost surely) वास्तविक स्थिति को पुनः प्राप्त करता है, बशर्ते एजेंटों की अपेक्षाओं में पूर्वाग्रह वास्तविक स्थिति-निर्भर जनसंख्या माध्यों के बीच की दूरी से कम हो।
  • प्रस्ताव 1 (Proposition 1): परिमित-नमूना गारंटी प्रदान करता है, जो यह स्थापित करता है कि $1-\delta$ की संभाव्यता के साथ स्थिति की पहचान करने के लिए आवश्यक नमूना आकार $n$ क्या है।

• प्रायोगिक (NFT प्रयोग):

  • सेटअप: 199 प्रतिभागियों ने NFT मूल्य श्रेणियों (4 स्थितियाँ) की भविष्यवाणी की और समूह के औसत अनुमान की अपनी अपेक्षाओं की रिपोर्ट की।
  • प्रदर्शन:
    • PMBA माध्य निरपेक्ष त्रुटि (MAE): 1.25
    • बहुमत मतदान (प्रथम-क्रम) MAE: 1.50
    • बहुमत मतदान (द्वितीय-क्रम) MAE: 1.40
    • सरप्राइजिंगली पॉपुलर (SP): 4-स्टेट सेटिंग में स्थितियों को प्रभावी ढंग से पहचानने में संघर्ष करता है; अक्सर बाइनरी अंतर तक सीमित हो जाता है।
  • सांख्यिकीय महत्व: प्रथम-क्रम बहुमत मतदान की तुलना में PMBA की श्रेष्ठता सांख्यिकीय रूप से महत्वपूर्ण है ($p < 0.05$)।

5. महत्व और निहितार्थ (Significance and Implications)

• व्यावहारिक प्रयोज्यता (Practical Applicability): जटिल स्थिति-आश्रित रिपोर्टों (जो गणना करने में मनुष्यों के लिए कठिन होते हैं) की आवश्यकता वाले सैद्धांतिक मॉडलों के विपरीत, PMB केवल विश्वास और "आप क्या सोचते हैं कि औसत व्यक्ति क्या सोचता है?"—ऐसे प्रश्न पूछता है जो सर्वेक्षणों में आसानी से पूछे जा सकते हैं।
• बाइनरी अवस्थाओं से परे (Beyond Binary States): "भीड़ की बुद्धिमत्ता" की कई मौजूदा यांत्रिकी (जैसे SP) बाइनरी विकल्पों तक सीमित हैं। PMB इसे किसी भी परिमित स्थितियों तक विस्तारित करता है, जिससे यह जटिल आर्थिक, राजनीतिक और वैज्ञानिक पूर्वानुमान के लिए लागू करने योग्य बनता है।
• मानवीय त्रुटि के प्रति सुदृढ़ता (Robustness to Human Error): उच्च-क्रम विश्वासों पर इसकी निर्भरता इसे व्यक्तिगत संज्ञानात्मक पूर्वाग्रहों और गलत विनिर्देशों को ठीक करने की अनुमति देती है, जो मानव तर्क के शोर को प्रभावी ढंग से "औसत" कर देती है।
• प्रोत्साहन अनुकूलता (Incentive Compatibility): यह शोध पत्र बायेसियन ट्रुथ सेरम (Bayesian Truth Serum) तंत्रों का उपयोग करके सत्य रिपोर्टिंग को प्रोत्साहित करने के तरीकों पर चर्चा करता है, जो रिकवर किए गए राज्य और जनसंख्या औसत के आधार पर भुगतान नियमों को जोड़ता है।

संक्षेप में, चेन, मुलर-फ्रंक और पाई यह प्रदर्शित करते हैं कि उच्च-क्रम विश्वासों (भीड़ के औसत की अपेक्षाओं) का लाभ उठाकर, एक प्रिंसिपल बिखरी हुई सूचना को पूरी तरह से एकत्रित कर सकता है और दुनिया की वास्तविक स्थिति की पहचान कर सकता है, भले ही उसे अंतर्निहित सूचना संरचना का ज्ञान न हो और भले ही एजेंट भीड़ के व्यवहार के बारे में अपूर्ण रूप से सूचित हों।