🤖 AI

Diverse Evidence, Better Forecasts: Multi-Agent Deliberation Under Information Asymmetry

यह शोधपत्र InfoDelphi प्रस्तुत करता है, जो एक मल्टी-एजेंट पूर्वानुमान ढांचा (multi-agent forecasting framework) है जो एजेंटों के बीच त्रुटि सहसंबंध (error correlation) को कम करने के लिए साक्ष्य को साझा सार्वजनिक और विलगित निजी उपसमूहों में विभाजित करके डिज़ाइन की गई सूचना विषमता (information asymmetry) का लाभ उठाता है, जिससे यह वास्तविक दुनिया के पूर्वानुमान कार्यों पर मौजूदा बेसलाइन से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Yuante Li, Yicheng Tao, Kate Zhang, Taozhi Wang, Gefei Gu, Yaxin Zhou

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuante Li, Yicheng Tao, Kate Zhang, Taozhi Wang, Gefei Gu, Yaxin Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी जटिल घटना के परिणाम का अनुमान लगाने की कोशिश कर रहे हैं, जैसे कि "क्या किसी विशिष्ट क्रिप्टो कॉइन की बिक्री $1.8 बिलियन तक पहुंचेगी?" आप विशेषज्ञों के एक पैनल से उनकी राय पूछने के लिए तीन विशेषज्ञों को बुलाते हैं।

करने का पुराना तरीका (Standard Debate) क्या है: आप तीनों विशेषज्ञों को पढ़ने के लिए बिल्कुल एक ही समाचार लेखों का ढेर देते हैं। वे बैठते हैं, चर्चा करते हैं, और आपको एक अंतिम उत्तर देते हैं।

यह शोध पत्र तर्क देता है कि यह अक्सर विफल हो जाता है। क्यों? क्योंकि यदि सभी ने एक ही कहानी पढ़ी है, तो उन सभी को एक ही विचार प्राप्त हुआ है। यदि वह कहानी भ्रामक या अधूरी है, तो वे सभी मिलकर भ्रमित हो जाएंगे। वे वास्तव में "बहस" नहीं कर रहे हैं; वे केवल भेड़ों की तरह एक समूह (herd) बना रहे हैं, जो एक ही गलत निष्कर्ष को पुख्ता करते हैं।

लेखक, युआंते ली (Yuante Li) और उनके सहयोगियों ने एक नया तरीका प्रस्तावित किया है जिसे InfoDelphi कहा जाता है। उनका गुप्त मंत्र है डिज़ाइन की गई सूचना विषमता (Designed Information Asymmetry)।

यह कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:

"गुप्त सामग्री" की उपमा (The "Secret Ingredient" Analogy)

कल्पना कीजिए कि आप एक केक बना रहे हैं, और आपके पास तीन शेफ हैं।

पुराना तरीका: आप तीनों शेफ को एक ही रेसिपी बुक देते हैं। वे सभी एक ही निर्देश पढ़ते हैं। यदि पुस्तक में कोई गलती (typo) है, तो तीनों शेफ एक ही गलती करेंगे।
InfoDelphi का तरीका: आप उन्हें एक साझा कुकबुक ( "सार्वजनिक" भाग) देते हैं ताकि वे एक-दूसरे से बात कर सकें, लेकिन आप प्रत्येक शेफ को एक अलग गुप्त नोट ( "निजी" भाग) भी देते हैं जिसमें अद्वितीय सुझाव या तथ्य होते हैं जो दूसरों के पास नहीं हैं।
- शेफ A को ओवन के तापमान के बारे में एक नोट मिलता है।
- शेफ B को आटे के ब्रांड के बारे में एक नोट मिलता है।
- शेफ C को ऊंचाई (altitude) के बारे में एक नोट मिलता है।

अब, जब वे बात करते हैं, तो वे केवल एक ही चीज़ को दोहरा नहीं रहे होते हैं। वे अपने अद्वितीय रहस्यों को साझा कर रहे होते हैं। शेफ A, शेफ B से आटे के बारे में सीखता है। शेफ B, शेफ A से ओवन के बारे में सीखता है। अंत में, उनके पास पहले की तुलना में बहुत बेहतर केक होता यदि उन्होंने केवल एक ही किताब पढ़ी होती।

InfoDelphi के तीन चरण

साक्ष्य का विभाजन (The Setup):
सबकी ओर से इंटरनेट खोज के सभी परिणामों को डालने के बजाय, सिस्टम सूचना को विभाजित करता है।
- सार्वजनिक पूल (Public Pool): सबसे महत्वपूर्ण तथ्यों का एक छोटा, साझा सेट जिसे सभी देखते हैं। यह उनकी "साझा भाषा" है ताकि वे एक-दूसरे को समझ सकें।
- निजी पूल (Private Pools): शेष तथ्यों को टुकड़ों में बांटा जाता है और अलग-अलग एजेंटों को दिया जाता है। प्रत्येक एजेंट के पास पहेली का एक अनूठा हिस्सा होता जो किसी और के पास नहीं है।
विचार-विमर्श (The Conversation):
एजेंट केवल एक संख्या (जैसे "70% संभावना!") नहीं चिल्लाते। वे अपने तर्क (reasoning/rationale) को साझा करते हैं।
- यह क्यों महत्वपूर्ण है: यदि एजेंट A कहता है, "मुझे लगता है कि यह 90% है क्योंकि मैंने X के बारे में एक रिपोर्ट देखी," और एजेंट B कहता है, "मुझे लगता है कि यह 10% है क्योंकि मैंने Y के बारे में एक रिपोर्ट देखी," तो वे अब उन रिपोर्टों का आदान-प्रदान कर सकते हैं। एजेंट A को एहसास होता है, "ओह, मैंने Y के बारे में वह रिपोर्ट नहीं देखी थी!" और वह अपना विचार बदल लेता है।
- शोध पत्र यह सिद्ध करता है कि यदि वे केवल संख्याएं साझा करते हैं, तो वे कुछ भी नया नहीं सीख सकते। उन्हें संख्या के पीछे की कहानी साझा करनी चाहिए।
अंतिम वोट (The Aggregation):
जब उनकी बातचीत समाप्त हो जाती है, तो वे अपने उत्तरों को मिलाते हैं। लेकिन वे केवल एक साधारण औसत नहीं निकालते। वे आत्मविश्वास (confidence) के आधार पर उत्तरों को तौलते हैं।
- यदि एक एजेंट कहता है, "मैं 99% सुनिश्चित हूँ," और उनका तर्क मजबूत निजी साक्ष्यों द्वारा समर्थित है, तो उनके वोट की गिनती अधिक होती है।
- यदि कोई एजेंट 50% पर झिझक रहा है, तो उनके वोट की गिनती कम होती है।

परिणाम: क्या यह वास्तव में काम करता है?

टीम ने इस परीक्षण को POLYGYM पर किया, जो 375 वास्तविक दुनिया के पूर्वानुमान प्रश्नों (जैसे कि सट्टेबाजी साइटों पर पाए जाते हैं) का एक नया टेस्ट सेट है।

पुराने तरीके के साथ समस्या: जब एजेंटों के पास एक ही जानकारी थी, तो उनकी त्रुटियां अत्यधिक सह-संबंधित (correlated) थीं। यदि एक गलत था, तो वे सभी गलत थे।
InfoDelphi की जीत: उन्हें अलग-अलग निजी जानकारी देकर, सिस्टम ने सभी के एक ही गलती करने की संभावना को कम कर दिया।
- सटीकता (Accuracy): वे पिछले सर्वोत्तम तरीकों की तुलना में 4-8% अधिक बार सही उत्तर प्राप्त करते हैं।
- परिशुद्धता (Precision): उनके संभाव्यता अनुमान बहुत अधिक सटीक थे (जिसे "ब्रायर स्कोर" द्वारा मापा गया, जो 12-18% तक गिर गया)।

शोध पत्र से एक वास्तविक उदाहरण

शोध पत्र एक बेहतरीन उदाहरण देता है जो क्रिप्टो बिक्री के बारे में है:

प्रश्न: क्या एक कंपनी ने $1.8 बिलियन से अधिक जुटाए?
जाल (The Trap): अधिकांश समाचार लेख कह रहे थे, "वाह, यह बिक्री विशाल और अत्यधिक सफल रही!" इसने सभी को यह सोचने पर मजबूर कर दिया कि उत्तर हाँ है।
रहस्य: एक एजेंट के पास एक निजी दस्तावेज़ था जिसने सटीक संख्या दिखाई: $1.39 बिलियन।
समाधान: पुराने सिस्टम में, सभी "हाँ" कह देते क्योंकि उन्होंने सभी ने "विशाल" शीर्षकों को पढ़ा था। InfoDelphi में, उस एजेंट ने जिसने $1.39B वाला दस्तावेज़ देखा था, अपना तर्क साझा किया। अन्य एजेंटों ने उस विशिष्ट संख्या को देखा, उन्हें एहसास हुआ कि "विशाल" सुर्खियां बढ़ा-चढ़ाकर बता रही हैं, और उन्होंने अपने उत्तर को नहीं में बदल दिया।

मुख्य निष्कर्ष (The Bottom Line)

शोध पत्र का दावा है कि AI एजेंटों के समूह के लिए अकेले एजेंट से बेहतर सोचने के लिए, उनके पास अलग जानकारी होनी चाहिए। यदि वे सभी एक ही किताब पढ़ते हैं, तो वे केवल एक-दूसरे से सहमत होंगे, न कि अधिक बुद्धिमान बनेंगे। उन्हें जानबूझकर अलग "गुप्त नोट्स" देकर और उन्हें अपना तर्क साझा करने के लिए मजबूर करके, समूह एक-दूसरे की गलतियों को सुधार सकता है और एक बहुत बेहतर पूर्वानुमान तक पहुँच सकता है।

तकनीकी सारांश: विविध साक्ष्य, बेहतर पूर्वानुमान: सूचना विषमता के तहत बहु-एजेंट विचार-विमर्श

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करने वाले बहु-एजेंट सिस्टम (multi-agent systems) भविष्य की घटनाओं के पूर्वानुमान के लिए तेजी से नियोजित किए जा रहे हैं, जो इस धारणा पर काम करते हैं कि कई एजेंटों के बीच विचार-विमर्श से तर्क और अंशांकन (calibration) में सुधार होता है। हालांकि, मौजूदा दृष्टिकोण आमतौर पर सभी एजेंटों को एक समान साक्ष्य संग्रह (evidence corpora) प्रदान करते हैं। लेखक इस डिज़ाइन में एक गंभीर दोष की पहचान करते हैं: जब एजेंट समान जानकारी साझा करते हैं, तो विचार-विमर्श वास्तविक विश्वास संशोधन (belief revision) के बजाय "हर्डिंग" (herding - झुंड की तरह व्यवहार करना) में बदल जाता है। ऐसे सजातीय (homogeneous) परिवेश में, एजेंट स्वतंत्र रूप से एक ही निष्कर्ष पर पहुँचते हैं, और पुनरावृत्ति विनिमय (iterative exchange) केवल साझा पूर्वग्रहों (priors) को सुदृढ़ करता है। हालिया सैद्धांतिक कार्य सुझाव देता है कि समान इनपुट के तहत, बहु-एजेंट बहस एक मार्टिंगेल (martingale) की तरह व्यवहार करती है जहाँ अपेक्षित सटीकता राउंड के साथ नहीं सुधरती है, और अनुभवजन्य अध्ययन दिखाते हैं कि विभिन्न प्रदाताओं के बीच LLM त्रुटियाँ अत्यधिक सह-संबंधित (अक्सर >60%) होती हैं। फलस्वरूप, सजातीय इनपुट वाले बहु-एजेंट सिस्टम एकल-एजेंट बेसलाइन की तुलना में बहुत कम लाभ प्रदान करते हैं।

कार्यप्रणाली: InfoDelphi और डिज़ाइन की गई सूचना विषमता

सजातीय सेटिंग्स में त्रुटियों के सह-संबंध को संबोधित करने के लिए, लेखक डिज़ाइन की गई सूचना विषमता (designed information asymmetry) का प्रस्ताव करते हैं, जिसमें सूचना विषमता को एक सीमा के रूप में नहीं बल्कि एक डिज़ाइन सिद्धांत के रूप में उपयोग करने के लिए देखते हैं। वे इस सिद्धांत को InfoDelphi में लागू करते हैं, जो एक बहु-एजेंट पूर्वानुमान ढांचा (framework) है।

1. सैद्धांतिक आधार

लेखक एन्सेम्बल मीन स्क्वेर्ड एरर (MSE) के बायस-वेरिएंस-कोवेरिएंस अपघटन (decomposition) का उपयोग करके सूचना विषमता के लाभ को औपचारिक रूप देते हैं।

सह-संबंधित त्रुटियाँ (Correlated Errors): जब एजेंट एक ही साक्ष्य ( $E$ ) प्राप्त करते हैं, तो उनकी भविष्यवाणी त्रुटियाँ एक ही स्रोतों से संचालित होती हैं, जिससे उच्च अंतर-एजेंट त्रुटि सह-संबंध ( $Cov(\epsilon_i, \epsilon_j) \approx Var(\epsilon)$ ) होता है। यह एन्सेम्बल MSE में विविधता पद (diversity term) को समाप्त कर देता है, जिससे एकत्रीकरण के लाभ निष्प्रभावी हो जाते हैं।
विभाजन द्वारा डिकोरिलेशन (Decorrelation via Partitioning): लेखक साक्ष्य संग्रह $E$ $E$ को एक साझा सार्वजनिक उपसमुच्चय ( $E_{pub}$ $E_{p u b}$ ) और विभक्त निजी उपसमुच्चय ( $E_{priv}$ $E_{p r i v}$ ) में विभाजित करने का प्रस्ताव करते हैं।
- मान लीजिए कि $\rho$ सार्वजनिक साक्ष्य का अनुपात है।
- सैद्धांतिक विश्लेषण (प्रपोजिशन 3.1) यह प्रदर्शित करता है कि जैसे-जैसे $\rho$ 1 (सभी सार्वजनिक) से घटकर 0 (सभी निजी) होता है, अंतर-एजेंट त्रुटि सह-संबंध निरंतर घटता है।
- विशेष रूप से, $\rho=0.5$ के सार्वजनिक अनुपात और समान वेरिएंस घटकों के साथ, अंतर-एजेंट सह-संबंध 1.0 के बेसलाइन के आधे (0.5) तक गिर जाता है।
तर्क साझा करना (Rationale Sharing): यह सुनिश्चित करने के लिए कि एजेंट एक-दूसरे के निजी संकेतों से लाभ उठा सकें, यह ढांचा केवल संख्यात्मक संभाव्यता अनुमानों के बजाय तर्कों (rationales/reasoning traces) के आदान-प्रदान की आवश्यकता रखता है। लेखक डेटा प्रोसेसिंग इनइक्वेलिटी (Data Processing Inequality) के माध्यम से तर्क देते हैं कि केवल संख्याओं का आदान-प्रदान एक मार्कोव चेन बनाता है जहाँ ग्राउंड ट्रुथ के बारे में जानकारी केवल घट सकती है। तर्क साझा करना इस श्रृंखला को तोड़ता है, जिससे निजी साक्ष्य एजेंटों की सीमाओं के पार प्रसारित हो पाते हैं।

2. InfoDelphi ढांचा

InfoDelphi तीन चरणों में कार्य करता है:

साक्ष्य रूटिंग (Evidence Routing): साक्ष्य संग्रह को BM25 प्रासंगिकता रैंकिंग का उपयोग करके विभाजित किया जाता है।
- उच्चतम स्कोर वाले दस्तावेज़ (प्रश्न के लिए सबसे प्रासंगिक) साझा सार्वजनिक पूल ( $E_{pub}$ ) बनाते हैं, जो संचार के लिए एक सामान्य आधार प्रदान करते हैं।
- शेष दस्तावेज़ों को प्रासंगिकता स्कोर के आधार पर राउंड-रॉबिन पद्धति से एजेंटों को सौंपा जाता है, जिससे अलग-अलग निजी उपसमुच्चय ( $E_{priv}$ ) बनते हैं। यह सुनिश्चित करता है कि प्रत्येक एजेंट के पास अद्वितीय परिधीय साक्ष्य (peripheral evidence) हो जबकि वे मुख्य संदर्भ साझा करें।
पुनरावृत्ति विचार-विमर्श (Iterative Deliberation): एजेंट पूर्वानुमान के कई राउंड में संलग्न होते हैं। प्रत्येक राउंड में, एक एजेंट अपने निजी दृष्टिकोण ( $E_{pub} \cup E_{priv}$ ) और अन्य एजेंटों के पिछले पूर्वानुमानों के इतिहास के सारांश पर आधारित होता है, जिसमें संरचित तर्क (structured rationales) शामिल होते हैं।
कॉन्फिडेंस-वेटेड एकत्रीकरण (Confidence-Weighted Aggregation): अंतिम पूर्वानुमानों को लॉजिट स्पेस (logit space) में एकत्रित किया जाता है। एकत्रीकरण भार ( $w_j$ ) एजेंट के पूर्वानुमान की तीव्रता ( $|logit(p_j)|$ ) द्वारा निर्धारित होते हैं। यह तंत्र उन एजेंटों की भविष्यवाणियों को बढ़ाता है जिनके पास मजबूत निजी साक्ष्य होते हैं, क्योंकि वे अधिक चरम (आत्मविश्वासपूर्ण) पूर्वानुमान उत्पन्न करते हैं।

प्रमुख योगदान

डिज़ाइन की गई सूचना विषमता: यह शोध पत्र बहु-एजेंट तर्क के लिए सूचना विषमता को एक प्रथम-श्रेणी के डिज़ाइन सिद्धांत के रूप में उपयोग करने का प्रस्ताव देता है, और सैद्धांतिक रूप से सिद्ध करता है कि सार्वजनिक/निजी साक्ष्य विभाजन अंतर-एजेंट त्रुटि सह-संबंध को कम करता है।
InfoDelphi ढांचा: लेखक प्रासंगिकता-जागरूक साक्ष्य रूटिंग, तर्क-आधारित पुनरावृत्ति विचार-विमर्श और कॉन्फिडेंस-वेटेड एकत्रीकरण के माध्यम से इस सिद्धांत को लागू करने वाला एक ठोस ढांचा पेश करते हैं।
POLYGYM बेंचमार्क: सूचना उपयोग को रिट्रीवल क्वालिटी से अलग करने के लिए, लेखक वास्तविक दुनिया के प्रेडिक्शन मार्केट्स (Polymarket) से प्राप्त 375 बाइनरी पूर्वानुमान प्रश्नों का एक नियंत्रित बेंचमार्क POLYGYM बनाते हैं। महत्वपूर्ण रूप से, सभी विधियाँ एक ही निश्चित, पूर्व-रिट्रीव किए गए साक्ष्य पूल पर काम करती हैं, जिससे खोज रणनीतियों की परिवर्तनशीलता समाप्त हो जाती है।

प्रयोगात्मक परिणाम

प्रयोग POLYGYM पर $J=3$ एजेंटों और $R=2$ विचार-विमर्श राउंड के साथ किए गए।

प्रदर्शन: InfoDelphi ने 0.178 का ब्रायर स्कोर (Brier score) और 77.9% सटीकता प्राप्त की। यह सबसे मजबूत एकल-एजेंट बेसलाइनों (जैसे, Chain-of-Thought, Superforecaster) और बहु-एजेंट बेसलाइनों (जैसे, Standard Debate, MoA) को ब्रायर स्कोर में 12–18% और सटीकता में 4–8 प्रतिशत अंक से पछाड़ देता है।
विविधता की आवश्यकता: एब्लेशन अध्ययनों (ablation studies) ने पुष्टि की कि सूचना विषमता को हटाने ( $\rho=1.0$ सेट करने, यानी सभी सार्वजनिक) से विचार-विमर्श के अधिकांश लाभ समाप्त हो जाते हैं, जिससे प्रदर्शन मानक बहस के स्तर तक गिर जाता है।
तर्क साझा करने का महत्व: तर्क साझा करने को हटाने (केवल संख्याओं का आदान-प्रदान करने) से प्रदर्शन में काफी गिरावट आई (ब्रायर स्कोर बढ़कर 0.211 हो गया), जो इस सैद्धांतिक दावे की पुष्टि करता है कि क्लोज्ड-सिस्टम संख्यात्मक विनिमय सामूहिक सटीकता में सुधार नहीं कर सकता।
सामान्यीकरण (Generalization): ढांचे ने GPT-5.4-mini, DeepSeek-V3.2, और Llama-4-Scout सहित विभिन्न मॉडल बैकएंड्स में निरंतर सुधार प्रदर्शित किया, जिसमें लाभ मॉडल की क्षमता के साथ बढ़ते हैं।
तंत्र सत्यापन (Mechanism Validation): विश्लेषण ने दिखाया कि कॉन्फिडेंस-वेटेड एकग्रीगेशन इसलिए काम करता है क्योंकि मजबूत निजी साक्ष्य रखने वाले एजेंट अधिक चरम भविष्यवाणियाँ करते हैं। इसके अलावा, सूचना विषमता ने सजातीय सेटिंग्स (90–92% वेरिएंस रिडक्शन) की तुलना में अंतर-एजेंट विविधता (केवल 73% वेरिएंस रिडक्शन) को बनाए रखा, जिससे सिस्टम को सर्वसम्मति के इको चैंबर (consensus echo chamber) में बदलने से रोका जा सका।

महत्व और दावे

यह शोध पत्र दावा करता है कि इनपुट की विविधता प्रभावी बहु-एजेंट तर्क के लिए प्रमुख सक्षमकर्ता (enabler) है। लेखक तर्क देते हैं कि सभी एजेंटों को समान कॉन्टेक्स्ट विंडो प्रदान करने का मानक अभ्यास बहु-एजेंट संपर्क के मूल्य को मौलिक रूप से सीमित करता है। डिज़ाइन की गई सूचना विषमता पेश करके, InfoDelphi रेडंडेंट विचार-विमर्श को उत्पादक विश्वास संशोधन में बदल देता है।

लेखक संभावabilistic पूर्वानुमान को इस सिद्धांत के परीक्षण के रूप में देखते हैं, जिसके लिए शोर युक्त, विरोधाभासी साक्ष्यों के संश्लेषण की आवश्यकता होती है। वे सुझाव देते हैं कि देखे गए मजबूत सुधार इस सेटिंग में व्यापक प्रयोज्यता का संकेत देते हैं, जहाँ एजेंट साझा साक्ष्यों पर तर्क करते हैं, जैसे कि सहयोगात्मक प्रश्न उत्तर (collaborative question answering) और वैज्ञानिक परिकल्पना मूल्यांकन।

शोध पत्र अपनी सीमाओं के प्रति विनम्रता बनाए रखता है, यह स्वीकार करते हुए कि सैद्धांतिक प्रमाण आदर्श मान्यताओं (लीनियर एरर डिकंपोज़िशन, प्राइवेट नॉइज़ की स्वतंत्रता) पर निर्भर करता है और वर्तमान कार्यान्वयन रूटिंग और एकत्रीकरण के लिए मानक ऑफ-द-शेल्फ विधियों का उपयोग करता है, जो अधिक परिष्कृत विकल्पों के लिए स्थान छोड़ता है। इसके अतिरिक्त, लेखक नोट करते हैं कि ढांचे का ऊपरी स्तर (upper bound) अभी भी प्रारंभिक साक्ष्य रिट्रीवल की गुणवत्ता द्वारा सीमित है।