💻 computer science

Preference Optimization Drives Monoculture in LLM Prediction Markets

यह शोध पत्र प्रदर्शित करता है कि डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO), प्रेडिक्शन मार्केट्स में LLM एजेंटों में अत्यधिक सह-संबंधित त्रुटियों (correlated errors) को विकसित करता है, जिससे एक "मोनोकल्चर" (monoculture) बन जाता है जो स्वतंत्र पूर्वानुमानकर्ताओं की प्रभावी संख्या को नाटकीय रूप से कम कर देता है और बाजार की सामूहिक सटीकता को कमजोर करता है।

मूल लेखक: James Begin, Brendan Gho, Suman Muppavarapu, Tyson Tsay, Atharva Mohan, Afnan Shaik, Ruizhe Li, Vasu Sharma, Archana Vaidheeswaran

प्रकाशित 2026-06-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: James Begin, Brendan Gho, Suman Muppavarapu, Tyson Tsay, Atharva Mohan, Afnan Shaik, Ruizhe Li, Vasu Sharma, Archana Vaidheeswaran

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक प्रेडिक्शन मार्केट (भविष्यवाणी बाजार) "उत्तर का अनुमान लगाने" के एक विशाल, उच्च-दांव वाले खेल की तरह है। एक स्वस्थ खेल में, आप ऐसे लोगों की भीड़ चाहते हैं जो सभी अलग-अलग तरह से सोचते हों। यदि एक व्यक्ति गलत अनुमान लगाता है क्योंकि वह कोई तथ्य भूल गया, और दूसरा गलत अनुमान लगाता है क्योंकि उसने प्रश्न को गलत पढ़ लिया, तो उनकी गलतियाँ एक-दूसरे को काट देती हैं। भीड़ का औसत अनुमान अविश्वसनीय रूप से सटीक हो जाता है। यह इसलिए काम करता है क्योंकि सबकी गलतियाँ स्वतंत्र (independent) होती हैं—जैसे पक्षियों का एक झुंड जहाँ प्रत्येक पक्षी अपना स्वयं का रास्ता चुनता है।

यह शोध पत्र पूछता है: क्या होगा यदि पूरी भीड़ रोबोट्स से बनी हो (AI एजेंट) जिन्हें बिल्कुल एक ही ब्लूप्रिंट से बनाया गया है और एक ही शिक्षक द्वारा सिखाया गया है?

उत्तर आश्चर्यजनक है: सभी रोबोट बिल्कुल एक ही समय में ठीक एक जैसी गलतियाँ करते हैं।

यहाँ सरल उपमाओं का उपयोग करके शोध पत्र के निष्कर्षों का विवरण दिया गया है:

1. "क्लोन आर्मी" की समस्या

शोधकर्ताओं ने 10 AI एजेंटों के साथ एक बाजार का परीक्षण किया। उन्हें उम्मीद थी कि बाजार किसी भी एकल एजेंट की तुलना में अधिक स्मार्ट होगा क्योंकि एक से बेहतर दस सिर होते हैं।

वास्तविकता: 10-AI वाला बाजार अकेले काम करने वाले एक एकल AI की तुलना में खराब प्रदर्शन करता है।
उपमा: कल्पना कीजिए कि आपके पास 10 एक जैसे जुड़वां भाई हैं जो एक ही स्कूल गए, एक ही किताबें पढ़ीं और एक ही सख्त शिक्षक से पढ़े। यदि आप उनसे गणित का एक सवाल पूछते हैं, और वे सभी उसमें गलत होते हैं, तो ऐसा इसलिए नहीं है कि वे गणित में खराब हैं; बल्कि इसलिए है क्योंकि उन सभी को एक ही गलत तरीके से सिखाया गया था।
परिणाम: भले ही वहां 10 एजेंट थे, लेकिन उन्होंने केवल 1.4 स्वतंत्र विचारकों की तरह व्यवहार किया। बाजार अधिक रोबोट जोड़कर स्मार्ट नहीं हुआ; वह बस अपनी साझा गलतियों में अधिक आश्वस्त हो गया।

2. अपराधी: "टीचर का प्रिय" (Preference Optimization)

रोबोट इतने एक जैसे क्यों थे? शोध पत्र एक विशिष्ट प्रशिक्षण तकनीक की ओर इशारा करता है जिसे डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) कहा जाता है।

उपमा: DPO को एक ऐसे शिक्षक के रूप में सोचें जो छात्र से कहता है, "मुझे केवल कोई भी उत्तर मत दो। मुझे वह उत्तर दो जो सुनने में सबसे विनम्र, सुरक्षित और वही हो जो मैं सुनना चाहता हूँ।"
प्रभाव: जब आप कई अलग-अलग AI मॉडल को इसी एक ही "शिक्षक" के साथ प्रशिक्षित करते हैं, तो वे सभी अपने अद्वितीय, विचित्र या रचनात्मक विचारों को दबा देते हैं और उत्तर देने के एक एकल, "सुरक्षित" तरीके पर केंद्रित हो जाते हैं।
शोध पत्र का प्रमाण: शोधकर्ताओं ने एक नियंत्रित प्रयोग चलाया। उन्होंने रोबोटों के दो समूह लिए। एक समूह को केवल तथ्य सिखाए गए थे (SFT)। दूसरे समूह को तथ्य साथ ही "सुरक्षित/विनम्र रहें" का नियम सिखाया गया था (DPO)।
- "केवल तथ्यों" वाले समूह ने अलग-अलग गलतियाँ कीं (कम सहसंबंध/low correlation)।
- "सुरक्षित रहें" वाले समूह ने एक ही गलतियाँ कीं (उच्च सहसंबंध/high correlation)।
- निष्कर्ष: AI को "बेहतर" या "सुरक्षित" बनाने का कार्य ही वह कारण था जिसने उन्हें एक जैसा सोचने पर मजबूर कर दिया।

3. अधिक रोबोट जोड़ने से मदद नहीं मिलती

आप सोच सकते हैं, "यदि 10 रोबोट खराब हैं, तो चलिए 40 कोशिश करते हैं!"

वास्तविकता: अधिक रोबोट जोड़ने से कुछ नहीं हुआ। बाजार की सटीकता स्थिर रही।
उपमा: यदि आपके पास एक टूटा हुआ दिशा-सूचक यंत्र (compass) है जो थोड़ा पश्चिम की ओर संकेत करता है, तो आपके पास 100 दिशा-सूचक यंत्र होने से भी मदद नहीं मिलेगी। वे सभी मिलकर एक साथ थोड़ा पश्चिम की ओर ही संकेत करेंगे। शोध पत्र ने पाया कि चाहे आप कितने भी समान-मॉडल वाले रोबोट जोड़ दें, स्मार्ट विचारकों की "प्रभावी संख्या" लगभग 1.4 पर ही अटकी रही।

4. समाधान क्या है: ब्रांड बदलें (Mix the Brands)

शोध पत्र ने इस "मोनोकल्चर" (एक ऐसा क्षेत्र जहाँ केवल एक प्रकार की फसल उगती है) को तोड़ने के तरीकों का परीक्षण किया।

समाधान: विभिन्न प्रकार के AI मॉडल को एक साथ मिलाएं (जैसे, एक "Llama" रोबोट को "Qwen" रोबोट के साथ मिलाना)।
उपमा: समान पृष्ठभूमि, स्कूल और संस्कृति के लोगों से भरे कमरे के बजाय, अलग-अलग पृष्ठभूमि के लोगों को एक कमरे में रखें। भले ही वे सभी एक ही तथ्य जानते हों, वे समस्या के प्रति अलग दृष्टिकोण अपनाएंगे।
परिणाम: विभिन्न AI मॉडलों को मिलाने से "एक जैसापन" काफी कम हो गया। बाजार बहुत अधिक प्रभावी हो गया, और इसने लगभग 2.2 स्वतंत्र विचारकों की तरह काम किया, न कि 1.4 की तरह।

5. "स्व-नियमन" वाला बाजार (Self-Policing Market)

शोध पत्र ने यह भी देखा कि क्या होता है जब कोई "दुर्भावनापूर्ण अभिनेता" (bad actor) बाजार को धोखा देने की कोशिश करता है।

निष्कर्ष: क्योंकि ईमानदार रोबोट बहुत आश्वस्त हैं और एक-दूसरे से सहमत हैं, बाजार की कीमत बहुत तेजी से बदलती है। एक दुर्भावनापूर्ण अभिनेता को भीड़ के विरुद्ध कीमत बदलने के लिए बहुत अधिक धन खर्च करना होगा।
उपमा: कल्पना कीजिए कि 100 लोगों की भीड़ चिल्ला रही है "आसमान नीला है!" यदि एक व्यक्ति चिल्लाकर कहता है "नहीं, यह हरा है!", तो उसे सुनाई देने के लिए एक बहुत बड़े मेगाफोन (और बहुत सारे पैसे) की आवश्यकता होगी। सिस्टम स्वाभाविक रूप से दुर्भावनापूर्ण अभिनेता को प्रयास करने से ही हतोत्साहित करता है क्योंकि भीड़ से लड़ना बहुत महंगा है।

सारांश

यह शोध पत्र हमें चेतावनी देता है कि जैसे-जैसे हम व्यापार करने, भविष्यवाणी करने या निर्णय लेने के लिए अधिक AI एजेंट बना रहे हैं, हमें सावधान रहना चाहिए। यदि हम उन सभी को एक ही "सुरक्षा" नियमों के साथ प्रशिक्षित करते हैं, तो वे एक विविध भीड़ के बजाय एक मोनोकल्चर बन जाएंगे—एक ऐसा समूह जो एक ही ताल में सोचता है।

अच्छी खबर: हम विभिन्न AI मॉडलों को एक साथ मिलाकर इसे ठीक कर सकते हैं।
बुरी खबर: केवल एक ही प्रकार के AI मॉडलों को अधिक संख्या में जोड़ने से सिस्टम अधिक स्मार्ट नहीं होता, बल्कि वह केवल अधिक हठधर्मी रूप से गलत हो जाता है।

संक्षेप में: AI बाजारों के लिए विविधता केवल एक अच्छी चीज़ नहीं है; यह एकमात्र चीज़ है जो उन्हें एक साथ विफल होने से बचाती है।

तकनीकी सारांश: प्राथमिकता अनुकूलन (Preference Optimization) LLM भविष्यवाणी बाजारों में मोनोकल्चर को बढ़ावा देता है

1. समस्या विवरण (Problem Statement)

भविष्यवाणी बाजार (Prediction markets) इस सैद्धांतिक धारणा पर निर्भर करते हैं कि प्रतिभागियों की त्रुटियां स्वतंत्र होती हैं; इस स्थिति के तहत, बाजार की कीमतें भीड़ के सर्वोत्तम अनुमान की ओर अग्रसर होती हैं (Wolfers & Zitzewitz, 2004; Hanson, 2003)। हालांकि, जैसे-जैसे लार्ज लैंग्वेज मॉडल (LLM) एजेंट Kalshi और Polymarket जैसे प्लेटफार्मों पर सक्रिय ट्रेडर्स बन रहे हैं, एक महत्वपूर्ण प्रश्न उठता है: क्या त्रुटि स्वतंत्रता (error independence) तब भी बनी रहती है जब "भीड़" एक ही प्रशिक्षण पाइपलाइन साझा करने वाले LLMs से बनी हो?

मौजूदा साहित्य सह-संबंधित त्रुटियों (correlated errors) को हरडिंग (herding) या सूचना कैस्केड (information cascades) जैसी व्यवहारिक घटनाओं के रूप में व्याख्यायित करता है। यह शोध पत्र एक संरचनात्मक कारण का प्रस्ताव करता है: एलाइनमेंट ट्रेनिंग (alignment training) स्वयं, विशेष रूप से डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO), मॉडलों को एक साझा पसंदीदा-आउटपुट वितरण (preferred-output distribution) की ओर धकेलता है। यह एक "प्रेफरेंस-ऑप्टिमाइजेशन मोनोकल्चर" बनाता है जहाँ एजेंट, भले ही वे अलग-अलग इंस्टेंस हों, एक साथ विफल और सफल होते हैं, जो बाजार की सामूहिक बुद्धिमत्ता को कमजोर करता है।

2. कार्यप्रणाली (Methodology)

लेखक इस परिकल्पना का मूल्यांकन एक नियंत्रित प्रयोगात्मक सेटअप का उपयोग करके करते हैं:

मार्केट मैकेनिज्म: एक लॉगरिदमिक मार्केट स्कोरिंग रूल (LMSR) जिसमें लिक्विडिटी पैरामीटर $b=100$ और दो परिणाम हैं।
ट्रेडिंग प्रोटोकॉल: 50 बाइनरी प्रश्न (TruthfulQA) $N$ एजेंटों (1 से 40 एजेंटों की सीमा में) को दिए जाते हैं। एजेंट क्रमिक रूप से व्यापार करते हैं, और केवल तभी दांव लगाते हैं जब उनका घोषित आत्मविश्वास वर्तमान बाजार मूल्य से अधिक हो। धन (wealth) प्रश्नों के माध्यम से बना रहता है, जिससे सटीक एजेंट पूंजी संचित कर सकते हैं।
मेट्रिक्स:
- पेयरवाइज एरर कोरिलेशन ( $\rho$ ): एजेंटों के बाइनरी एरर वेक्टर्स के बीच पियर्सन कोरिलेशन।
- प्रभावी पूर्वानुमानकर्ताओं की संख्या ( $N_{eff}$ ): इसे $N_{eff} = \frac{N}{1 + (N-1)\rho}$ के रूप में गणना किया जाता है। यह मीट्रिक $N$ सह-संबंधित एजेंटों के समूह की स्वतंत्र पूर्वानुमान शक्ति को मात्रात्मक रूप से दर्शाता है।
प्रयोगात्मक चर (Experimental Variables):
- स्केलिंग: एक ही मॉडल के $N \in \{5, 10, 20, 40\}$ एजेंटों का परीक्षण।
- मॉडल विविधता: समान-मॉडल जोड़ों बनाम क्रॉस-मॉडल जोड़ों (Llama, Qwen, Mistral, GLM) की तुलना।
- कॉज़ल एब्लेशन (Causal Ablations): विशिष्ट प्रशिक्षण चरणों (Pre-training/ICL, Supervised Fine-Tuning (SFT), और DPO) के प्रभाव को आइसोलेट करना, जिसमें Princeton NLP और AllenAI Tulu 3 पाइपलाइनों के समान वेट चेकपॉइंट्स का उपयोग किया गया है।
- शमन रणनीतियाँ (Mitigation Strategies): टेम्परेचर विविधता, भूमिका विविधता (एपिस्टेमिक भूमिकाएं), और क्रॉस-मॉडल मिक्सिंग का परीक्षण।

3. मुख्य योगदान और परिणाम

A. मोनोकल्चर प्रभाव (The Monoculture Effect)
अध्ययन पाता है कि DPO के साथ फाइन-ट्यून किए गए LLM एजेंट उच्च पेयरवाइज एरर कोरिलेशन ( $\rho \approx 0.70$ ) प्रदर्शित करते हैं।

घटता प्रतिफल (Diminishing Returns): दस समान-मॉडल एजेंट केवल $\approx 1.4$ स्वतंत्र पूर्वानुमानकर्ताओं की पूर्वानुमान शक्ति प्रदान करते हैं ( $N_{eff} \approx 1.38$ )।
फ्लैट सटीकता (Flat Accuracy): एजेंटों की संख्या को 5 से 40 तक बढ़ाने से बाजार की सटीकता में सुधार नहीं होता है (66.0–69.6% पर स्थिर रहता है), जो एक एकल स्टैंडअलोन एजेंट (70.2%) से मेल खाने में विफल रहता है।
त्रुटि वितरण: अनुभवजन्य डेटा द्विमति (unanimity) में एक उछाल दिखाता है (सभी एजेंट सही या सभी गलत) जो स्वतंत्रता के तहत अपेक्षित द्विपद वितरण (binomial distribution) की तुलना में अधिक है।

B. DPO का कॉज़ल आइडेंटिफिकेशन
नियंत्रित एब्लेशन के माध्यम से, शोध पत्र इस सहसंबंध के प्राथमिक चालक के रूप में प्रेफरेंस ऑप्टिमाइजेशन (DPO) को अलग करता है:

Princeton NLP एब्लेशन: समान SFT वेट का उपयोग करते हुए, DPO में संक्रमण से कोरिलेशन $\Delta\rho = +0.46$ बढ़ गया (हालांकि SFT बेसलाइन में लगभग चांस-लेवल सटीकता थी)।
Tulu 3 एब्लेशन: सार्थक सटीकता स्तरों पर, SFT से DPO में संक्रमण ने कोरिलेशन को $\Delta\rho = +0.24$ (8B मॉडल) और $+0.28$ (70B मॉडल) बढ़ाया।
निष्कर्ष: प्री-ट्रेनिंग एक "नॉलेज मोनोकल्चर" बनाती है, लेकिन एलाइनमेंट पाइपलाइन (विशेष रूप से DPO) इसे एक "आंसर मोनोकल्चर" में बदल देती है, जो नीतियों को रिवॉर्ड मॉडल के पसंदीदा वितरण के मोड की ओर धकेलती है।

C. शमन रणनीतियाँ (Mitigation Strategies)
शोध पत्र सहसंबंध को कम करने के लिए तीन रणनीतियों का परीक्षण करता है:

क्रॉस-मॉडल विविधता: विभिन्न मॉडल परिवारों (जैसे, Llama और Qwen2.5) को मिलाने से $\rho$ , 0.68 से घटकर 0.40 हो जाता है, जिससे $N_{eff}$ , 1.4 से बढ़कर 2.2 हो जाता है। यह सबसे प्रभावी शमन है।
भूमिका विविधता: विशिष्ट एपिस्टेमिक भूमिकाएं (संदेहवादी, बेयसियन, आदि) सौंपने से बिना सटीकता हानि के $\rho$ घटकर 0.44 हो जाता है।
टेम्परेचर विविधता: तापमान बढ़ाने से $\rho$ कम हो जाता है लेकिन इसमें महत्वपूर्ण सटीकता दंड (4.4% की गिरावट) शामिल है।

D. एडवरसेरियल रोबस्टनेस (Adversarial Robustness)

LMSR बनाम डिबेट: एडवरसेरियल सेटिंग्स (जैसे, 1 ईमानदार बनाम 9 दुर्भावनापूर्ण एजेंट) में, LMSR बाजार मल्टी-एजेंट डिबेट से बेहतर प्रदर्शन करते हैं। डिबेट एडवरसेरियल दबाव के तहत ढह जाती है (1v9 में 44.0% सटीकता), जबकि LMSR उच्च सटीकता (59.6%) बनाए रखता है क्योंकि LMSR का कॉनवेक्स कॉस्ट फंक्शन एक मजबूत सर्वसम्मति को पलटने के लिए अत्यधिक पूंजी लागत लगाता है।
सेल्फ-डिटरेंस (Self-Deterrence): प्राइस-थ्रेशोल्ड स्किप नियम से लैस एडवरसेरीज स्वेच्छा से ट्रेड करने से इनकार कर देते हैं जब ईमानदार सर्वसम्मति मजबूत होती है, जिससे बाजार और अधिक स्थिर होता है।

4. महत्व और दावे

शोध पत्र का दावा है कि LLM-आधारित भविष्यवाणी बाजारों की अखंडता मानक एलाइनमेंट पाइपलाइन द्वारा मौलिक रूप से समझौता की गई है।

संरचनात्मक विफलता: LLM बाजारों में "भीड़ की बुद्धिमत्ता" की विफलता एक स्केलिंग समस्या नहीं बल्कि प्रेफरेंस ऑप्टिमाइजेशन का एक संरचनात्मक परिणाम है।
इंटीग्रिटी मीट्रिक: लेखक $N_{eff}$ को एक महत्वपूर्ण इंटीग्रिटी मीट्रिक के रूप में प्रस्तावित करते हैं। 1,000 समान-मॉडल एजेंटों का बाजार प्रभावी रूप से $\approx 1.4$ स्वतंत्र एजेंटों के समान जानकारी प्रदान करता है।
विविधता की आवश्यकता: जैसे-जैसे LLMs अधिक एलाइन्ड होते जा रहे हैं, उनसे बने बाजार अधिक मोनोकल्चरल होते जा रहे हैं। बाजार की प्रभावकारिता को बहाल करने के लिए, प्लेटफार्मों को केवल समान एजेंटों की संख्या बढ़ाने के बजाय क्रॉस-मॉडल विविधता या भूमिका विविधता को प्राथमिकता देनी चाहिए।

शोध पत्र निष्कर्ष निकालता है कि जबकि LMSR एडवरसेरियल हेरफेर के खिलाफ मजबूती प्रदान करता है, यह साझा एलाइनमेंट ट्रेनिंग द्वारा पेश किए गए अंतर्निहित सहसंबंध को दूर नहीं कर सकता है, जिसके लिए पूर्वानुमान कार्यों के लिए मल्टी-एजेंट सिस्टम के निर्माण के तरीके में बदलाव की आवश्यकता है।