🤖 machine learning

Aligning LLMs with Human Uncertainty: A Beta-Bernoulli Calibrator for LLM Forecasting

यह शोध पत्र बीटा-बर्नौली कैलिब्रेटर (बीबीसी) का परिचय देता है, जो एक हल्का तरीका है जो पॉइंट एस्टीमेट्स को विश्वसनीय एपिस्टेमिक अनसर्टेन्टी के साथ कैलिब्रेटेड प्रोबेबिलिस्टिक फोरकास्ट में बदलने के लिए बाइनरी आउटकम्स और ह्यूमन फोरकास्ट डिस्ट्रीब्यूशन दोनों का लाभ उठाता है, जो मौजूदा कैलिब्रेशन और फाइन-ट्यूनिंग दृष्टिकोणों से बेहतर प्रदर्शन करता है।

मूल लेखक: Hui Dai, Ryan Teehan, Parsa Torabian, Mengye Ren

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hui Dai, Ryan Teehan, Parsa Torabian, Mengye Ren

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Aligning LLMs with Human Uncertainty: A Beta-Bernoulli Calibrator for LLM Forecasting" नामक शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: अति-आत्मविश्वासी भविष्यवक्ता (The Overconfident Oracle)

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान AI (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो एक भविष्यवक्ता की तरह काम करता है। आप उससे पूछते हैं, "क्या कल बारिश होगी?" या "क्या इस कंपनी का स्टॉक ऊपर जाएगा?" AI आपको एक उत्तर देता है, जैसे "मुझे 80% यकीन है कि बारिश होगी।"

समस्या क्या है? AI अक्सर अति-आत्मविश्वासी (overconfident) होता है। वह "80%" कह सकता है जबकि वास्तविकता "50%" के करीब हो सकती है। यह उस मौसम विज्ञानी की तरह है जो बादलों के होने के बावजूद भी "धूप खिली रहेगी!" चिल्लाकर बोलता रहता है, क्योंकि वह बहुत निश्चित दिखना चाहता है।

मौजूदा तरीके इसे ठीक करने की कोशिश करते हैं ताकि AI पिछले परिणामों (क्या बारिश हुई या नहीं?) को देख सके और अपने नंबरों को एडजस्ट कर सके। लेकिन इस शोध पत्र के लेखक कहते हैं: "रुको, एक बेहतर शिक्षक मौजूद है।"

गुप्त हथियार: भीड़ का "वाइब चेक" (The Crowd's "Vibe Check")

यह शोध पत्र एक नई विधि पेश करता है जिसे बीटा-बर्नौली कैलिब्रेटर (Beta-Bernoulli Calibrator - BBC) कहा जाता है। BBC को एक स्मार्ट रेफरी की तरह समझें जो AI और अंतिम उत्तर के बीच खड़ा होता है।

यह कैसे काम करता है, इसके लिए एक सरल उदाहरण देखते हैं:

प्रारंभिक अनुमान (AI): AI एक अनुमान लगाता है। मान लीजिए वह कहता है, "60% संभावना है कि बारिश होगी।"
भीड़ की राय (मानवीय पूर्वानुमान): यह शोध पत्र प्रेडिक्शन मार्केट्स (जैसे सट्टेबाजी साइटों या पूर्वानुमान प्लेटफार्मों) से डेटा का उपयोग करता है जहाँ हज़ारों वास्तविक लोगों ने पहले ही अनुमान लगाया है। BBC केवल उनके अनुमानों का औसत नहीं लेता, बल्कि वह लोगों की राय के फैलाव (spread) को भी देखता है।
- परिदृश्य A: हर कोई 60% पर सहमत है। भीड़ आश्वस्त है।
- परिदृश्य B: कुछ लोग 20% कहते हैं, कुछ 80%। भीड़ भ्रमित और बंटी हुई है।
रेफरी (BBC): BBC, AI के अनुमान और भीड़ के "वाइब" (भाव) को लेकर एक डिस्ट्रीब्यूशन (distribution) (संभावनाओं की एक सीमा) बनाता है, न कि केवल एक संख्या।
- यदि भीड़ बंटी हुई है, तो BBC, AI को बताता है: "तुम्हारा 60% का अनुमान ठीक है, लेकिन तुम्हें इस बारे में कम निश्चित होना चाहिए क्योंकि बाकी सब आपस में बहस कर रहे हैं।"
- यदि भीड़ सहमत है, तो BBC कहता है: "बहुत अच्छा, तुम्हारा 60% ठोस है।"

जादुई ट्रिक: "बीटा" और "बर्नौली" (The "Beta" and "Bernoulli")

यह शोध पत्र कुछ फैंसी गणितीय नामों का उपयोग करता है, लेकिन वे केवल दो सरल अवधारणाओं का वर्णन कर रहे हैं:

बर्नौली (सिक्के का उछाल - The Bernoulli): यह वास्तविक घटना है। क्या बारिश हुई? (हाँ/नहीं)। यह अंतिम परिणाम है।
बीटा (संभावनाओं का बादल - The Beta): यह अनिश्चितता को दर्शाने का BBC का तरीका है।
- कल्पना कीजिए कि AI के आत्मविश्वास को एक बादल के रूप में देखा जा रहा है।
- एक संकीर्ण, ऊँचा बादल का मतलब है कि AI बहुत सुनिश्चित है (कम अनिश्चितता)।
- एक चौड़ा, चपटा बादल का मतलब है कि AI अंदाज़ा लगा रहा है (उच्च अनिश्चितता)।

BBC इस बादल को आकार देना सीखता है। यह बाइनरी आउटकम (बारिश हुई या नहीं?) का उपयोग यह सुनिश्चित करने के लिए करता है कि बादल का केंद्र सटीक हो। लेकिन यह मानवीय पूर्वानुमानों का उपयोग बादल की चौड़ाई को आकार देने के लिए करता है। यदि इंसान भ्रमित हैं, तो बादल चौड़ा हो जाता है। यदि इंसान एकजुट हैं, तो बादल संकरा हो जाता है।

यह अन्य तरीकों से बेहतर क्यों है?

इस शोध पत्र ने AI भविष्यवाणियों को ठीक करने के अन्य तरीकों के मुकाबले इसका परीक्षण किया:

"बस AI से पूछें" के मुकाबले: जब आप केवल एक AI से प्रतिशत पूछते हैं, तो वह इस बारे में झूठ बोलता है कि वह कितना सुनिश्चित है। BBC इसे ठीक करता है।
सरल गणितीय सुधारों के मुकाबले: पुराने तरीके (जैसे प्लैट स्केलिंग) केवल संख्याओं को खींचते या सिकोड़ते हैं। वे एक ऐसे पैमाने की तरह हैं जो केवल लंबाई माप सकते हैं, चौड़ाई नहीं। BBC मूल्य (value) और अनिश्चितता (uncertainty) दोनों को मापता है।
नया AI प्रशिक्षित करने के मुकाबले: आप बेहतर अनुमान लगाने के लिए एक विशाल AI को शुरू से फिर से प्रशिक्षित करने की कोशिश कर सकते हैं। यह महंगा और धीमा है। BBC एक हल्का (lightweight) एड-ऑन है। यह एक साधारण कैमरे पर एक हाई-टेक लेंस लगाने जैसा है। आपको नया कैमरा खरीदने की ज़रूरत नहीं है; बस फोटो को स्पष्ट बनाने के लिए लेंस जोड़ दें।

मुख्य निष्कर्ष

बेहतर सटीकता: BBC, AI के अनुमानों को अधिक सटीक बनाता है (कम "ब्रायर स्कोर", जो केवल एक फैंसी शब्द है जिसका अर्थ है "सच्चाई के करीब होना")।
ईमानदार अनिश्चितता: सबसे महत्वपूर्ण खोज एपिस्टेमिक अनिश्चितता (Epistemic Uncertainty) के बारे में है। यह एक फैंसी शब्द है जिसका अर्थ है "मॉडल को कितनी जानकारी नहीं है।"
- जब BBC कहता है, "मेरे पास अनिश्चितता का एक चौड़ा बादल है," तो वह आमतौर पर सही होता है। AI वास्तव में उस प्रश्न के साथ संघर्ष कर रहा होता है।
- जब AI केवल कहता है "मुझे 90% यकीन है," तो वह अक्सर गलत होता है। BBC का "बादल की चौड़ाई" AI के अपने शब्दों की तुलना में एक बहुत बेहतर चेतावनी संकेत है।
किसी भी AI पर काम करता है: आप इस "रेफरी" का उपयोग किसी भी AI पर कर सकते हैं, यहाँ तक कि उन AI पर भी जिन्हें आप बदल नहीं सकते या जिनके अंदरूनी हिस्से को देख नहीं सकते (ब्लैक-बॉक्स मॉडल)।

सारांश

यह शोध पत्र एक सरल लेकिन शक्तिशाली विचार प्रस्तावित करता है: केवल AI से एक संख्या मत मांगिए; उससे भीड़ के भ्रम से सीखना सीखिए।

एक छोटे, स्मार्ट "रेफरी" (BBC) का उपयोग करके, जो अंतिम परिणामों और इस बात पर नज़र रखता है कि इंसान कितने सहमत या असहमत थे, हम एक आत्मविश्वासी लेकिन गलत AI को एक विनम्र और सटीक भविष्यवक्ता में बदल सकते हैं। यह एक ऐसे मौसम विज्ञानी के बीच का अंतर है जो "धूप खिली रहेगी!" चिल्लाता है और एक ऐसे जो कहता है, "धूप होने की संभावना है, लेकिन बादल तेज़ी से बढ़ रहे हैं, इसलिए मैं 100% निश्चित नहीं हूँ।"

तकनीकी सारांश: बीटा-बर्नौली कैलिब्रेटर के माध्यम से मानव अनिश्चितता के साथ LLMs का संरेखण

समस्या विवरण

आर्थिक या राष्ट्रीय सुरक्षा जैसे क्षेत्रों में निर्णय लेने के लिए संभाव्य पूर्वानुमान (probabilistic forecasting) अत्यंत महत्वपूर्ण है। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) में व्यापक ज्ञान और तर्क करने की क्षमता होती है, वे अक्सर कुशल मानव पूर्वानुमानकर्ताओं से बेहतर प्रदर्शन करने में संघर्ष करते हैं। LLM पूर्वानुमान को सुधारने के मौजूदा तरीके आमतौर पर बाइनरी परिणामों (जैसे, क्या कोई घटना घटी या नहीं) का उपयोग करके सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) या सुदृढीकरण शिक्षण (RL) पर निर्भर करते हैं। हालाँकि, ये दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं: वे संसाधन-गहन हैं, ब्लैक-बॉक्स मॉडल्स के लिए अक्सर लागू नहीं होते हैं, और मानव पूर्वानुमानों में निहित समृद्ध जानकारी का लाभ उठाने में विफल रहते हैं। विशेष रूप से, मानव पूर्वानुमान न केवल एक समग्र प्रायिकता अनुमान प्रदान करते हैं, बल्कि पूर्वानुमानकर्ताओं के बीच सहमति (consensus) का स्तर भी दर्शाते हैं, जो मानव भावना और एपिस्टेमिक अनिश्चितता (epistemic uncertainty) के बारे में मूल्यवान संकेत देता है। वर्तमान विधियाँ इस वितरण संबंधी जानकारी (distributional information) की अनदेखी करती हैं, और केवल पॉइंट एस्टीमेट या मौखिक रूप से व्यक्त किए गए आत्मविश्वास स्कोर पर ध्यान केंद्रित करती हैं, जो अत्यधिक आत्मविश्वासी और शोर युक्त (noisy) पाए गए हैं।

कार्यप्रणाली: बीटा-बर्नौली कैलिब्रेटर (BBC)

लेखक बीटा-बर्नौली कैलिब्रेटर (BBC) का प्रस्ताव करते हैं, जो एक हल्का, मॉडल-अज्ञेयवादी (model-agnostic) पोस्ट-हॉक कैलिब्रेशन फ्रेमवर्क है। फाइन-ट्यूनिंग करने का प्रयास करने वाले तरीकों के विपरीत, BBC एक अलग, छोटे मॉडल के रूप में कार्य करता है जो किसी भी इनपुट LLM से प्रारंभिक मौखिक पूर्वानुमान को परिष्कृत करता है।

मुख्य ढांचा

यह फ्रेमवर्क लेटेंट इवेंट प्रोबेबिलिटी $p$ को एक रैंडम वेरिएबल के रूप में मॉडल करता है जो बीटा वितरण से प्राप्त होता है, $p \sim \text{Beta}(\alpha, \beta)$ , और देखे गए बाइनरी परिणाम $y$ को बर्नौली ट्रायल के एक यथार्थ के रूप में देखता है, $y \sim \text{Bernoulli}(p)$ ।

इनपुट: कैलिब्रेटर एक पूर्वानुमान प्रश्न ( $x_i$ ) और एक इनपुट LLM से प्रारंभिक मौखिक पॉइंट फोरकास्ट ( $\hat{p}^{init}_i$ ) लेता है।
आउटपुट: एक एकल प्रायिकता देने के बजाय, कैलिब्रेटर बीटा वितरण (या लचीलेपन के लिए $K$ $K$ बीटा वितरणों के मिश्रण) के मापदंडों (parameters) की भविष्यवाणी करता है।
- अनुमानित वितरण का माध्य (mean) परिष्कृत पॉइंट फोरकास्ट के रूप में कार्य करता है: $\hat{p}_i = \mathbb{E}[p_i] = \frac{\hat{\alpha}_i}{\hat{\alpha}_i + \hat{\beta}_i}$ ।
- प्रसरण (variance) एपिस्टेमिक अनिश्चितता के माप के रूप में कार्य करता है: $\hat{u}_i = \text{Var}[p_i]$ ।

प्रशिक्षण उद्देश्य

कैलिब्रेटर को एक संयुक्त लॉस फंक्शन $\mathcal{L}_{total} = \mathcal{L}_{binary} + \mathcal{L}_{human}$ का उपयोग करके प्रशिक्षित किया जाता है:

बाइनरी आउटकम सुपरविजन ( $\mathcal{L}_{binary}$ ): मॉडल वास्तविक बाइनरी परिणाम ( $y_i \in \{0, 1\}$ ) से सीखता है। लेखक प्रदर्शित करते हैं कि बीटा-बर्नौली मॉडल के तहत बाइनरी परिणाम की संभावना को अधिकतम करना, वितरण के माध्य के संबंध में बाइनरी क्रॉस-एन्ट्रॉपी (BCE) लॉस को कम करने के गणितीय रूप से समकक्ष है। यह सुनिश्चित करता है कि मॉडल वास्तविक प्रायिकता की भविष्यवाणी करना सीखता है।
मानव पूर्वानुमान सुपरविजन ( $\mathcal{L}_{human}$ ): आइडेंटिबिलिटी समस्या (जहाँ विभिन्न बीटा वितरण समान माध्य और BCE लॉस दे सकते हैं) को संबोधित करने और वितरण के आकार को पकड़ने के लिए, मॉडल को मानव पूर्वानुमानों द्वारा सुपरवाइज किया जाता है। लेखक मानव पूर्वानुमानों को वास्तविक लेटेंट वितरण से शोर युक्त नमूने (noisy samples) मानते हैं। वे मानव पूर्वानुमानों का एक हिस्टोग्राम बनाते हैं और अनुमानित बीटा (या मिश्रण बीटा) वितरण और इस हिस्टोग्राम के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करते हैं। यह मॉडल को भीड़ (crowd) में निहित "सहमति" और अनिश्चितता को सीखने में सक्षम बनाता है।

आर्किटेक्चर

कैलिब्रेटर को एक मल्टी-लेयर पर्सेप्ट्रॉन (MLP) हेड के साथ एक छोटे लैंग्वेज मॉडल (जैसे, Llama-3.2-1B) के रूप में लागू किया गया है। यह इनपुट टेक्स्ट और प्रारंभिक फोरकास्ट को एनकोड करता है, फिर बीटा पैरामीटर्स की भविष्यवाणी करता है। यह डिज़ाइन सुनिश्चित करता है कि विधि कम्प्यूटेशनल रूप से कुशल है और इसे बिना आंतरिक वेट्स या रिप्रेजेंटेशन तक पहुँच के, किसी भी ब्लैक-बॉक्स LLM पर लागू किया जा सकता है।

प्रमुख योगदान

बीटा-बर्नौली कैलिब्रेटर: एक हल्का, मॉडल-अज्ञेयवादी तरीका जो पॉइंट फोरकास्ट को इवेंट लाइक्लीहुड के वितरण में बदल देता है, जिससे एलेयोटरिक (aleatoric) और एपिस्टेमिक (epistemic) दोनों प्रकार की अनिश्चितता को प्रभावी ढंग से कैप्चर किया जा सकता है।
वितरण संबंधी सुपरविजन के रूप में मानव: पेपर मानव पूर्वानुमान वितरण (Metaculus और Polymarket जैसे प्लेटफार्मों से एकत्रित) का उपयोग एक सुपरवाइजरी सिग्नल के रूप में करने का एक नया दृष्टिकोण पेश करता है। यह बाइनरी परिणामों से परे सूचना प्रदान करता है, विशेष रूप से प्रायिकता वितरण के आकार और पूर्वानुमानकर्ताओं के बीच सहमति के स्तर के संबंध में।
एपिस्टेमिक अनिश्चितता एक प्रेडिक्टर के रूप में: लेखक दिखाते हैं कि बीटा वितरण का प्रसरण, LLMs द्वारा दिए गए मौखिक आत्मविश्वास स्कोर की तुलना में पूर्वानुमान त्रुटि का अधिक विश्वसनीय भविष्यवक्ता है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन Metaculus और Polymarket के डेटासेट पर किया गया, और Kalshi पर आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) टेस्टिंग भी की गई।

बेसलाइन्स के विरुद्ध प्रदर्शन: BBC ने पारंपरिक पोस्ट-हॉक कैलिब्रेशन विधियों (Platt Scaling, Isotonic Regression) और विशेष रूप से पूर्वानुमान के लिए फाइन-ट्यून किए गए मॉडल्स (जैसे, OpenForecaster-8B, Future-as-a-label-32B) को लगातार पछाड़ दिया।
- टेस्ट सेट पर, BBC ने मौखिक बेसलाइन्स (जैसे, Claude-Sonnet-4 के लिए 0.146 से 0.125) की तुलना में ब्रियर स्कोर (Brier score) को लगभग 14.4% कम कर दिया और AUC को 72.3% से बढ़ाकर 74.2% कर दिया।
- BBC ने फाइन-ट्यून किए गए मॉडल्स की तुलना में बेहतर कैलिब्रेशन (कम एक्सपेक्टेड कैलिब्रेशन एरर) और बेहतर डिस्क्रिमिनेशन (उच्च AUC) प्राप्त किया, जो यह सुझाव देता है कि एक हल्का कैलिब्रेटर पूर्ण मॉडल फाइन-ट्यूनिंग का एक अधिक कुशल विकल्प है।
मानव सुपरविजन का प्रभाव: "BBC (केवल बाइनरी)" की तुलना "BBC (बाइनरी + मानव)" से करने पर पता चला कि मानव पूर्वानुमान वितरण को शामिल करने से ब्रियर स्कोर और AUC में लगातार सुधार हुआ। अनुमानित वितरण और मानव पूर्वानुमानों के बीच KL डाइवर्जेंस कम हो गया, जो इंगित करता है कि मॉडल मानव विश्वासों के साथ बेहतर ढंग से संरेखित हुआ।
एपिस्टेमिक अनिश्चितता: विश्लेषण से पता चला कि बीटा वितरण का प्रसरण, भविष्यवाणी त्रुटियों (ब्रियर स्कोर) के साथ मजबूती से सह-संबंधित था। इसके विपरीत, मौखिक आत्मविश्वास स्कोर शोर युक्त थे और अक्सर वास्तविक प्रदर्शन के साथ असंबद्ध थे।
सामान्यीकरण (Generalization): कैलिब्रेटर ने OOD Kalshi डेटासेट पर मजबूत सामान्यीकरण दिखाया, जहाँ पारंपरिक कैलिब्रेशन विधियाँ विफल रहीं।
दक्षता: प्रयोगों ने पुष्टि की कि 70 बिलियन पैरामीटर्स वाले मॉडल्स (जैसे, 70B) के पूर्वानुमानों को प्रभावी ढंग से परिष्कृत करने के लिए 1 बिलियन पैरामीटर वाला कैलिब्रेटर पर्याप्त है, जो इस दृष्टिकोण की कम्प्यूटेशनल दक्षता को उजागर करता है।

महत्व और दावे

पेपर का दावा है कि बीटा-बर्नौली कैलिब्रेटर निम्नलिखित तरीकों से LLM पूर्वानुमान में एक महत्वपूर्ण प्रगति प्रदान करता है:

अंतराल को पाटना: यह "भीड़ की बुद्धिमत्ता" (wisdom of the crowd) का न केवल एक पॉइंट एस्टीमेट के रूप में, बल्कि एक वितरण संबंधी सिग्नल के रूप में प्रभावी ढंग से उपयोग करता है ताकि अनिश्चितता को मॉडल किया जा सके, जो वर्तमान LLM पूर्वानुमान साहित्य में एक कमी को दूर करता है।
मॉडल-अज्ञेयवाद: एक पोस्ट-हॉक कैलिब्रेटर के रूप में कार्य करके, यह महंगे फाइन-ट्यूनिंग या आंतरिक अवस्थाओं तक पहुँच के बिना किसी भी LLM (निजी ब्लैक-बॉक्स मॉडल्स सहित) के कैलिब्रेशन की अनुमति देता है।
विश्वसनीय अनिश्चितता मात्रा निर्धारण: यह एपिस्टेमिक अनिश्चितता का अनुमान लगाने का एक सिद्धांत आधारित तरीका प्रदान करता है जो त्रुटि का सटीक अनुमान लगाता है, जो LLMs के अविश्वसनीय स्व-रिपोर्ट किए गए आत्मविश्वास से आगे जाता है।
पूरकता: इस पद्धति को मौजूदा तकनीकों के पूरक के रूप में प्रस्तुत किया गया है; इसे पूर्वानुमान के लिए पहले से फाइन-ट्यून किए गए मॉडल्स पर और अधिक प्रदर्शन लाभ प्राप्त करने के लिए लगाया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि मानव पूर्वानुमानकर्ता वर्तमान LLMs की तुलना में श्रेष्ठ बने हुए हैं, BBC फ्रेमवर्क मानव सहमति संकेतों का उपयोग करके मॉडल के विश्वासों को कैलिब्रेट करके इस अंतर को काफी कम कर देता है, जो अधिक विश्वसनीय AI पूर्वानुमान के लिए एक स्केलेबल और कुशल मार्ग प्रदान करता है।