← नवीनतम पेपर
💻 computer science

The Dice Roll Method: A StandardizedProtocol for Measuring Stochastic Bias in Large Language Model Output

यह शोध पत्र "डाइस रोल मेथड" (Dice Roll Method) प्रस्तुत करता है, जो एक सांख्यिकीय रूप से सुव्यवस्थित प्रोटोकॉल है जो बड़े भाषा मॉडल (LLM) के आउटपुट में स्टोकेस्टिक बायस (stochastic bias) को मापने के लिए मानकीकृत पुनरावृत्ति गणनाओं और विश्वसनीयता थ्रेशोल्ड्स को स्थापित करने हेतु दोषपूर्ण पैरामीट्रिक धारणाओं को नेगेटिव-बिनोमियल GLMM फ्रेमवर्क और सिमुलेशन-आधारित पावर एनालिसिस से प्रतिस्थापित करता है।

मूल लेखक: Dmitrij Żatuchin

प्रकाशित 2026-06-26
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Dmitrij Żatuchin

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या एक विशिष्ट छह-तरफा पासा (dice) "निष्पक्ष" है। आप एक बार पासा फेंकते हैं और आपको 4 मिलता है। क्या पासा खराब है? शायद। आप इसे दोबारा फेंकते हैं और आपको 2 मिलता है। क्या यह खराब है? शायद। यदि आप वास्तव में जानना चाहते हैं कि पासा निष्पक्ष है या नहीं, तो आप इसे केवल कुछ बार नहीं फेंक सकते; आपको इसे बहुत, बहुत बार फेंकना होगा और पैटर्न को देखना होगा।

यह शोध पत्र ठीक यही करने के बारे में है, लेकिन एक भौतिक पासे के बजाय, इसमें लार्ज लैंग्वेज मॉडल्स (LLMs) का परीक्षण किया जा रहा है, जैसे कि वे जो चैटबॉट्स को संचालित करते हैं।

यहाँ सरल विवरण दिया गया है कि लेखक, दिमित्रि ज़ातुचिन (Dmitrij Żatuchin) ने क्या खोजा और प्रस्तावित किया है।

1. समस्या: "डिजिटल पासा" डगमगा रहा है

जब आप एक AI से बिल्कुल एक ही सवाल दो बार पूछते हैं, तो वह अक्सर आपको दो थोड़े अलग उत्तर देता है। यह कोई बग (त्रुटि) नहीं है; यह एक विशेषता है जिसे स्टोकेस्टिसिटी (stochasticity - यादृच्छिकता/रैंडमनेस) कहा जाता है। AI एक डिजिटल पासे की तरह है जो हर बार एक नया उत्तर फेंकता है।

शोधकर्ता यह मापने की कोशिश कर रहे थे कि क्या ये AI पक्षपाती हैं (उदाहरण के लिए, क्या वे पुरुषों बनाम महिलाओं को अलग-अलग ब्रांडों की सिफारिश करते हैं?)। लेकिन वे "पासे" को बहुत कम बार फेंक रहे थे। कुछ शोधकर्ताओं ने इसे 5 बार फेंका, दूसरों ने 40 बार। उनके पास कोई नियम पुस्तिका नहीं थी कि वास्तव में परिणामों पर भरोसा करने के लिए कितने "फेक" (rolls) पर्याप्त थे।

2. समाधान: "पासा फेंकने की विधि" (The Dice Roll Method)

लेखक ने एक मानक नियम पुस्तिका बनाई जिसे "डाइस रोल मेथड" कहा जाता है। इसे AI निष्पक्षता के परीक्षण के लिए एक मानकीकृत रेसिपी के रूप में समझें। शोध पत्र का तर्क है कि आप AI के उत्तरों को साधारण गणितीय समस्याओं (जैसे टेस्ट स्कोर का औसत निकालना) की तरह नहीं मान सकते। AI के उत्तर अव्यवस्थित होते हैं, आपस में जुड़े होते हैं और अजीब पैटर्न का पालन करते हैं।

इसे ठीक करने के लिए, लेखक ने विशिष्ट उपकरणों के साथ एक नया "सांख्यिकीय किचन" बनाया:

  • सही पैमाना: एक ऐसे रूलर के बजाय जो यह मानता है कि सब कुछ एक सीधी रेखा (Gaussian) है, वे एक लचीले टेप मेजर (Negative Binomial GLMM) का उपयोग करते हैं जो AI टेक्स्ट की अव्यवस्थित और "ऊबड़-खाबड़" प्रकृति को संभाल सकता है।
  • सही रूलर: दो उत्तरों के बीच की "दूरी" को पुराने गणित (Cohen's d) का उपयोग करके मापने के बजाय, वे एक नए रूलर (Cliff's δ) का उपयोग करते हैं जो डेटा के तिरछा (skewed) होने या शून्य उत्तर होने पर बेहतर काम करता है।
  • सही सिमुलेशन: यह अनुमान लगाने के बजाय कि पासे को कितनी बार फेंकना चाहिए, वे हजारों परिदृश्यों को खेलने के लिए एक कंप्यूटर सिमुलेशन (Monte Carlo) का उपयोग करते हैं ताकि "स्वीट स्पॉट" (सही संतुलन) पाया जा सके।

3. स्वर्णिम नियम: कितनी बार फेंकना है?

सबसे व्यावहारिक निष्कर्ष एक तीन-स्तरीय मार्गदर्शिका है कि आपको एक विश्वसनीय उत्तर प्राप्त करने के लिए एक ही प्रश्न को AI से कितनी बार पूछना चाहिए। लेखक इन स्तरों को आपकी जांच की गंभीरता के आधार पर नाम देते हैं:

  • स्तर 1: "जिज्ञासु खोजकर्ता" (5–7 बार फेंकना)
    • लक्ष्य: केवल एक मोटा विचार प्राप्त करना या यह वर्णन करना कि क्या हो रहा है।
    • विश्वसनीयता: कम। यह बड़ी, स्पष्ट भिन्नताओं को पहचानने के लिए अच्छा है, लेकिन आप छोटी, सूक्ष्म पक्षपातों को मिस कर सकते हैं।
  • स्तर 2: "तथ्य-जांचकर्ता" (10–12 बार फेंकना)
    • लक्ष्य: यह अनुशंसित मानक है। यदि आप आत्मविश्वास से कहना चाहते हैं, "हाँ, यह AI पक्षपाती है," तो आपको इस स्तर का लक्ष्य रखना चाहिए। यह अधिकांश वास्तविक दुनिया के पक्षपातों को पकड़ लेता है।
  • स्तर 3: "कोर्टरूम लॉयर" (15–20 बार फेंकना)
    • लक्ष्य: कठोर, उच्च-दांव वाले अध्ययन जहाँ आपको सूक्ष्म पक्षपातों को भी साबित करने की आवश्यकता है।
    • विश्वसनीयता: बहुत अधिक। यह तब है जब आपको पूरी तरह से आश्वस्त होने की आवश्यकता हो।

4. सत्य की कीमत

शोध पत्र लागत पर भी नज़र डालता है। यह पता चलता है कि एक "अच्छा" उत्तर प्राप्त करना इतना महंगा नहीं है।

  • AI से 5 के बजाय 10 बार पूछने में API शुल्क में केवल कुछ अतिरिक्त डॉलर खर्च होते हैं।
  • लेखक का तर्क है कि यह अतिरिक्त लागत सार्थक है क्योंकि यह शोधकर्ताओं को आकस्मिक परिणामों के आधार पर गलत दावे करने से रोकती है।

5. काम के लिए नए उपकरण

शोध पत्र "स्थिरता" (AI कितना सुसंगत है) को मापने के कुछ नए तरीके पेश करता है:

  • "निष्पक्षता स्कोर" (PASOR): कल्पना कीजिए कि एक ब्रांड जानना चाहता है कि क्या उसके साथ विभिन्न प्रश्नों के मामले में निष्पक्ष व्यवहार किया जा रहा है। यह टूल मापता है कि क्या किसी ब्रांड को ध्यान (attention) का उचित हिस्सा मिल रहा है, चाहे प्रश्न कैसे भी पूछा गया हो।
  • "अर्थ की जाँच" (Embedding Ensemble): केवल यह जाँचने के बजाय कि शब्द समान हैं या नहीं, शोध पत्र सुझाव देता है कि यह जाँचने के लिए तीन अलग-अलग "अनुवाद" उपकरणों (एम्बेडिंग मॉडल) का उपयोग करें कि क्या अर्थ समान है, ताकि यह सुनिश्चित हो सके कि AI केवल अलग शब्दों में एक ही बात नहीं कह रहा है।
  • "ड्रिफ्ट डिटेक्टर" (Drift Detector): AI मॉडल समय के साथ थोड़ा बदल सकते हैं, भले ही वर्जन नंबर वही रहे। शोध पत्र आपके डेटा को "पहले आधे भाग" और "दूसरे आधे भाग" में विभाजित करने का सुझाव देता है ताकि यह सुनिश्चित हो सके कि परीक्षण के दौरान AI ने अपना व्यक्तित्व नहीं बदला।

सारांश

यह शोध पत्र AI निष्पक्षता के परीक्षण के लिए एक नियम पुस्तिका है। यह शोधकर्ताओं को बताता है: "यह अनुमान लगाना बंद करें कि AI से एक सवाल कितनी बार पूछना है। हमारे नए, अधिक सटीक गणितीय उपकरणों का उपयोग करें, और एक भरोसेमंद उत्तर प्राप्त करने के लिए कम से कम 10 बार फेंकने का लक्ष्य रखें।"

यह पुराने, कठोर गणित को लचीले, यथार्थवादी उपकरणों से बदल देता है जो समझते हैं कि AI एक घूमते हुए पासे की तरह है: अप्रत्याशित, लेकिन यदि आप इसे पर्याप्त बार फेंकते हैं तो पर्याप्त हद तक अनुमान लगाने योग्य।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →