📊 statistics

Reliability of decisions based on tests: Fourier analysis of Boolean decision functions

यह शोध पत्र परीक्षण परिणामों के लिए भारित योग स्कोर (weighted sum scores) को माप त्रुटियों और मदों के आनुपातिक प्रभाव के विरुद्ध सुदृढ़ता सुनिश्चित करके सबसे विश्वसनीय और स्थिर निर्णय फलन के रूप में प्रदर्शित करने के लिए परीक्षण सिद्धांत और ग्राफिकल मॉडल की अवधारणाओं के साथ-साथ बुलियन फलनों के फूरियर विश्लेषण का उपयोग करता है।

मूल लेखक: Lourens Waldorp, Maarten Marsman, Denny Borsboom

प्रकाशित 2026-08-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lourens Waldorp, Maarten Marsman, Denny Borsboom

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक हाई-स्टेक्स गेम शो में एक जज हैं जहाँ प्रतियोगी हाँ या ना वाले सवालों के जवाब देते हैं। आपका काम यह तय करना है कि वे पास हुए या फेल। मनोविज्ञान और शिक्षा की दुनिया में, यह बिल्कुल वही होता है जो हर दिन टेस्ट के साथ होता है: एक छात्र कई सवालों के जवाब देता है, और एक स्कोर यह निर्धारित करता है कि वह स्नातक होगा, लाइसेंस प्राप्त करेगा, या चिकित्सा परीक्षा पास करेगा। दशकों से, वैज्ञानिक जटिल, अदृश्य "भूतों" (जिन्हें लेटेंट वेरिएबल्स कहा जाता है) पर भरोसा करते आए हैं ताकि यह समझाया जा सके कि लोग सवालों के जवाब जिस तरह से देते हैं उसका कारण क्या है। वे एक छिपे हुए गुण की कल्पना करते हैं, जैसे कि "बुद्धिमत्ता," जो आसपास तैर रहा है और उत्तरों को प्रभावित कर रहा है। लेकिन क्या होगा अगर हमें उस भूत की आवश्यकता ही न हो? क्या होगा यदि हम केवल सवालों को देखें और यह देखें कि वे आपस में कैसे बात करते हैं? यह शोध पत्र इस प्रश्न में गहराई से उतरता है: हम यह कैसे सुनिश्चित करें कि हमारा "पास/फेल" का निर्णय निष्पक्ष है और किसी व्यक्ति द्वारा एक सवाल पर छोटी सी गलती करने से यह अचानक से बदल नहीं जाता? इसे समझने के लिए, हमें "बूलियन फंक्शन्स" (जो केवल फैंसी गणितीय शब्द हैं जो कई हाँ/ना इनपुट लेते हैं और एक एकल हाँ/ना आउटपुट देते हैं) और "फूरियर विश्लेषण" (एक उपकरण जिसका उपयोग आमतौर पर ध्वनि तरंगों को नोट्स में तोड़ने के लिए किया जाता है, लेकिन यहाँ निर्णय नियमों को उनके सबसे बुनियादी हिस्सों में तोड़ने के लिए किया गया है) के बारे में जानना होगा। लेखक यह जानना चाहते हैं कि क्या टेस्ट स्कोर करने का मानक तरीका—बस अंकों को जोड़ना—वास्तव में निर्णय लेने का सबसे अच्छा, सबसे स्थिर तरीका है, या क्या निर्णय लेने का कोई बेहतर तरीका है जिसमें सवालों को अलग तरह से तौला जा सके।

इस शोध पत्र के लेखक, लोरेन्स वाल्डोर्प, मार्टन मार्समैन और डेनी बोर्सबूम ने एक टेस्ट को किसी अदृश्य भूत द्वारा सुलझाए जाने वाले रहस्य के रूप में नहीं, बल्कि आपस में बातचीत करने वाले दोस्तों के एक नेटवर्क के रूप में देखने का निर्णय लिया। उन्होंने यह जांचने के लिए कि हमारे टेस्ट निर्णय वास्तव में कितने विश्वसनीय हैं, एक गणितीय तकनीक का उपयोग किया जिसे बूलियन फंक्शन्स का फूरियर विश्लेषण कहा जाता है। एक टेस्ट को एक विशाल, जटिल मशीन के रूप में सोचें जहाँ प्रत्येक प्रश्न एक गियर है। यदि आप एक गियर को थोड़ा सा हिलाते हैं (एक छात्र अपना उत्तर सही से गलत में बदल देता है), तो क्या पूरी मशीन काम करना बंद कर देती है और एक अलग परिणाम देती है? या क्या मशीन इतनी मजबूत है कि एक छोटा सा बदलाव मायने नहीं रखता?

शोधकर्ताओं ने पाया कि टेस्ट स्कोर करने का सबसे आम तरीका—बस सही उत्तरों को जोड़ना (एक "सम स्कोर") या इसका एक भारित संस्करण उपयोग करना—वास्तविक में एक बहुत ही विशेष और मजबूत विकल्प है। उन्होंने पाया कि यह विधि, जिसे वे लीनियर थ्रेशोल्ड फंक्शन (LTF) कहते हैं, एक मजबूत पुल की तरह है। यदि कुछ कारें (उत्तर) रास्ता भटक जाती हैं या गलती करती हैं, तो भी पुल ढहता नहीं है; निर्णय "पास" या "फेल" का वही रहता है। वास्तव में, उन्होंने गणितीय रूप से दिखाया कि यदि आप एक ऐसा निर्णय नियम चाहते हैं जो स्थिर (विश्वसनीय) हो और सभी सवालों के साथ निष्पक्ष व्यवहार करे, तो सम स्कोर (sum score) उपयोग करने के लिए सबसे अच्छे उपकरणों में से एक है। यह एकमात्र प्रकार का नियम है जो मेज़ के सिद्धांत (May's Theorem) नामक प्रसिद्ध निष्पक्षता मानदंडों के सेट को पूरा करता है, जो मूल रूप से कहता है: "यदि आप एक ऐसा निर्णय चाहते हैं जो निष्पक्ष, सुसंगत हो, और किसी एक अकेले सवाल को पूरे परिणाम को हाईजैक न करने दे, तो आपको एक सम स्कोर का उपयोग करना चाहिए।"

इस बात को समझने के लिए, टीम ने एक चतुर तरकीब का इस्तेमाल किया। उन्होंने एक "शोर" (noise) प्रयोग की कल्पना की जहाँ उन्होंने यादृच्छिक रूप से कुछ उत्तरों को बदल दिया (जैसे कि एक छात्र का अंदाज़ा लगाना या एक मूर्खतापूर्ण गलती करना) और देखा कि अंतिम निर्णय कैसे बदला। अपने फूरियर विश्लेषण का उपयोग करते हुए, वे ठीक से देख सके कि प्रत्येक प्रश्न का अंतिम फैसले पर कितना "प्रभाव" था। उन्होंने पाया कि यदि कोई प्रश्न अलग-थheld (isolated) है—यानी, वह अन्य प्रश्नों के साथ अच्छी तरह से नहीं जुड़ता है—तो उसका लगभग कोई प्रभाव नहीं होता, जो एक अच्छे टेस्ट के लिए बुरा संकेत है। लेकिन यदि प्रश्न अच्छी तरह से जुड़े हुए हैं, तो सम स्कोर एक आदर्श फिल्टर की तरह काम करता है, शोर को सुचारू बनाता है ताकि अंतिम निर्णय स्थिर बना रहे।

यह शोध पत्र यह सोचने का एक नया तरीका भी सुझाता है कि एक "वास्तविक स्कोर" वास्तव में क्या है। एक छिपे हुए "बुद्धिमत्ता" के बजाय जो उत्तरों का कारण बनता है, वे प्रस्तावित करते हैं कि एक छात्र की वास्तविक क्षमता उन विशिष्ट उत्तरों के पैटर्न द्वारा परिभाषित होती है जो वे उन प्रश्नों को देते हैं जिनसे वे सीधे जुड़े हुए हैं। यह ऐसा है जैसे कहना कि किसी विषय पर आपकी "वास्तविक" राय आपके भीतर कोई छिपी हुई भावना नहीं है, बल्कि यह इस बात का योग है कि आपके दोस्त (अन्य प्रश्न) आपको कैसे प्रभावित करते हैं। यह दृष्टिकोण उन्हें उन अदृश्य भूतों में विश्वास किए बिना विश्वसनीयता की गणना करने की अनुमति देता है।

अपने सिमुलेशन में, शोधकर्ताओं ने 35 प्रश्नों के एक काल्पनिक टेस्ट के साथ इस विचार का परीक्षण किया। उन्होंने पाया कि भले ही वे यह पूरी तरह से मैप न कर सके कि कौन से प्रश्न एक-दूसरे से जुड़े हैं (टेस्ट का "ग्राफ"), फिर भी फूरियर विश्लेषण ने उन्हें इस बारे में सटीक परिणाम दिए कि टेस्ट कितना स्थिर था। उन्होंने दिखाया कि जब तक टेस्ट "संतुलित" है—यानी कोई भी एक प्रश्न बहुत शक्तिशाली या बहुत कमजोर नहीं है—तब तक सम स्कोर सबसे विश्वसनीय निर्णय लेने वाला बना रहता है। यदि टेस्ट में एक "तानाशाह" प्रश्न है (एक जो अकेले ही परिणाम तय करता है), तो निर्णय अस्थिर और अनुचित हो जाता है। लेकिन एक संतुलित सम स्कोर के साथ, निर्णय मजबूत होता है, जिसका अर्थ है कि कुछ गलतियाँ छात्र के पास होने के अवसर को बर्बाद नहीं करेंगी।

अंततः, यह शोध पत्र तर्क देता है कि हमें यह जानने के लिए जटिल, अप्रमाणित सिद्धांतों पर निर्भर करने की आवश्यकता नहीं है कि एक टेस्ट अच्छा है या नहीं। प्रश्नों के बीच होने वाली बातचीत के गणित को देखकर, हम यह सिद्ध कर सकते हैं कि स्कोर को जोड़ने का सरल कार्य जीवन बदलने वाले निर्णय लेने का एक वैज्ञानिक रूप से सुदृढ़, स्थिर और निष्पक्ष तरीका है। यह पता चलता है कि कभी-कभी, वोटों को गिनने का सबसे सरल तरीका ही विजेता तय करने का सबसे विश्वसनीय तरीका होता है।

तकनीकी सारांश: फूरियर विश्लेषण के माध्यम से बूलियन फलनों (Boolean Functions) के आधार पर निर्णयों की विश्वसनीयता

समस्या विवरण
वस्तु प्रतिक्रियाओं (item responses) के आधार पर बाइनरी निर्णय (जैसे, पास/फेल) लेने के लिए परीक्षणों का बार-बार उपयोग किया जाता है। पारंपरिक रूप से, ऐसे परीक्षणों के मनोमितीय गुणों (psychometric properties) का मूल्यांकन लेटेंट वेरिएबल मॉडल (जैसे, आइटम रिस्पांस थ्योरी) के माध्यम से किया जाता है, जो यह मानते हैं कि अनऑब्जर्व्ड कंस्ट्रक्ट्स (unobserved constructs) अदृश्य रूप से आइटम्स को प्रभावित करते हैं। हालाँकि, लेखक तर्क देते हैं कि ये मॉडल अक्सर अवास्तविक धारणाओं पर निर्भर करते हैं, जैसे कि लेटेंट वेरिएबल्स का अस्तित्व या अनंत टेल इवेंट्स (infinite tail events)। इसके अलावा, यह स्पष्ट नहीं होता कि आइटम प्रतिक्रियाओं में छोटे परिवर्तन (मापन त्रुटि) अंतिम निर्णय को कैसे प्रभावित करते हैं। यह शोध पत्र बिना लेटेंट वेरिएबल मॉडल पर निर्भर हुए, एक उपयुक्त निर्णय फलन (decision function) की आवश्यकताओं को निर्धारित करने का प्रयास करता है। विशेष रूप से, यह जांच करता है कि क्या मानक भारित योग स्कोर (weighted sum score) आइटम्स को एकत्रित करने का सबसे इष्टतम तरीका है और कौन से गुण एक निर्णय फलन को शोर (noise) के विरुद्ध विश्वसनीय (स्थिर) बनाते हैं।

कार्यप्रणाली
लेखक निर्णय नियमों का विश्लेषण करने के लिए बूलियन फलनों के फूरियर विश्लेषण (Fourier analysis of Boolean functions) का उपयोग करते हैं। एक निर्णय फलन $f$ को $n$ बाइनरी आइटम्स (जिन्हें $\{-1, 1\}$ के रूप में एनकोड किया गया है) से बाइनरी परिणाम तक के मैपिंग के रूप में मॉडल किया गया है। कार्यप्रणाली कई प्रमुख चरणों के माध्यम से आगे बढ़ती है:

ग्राफिकल मॉडलिंग ढांचा: आइटम्स के बीच निर्भरता (dependencies) को समायोजित करने के लिए (जो स्वतंत्र और समान रूप से वितरित वेरिएबल्स की धारणा का उल्लंघन करती है), लेखक अपने विश्लेषण को ग्राफिकल मॉडल्स, विशेष रूप से आइसिंग मॉडल (Ising model) के भीतर स्थापित करते हैं। वे जॉइंट प्रोबेबिलिटी के बजाय स्यूडो-लाइक्लिहुड फैक्टराइजेशन (pseudo-likelihood factorization) (सशर्त संभावनाओं का गुणनफल) का उपयोग करते हैं। यह स्थानीय सशर्त स्वतंत्रता (local conditional independence) को परिभाषित करने की अनुमति देता है, जहाँ एक आइटम केवल ग्राफ में अपने पड़ोसियों पर निर्भर करता है।
p-बायस्ड फूरियर विश्लेषण: मानक फूरियर विश्लेषण समान वितरण (uniform distributions) मानता है। लेखक इसे p-बायस्ड (p-biased) सेटिंग तक विस्तारित करते हैं जहाँ आइटम्स की सफलता की अलग-अलग संभावनाएँ ( $p_i$ ) होती हैं। वे एक रूपांतरित बेसिस फंक्शन $\phi(x_i) = (x_i - \mu_i)/\sigma_i$ को आइसिंग मॉडल के कंडीशनल डिस्ट्रीब्यूशन से प्राप्त कंडीशनल एक्सपेक्टेशन ( $\mu_i$ ) और वेरिएंस ( $\sigma_i$ ) का उपयोग करके परिभाषित करते हैं। यह सुनिश्चित करता है कि बेसिस फंक्शन्स स्यूडो-लाइक्लिहुड मेजर के तहत ऑर्थोगोनल (orthogonal) हों।
स्थिरता और विश्वसनीयता की परिभाषाएं:
- प्रभाव (Influence): निर्णय पर एक आइटम $i$ के प्रभाव को आइटम $i$ के मान को बदलने की उस संभावना के रूप में परिभाषित किया गया है जिससे निर्णय का परिणाम बदल जाता है।
- विश्वसनीयता/स्थिरता (Reliability/Stability): लेखक एक शोर मॉडल पेश करते हैं जहाँ प्रत्येक आइटम को $\frac{1}{2}(1-\rho)$ की संभावना के साथ बदला (flip) जाता है। निर्णय विश्वसनीयता को मूल डेटा और शोर वाले डेटा पर निर्णय के बीच सहसंबंध (correlation) के रूप में परिभाषित किया गया है। स्थिरता निर्णय के समान रहने बनाम बदलने की संभावना के बीच का अंतर है।
अनुमान एल्गोरिथ्म (Estimation Algorithm): इन तकनीकों को वास्तविक डेटा पर लागू करने के लिए, लेखक एक एल्गोरिथ्म प्रस्तावित करते हैं:
- Lasso दंडित स्यूडो-लाइक्लिहुड (नोडवाइज लॉजिस्टिक रिग्रेशन) का उपयोग करके आइसिंग मॉडल पैरामीटर्स (थ्रेशोल्ड और एज वेट्स) का अनुमान लगाना।
- इन अनुमानों का उपयोग करके कंडीशनल प्रोबेबिलिटी और रूपांतरित वेरिएबल्स $\phi(x_i)$ की गणना करना।
- फूरियर गुणांकों की गणना करना, विशेष रूप से निर्णय विश्वसनीयता और आइटम प्रभाव को अनुमानित करने के लिए सिंगलटन सेट्स (प्रथम-क्रम गुणांक) पर ध्यान केंद्रित करना।
- अनुमानों के अभिसरण (convergence) दरों ( $1/\sqrt{m}$ ) को स्थापित करने के लिए डीस्पारसिफाइड लासो (desparsified Lasso) का उपयोग करके सैद्धांतिक गारंटी प्रदान की गई है।

प्रमुख योगदान और परिणाम
यह शोध पत्र निर्णय फलनों के संबंध में कई सैद्धांतिक और व्यावहारिक परिणाम स्थापित करता है:

लीनियर थ्रेशोल्ड फंक्शन्स (LTFs) का लक्षण वर्णन: लेखक प्रदर्शित करते हैं कि लीनियर थ्रेशोल्ड फंक्शन्स (जिसमें भारित योग स्कोर शामिल हैं) के पास वांछनीय गुण हैं:
- मेज़ का प्रमेय (May's Theorem): LTFs (विशेष रूप से मेजोरिटी फंक्शन) अद्वितीय फलन हैं जो मोनोटोनिसिटी (monotonicity), ओडनेस (oddness) और एनोनिमिटी (anonymity) को संतुष्ट करते हैं।
- स्थिरता (Stability): संतुलित परीक्षणों में (जहाँ आइटम्स का प्रभाव/डिग्री ग्राफ में समान होती है), LTFs शोर के विरुद्ध सबसे स्थिर निर्णय फलन होते हैं। मेजोरिटी फंक्शन की स्थिरता को $n \to \infty$ होने पर $S_\rho(\text{maj}_n) = \frac{2}{\pi}\arcsin(\rho)$ के रूप में दिखाया गया है, जो कि छोटे आइटम प्रभावों वाले किसी भी अन्य फलन की तुलना में अधिक है।
- रूसो का मानदंड (Rousseau's Criterion): LTFs, आइटम्स के योग (जो उनके औसत प्रोबेबिलिटी से ऊपर हैं) और निर्णय के बीच सहमति को अधिकतम करते हैं, जिससे प्रभावी रूप से निर्णय पर आइटम्स का कुल प्रभाव अधिकतम होता है।
ट्रू स्कोर (True Score) की परिभाषा: लेखक आइसिंग मॉडल के लीनियर थ्रेशोल्ड फंक्शन ( $\ell_{\beta_i}$ ) के आधार पर "ट्रू स्कोर" की एक परिभाषा प्रस्तावित करते हैं, जो अपने पड़ोसियों के सापेक्ष एक नोड की "ऊर्जा" (energy) का प्रतिनिधित्व करता है। यह परिभाषा अवलोकन योग्य (observable) है (लेटेंट वेरिएबल्स के विपरीत) और मोनोटोनिसिटी, स्थानीय स्वतंत्रता और सशर्त जुड़ाव की स्थितियों के अनुरूप है।
आइटम प्रभाव और ग्राफ संरचना: सिंगलटन सेट्स के फूरियर गुणांक आइटम डिपेंडेंसी ग्राफ में नोड्स की डिग्री (degree) के साथ सह-संबंधित होते हैं। कम प्रभाव (कम फूरियर गुणांक) वाले आइटम्स ग्राफ में अलग-थलग (isolated) नोड्स के अनुरूप होते हैं, जो यह सुझाव देते हैं कि उन्हें परीक्षण से बाहर रखा जाना चाहिए।
संख्यात्मक चित्रण: $n=35$ $n = 35$ आइटम्स और $m=100$ $m = 100$ ऑब्जर्वेशन्स का उपयोग करके किए गए सिमुलेशन दर्शाते हैं कि:
- फूरियर गुणांक नोड डिग्री के साथ उच्च सहसंबंध (0.70) रखते हैं।
- निर्णय स्थिरता शोर के सहसंबंध $\rho$ के साथ बढ़ती है और उच्च निर्णय थ्रेशोल्ड के साथ घटती है।
- भले ही अंतर्निहित ग्राफ संरचना पूरी तरह से रिकवर न की गई हो (कम सिग्नल-टू-नॉइज़ अनुपात), कंडीशनल प्रोबेबिलिटी और फूरियर गुणांकों के अनुमान सटीक रहते हैं, जो यह सुझाव देता है कि यह विधि ग्राफ रिकवरी त्रुटियों के प्रति मजबूत (robust) है।

महत्व और दावे
यह शोध पत्र निर्णय मूल्यांकन को लेटेंट वेरिएबल मॉडल से हटाकर अवलोकन योग्य निर्णय फलनों पर केंद्रित करने का दावा करता है। इसका प्राथमिक महत्व एक गणितीय ढांचा प्रदान करने में है जो:

निर्णय स्थिरता का मूल्यांकन करता है: बिना किसी लेटेंट ट्रेट (latent trait) की धारणा के, मापन त्रुटि के प्रति पास/फेल निर्णय कितना मजबूत है, इसे मात्रात्मक रूप से मापता है।
योग स्कोर (Sum Score) को उचित ठहराता है: स्थिरता, रूसो के मानदंड और टेस्ट थ्योरी के कनेक्शनों के आधार पर सैद्धांतिक तर्क प्रदान करता है कि बाइनरी निर्णयों के लिए भारित योग स्कोर (LTFs) सबसे उपयुक्त और स्थिर एकत्रीकरण विधियाँ हैं।
आइटम गुणवत्ता का निदान करता है: आइटम्स को "अलग-थलग" (कम प्रभाव वाले) या अत्यधिक प्रभावशाली पहचानने के लिए फूरियर गुणांकों का उपयोग करता है, जिससे परीक्षण निर्माण और आइटम चयन में सहायता मिलती है।

लेखक निष्कर्ष निकालते हैं कि बाइनरी निर्णयों के लिए एक भारित योग स्कोर एक उपयुक्त आधार है क्योंकि यह टेस्ट थ्योरी (अवलोकन योग्य सशर्त जुड़ाव के माध्यम से) के अनुकूल है, निर्णय स्थिरता सुनिश्चित करता है, और इस मानदंड को संतुष्ट करता है कि निर्णय इनपुट दिशा के अनुरूप होना चाहिए। वे सुझाव देते हैं कि यह ढांचा टाइम-सीरीज डेटा के आधार पर व्यक्तिगत स्तर पर 'ट्रू स्कोर' की परिभाषा की अनुमति देता है, हालांकि इसे वर्तमान अनुप्रयोग के बजाय एक संभावित विस्तार के रूप में प्रस्तुत किया गया है।

इसी तरह के और पेपर