📊 statistics

Detection coherence of tests

यह शोध पत्र "डिटेक्शन कोहेरेंस" (पहचान सुसंगतता) के आकलन के लिए एक रूपरेखा प्रस्तुत करता है ताकि यह प्रकट किया जा सके कि कई व्यापक रूप से उपयोग किए जाने वाले सांख्यिकीय परीक्षणों में "ब्लाइंड स्पॉट्स" (अंध बिंदु) होते हैं जहाँ वे वास्तविक प्रभावों का पता लगाने में विफल रहते हैं, और यह तर्क देता है कि ऐसे डिटेक्शन इनकोहेरेंट परीक्षणों को सार्वभौमिक रूप से कोहेरेंट विकल्पों के पक्ष में छोड़ दिया जाना चाहिए।

मूल लेखक: Marian Grendar

प्रकाशित 2026-08-12

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Marian Grendar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

जासूस की दुविधा: जब आपके सुराग झूठ बोलते हैं

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं। सांख्यिकी (statistics) की दुनिया में, यह रहस्य अक्सर इस बारे में होता है कि क्या दो समूह वास्तव में अलग हैं या वे केवल संयोग से अलग दिख रहे हैं। वैज्ञानिक "सांख्यिकीय परीक्षणों" (statistical tests) जैसे उपकरणों का उपयोग करते हैं जो उनके आवर्धक लेंस (magnifying glasses) के रूप में कार्य करते हैं। ये परीक्षण डेटा को देखते हैं—जैसे दो अलग-अलग बगीचों में पौधों की ऊँचाई या दो अलग-अलग उपचारों में रोगियों के जीवित रहने का समय—और पूछते हैं: "क्या यहाँ कोई वास्तविक संकेत है, या यह केवल शोर (noise) है?"

एक अच्छा जासूस होने के लिए, एक परीक्षण को सही ढंग से कैलिब्रेट किया जाना चाहिए। इसका अर्थ है कि "सुराग" के रूप में क्या गिना जाए, इसके नियम बिल्कुल वही होने चाहिए जो परीक्षण देख रहा है। यदि एक परीक्षण एक विशिष्ट प्रकार के अंतर को पहचानने के लिए डिज़ाइन किया गया है, लेकिन वह गलती से अन्य प्रकार के अंतरों को अनदेखा कर देता है जो उतने ही वास्तविक हैं, तो उसमें एक "अंध बिंदु" (blind spot) होता है। यह एक मेटल डिटेक्टर की तरह है जो सिक्कों के लिए बीप करता है लेकिन सोने की ईंटों के लिए शांत रहता है। यदि आप इस दोष के बारे में नहीं जानते हैं, तो आप एक खजाने के संदूक के पास से गुजर सकते हैं, यह सोचकर कि जमीन खाली है, या आप यह सोच सकते हैं कि आपने एक सिक्का पाया है जबकि आपने वास्तव में कुछ और पाया था। यह शोध पत्र आज के विज्ञान में उपयोग किए जाने वाले कुछ सबसे प्रसिद्ध जासूसी उपकरणों के छिपे हुए अंध बिंदुओं की गहराई में जाता है।

शोध पत्र की बड़ी खोज: "अंध बिंदु" (Blind Spot) की समस्या

एम. ग्रेनडार (M. Grendár) द्वारा लिखित यह शोध पत्र, यह जाँचने का एक नया तरीका पेश करता है कि क्या ये सांख्यिकीय जासूस वास्तव में अपना काम सही ढंग से कर रहे हैं। लेखक इस अवधारणा को "डिटेक्शन कोहेरेंस" (detection coherence) कहते हैं। सरल शब्दों में, एक परीक्षण "कोहेरेंट" है यदि उसका अंध बिंदु खाली है—अर्थात, वह हर उस प्रकार के अंतर को देख सकता है जिसे देखने का वह दावा करता है। यदि किसी परीक्षण में अंध बिंदु है, तो वह "इनकोहेरेंट" (incoherent) है, और शोध पत्र का तर्क है कि यह एक गंभीर समस्या है जिसे अनदेखा नहीं किया जाना चाहिए।

लेखक सिद्ध करते हैं कि चार सबसे लोकप्रिय नॉन-पैरामीट्रिक परीक्षण (वे उपकरण जिनका उपयोग तब किया जाता है जब डेटा एक व्यवस्थित, बेल-कर्व पैटर्न का पालन नहीं करता) वास्तव में सख्त प्रतिबंधों के बिना "डिटेक्शन इनकोहेरेंट" हैं। ये चार परीक्षण हैं:

विल्कॉक्सन-मैन-व्हिटनी (WMW) परीक्षण: दो समूहों की तुलना करने के लिए उपयोग किया जाता है।
क्रुस्कल-वालिस (KW) परीक्षण: तीन या अधिक समूहों की तुलना करने के लिए उपयोग किया जाता है।
फ्रीडमैन परीक्षण: ब्लॉक डिज़ाइन में उपचारों की तुलना करने के लिए (जैसे एक ही भूमि के टुकड़े पर समय के साथ विभिन्न उर्वरकों का परीक्षण करना)।
लॉगरैंक (Logrank) परीक्षण: उत्तरजीविता दर (survival rates) की तुलना करने के लिए, जो अक्सर चिकित्सा अध्ययनों में उपयोग किया जाता है।

शोध पत्र प्रदर्शित करता है कि इन परीक्षणों में एक "अंध बिंदु" है। यह अंध बिंदु स्थितियों का एक विशिष्ट सेट है जहाँ समूह वास्तव में भिन्न होते हैं, लेकिन परीक्षण का आंतरिक तर्क कहता है कि वे समान हैं। इस कारण से, परीक्षण अलार्म बजाने में विफल रहता है।

"वैरिएंस ट्रैप" (The Variance Trap): एक "आहा!" क्षण
WMW परीक्षण के अंध बिंदु को समझने के लिए, कल्पना कीजिए कि आप लोगों के दो समूहों की ऊँचाई की तुलना कर रहे हैं।

समूह A में हर कोई ठीक 170 सेमी लंबा है।
समूह B में बहुत छोटे और बहुत लंबे लोगों का मिश्रण है, लेकिन उनकी औसत ऊँचाई भी 170 सेमी है।

WMW परीक्षण यह देखने के लिए डिज़ाइन किया गया है कि क्या एक समूह आम तौर पर दूसरे से लंबा है। इस परिदृश्य में, क्योंकि औसत समान हैं, परीक्षण सोचता है, "हे, ये समूह समान हैं!" और कहता है "कोई अंतर नहीं मिला।" लेकिन रुकिए! समूह B समूह A की तुलना में अधिक विविध है। वे अलग-अलग वितरण (distributions) हैं। परीक्षण फैलाव या वैरिएंस (variance) में अंतर देखने में अंधा है क्योंकि इसका आंतरिक "डिटेक्टर" केवल संख्याओं के क्रम (order) पर ध्यान देता है, न कि वे कितनी दूर हैं उस पर।

शोध पत्र दिखाता है कि WMW परीक्षण के लिए, यदि आपके पास दो समूह हैं जिनका औसत समान है लेकिन फैलाव अलग-अलग है (जैसे 1 का मानक विचलन बनाम 10 के मानक विचलन वाला सामान्य वितरण), तो परीक्षण की "शक्ति" (power - अंतर खोजने की क्षमता) अटक जाती है। भले ही आप अधिक डेटा एकत्र करते रहें, यह बेहतर नहीं होती है। यह निम्न स्तर पर ही रहती है, प्रभावी रूप से अंतर को हमेशा के लिए अनदेखा कर देती है। लेखक इसे "मिसड डिस्कवरी" (missed discovery) कहते हैं।

"स्पूरियस" (Spurious) ट्रैप
समस्या दोनों तरफ से है। शोध पत्र यह भी बताता है कि यदि कोई परीक्षण यह खारिज करता है कि समूह समान हैं, तो यह एक "स्पूरियस डिस्कवरी" (spurus discovery - भ्रामक खोज) हो सकती है। कल्पना कीजिए कि परीक्षण अलार्म बजाता है क्योंकि उसने फैलाव में अंतर पाया है, लेकिन शोधकर्ता को लगा कि वे केवल औसत में अंतर की तलाश कर रहे थे। परीक्षण तकनीकी रूप से सही है कि समूह अलग हैं, लेकिन यह गलत कारण दे रहा है। शोध पत्र का तर्क है कि इन अंध बिंदुओं के कारण, वैज्ञानिक वास्तविक प्रभावों को मिस कर सकते हैं या ऐसे प्रभाव खोजने का दावा कर सकते हैं जो वे सोचते हैं कि वे हैं, चाहे वे कितना भी डेटा एकत्र करें।

"सुधार" जो सुधार नहीं है
आप सोच सकते हैं, "ठीक है, तो इन परीक्षणों में अंध बिंदु हैं। क्या हम बस इन्हें केवल विशिष्ट प्रकार के डेटा को देखने के लिए नहीं कह सकते जहाँ अंध बिंदु मौजूद नहीं है?" शोध पत्र कहता है, "हाँ, लेकिन सावधान रहें।"

लेखक दिखाते हैं कि यदि आप WMW परीक्षण को केवल उस डेटा को देखने के लिए प्रतिबंधित करते हैं जहाँ वितरणों का आकार समान है (केवल बाएं या दाएं स्थानांतरित), तो अंध बिंदु गायब हो जाता है। हालाँकि, शोध पत्र का तर्क है कि वास्तविक दुनिया में इन प्रतिबंधों पर निर्भर रहना खतरनाक है। क्यों? क्योंकि वास्तविक जीवन में, आप निश्चित रूप से यह नहीं जान सकते कि आपका डेटा उन सख्त नियमों में फिट बैठता है या नहीं। यदि आप मान लेते हैं कि आपका डेटा नियम में फिट बैठता है, लेकिन वास्तव में ऐसा नहीं है, तो आप अंध बिंदु के साथ वापस शुरुआती बिंदु पर आ जाते हैं। शोध पत्र निष्कर्ष निकालता है कि इन परीक्षणों को प्रतिबंधों के साथ "बचाने" की कोशिश करना अविश्वसनीय है।

अच्छे लोग (The Good Guys)
सभी परीक्षण टूटे हुए नहीं हैं। शोध पत्र तीन परीक्षणों पर प्रकाश डालता जो "यूनिवर्सली डिटेक्शन कोहेरेंट" हैं, जिसका अर्थ है कि उनमें कोई अंध बिंदु नहीं है। ये हैं:

कोलमोगोरोव-स्मिरनोव (KS) परीक्षण: यह वितरण के संपूर्ण आकार को देखता है, न कि केवल क्रम को, इसलिए यह सब कुछ देख लेता है।
ज़ारेम्बा (Zaremba) परीक्षण: WMW परीक्षण का एक चतुर पुनर्गठन जो केवल "समान वितरणों" के बजाय एक अलग प्रकार के "नल" (AUC = 1/2) को देखने के लिए नियमों को बदलता है।
मैक्सिमम मीन डिसक्रीपेंसी (MMD) परीक्षण: एक आधुनिक उपकरण जो वितरणों की तुलना करने के लिए एक विशेष "कर्नेल" का उपयोग करता है, जो हर संभावित अंतर को देखने के लिए प्रमाणित है।

अंतिम निर्णय
शोध पत्र का मुख्य निष्कर्ष साहसिक है: इन स्थायी अंध बिंदुओं के कारण, चार प्रमुख परीक्षणों (WMW, KW, Friedman और Logrank) को "अनरिस्ट्रिक्टेड" परीक्षणों (वे परीक्षण जिनका उपयोग डेटा के विशिष्ट आकार को पहले से जाने बिना किया जाता है) के रूप में उपयोग किए जाने पर छोड़ दिया जाना चाहिए। लेखक सुझाव देते हैं कि उनका उपयोग करना एक ऐसे मेटल डिटेक्टर का उपयोग करने जैसा है जो सोने को अनदेखा करता है; आप बेहतर होगा कि आप उसका उपयोग करना बंद कर दें। इसके बजाय, वैज्ञानिकों को KS परीक्षण या ज़ारेम्बा परीक्षण जैसे कोहेरेंट विकल्पों पर स्विच करना चाहिए, जिनमें ये छिपे हुए दोष नहीं हैं।

शोध पत्र केवल यह सुझाव नहीं देता है; यह यह सिद्ध करने के लिए एक गणितीय ढांचा भी प्रदान करता है कि अंध बिंदु कहाँ हैं और उन बिंदुओं पर परीक्षण कैसे व्यवहार करते हैं। यह वैज्ञानिक समुदाय के लिए एक चेतावनी है कि वे अपने उपकरणों की जाँच करें और सुनिश्चित करें कि वे अपनी नाक के नीचे सबसे महत्वपूर्ण खोजों को मिस न कर रहे हों।

तकनीकी सारांश: परीक्षणों की डिटेक्शन कोहेरेंस (Detection Coherence)

समस्या विवरण
यह शोध पत्र कई व्यापक रूप से उपयोग किए जाने वाले नॉनपैरामेट्रिक सांख्यिकीय परीक्षणों के अंशांकन (calibration) में एक मौलिक दोष को संबोधित करता है। विशेष रूप से, यह पहचानता है कि कुछ परीक्षण एक ऐसे शून्य परिकल्पना ( $\mathcal{H}_0$ ) के तहत कैलिब्रेट किए गए हैं जो उनके टेस्ट स्टैटिस्टिक के एसिम्प्टोटिक व्यवहार द्वारा निहित वितरणों के सेट की तुलना में सख्ती से संकीर्ण है। यह विसंगति एक "ब्लाइंड स्पॉट" ( $\mathcal{SP}$ ) बनाती है: वैकल्पिक वितरणों का एक ऐसा सेट जहाँ टेस्ट स्टैटिस्टिक इस तरह व्यवहार करता है जैसे कि शून्य सत्य हो (अर्थात, डिटेक्शन फंक्शनल अपने शून्य मान के बराबर है), भले ही वे वितरण $\mathcal{H}_0$ में न हों।

जब किसी परीक्षण में गैर-रिक्त (non-empty) ब्लाइंड स्पॉट होता है, तो उसे डिटेक्शन इनकोहेरेंट (detection incoherent) कहा जाता है। इस इनकोहेरेंस के परिणाम गंभीर और निरंतर हैं, जो सैंपल साइज बढ़ने पर भी समाप्त नहीं होते:

छूटे हुए निष्कर्ष (Missed Discoveries): जब परीक्षण विफल रहता है, तो परिणाम ब्लाइंड स्पॉट में स्थित किसी वितरण के कारण हो सकता है (वैकल्पिक वितरण के सापेक्ष एक फॉल्स नेगेटिव), न कि वास्तविक शून्य के कारण।
मिथ्या निष्कर्ष (Spurious Discoveries): जब परीक्षण अस्वीकार करता है, तो परिणाम ब्लाइंड स्पॉट में स्थित किसी वितरण के कारण हो सकता है (ब्लाइंड स्पॉट के सापेक्ष एक ट्रू पॉजिटिव, लेकिन इच्छित शून्य परिकल्पना के सापेक्ष एक मिथ्या खोज)।

लेखक का तर्क है कि मानक नॉनपैरामेट्रिक सिद्धांत अक्सर इस अंतर को अनदेखा कर देता है, यह मानकर कि शून्य परिकल्पना और डिटेक्शन-नल सेट समान हैं, जबकि वे नहीं हैं।

कार्यप्रणाली और ढांचा
यह शोध पत्र डिटेक्शन कोहेरेंस का आकलन करने के लिए एक औपचारिक ढांचा प्रस्तुत करता है, जो कई नई परिभाषाओं पर आधारित है:

डिटेक्टर ( $\hat{D}_n$ ): एक कैलिब्रेशन स्टैटिस्टिक ( $T_n$ ) का वह घटक जो डिटेक्शन फंक्शनल ( $\theta(P)$ ) की ओर अभिसरित (converge) होता है। डिटेक्टर निकालने के लिए $T_n$ के एसिम्प्टोटिक विस्तार से स्केलिंग सीक्वेंस, वेरिएंस नॉर्मलाइजेशन और न्युसेंस एस्टिमेटर्स को हटाना शामिल है।
डे डिटेक्शन फंक्शनल ( $\theta(P)$ ): डिटेक्टर का प्रोबेबिलिटी लिमिट।
डिटेक्शन-नल सेट ( $\mathcal{D}_0$ ): उन सभी वितरणों का सेट जहाँ डिटेक्शन फंक्शनल अपने शून्य मान ( $\theta^*$ ) के बराबर होता है।
ब्लाइंड स्पॉट ( $\mathcal{SP}$ ): सेट अंतर $\mathcal{D}_0 \setminus \mathcal{H}_0$ ।
डिटेक्शन कोहेरेंस: एक परीक्षण एक डोमेन $\mathcal{R}$ के संबंध में डिटेक्शन कोहेरेंट है यदि उस डोमेन के भीतर उसका ब्लाइंड स्पॉट खाली ( $\mathcal{SP} \cap \mathcal{R} = \emptyset$ ) है। यह इस स्थिति के समान है कि वैकल्पिक परिकल्पना ( $\mathcal{H}_0^c$ ), डोमेन पर डिटेक्शन सेट ( $\mathcal{D}$ ) के साथ मेल खाती है।

शोध पत्र कोहेरेंस का आकलन करने के लिए एक व्यवस्थित प्रक्रिया (प्रक्रिया 1) प्रस्तावित करता है: डिटेक्टर और फंक्शनल की पहचान करना, डिटेक्शन-नल मान निर्धारित करना, डिटेक्शन-नल सेट का निर्माण करना, और यह सत्यापित करना कि क्या यह रुचि के डोमेन पर शून्य परिकल्पना के साथ मेल खाता है।

प्रमुख परिणाम
यह शोध पत्र चार प्रमुख नॉनपैरामेट्रिक परीक्षणों और तीन कोहेरेंट विकल्पों पर इस ढांचे को लागू करता है:

अनरिस्ट्रिक्टेड परीक्षणों की डिटेक्शन इनकोहेरेंस:
निम्नलिखित परीक्षणों को पूर्ण वितरण स्पेस $\mathcal{P}$ पर अनरिस्ट्रिक्टेड टेस्ट के रूप में लागू करने पर डिटेक्शन इनकोहेरेंट सिद्ध किया गया है:

विल्कोक्सन-मैन-व्हिटनी (WMW): यह $F_1 = F_2$ के तहत कैलिब्रेट है, लेकिन इसका डिटेक्टर (eAUC) एक ऐसा डिटेक्शन-नल सेट दर्शाता है जहाँ $AUC = 1/2$ है। ब्लाइंड स्पॉट में वे वितरण शामिल हैं जिनमें माध्य (means) समान हैं लेकिन वेरिएंस भिन्न हैं (जैसे, $N(0,1)$ बनाम $N(0, \sigma^2)$ जहाँ $\sigma \neq 1$ )।
क्रुस्कल-वालिस (KW): यह $F_1 = \dots = F_K$ के तहत कैलिब्रेट है, लेकिन डिटेक्शन-नल सेट में वे वितरण शामिल हैं जिनके वेरिएंस या शेप भिन्न हैं जो समान मीन रैंक प्रदान करते हैं।
फ्रीडमैन (Friedman): यह समान इन-ब्लॉक वितरणों के तहत कैलिब्रेट है, लेकिन ब्लाइंड स्पॉट में वे परिदृश्य शामिल हैं जहाँ ब्लॉक के माध्यम से ट्रीटमेंट इफेक्ट्स एक-दूसरे को रद्द कर देते हैं (जैसे, ट्रीटमेंट इफेक्ट्स के बदलते संकेत)।
लॉग-रैंक (Logrank): यह समान सर्वाइवल फंक्शन्स ( $S_1 = S_2$ ) के तहत कैलिब्रेट है, लेकिन ब्लाइंड स्पॉट में क्रॉसिंग हज़ार्ड फंक्शन्स शामिल हैं जहाँ हज़ार्ड डिफरेंस का वेटेड इंटीग्रल शून्य होता है।

इन परीक्षणों के लिए, ब्लाइंड स्पॉट विकल्पों के विरुद्ध पावर सैंपल साइज के साथ नहीं बढ़ती; यह एक निश्चित मान (अक्सर महत्व स्तर $\alpha$ या उससे थोड़ा ऊपर) पर अभिसरित होती है, जो टाइप I एरर इन्फ्लेशन के समान व्यवहार करती है यदि ब्लाइंड स्पॉट को पहचाना न जाए।

डोमेन प्रतिबंधों के तहत कोहेरेंस:
शोध पत्र उन विशिष्ट डोमेन प्रतिबंधों की पहचान करता है जिनके तहत ये परीक्षण कोहेरेंस प्राप्त कर सकते हैं, हालांकि यह इस बात पर जोर देता है कि ये पर्याप्त शर्तें हैं, विश्वसनीय व्यावहारिक उपचार नहीं:

WMW: मोनोटोन लाइकलीहुड रेशियो (MLR) परिवारों (लोकेशन-शिफ्ट परिवारों सहित) के तहत कोहेरेंट है।
लॉग-रैंक: ऑर्डर्ड हज़ार्ड्स परिवारों (प्रोपोर्शनल हज़ार्ड्स से व्यापक वर्ग) के तहत कोहेरेंट है।
KW और फ्रीडमैन: क्रमशः लोकेशन-शिफ्ट और ब्लॉक-कंसिस्टेंट स्टोकेस्टिक ऑर्डरिंग के तहत कोहेरेंट हैं।

यूनिवर्सली डिटेक्शन कोहेरेंट परीक्षण:
यह शोध पत्र निम्नलिखित परीक्षणों को सार्वभौमिक रूप से डिटेक्शन कोहेरेंट के रूप में प्रदर्शित करता है (पूरे वितरण स्पेस पर ब्लाइंड स्पॉट खाली है):

कोलमोगोरोव-स्मिरनोव (KS): डिटेक्शन-नल सेट ( $\sup |F-G|=0$ ) सटीक रूप से शून्य परिकल्पना ( $F=G$ ) के साथ मेल खाता है।
ज़ारेम्बा टेस्ट (Zaremba Test): यह टेस्ट $AUC = 1/2$ की परिकल्पना के तहत WMW स्टैटिस्टिक को पुन: कैलिब्रेट करता है, जिससे शून्य को डिटेक्शन-नल सेट के साथ संरेखित किया जाता है।
मैक्सिमम मीन डिसपैरिटी (MMD): एक कैरेक्टेरिस्टिक कर्नेल के साथ, $MMD^2(F, G) = 0$ तभी होता है जब $F=G$ , जो कोहेरेंस सुनिश्चित करता है।

महत्व और दावे
शोध पत्र का दावा है कि डिटेक्शन इनकोहेरेंस एक संरचनात्मक दोष है जो स्थायी अनुमानात्मक त्रुटियों (छूटे हुए और मिथ्या निष्कर्ष) की ओर ले जाता है जिसे सैंपल साइज बढ़ाकर हल नहीं किया जा सकता है। फलस्वरूप, लेखक का कहना है कि चार प्रमुख इनकोहेरेंट परीक्षणों (WMW, KW, Friedman, Logrank) को अनरिस्ट्रिक्टेड टेस्ट के रूप में "त्याग दिया जाना चाहिए"।

यह ढांचा इस बात का सैद्धांतिक आधार प्रदान करता है कि डिटेक्शन-नल सेट के तहत कैलिब्रेशन, कोहेरेंट इन्फरेंस के लिए एक आवश्यक शर्त है। यह डिटेक्शन कोहेरेंस को रोबस्टनेस (robustness) से अलग करता है: जबकि रोबस्टनेस इस बारे में है कि उल्लंघन की गई धारणाओं के तहत टाइप I एरर नियंत्रण कैसे किया जाए, डिटेक्शन कोहेरेंस इस बारे में है कि क्या एक परीक्षण वास्तव में शून्य के सभी उल्लंघनों का पता लगा सकता है। शोध पत्र सुझाव देता है कि भविष्य के कार्यों में सभी वर्तमान नॉनपैरामेट्रिक परीक्षणों के लिए डिटेक्शन कोहेरेंस का आकलन किया जाना चाहिए और जब अनरिस्ट्रक्टेड इन्फरेंस की आवश्यकता हो, तो पारंपरिक रैंक-आधारित परीक्षणों के बजाय कोहेरेंट विकल्पों (जैसे WMW का ज़ारेम्बा पुनर्गठन या MMD) के उपयोग की वकालत करता है।

जासूस की दुविधा: जब आपके सुराग झूठ बोलते हैं

शोध पत्र की बड़ी खोज: "अंध बिंदु" (Blind Spot) की समस्या

इसी तरह के और पेपर