📊 statistics

Calibration without labels in multiple testing

यह शोध पत्र $p$ -वैल्यू स्पेसिंग (p-value spacings) से छद्म-लेबल (pseudo-labels) का निर्माण करके स्टोकेस्टिक मूल्यांकन को सक्षम बनाने के माध्यम से, बिना ग्राउंड-ट्रुथ लेबल के मल्टीपल टेस्टिंग परिणामों को कैलिब्रेट करने की एक नवीन विधि प्रस्तावित करता है, जो यह प्रकट करता है कि व्यापक रूप से उपयोग किया जाने वाला $q$ -वैल्यू वास्तविक दुनिया के मनोविज्ञान और तंत्रिका विज्ञान के साहित्य में अक्सर गंभीर रूप से मिसकैलिब्रेटेड होता है।

मूल लेखक: Adway S. Wadekar, Jake A. Soloff

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Adway S. Wadekar, Jake A. Soloff

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक साथ हजारों छोटी-छोटी गुत्थियों को सुलझाने की कोशिश कर रहे हैं। प्रत्येक गुत्थी में, आपके पास एक संदिग्ध (एक परिकल्पना/hypothesis) है और साक्ष्य का एक टुकड़ा (एक p-value) है। आपका काम यह तय करना है कि कौन से संदिग्ध वास्तव में दोषी हैं (शून्य परिकल्पना/null hypothesis गलत है) और कौन से निर्दोष हैं (शून्य परिकल्पना सत्य है)।

समस्या यह है कि आपके पास कोई उत्तर कुंजी (answer key) नहीं है। एक सामान्य जासूसी कहानी में, आपको अंततः पता चल जाता है कि असली अपराधी कौन था। लेकिन इस सांख्यिकीय दुनिया में, "सत्य" हमेशा के लिए छिपा रहता है। आपके पास केवल साक्ष्य होते हैं और आपको अनुमान लगाना होता है।

यह शोध पत्र, वेडेकर और सोलोफ द्वारा, बिना कभी उत्तर कुंजी देखे इस रहस्य को सुलझाने के लिए एक चतुर तरीका पेश करता है। वे एक ऐसा तरीका प्रस्तावित करते हैं जिससे आप यह जांच सकें कि आपके अनुमान "कैलिब्रेटेड" (calibrated) हैं या नहीं—यानी, यदि आप कहते हैं कि किसी संदिग्ध के दोषी होने की 10% संभावना है, तो क्या वास्तव में यह सच है कि 10% बार आप गलत थे?

यहाँ रोजमर्रा के उपमाओं का उपयोग करके उनके समाधान का विवरण दिया गया है:

1. समस्या: बिना कुंजी के अनुमान लगाना

आमतौर पर, यह जांचने के लिए कि क्या कोई मौसम विज्ञानी अच्छा है, आप यह देखते हैं कि वास्तव में बारिश होती है या नहीं। यदि वे कहते हैं "बारिश की 10% संभावना है" और 10% बार वास्तव में बारिश होती है, तो वे कैलिब्रेटेड हैं।

विज्ञान में, शोधकर्ता हजारों परीक्षण चलाते हैं और उन्हें p-values प्राप्त होते हैं। वे अक्सर एक मानक उपकरण जिसे q-value कहा जाता है, का उपयोग यह कहने के लिए करते हैं कि "यह परिणाम संभवतः वास्तविक है।" लेकिन क्योंकि हमें कभी वास्तविक उत्तर नहीं पता चलता (हमें नहीं पता कि कौन सी परिकल्पनाएं वास्तव में सत्य हैं), हम यह जांच नहीं सकते कि ये q-values सच बोल रहे हैं या नहीं। वे अत्यधिक आत्मविश्वासी या कम आत्मविश्वासी हो सकते हैं, और हमें इसका पता नहीं चलेगा।

2. समाधान: "नकली" सुराग बनाना (Pseudo-Labels)

लेखकों का बड़ा विचार नकली सुराग (जिसे वे "स्यूडो-लेबल" कहते हैं) बनाना है जो लापता सत्य के विकल्प के रूप में कार्य करते हैं।

कल्पना कीजिए कि आप लोगों की एक कतार देख रहे हैं जिन्हें उनकी संदिग्धता के आधार पर क्रमबद्ध किया गया है (सबसे अधिक संदिग्ध से लेकर सबसे कम संदिग्ध तक)।

चाल (The Trick): यह पूछने के बजाय कि "क्या यह व्यक्ति दोषी है?" (जिसे आप जान नहीं सकते), आप इस व्यक्ति और कतार में उसके अगले व्यक्ति के बीच के अंतर (gap) को देखते हैं।
तर्क: यदि "निर्दोष" लोग समान रूप से फैले हुए हैं (जैसे फुटपाथ पर बारिश की बूंदें), तो उनके बीच का अंतर एक समान होना चाहिए। यदि आप दो लोगों के बीच एक बड़ा अंतर देखते हैं, तो यह सुझाव देता है कि अंतराल से पहले वाला व्यक्ति "दोषी" हो सकता है (या कम से कम, पैटर्न बदल गया है)।
परिणाम: इन अंतरालों को मापकर, लेखक प्रत्येक परीक्षण के लिए एक निरंतर संख्या बनाते हैं जो दोष के प्रायिकता (probability of guilt) की तरह व्यवहार करती है। यह वास्तविक सत्य नहीं है, लेकिन यह सत्य की एक गणितीय छाया है जो उन्हें मानक जांच चलाने की अनुमति देती है।

3. उपकरण: खुरदरे किनारों को चिकना करना (Smoothing)

एक बार जब उनके पास ये नकली सुराग होते हैं, तो वे आइसोटोनिक कैलिब्रेशन (Isotonic Calibration) नामक तकनीक का उपयोग करते हैं।

एक ऊबड़-खाबड़, ऊबड़-खाबड़ पहाड़ की श्रृंखला के बारे में सोचें। आप इसे एक सहज, स्थिर ढलान में बदलना चाहते हैं जहाँ "अधिक साक्ष्य" का अर्थ हमेशा "दोष की उच्च संभावना" हो।

लेखक अपने ऊबड़-खाबड़ डेटा को लेते हैं और उसे एक चिकनी, सीधी रेखा में बदलने के लिए मजबूर करते हैं।
वे सिद्ध करते हैं कि यह स्मूथिंग प्रक्रिया तीन अन्य प्रसिद्ध सांख्यिकीय विधियों के गणितीय रूप से समान है (एक जिसका उपयोग मौसम विज्ञानी करते हैं, एक जिसका उपयोग मशीन लर्निंग में किया जाता है, और एक जो वितरणों का अध्ययन करने वाले सांख्यिकीविदों द्वारा उपयोग किया जाता है)।
लाभ (The Payoff): यह चिकनी रेखा आपको एक स्कोर (जैसे "0.05" या "0.10") देती है जिस पर आप भरोसा कर सकते हैं। यदि स्कोर 10% कहता है, तो इसका वास्तव में मतलब है कि लगभग 10% बार, परिकल्पना वास्तव में सत्य है (गलत अलार्म)।

4. खोज: पुराने उपकरण टूटे हुए थे

लेखकों ने अपने नए तरीके का परीक्षण मनोविज्ञान और तंत्रिका विज्ञान (neuroscience) के वास्तविक वैज्ञानिक शोध पत्रों के एक विशाल संग्रह (लगभग 27,000 अध्ययन) पर किया।

उन्होंने अपने नए "स्मूथ" स्कोर की तुलना पुराने मानक (q-value) और कच्चे साक्ष्य (p-values) से की।

परिणाम: पुराने उपकरण गंभीर रूप से गलत कैलिब्रेटेड (miscalibrated) थे। वे एक टूटे हुए थर्मामीटर की तरह थे जो 70°F बताता था जबकि वास्तव में जमा देने वाली ठंड थी।
नया तरीका: उनका नया "स्मूथ" स्कोर सत्य के साथ पूरी तरह से मेल खाता है (जितना कि हम बिना उत्तर कुंजी के जान सकते हैं)।

5. यह क्यों मायने रखता है

यह शोध पत्र केवल यह नहीं कहता कि "हमारे पास एक नया कैलकुलेटर है।" यह इस बात को बदल देता है कि हम विज्ञान के लक्ष्य को कैसे देखते हैं।

पुराना दृष्टिकोण: लक्ष्य यह गिनना है कि हम कुल मिलाकर कितनी गलतियाँ करते हैं (जैसे यह कहना कि "हम इस पूरे बैच में 5% गलत अलार्म देंगे")।
नया दृष्टिकोण: लक्ष्य प्रत्येक विशिष्ट प्रयोग के लिए एक व्यक्तिगत प्रायिकता (personalized probability) देना है। "इस विशिष्ट अध्ययन के लिए, इसके असफल होने की 12% संभावना है।"

क्योंकि उन्होंने इन प्रायिकताओं को जांचने का एक तरीका बनाया है जिसमें उत्तर कुंजी की आवश्यकता नहीं है, वैज्ञानिक अब एक एकल अध्ययन को देखकर कह सकते हैं, "मुझे 88% विश्वास है कि यह वास्तविक है," जो पहले की तुलना में बहुत अधिक भरोसेमंद है।

सारांश उपमा

कल्पना कीजिए कि आप 10,000 निबंधों का एक ढेर ग्रेड कर रहे हैं, लेकिन आपके पास उत्तर कुंजी नहीं है।

पुराना तरीका: आप एक नियम के आधार पर ग्रेड का अनुमान लगाते हैं, लेकिन आपको पता नहीं है कि आपका ग्रेडिंग स्केल निष्पक्ष है या नहीं।
नया तरीका: आप निबंधों के बीच के अंतराल को देखते हैं। यदि "खराब" निबंध आमतौर पर एक साथ क्लस्टर होते हैं और "अच्छे" निबंध फैले हुए होते हैं, तो आप उनके बीच के अंतराल का उपयोग करके एक नकली ग्रेडिंग स्केल बनाते हैं। फिर आप अपने ग्रेड को स्मूथ करते हैं ताकि एक "B" का हमेशा एक ही अर्थ हो।
परिणाम: आप महसूस करते हैं कि आपका पुराना ग्रेडिंग स्केल टूटा हुआ था, और आपका नया स्केल आपको एक विश्वसनीय प्रायिकता देता है कि कोई भी एकल निबंध वास्तव में अच्छा है, भले ही आपके पास शिक्षक की उत्तर कुंजी न हो।

तकनीकी सारांश: बहु-परीक्षण में लेबल के बिना अंशांकन (Calibration without Labels in Multiple Testing)

समस्या विवरण (Problem Statement)

बड़े पैमाने पर परिकल्पना परीक्षण (hypothesis testing) का लक्ष्य अक्सर व्यक्तिगत परिकल्पनाओं के बारे में संभाव्यता दावे प्रदान करना होता है, जैसे कि एम्पेरिकल बेज़ (empirical Bayes) विधियों के माध्यम से लोकल फॉल्स डिस्कवरी रेट (lfdr) का अनुमान लगाना। हालाँकि, इन स्कोर्स की व्याख्या करने में एक महत्वपूर्ण अंतराल मौजूद है: एक रिपोर्ट किया गया स्कोर $g(p)$ तभी सार्थक है यदि वह अंशांकित (calibrated) हो, जिसका अर्थ है कि जिन परीक्षणों को एक स्कोर $g(p)$ दिया गया है, उनमें शून्य परिकल्पना (null hypothesis) ठीक $g(p)$ प्रायिकता के साथ सत्य होती है।

मानक पर्यवेक्षित शिक्षण (supervised learning) में, अंशांकन का आकलन ग्राउंड-ट्रुथ लेबल्स का उपयोग करके किया जाता है। बहु-परीक्षण (multiple testing) में, "लेबल्स" (कि शून्य परिकल्पना सत्य है या नहीं) अप्रत्यक्ष होते हैं। फलस्वरूप, मानक अंशांकन निदान (calibration diagnostics) को सीधे लागू नहीं किया जा सकता है। जबकि एम्पेरिकल बेज़ परंपरा यह पहचानती है कि परीक्षण सांख्यिकी (test statistics) का वितरण संरचनात्मक जानकारी रखता है, मॉडल मिसस्पेसिफिकेशन (model misspecification) के तहत बिना ग्राउंड ट्रुथ के अंशांकन का औपचारिक रूप से आकलन करने या उसे लागू करने पर सीमित कार्य हुआ है।

कार्यप्रणाली (Methodology)

लेखक बहु-परीक्षण को एक स्टोकेस्टिक रूप से पर्यवेक्षित बाइनरी वर्गीकरण समस्या (stochastically supervised binary classification problem) के रूप में पुनर्गठित करते हैं। वे $p$ -values को सह-चर (covariates) के रूप में और शून्य परिकल्पना की अज्ञात सत्यता को एक बाइनरी लेबल $Y_i \in \{0, 1\}$ के रूप में मानते हैं। लक्ष्य रिग्रेशन फंक्शन $lfdr(p) = P(Y=1|p)$ का अनुमान लगाना है।

1. छद्म-लेबल निर्माण (Pseudo-Label Construction)

लुप्त लेबल्स द्वारा उत्पन्न अंतराल को भरने के लिए, लेखक क्रमबद्ध $p$ -values के अंतराल (spacings) से प्राप्त छद्म-लेबल्स (pseudo-labels) का निर्माण करते हैं। मान लीजिए कि $p_{(1)} \le \dots \le p_{(m)}$ क्रमबद्ध $p$ -values हैं और $\hat{\pi}_{null}$ वास्तविक शून्य अनुपातों का एक अनुमान है। $i$ -वें अवलोकन के लिए छद्म-लेबल को इस प्रकार परिभाषित किया गया है:
$\tilde{Y}_i := m \hat{\pi}_{null} (p_{(R_i)} - p_{(R_i-1)})$
जहाँ $R_i$ , $p_i$ का रैंक है।

सैद्धांतिक औचित्य ऑर्डर स्टैटिस्टिक स्पेसिंग्स (Pyke, 1965) के एसिम्प्टोटिक गुणों पर निर्भर करता है। जैसे-जैसे $m \to \infty$ होता है, ये छद्म-लेबल मल्टीप्लिकेटिव एक्सपोनेंशियल एरर्स के साथ एक रिग्रेशन मॉडल का पालन करते हैं: $\tilde{Y}_i | p_i \approx lfdr(p_i) E_i$ , जहाँ $E_i \sim \text{Exp}(1)$ । महत्वपूर्ण रूप से, प्रत्याशा (expectation) $E[\tilde{Y}_i | p_i]$ वास्तविक $lfdr(p_i)$ का सन्निकटन करती है, जिससे छद्म-लेबल मानक अंशांकन उपकरणों में वास्तविक लेबल्स के स्थान पर उपयोग किए जाने योग्य बन जाते हैं।

2. आइसोटोनिक अंशांकन और तुल्यता (Isotonic Calibration and Equivalence)

लेखक आइसोटोनिक रिग्रेशन (isotonic regression) के माध्यम से एकोनायकी (monotonicity) को लागू करने का प्रस्ताव देते हैं (छोटे $p$ -values के परिणामस्वरूप छोटे त्रुटि प्रायत्व होने चाहिए)। वे प्रदर्शित करते हैं कि तीन अलग-अलग पद्धतिगत दृष्टिकोण बिल्कुल एक ही एस्टिमेटर प्रदान करते हैं:

आइसोटोनिक रिग्रेशन: प्रेडिक्टर और छद्म-लेबल्स के बीच वर्ग त्रुटि (squared error) को कम करना (Pool Adjacent Violators Algorithm)।
अधिकतम संभावना (Maximum Likelihood): एक्सपोनेंशियल एरर मॉडल से प्राप्त नेगेटिव लॉग-स्यूडो-लाइक्लीहुड को कम करना (जो Itakura–Saito दूरी को कम करने के बराबर है)।
गैर-पैरामीट्रिक एम्पेरिकल बेज़ (Nonparametric Empirical Bayes): ग्रेन्डर एस्टिमेटर (Grenander estimator) (एक गैर-बढ़ते घनत्व के लिए MLE) का उपयोग करके $p$ -values के मार्जिनल डेंसिटी का अनुमान लगाना और बेज़ नियम लागू करना।

परिणामी एस्टिमेटर, जिसे $\widehat{lfdr}^\uparrow$ कहा जाता है, एक स्टेप फंक्शन है जो उन अंतरालों में आसन्न $p$ -values को संकलित (pool) करता है जहाँ लोकल फॉल्स डिस्कवरी प्रोपोरशन (FDP) का अनुमान एकदिष्ट (monotone) है।

3. मूल्यांकन और निदान (Assessment and Diagnostics)

यह ढांचा बहु-परीक्षण के लिए पर्यवेक्षित अंशांकन निदान को अनुकूलित करने की अनुमति देता है:

विश्वसनीयता आरेख (Reliability Diagrams): छद्म-लेबल्स को बिन (bin) करके, एक औसत अनुमानित स्कोर को "वास्तविक शून्य" (छद्म-लेबलों के माध्यम से अनुमानित) की अनुभवजन्य आवृत्ति के विरुद्ध प्लॉट किया जा सकता है।
ब्रायर रिग्रेट (Brier Regret): लेखक अपने आइसोटोनिक एस्टिमेटर के लिए ब्रायर रिग्रेट (सर्वश्रेष्ठ एकदिष्ट प्रेडिक्टर के सापेक्ष अतिरिक्त ब्रायर स्कोर) पर एक परिमित-नमूना सीमा (finite-sample bound) को परिभाषित करते हैं।

मुख्य योगदान (Key Contributions)

छद्म-लेबल निर्माण: पेपर $p$ -value स्पेसिंग्स से रिग्रेशन टारगेट्स बनाने की एक विधि पेश करता है जिनका कंडीशनल एक्सपेक्टेशन $lfdr$ होता है। यह बिना ग्राउंड ट्रुथ के बहु-परीक्षण के लिए पूर्ण पर्यवेक्षित अंशांकन टूलकिट (जैसे विश्वसनीयता आरेख, आइसोटोनिक अंशांकन) के उपयोग का मार्ग खोलता है।
सैद्धांतिक एकीकरण: लेखक सिद्ध करते हैं कि आइसोटोनिक अंशांकन, एक्सपोनेंशियल एरर मॉडल के तहत अधिकतम संभावना अनुमान, और ग्रेन्डर एस्टिमेटर के माध्यम से गैर-पैरामीट्रिक एम्पेरिकल बेज़ अनुमान गणितीय रूप से समान हैं।
परिमित-नमूना गारंटी (Finite-Sample Guarantees): वे आइसोटोनिक एस्टिमेटर के ब्रायर रिग्रेट पर एक परिमित-नमूना सीमा स्थापित करते हैं। यदि वास्तविक $lfdr $एकदिष्ट नहीं भी है, तो भी यह सीमा$ m \to \infty$ होने पर लुप्त हो जाती है, बशर्ते कि अनुभवजन्य CDF यूनिफॉर्म रूप से अभिसरित (converge) हो। यह परिणाम तब भी मान्य रहता है जब आकार प्रतिबंध (shape constraint) सख्ती से सत्य न हो, क्योंकि एस्टिमेटर 'आइसोटनाइज्ड' $lfdr $को लक्षित करता है (जो कि एकदिष्ट फलनों के वर्ग में$ L_2$ प्रोजेक्शन है)।
गलत अंशांकन का अनुभवजन्य प्रमाण: सिमुलेशन और वास्तविक डेटा विश्लेषण के माध्यम से, लेखक प्रदर्शित करते हैं कि मानक त्रुटि माप, विशेष रूप से q-वैल्यू, गंभीर रूप से गलत अंशांकित (miscalibrated) हो सकते हैं, और कभी-कभी कच्चे $p$ -values से भी खराब प्रदर्शन कर सकते हैं।

परिणाम (Results)

सिमुलेशन अध्ययन

लेखकों ने तीन प्रेडिक्टर्स के ब्रायर रिग्रेट की तुलना की: कच्चे $p$ -values, स्टोरे (Storey) के $q$ -values, और उनका आइसोटोनिक एस्टिमेटर ( $\widehat{lfdr}^\uparrow$ )।

अभिसरण (Convergence): $\widehat{lfdr}^\uparrow$ का रिग्रेट परीक्षणों की संख्या $m$ के साथ लगातार कम हुआ, जो एक बहुपद दर (polynomial rate) पर अभिसरित हुआ।
स्थिरता (Stagnation): $p$ -values के लिए रिग्रेट स्थिर रहा (क्योंकि वे एक आइडेंटिटी फंक्शन हैं), और $q$ -values के लिए रिग्रेट अधिकांश परिदृश्यों में आइसोटोनिक एस्टिमेटर की तुलना में काफी अधिक रहा।
मजबूती (Robustness): उन परिदृश्यों में भी जहाँ वास्तविक $lfdr$ गैर-एकदिष्ट (non-monotone) था (आकार प्रतिबंध का उल्लंघन करते हुए), आइसोटोनिक एस्टिमेटर 'आइसोटनाइज्ड' $lfdr$ की ओर अभिसरित हुआ, जिससे सर्वश्रेष्ठ एकदिष्ट प्रेडिक्टर के सापेक्ष लुप्त होता हुआ रिग्रेट बना रहा।

वास्तविक डेटा अनुप्रयोग

इस पद्धति को संज्ञानात्मक तंत्रिका विज्ञान (cognitive neuroscience) और प्रयोगात्मक मनोविज्ञान साहित्य (Szucs and Ioannidis, 2017) से लगभग 27,000 $t$ -सांख्यिकी के एक डेटासेट पर लागू किया गया।

अंशांकन जांच: विश्वसनीयता आरेखों ने दिखाया कि कच्चे $p$ -values और $q$ -values गंभीर रूप से गलत अंशांकित थे (बिंदु विकर्ण $y=x$ से काफी विचलित थे)।
प्रदर्शन: आइसोटोनिक एस्टिमेटर $\widehat{lfdr}^\uparrow$ ने ऐसे स्कोर उत्पन्न किए जो विकर्ण के करीब थे, जो यह सुझाव देता है कि अंशांकित स्कोर को व्यक्तिगत अध्ययनों के लिए वैध स्थानीय संभाव्यता कथनों के रूप में व्याख्या किया जा सकता है।

महत्व और दावे (Significance and Claims)

पेपर तर्क देता है कि अंशांकन (calibration) को केवल बहुलता सुधार (multiplicity correction) से अलग, बड़े पैमाने पर परिकल्पना परीक्षण में एक प्राथमिक अनुमानात्मक लक्ष्य माना जाना चाहिए। बहु-परीक्षण को वर्गीकरण समस्या के रूप में मानकर, लेखक दिखाते हैं कि बिना ग्राउंड ट्रुथ के भी सार्थक त्रुटि प्रायत्व स्थापित किए जा सकते हैं।

इस कार्य का महत्व निम्नलिखित में निहित है:

व्याख्यात्मकता (Interpretability): यह मॉडल मिसस्पेसिफिकेशन के तहत भी स्कोर को अंशांकित संभाव्यता के रूप में व्याख्या करने का मार्ग प्रदान करता है, क्योंकि अंशांकन स्वयं स्कोर का गुण है, न कि जनरेटिव मॉडल का।
पद्धतिगत सेतु (Methodological Bridge): यह सफलतापूर्वक संभाव्यता पूर्वानुमान (probabilistic forecasting) और पर्यवेक्षित शिक्षण (विशेष रूप से आइसोटोनिक अंशांकन और विश्वसनीयता आरेख) के उपकरणों को बहु-परीक्षण के क्षेत्र में लाता है।
महत्वपूर्ण अंतर्दृष्टि: $q$ -वैल्यू जैसे लोकप्रिय मापों के खराब अंशांकित होने का अनुभवजन्य निष्कर्ष इस धारणा को चुनौती देता है कि मानक FDR-आधारित माप व्यक्तिगत परिकल्पना मूल्यांकन के लिए स्वाभाविक रूप से विश्वसनीय हैं।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि उनका सिद्धांत इस बात पर निर्भर करता है कि $p$ -values शून्य के तहत एकसमान (uniformly) वितरित हों। वे गैर-समान शून्य वितरणों (जैसे $z$ -scores या उच्च-आयामी सांख्यिकी) के लिए इसी तरह के छद्म-लेबल्स के निर्माण को भविष्य के अनुसंधान के लिए एक खुला प्रश्न मानते हैं।