📊 statistics

Hash-augmented adaptive multilevel splitting Monte Carlo algorithm for accurate estimation of two-sample permutation test p-values

यह शोध पत्र एक हैश-ऑगमेंटेड एडेप्टिव मल्टीलेवल स्प्लिटिंग मोंटे कार्लो एल्गोरिदम पेश करता है, जिसे पायथन पैकेज `hamstest` में कार्यान्वित किया गया है, ताकि वितरण की विविक्तता (discreteness) से संबंधित चुनौतियों का समाधान करते हुए और वैध कॉन्फिडेंस इंटरवल सुनिश्चित करते हुए, जटिल सांख्यिकी वाले टू-सैंपल परम्यूटेशन टेस्ट के लिए अनिश्चित रूप से छोटे p-वैल्यू का सटीक अनुमान लगाया जा सके।

मूल लेखक: Nikita Golikov, Vladimir Sukhov, Gennady Korotkevich, Alexey Sergushichev

प्रकाशित 2026-07-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nikita Golikov, Vladimir Sukhov, Gennady Korotkevich, Alexey Sergushichev

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप लाखों की आबादी वाले शहर में एक बहुत ही दुर्लभ अपराधी को पकड़ने की कोशिश कर रहे एक जासूस हैं। आपके पास संदिग्धों की एक सूची (आपका डेटा) है, और आप जानना चाहते हैं: "इस बात की कितनी संभावना है कि संकेतों का यह विशिष्ट पैटर्न केवल शुद्ध भाग्य या संयोग से हुआ है?" सांख्यिकी (statistics) की दुनिया में, इसे परम्यूटेशन टेस्ट (permutation test) कहा जाता है। आप संकेतों को लाखों बार इधर-उधर घुमाते (shuffle) हैं ताकि यह देख सकें कि एक "भाग्यशाली" पैटर्न कितनी बार दिखाई देता है।

आमतौर पर, यदि पैटर्न आम है, तो आप भाग्यशाली शफल की गिनती कर सकते हैं। लेकिन क्या होगा यदि पैटर्न इतना दुर्लभ है कि यह दस खरब प्रयासों में से केवल एक बार होता है? यह एक ग्रह के आकार के समुद्र तट पर रेत के एक विशिष्ट कण को खोजने जैसा है। यदि आप यादृच्छिक रूप से (randomly) एक-एक करके रेत के कण चुनकर इसे खोजने की कोशिश करते हैं (पुराना मोंटे कार्लो (Monte Carlo) तरीका), तो आप अपना पूरा जीवन रेत चुनने में बिता सकते हैं और फिर भी उस एक कण को नहीं ढूंढ पाएंगे। $10^{-10}$ जैसी छोटी संभावना के लिए एक उचित अनुमान लगाने के लिए आपको $10^{10}$ कण चुनने होंगे, जो पूरी तरह से अव्यवहारिक है।

समस्या: "अटक" जाने वाली लिफ्ट (The "Stuck" Elevator)

इस शोध पत्र के लेखकों ने महसूस किया कि मानक तरीके इन अत्यंत सूक्ष्म संभावनाओं के साथ काम करते समय एक दीवार से टकरा जाते हैं, खासकर इसलिए क्योंकि "रेत के कण" (डेटा संयोजन) सभी अद्वितीय नहीं होते हैं। कभी-कभी, हजारों अलग-अलग शफल बिल्कुल एक ही स्कोर परिणाम देते हैं। यह एक ऐसी लिफ्ट की तरह है जो केवल फ्लोर 1, 10 और 100 पर रुकती है, लेकिन 2 से 99 तक के फ्लोर को छोड़ देती है। यदि आप फ्लोर 99 पर जाने की कोशिश कर रहे हैं, तो लिफ्ट वहां नहीं रुक सकती क्योंकि वह अस्तित्व में ही नहीं है। यह "डिस्क्रीटनेस" (discreteness/विच्छिन्नता) गणित को अटका देती है, जिससे यह अनुमान लगाना असंभव हो जाता है कि कोई घटना वास्तव में कितनी दुर्लभ है।

समाधान: "हैश" टैग और विभाजन की सीढ़ी (The "Hash" Tag and the Splitting Ladder)

निकिता गोलिकोव और उनके सहयोगियों के नेतृत्व में टीम ने hamstest नामक एक नया टूल बनाया। उनका गुप्त मंत्र एक चतुर तकनीक है जिसे हैश-ऑगमेंटेड एडेप्टिव मल्टीलेवल स्प्लिटिंग (hash-augmented adaptive multilevel splitting) कहा जाता है।

यह कैसे काम करता है, इसके लिए एक मजेदार उपमा (analogy) देखें:

सीढ़ी (मल्टीलेवल स्प्लिटिंग): सीधे पहाड़ के शिखर (दुर्लभ घटना) पर कूदने के बजाय, वे एक सीढ़ी बनाते हैं। वे नीचे से शुरू करते हैं और पूछते हैं, "कितने लोग पहली सीढ़ी तक पहुँच सकते हैं?" फिर, "उनमें से कितने लोग दूसरी सीढ़ी तक पहुँच सकते हैं?" वे समूह को ऊपर चढ़ते समय छोटे और छोटे समूहों में विभाजित करते रहते हैं। यह एक असंभव छलांग को आसान, प्रबंधनीय चरणों की एक श्रृंखला में बदल देता है।
"हैश" टैग (अटक जाने वाली लिफ्ट का समाधान): बड़ी समस्या यह थी कि कई लोग एक ही पायदान (एक ही स्कोर) पर खड़े थे, जिससे समूह को आगे विभाजित करना असंभव हो गया था। इसे ठीक करने के लिए, लेखकों ने प्रत्येक व्यक्ति को एक अद्वितीय, अदृश्य हैश टैग (एक रैंडम नंबर) दिया। भले ही दो लोगों का स्कोर बिल्कुल समान हो, उनके हैश टैग अलग होते हैं। यह एल्गोरिदम को यह कहने की अनुमति देता है, "ठीक है, हम स्कोर के आधार पर विभाजित नहीं हो सकते, लेकिन हम हैश टैग के आधार पर विभाजित हो सकते हैं।" यह एक सपाट, अटकी हुई मंजिल को एक चिकनी, निरंतर सीढ़ी में बदल देता है जहाँ एल्गोरिदम हमेशा अगला कदम ढूंढ सकता है।

उन्होंने क्या पाया (और क्या नहीं पाया)

लेखकों ने अपने नए तरीके का परीक्षण दो क्लासिक सांख्यिकीय परीक्षणों पर किया: कोलमोगोरोव–स्मिरनोव टेस्ट (Kolmogorov–Smirnov test) और मैन–व्हिटनी यू टेस्ट (Mann–Whitney U test)।

परिणाम: अपने सिमुलेशन में, नया तरीका अविश्वसनीय रूप से सटीक था। जब उन्होंने $10^{-243}$ (यानी 1 के बाद 243 शून्य!) जितनी छोटी संभावनाओं का अनुमान लगाने की कोशिश की, तो विधि के अनुमान वास्तविक मान के बिल्कुल करीब थे। उन्होंने कॉन्फिडेंस इंटरवल (confidence intervals) (वह सीमा जहाँ वास्तविक उत्तर छिपे होने की संभावना है) भी निकाले, और लगभग 95% परीक्षणों में, वास्तविक उत्तर उस सीमा के भीतर था।
"फुल रीसैंपलिंग" का नियम: उन्होंने सिमुलेशन चलाने के कुछ अलग तरीकों को आजमाया। उन्होंने पाया कि "फुल रीसंपलिंग" (full resampling) (जहाँ वे हर चरण में सभी नमूनों को शफल करते हैं) सबसे विश्वसनीय और मजबूत तरीका है। वे $\alpha = 1$ नामक एक विशिष्ट सेटिंग का उपयोग करने का सुझाव देते हैं क्योंकि यह उनके परीक्षणों में सबसे अच्छा काम करती है।
उन्होंने क्या खारिज किया: उन्होंने स्पष्ट रूप से दिखाया कि पुराना तरीका (केवल स्कोर का उपयोग करना बिना हैश टैग के) विफल हो जाता है जब डेटा में "बड़े जंप" या बहुत अधिक समानताएं (ties) होती हैं। उन्होंने सिद्ध किया कि हैश टैग के बिना, एल्गोरिदम अटक सकता है और गलत उत्तर दे सकता है। उन्होंने यह भी नोट किया कि हालांकि उनका तरीका एक-तरफा परीक्षणों (एक दिशा में पैटर्न देखना) के लिए बेहतरीन काम करता है, लेकिन कोलमोगोरोव–स्मिरनोव टेस्ट का दो-तरफा संस्करण पेचीदा है क्योंकि "लिफ्ट" सबसे ऊपरी स्तर पर डिस्कनेक्ट हो सकती है, जिसके लिए विशेष हैंडलिंग की आवश्यकता होती है।

यह कितना तेज़ है?

टीम ने एक आधुनिक कंप्यूटर (Apple M3 Pro) पर एल्गोरिदम के समय को मापा। उन्होंने पाया कि लगने वाला समय मुख्य रूप से इस बात पर निर्भर करता है कि घटना कितनी दुर्लभ है। यदि आप किसी अत्यंत दुर्लभ चीज़ (जैसे $10^{-100}$ का p-value) की तलाश कर रहे हैं, तो इसमें अधिक समय लगता है क्योंकि आपको सीढ़ी के अधिक पायदानों पर चढ़ना पड़ता है। हालाँकि, मैन–व्हिटनी यू टेस्ट के लिए, समय डेटा सेट के आकार पर अधिक निर्भर नहीं करता क्योंकि उस विशिष्ट परीक्षण के लिए गणित बहुत कुशल है।

निष्कर्ष (The Bottom Line)

लेखकों ने ब्रह्मांड की हर सांख्यिकीय समस्या को "हल" नहीं किया है, लेकिन उन्होंने एक बहुत शक्तिशाली, लचीला उपकरण बनाया है जो किसी भी कस्टम टेस्ट स्टैटिस्टिक के लिए काम कर सकता है जिसे कोई वैज्ञानिक आविष्कार करे। उन्होंने इस टूल को hamstest नामक एक मुफ्त पायथन लाइब्रेरी में पैक किया है।

वे सुझाव देते हैं कि अधिकांश लोगों के लिए, $\alpha = 1$ के साथ "फुल रीसंपलिंग" विधि का उपयोग करना सबसे अच्छा दांव है। वे यह भी बताते हैं कि हालांकि उनकी विधि तेज़ है, लेकिन लगने वाला सटीक समय आपके द्वारा चलाए जा रहे परीक्षण के विशिष्ट गणित पर निर्भर करता है। यदि आप एक शोधकर्ता हैं जो अत्यंत सूक्ष्म संभावनाओं और जटिल डेटा से जूझ रहे हैं, तो यह टूल बिना ब्रह्मांड के अंत तक प्रतीक्षा किए सटीक उत्तर प्राप्त करने का एक तरीका सुझाता है।

संक्षेप में, उन्होंने एक टूटी हुई, अटकी हुई लिफ्ट को एक चिकनी, हाई-स्पीड एस्केलेटर में बदल दिया है जो आपको सांख्यिकीय पर्वत के शीर्ष तक ले जा सकता है, भले ही रास्ता गड्ढों से भरा हो।

तकनीकी सारांश: परम्यूटेशन टेस्ट p-मानों के लिए हैश-ऑगमेंटेड एडेप्टिव मल्टीलेवल स्प्लिटिंग

समस्या विवरण
गैर-पैरामीट्रिक परम्यूटेशन टेस्ट, जैसे कि कोलमोगोरोव–स्मिरनोव (Kolmogorov–Smirnov) और मैन–व्हिटनी यू (Mann–Whitney U) टेस्ट, सांख्यिकीय परिकल्पना परीक्षण के लिए मौलिक हैं, विशेष रूप से जब वे किसी विशिष्ट डेटा वितरण की धारणा बनाए बिना दो समूहों की तुलना करते हैं। हालांकि सटीक p-मान गणना आदर्श है, लेकिन जटिल या कस्टम टेस्ट स्टैटिस्टिक्स के लिए यह एल्गोरिदम के रूप में कठिन हो जाता है क्योंकि इसमें संभावित परम्यूटेशन की संख्या ( $\binom{n+m}{n}$ ) घातांकीय होती है। फलस्वरूप, शोधकर्ता मोंटे कार्लो सैंपलिंग (Monte Carlo sampling) पर निर्भर रहते हैं। हालांकि, मानक मोंटे कार्लो विधियाँ बहुत छोटे p-मानों (जैसे, $10^{-10}$ या उससे कम) का अनुमान लगाने के लिए खराब सापेक्ष सटीकता प्रदर्शित करती हैं, जिससे कई हाइपोथेसिस सुधारों के बाद सांख्यिकीय शक्ति प्राप्त करने के लिए एक अव्यवहारिक संख्या में नमूनों की आवश्यकता होती है।

इसके अलावा, मल्टीलेवल स्प्लिटिंग को लागू करना—जो दुर्लभ घटनाओं की संभावना का अनुमान लगाने के लिए डिज़ाइन की गई एक तकनीक है जो सशर्त संभावनाओं के उत्पाद में विघटित होती है—परम्यूटेशन टेस्ट में विशिष्ट चुनौतियाँ पेश करता है। परम्यूटेशन टेस्ट असतत स्थानों (discrete spaces) में कार्य करते हैं जहाँ टेस्ट स्टैटिस्टिक वितरण अक्सर बड़े उछाल (discreteness) प्रदर्शित करता है। ऐसे मामलों में, डेटा के कई अलग-अलग संयोजन समान स्टैटिस्टिक मान दे सकते हैं। इस असततता के कारण एडेप्टिव मल्टीलेवल स्प्लिटिंग के लिए आवश्यक मध्यवर्ती स्तरों (intermediate levels) का चयन बाधित हो सकता है, जिससे एल्गोरिदम विफल हो सकता है या पक्षपाती अनुमान उत्पन्न कर सकता है यदि अगले स्तर पर जाने की सशर्त संभावना को एक लक्षित स्थिरांक (जैसे, 0.5) के करीब बनाए रखना संभव न हो।

कार्यप्रणाली
लेखक परम्यूटेशन टेस्ट में निहित असततता संबंधी समस्याओं को हल करने के लिए एक हैश-ऑगमेंटेड एडेप्टिव मल्टीलेवल स्प्लिटिंग मोंटे कार्लो एल्गोरिदम प्रस्तावित करते हैं। मुख्य कार्यप्रणाली में तीन प्रमुख घटक शामिल हैं:

हैश-ऑगमेंटेड ऑर्डरिंग (Hash-Augmented Ordering): उन संयोजनों के मुद्दे को हल करने के लिए जो एक ही स्टैटिस्टिक मान साझा करते हैं, लेखक संयोजनों पर एक सख्त कुल क्रम (strict total order) पेश करते हैं। केवल टेस्ट स्टैटिस्टिक $S(A)$ द्वारा क्रमबद्ध करने के बजाय, वे एक क्रम $A \succ_{S,h} B$ को परिभाषित करते हैं जो पहले स्टैटिस्टिक मान पर, और यदि स्टैटिस्टिक्स समान हैं तो हैश मान $h(A)$ पर आधारित होता है।
- हैश फंक्शन $h(A)$ संयोजनों को पूर्णांकों (integers) में मैप करता है। एक व्यावहारिक कार्यान्वयन प्रत्येक तत्व को सौंपे गए स्वतंत्र यादृच्छिक पूर्णांकों के योग का उपयोग करता है, जिससे मार्कोव चेन मोंटे कार्लो (MCMC) चरणों के दौरान $O(1)$ अपडेट संभव होता है।
- यह ऑगमेंटेशन असतत वितरण को प्रभावी रूप से "स्मूथ" (smooth) करता है, यह सुनिश्चित करता है कि किसी भी स्तर सीमा के लिए, एक वैध अगला स्तर पाया जा सके ताकि सशर्त संभावना अनुमान योग्य बनी रहे।
MCMC के साथ एडेप्टिव मल्टीलेवल स्प्लिटिंग: एल्गोरिदम हैश-ऑगमेंटेड ऑर्डर के माध्यम से नेस्टेड घटनाओं के एक अनुक्रम पर सशर्त संभावनाओं के उत्पाद में विघटित करके p-मान $Pr(S \ge \gamma)$ का अनुमान लगाता है।
- एडेप्टिव लेवल्स (Adaptive Levels): एक तुच्छ स्तर (trivial level) से शुरू करते हुए, एल्गोरिदम संयोजनों को सैंपल करता है और अगले स्तर की सीमा को परिभाषित करने के लिए उनके क्वांटाइल्स (जैसे, माध्यिका/median) का उपयोग करता है।
- MCMC सैंपलिंग: अगले स्तर के लिए नमूने उत्पन्न करने के लिए, एल्गोरिदम एक मेट्रोपोलिस-शैली की MCMC प्रक्रिया का उपयोग करता है। यह मौजूदा नमूनों से शुरू होता है जो नई सीमा शर्त को पूरा करते हैं और नए स्वतंत्र नमूने उत्पन्न करने के लिए उन्हें विचलित (perturb) करता है (तत्वों को बदलना)।
- रीसैंपलिंग रणनीतियाँ (Resampling Strategies): पेपर "फुल रीसैंपलिंग" (मौजूदा वैध नमूनों को डुप्लिकेट करना और उन सभी को विचलित करना) बनाम "पार्शियल रीसैंपलिंग" (केवल एक उपसमूह को विचलित करना) का मूल्यांकन करता है। समस्या की असतत प्रकृति से उत्पन्न होने वाले सैंपलिंग पूर्वाग्रहों के विरुद्ध फुल रीसैंपलिंग को अधिक मजबूत पाया गया है।
लॉग-स्पेस एस्टीमेशन (Log-Space Estimation): एल्गोरिदम संख्यात्मक अंडरफ्लो (numerical underflow) को संभालने के लिए p-मान के लघुगणक (logarithm) का अनुमान लगाता है। यह यूनिफॉर्म डिस्ट्रीब्यूशन के ऑर्डर स्टैटिस्टिक्स के गुणों से प्राप्त डिगामा ( $\psi$ ) और ट्रिगामा ( $\psi_1$ ) फंक्शन का उपयोग करके लॉग-अनुमानों के माध्य और विचरण की गणना करता है। यह वैध विश्वास अंतराल (confidence intervals) के निर्माण की अनुमति देता है।

प्रमुख योगदान

एल्गोरिदम संबंधी नवाचार: एक हैश-ऑगमेंटेड ऑर्डरिंग स्कीम का परिचय जो एडेप्टिव मल्टीलेवल स्प्लिटिंग को डिस्क्रीट परम्यूटेशन स्पेस में सही ढंग से कार्य करने में सक्षम बनाता है, जिससे "लार्ज जंप" की समस्या दूर होती है जहाँ मानक विधियाँ विफल हो जाती हैं।
मजबूत कार्यान्वयन: रीसैंपलिंग रणनीतियों (फुल बनाम पार्शियल) और MCMC स्टॉपिंग क्राइटेरिया का विस्तृत विश्लेषण, जो दर्शाता है कि फुल रीसैंपलिंग जिसमें एक विशिष्ट स्केलिंग पैरामीटर ( $\alpha=1$ ) का उपयोग किया गया है, अभिसरण गति (convergence speed) और पूर्वाग्रह न्यूनीकरण के बीच सर्वोत्तम संतुलन प्रदान करता है।
सॉफ्टवेयर रिलीज़: प्रस्तावित एल्गोरिदम को लागू करने वाले पायथन पैकेज hamstest का विकास और ओपन-सोर्स रिलीज़। यह उपयोगकर्ताओं को कस्टम टेस्ट स्टैटिस्टिक्स को परिभाषित करने की अनुमति देता है और उच्च-प्रदर्शन p-मान अनुमान के लिए कुशल इंटरफेस (C++ बैकएंड सहित) प्रदान करता है।
वैलिडेशन: कोलमोगोरोव–स्मिरनोव और मैन–व्हिटनी यू टेस्ट के लिए सटीक एल्गोरिदम के विरुद्ध कठोर तुलना, जो दर्शाता है कि प्रस्तावित विधि वैध विश्वास अंतरालों के साथ $10^{-243}$ तक के छोटे p-मानों का सटीक अनुमान लगा सकती है।

परिणाम
लेखकों ने विभिन्न सैंपल साइज़ ( $n+m$ तक 10,000) और लक्षित p-मानों (डाउन टू $10^{-100}$ ) के माध्यम से कोलमोगोरोव–स्मिरनोव और मैन–व्हिटनी यू टेस्ट पर एल्गोरिदम का मूल्यांकन किया।

सटीकता: अनुमानित p-मान वास्तविक मानों (जहाँ उपलब्ध हो सटीक विधियों द्वारा गणना किए गए) के बहुत करीब थे, जिसमें कोई दृश्यमान पूर्वाग्रह नहीं था। अनुमानों की माध्यिका सभी परीक्षण किए गए मापदंडों में वास्तविक p-मान के साथ संरेखित थी।
विश्वास अंतराल (Confidence Intervals): निर्मित 95% विश्वास अंतराल (जो $\log \hat{p} \pm 2\hat{\sigma}$ पर आधारित है) ने अधिकांश स्वतंत्र रन में वास्तविक लॉग p-मान को सफलतापूर्वक कैप्चर किया, जो सैद्धांतिक विचरण अनुमानों को मान्य करता है।
प्रदर्शन: रनिंग टाइम मुख्य रूप से p-मान के परिमाण और सैंपल साइज पर निर्भर करता है। एल्गोरिदम ने आवश्यक स्तरों की संख्या के संबंध में रैखिक स्केलेबिलिटी (linear scalability) प्रदर्शित की, जिससे यह अत्यंत छोटे p-मानों का अनुमान लगाने के लिए व्यवहार्य बन गया जो मानक मोंटे कार्लो के लिए कम्प्यूटेशनल रूप से निषेधात्मक हैं।
रीसैंपलिंग तुलना: "फुल-मेडियन" वेरिएंट (मेडियन बाउंड्री सिलेक्शन के साथ फुल रीसैंपलिंग) ने अभिसरण गति और पूर्वाग्रह के प्रति मजबूती के मामले में पार्शियल रीसैंपलिंग वेरिएंट्स की तुलना में लगातार बेहतर प्रदर्शन किया, विशेष रूप से कोलमोगोरोव–स्मिरनोव टेस्ट के लिए जहाँ वितरण की असततता अधिक स्पष्ट है।

महत्व
यह शोध पत्र दावा करता है कि यह कार्य परम्यूटेशन टेस्ट में p-मान अनुमान के लिए क्लासिकल मोंटे कार्लो दृष्टिकोणों की तुलना में एक बड़ा सुधार प्रदान करता है। डिस्क्रीट स्पेस की विशिष्ट बाधाओं को संबोधित करके—अर्थात, जुड़ी हुई स्टैटिस्टिक वैल्यूज़ के कारण मध्यवर्ती स्तरों को परिभाषित करने में असमर्थता—प्रस्तावित एल्गोरिदम मनमाने रूप से छोटे p-मानों के सटीक और कुशल अनुमान को सक्षम बनाता है। यह क्षमता आधुनिक हाई-थ्रूपुट अनुप्रयोगों (जैसे, जीनोमिक्स, न्यूरोसाइंस) के लिए महत्वपूर्ण है जहाँ हजारों टेस्ट एक साथ किए जाते हैं, और सटीक फॉल्स डिस्कवरी रेट कंट्रोल के लिए टेल प्रोबेबिलिटी का विश्वसनीय अनुमान आवश्यक है। लेखकों ने उल्लेख किया है कि इस एल्गोरिदम का एक पिछला संस्करण (हैश ऑगमेंटेशन के बिना) GSEA में पहले से ही सफल था; वर्तमान कार्य इस उपयोगिता को दो-नमूनों के सांख्यिकी के व्यापक वर्ग तक विस्तारित करता है और विशिष्ट इनपुट डिस्ट्रीब्यूशन के साथ सामना की गई अस्थिरता के मुद्दों को हल करता है। hamstest पैकेज की उपलब्धता यह सुनिश्चित करती है कि ये उन्नत सांख्यिकीय क्षमताएं व्यावहारिक अनुसंधान वर्कफ़्लो में उपयोगकर्ता-परिभाषित स्टैटिस्टिक्स के लिए सुलभ हैं।

समस्या: "अटक" जाने वाली लिफ्ट (The "Stuck" Elevator)

समाधान: "हैश" टैग और विभाजन की सीढ़ी (The "Hash" Tag and the Splitting Ladder)

उन्होंने क्या पाया (और क्या नहीं पाया)

यह कितना तेज़ है?

निष्कर्ष (The Bottom Line)

इसी तरह के और पेपर