💻 computer science

Interface-Variant Dynamics in Software Ecosystems: Resolver-Induced Selection and Adoption in Package Graphs

यह शोध पत्र वितरित सॉफ्टवेयर पारिस्थितिक तंत्रों (distributed software ecosystems) में इंटरफ़ेस-परिवर्तित गतिकी (interface-variant dynamics) के लिए एक पुनरुत्पादनीय अनुमानक ऑडिट (reproducible estimator audit) प्रस्तावित करता है, जो चयन गुणांकों (selection coefficients) को मापने के लिए पैकेज ग्राफों की माइनिंग करता है और इस बात का मूल्यांकन करता है कि क्या रिज़ॉल्वर-प्रेरित विशेषताएँ (resolver-induced features) अंगीकरण (adoption) की भविष्यवाणी कर सकती हैं, जो अंततः यह प्रकट करता है कि जबकि चेकर-व्युत्पन्न संकेत नैदानिक मूल्य (diagnostic value) दर्शाते हैं, वर्तमान रजिस्ट्री डेटा रिज़ॉल्वर बाधाओं और वास्तविक अंगीकरण परिणामों के बीच के लूप को बंद करने में विफल रहता है।

मूल लेखक: Faruk Alpay, Baris Basaran

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Faruk Alpay, Baris Basaran

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) की सरल भाषा और रोज़मर्रा के उदाहरणों के साथ व्याख्या दी गई है।

एक बड़ी तस्वीर: एक सॉफ्टवेयर इकोसिस्टम एक शहर के रूप में

सॉफ्टवेयर की दुनिया (जैसे npm, Maven, PyPI) को एक विशाल, हलचल भरे शहर के रूप में कल्पना करें।

पैकेजेस (Packages) इमारतें हैं (दुकानें, घर, कार्यालय)।
डिपेंडेंसीज़ (Dependencies) उन्हें जोड़ने वाली सड़कें हैं।
इंटरफेस (Interfaces) वे दरवाजे और खिड़कियाँ हैं जहाँ ये इमारतें एक-दूसरे से बात करती हैं।

कभी-कभी, एक इमारत का मालिक (एक "प्रदाता" या provider) अपने सामने वाले दरवाजे को नया रूप देने का फैसला करता है। वे हैंडल बदल देते हैं, ताला बदल देते हैं, या फ्रेम की चौड़ाई बदल देते हैं। यह एक इंटरफेस परिवर्तन (interface change) है।

यह शोध पत्र जो बड़ा सवाल पूछता है वह यह है: जब एक प्रदाता अपना दरवाजा बदलता है, तो क्या पूरा शहर उसके अनुसार ढल जाता है, या ट्रैफिक फंस जाता है?

समस्या: "दरबान" बनाम "भीड़"

आमतौर पर, हम अनुकूलता (compatibility) को दो लोगों के बीच एक साधारण बातचीत के रूप में देखते हैं: "क्या मैं आपके दरवाजे से अंदर आ सकता हूँ?"

लेखक (प्रदाता): दरवाजा बदलता है।
पाठक (उपभोक्ता): अंदर जाने की कोशिश करता है।

लेकिन एक वास्तविक सॉफ्टवेयर शहर में, यह केवल एक-पर-एक (one-on-one) नहीं है। यह एक चेन रिएक्शन है। यदि कोई बड़ी दुकान अपना दरवाजा बदलती है, तो जो छोटी कैफे उसकी आपूर्ति करते हैं, जो डिलीवरी ट्रक वहां आते हैं, और जो ग्राहक वहां से गुजरते हैं, वे सभी प्रभावित होते हैं।

यह शोध पत्र इसे विकास (evolution) के रूप में देखता है।

"दरवाजे का बदलाव" एक नया वेरिएंट (variant) (एक नया गुण) है।
"पैकेज मैनेजर" (सॉफ्टवेयर इंस्टॉल करने वाला टूल) एक दरबान या ट्रैफिक पुलिस की तरह कार्य करता है।
"जनसंख्या" सॉफ्टवेयर पैकेजों का पूरा नेटवर्क है।

शोधकर्ता यह जानना चाहते थे: क्या ट्रैफिक पुलिस (रिजॉल्वर) वास्तव में यह चुन रही है कि कौन से दरवाजे के बदलाव जीवित रहेंगे और फैलेंगे, या वे बस बिना सोचे-समझे चीजों को गुजरने दे रही है?

प्रयोग: "दरबान" का परीक्षण करना

यह पता लगाने के लिए, शोधकर्ताओं ने केवल अनुमान नहीं लगाया। वे चार प्रमुख सॉफ्टवेयर शहरों (npm, Maven, PyPI, और Cargo) के अभिलेखों (archives) में गए और एक बड़ा सिमुलेशन चलाया।

1. "साफ" परीक्षण (दरबान की सख्ती को मापना)
उन्होंने हजारों "अस्वीकृत" दरवाजे के बदलावों (अपडेट्स जिन्हें सिस्टम ने कहा "नहीं, यह काम नहीं करेगा") को लिया और उन्हें पैकेज मैनेजर के माध्यम से जबरदस्ती अंदर डालने की कोशिश की।

परिणाम: कुछ शहरों (जैसे Maven और PyPI) में, दरबान बहुत सख्त था। यदि दरवाजा बदला गया, तो सिस्टम ने लगभग हमेशा उसे ब्लॉक कर दिया (उच्च "selection pressure")। अन्य शहरों (जैसे Cargo) में, दरबान बहुत उदार था, जो लगभग किसी भी चीज़ को गुजरने देता था।
मीट्रिक (Metric): उन्होंने एक "सिलेक्शन कोएफिशिएंट" ( $s$ ) की गणना की। इसे एक सख्ती स्कोर (strictness score) के रूप में समझें। एक उच्च नकारात्मक स्कोर का अर्थ है कि सिस्टम आक्रामक रूप से बदलावों को रोकता है; शून्य के करीब स्कोर का अर्थ है कि यह तटस्थ है।

2. "फिक्सेशन" सिमुलेशन (क्या नया दरवाजा फैलेगा?)
इन सख्ती स्कोर का उपयोग करते हुए, उन्होंने एक कंप्यूटर सिमुलेशन चलाया यह देखने के लिए कि क्या होगा यदि एक नई इमारत में एक नए प्रकार का दरवाजा शुरू होता है।

सादृश्य (Analogy): कल्पना करें कि एक नए प्रकार का डोर हैंडल पेश किया गया है। क्या यह अंततः शहर के सभी हैंडलों की जगह ले लेगा, या यह खत्म हो जाएगा?
निष्कर्ष: सख्त शहरों (Maven, PyPI) में, नया दरवाजा स्टाइल लगभग हमेशा खत्म हो गया (विलुप्ति/extinction)। उदार शहर (Cargo) में, इसके पास बेहतर मौका था, लेकिन फिर भी यह ज्यादातर गायब हो गया।
महत्वपूर्ण बिंदु: लेखक इस बात पर जोर देते हैं कि यह सिमुलेशन इस बात का प्रमाण नहीं है कि वास्तविक दुनिया इसी तरह काम करती है; यह केवल एक गणितीय जांच है कि उनके सख्ती स्कोर सही होने पर क्या होना चाहिए।

ट्विस्ट: "चेकर" बनाम "भविष्यवाणी"

यह इस पेपर का सबसे महत्वपूर्ण हिस्सा है। शोधकर्ताओं ने भविष्यवाणी करने की कोशिश की कि वास्तविक दुनिया में कौन से अपडेट वास्तव में अपनाए जाएंगे।

परीक्षण A: "चेकर" (लेबल को देखना)
उन्होंने "अनुकूलता लेबल" (क्या सिस्टम ने "हाँ" या "नहीं" कहा?) को देखा।

परिणाम: यह आश्चर्यजनक रूप से अच्छा काम कर गया। यदि सिस्टम ने "हाँ" कहा, तो अपडेट को अपनाए जाने की संभावना थी। यदि उसने "नहीं" कहा, तो इसकी संभावना कम थी।
कैच (Catch): यह थोड़ा चक्रीय (circular) है। यह यह अनुमान लगाने जैसा है कि एक छात्र परीक्षा में पास होगा क्योंकि शिक्षक ने पहले ही उसे बता दिया है कि वह पास हो गया है। "लेबल" और "परिणाम" एक ही चीज़ हैं।

परीक्षण B: "टाइम ट्रैवल" टेस्ट (सबसे सख्त जांच)
उन्होंने "हाँ/नहीं" लेबल को देखे बिना भविष्य की भविष्यवाणी करने की कोशिश की। उन्होंने पूछा: "केवल इस आधार पर कि सॉफ्टवेयर कितना पुराना है और शहर आमतौर पर कितना सख्त है, क्या हम भविष्यवाणी कर सकते हैं कि एक ब्लॉक किया गया अपडेट अंततः अनब्लॉक होगा?"

परिणाम: नहीं। मॉडल विफल रहा। "सख्ती स्कोर" को जानने से उन्हें यह अनुमान लगाने में मदद नहीं मिली कि कौन से ब्लॉक किए गए अपडेट बाद में स्वीकृत किए जाएंगे।
सादृश्य: यह यह अनुमान लगाने जैसा है कि एक अस्वीकृत नौकरी आवेदक को अंततः नौकरी मिलेगी या नहीं, सिर्फ यह जानकर कि हायरिंग मैनेजर आमतौर पर कितना चयनात्मक है। चयनात्मकता स्कोर ने मदद नहीं की; अन्य कारकों (जैसे आवेदक का दृढ़ संकल्प या कंपनी की बदलती ज़रूरतें) ने अधिक महत्व रखा।

निष्कर्ष: उन्होंने वास्तव में क्या सिद्ध किया?

पेपर एक बहुत ही ईमानदार और सूक्ष्म सारांश के साथ समाप्त होता है:

हमारे पास एक अच्छा रूलर (मापक) है: हम विभिन्न सॉफ्टवेयर इकोसिस्टम कितने सख्त हैं (रिजॉल्वर सिलेक्शन) इसे माप सकते हैं।
हमारे पास एक अच्छा मैप (नक्शा) है: हम उस सख्ती के आधार पर क्या होना चाहिए, इसका सिमुलेशन कर सकते हैं।
लेकिन लूप अभी पूरा नहीं हुआ है: हम अभी यह साबित नहीं कर सकते कि हमने जो "सख्ती" मापी है, वही एकमात्र कारण है कि कुछ सॉफ्टवेयर अपडेट सफल होते हैं और कुछ विफल होते हैं।

अंतिम रूपक (Metaphor):
शोधकर्ताओं ने एक बहुत ही सटीक 'वेदर वेन' (दिशा सूचक यंत्र) बनाया है जो उन्हें बताता है कि सॉफ्टवेयर शहर में कितनी हवा चल रही है। वे भविष्यवाणी कर सकते हैं कि "यदि इतनी हवा चल रही है, तो पत्ते इस दिशा में उड़ने चाहिए।"
हालाँकि, जब उन्होंने ज़मीन पर पड़े वास्तविक पत्तों को देखा, तो उन्हें एहसास हुआ कि जबकि हवा उन्हें उड़ाती तो है, लेकिन वहाँ अन्य चीजें भी हैं (जैसे गुरुत्वाकर्षण, पत्तों का आकार, या लोगों का उन पर पैर रखना) जिन्हें उनका वेदर वेन अभी तक नहीं देख पा रहा है।

संक्षेप में: उन्होंने एक अस्पष्ट विचार ("सॉफ्टवेयर विकसित होता है") को एक मापने योग्य, परीक्षण योग्य गणितीय मॉडल में सफलतापूर्वक बदल दिया, लेकिन उन्होंने स्वीकार किया कि उनका वर्तमान डेटा यह कहने के लिए पर्याप्त नहीं है कि उनका मॉडल पूरी कहानी की व्याख्या करता है। उन्होंने डेटा में "लुप्त कड़ी" (missing link) को ढूंढ लिया है, लेकिन वे उस लूप को बंद करने वाली कुंजी अभी तक नहीं ढूंढ पाए हैं।

तकनीकी सारांश: सॉफ्टवेयर पारिस्थितिक तंत्रों में इंटरफ़ेस-वैरिएंट डायनेमिक्स (Interface-Variant Dynamics)

समस्या विवरण (Problem Statement)
यह शोध पत्र अनुकूलता (compatibility) अनुसंधान में एक अंतराल को संबोधित करता है, जो आमतौर पर इंटरफ़ेस परिवर्तनों को एक एकल लेखक (प्रदाता/provider) और पाठक (उपभोक्ता/consumer) के बीच एक स्थानीय निर्णय के रूप में मानता है। हालाँकि, वितरित सॉफ्टवेयर स्टैक (distributed software stacks) में, ये निर्णय जनसंख्या-संरचित (population-structured) होते हैं। जब एक प्रदाता एक अनुबंध संस्करण (contract variant) पेश करता है (जैसे कि एक बदला हुआ protobuf, IDL, या JSON स्कीमा), तो परिणाम बाइनरी नहीं होता, बल्कि उपभोक्ताओं, अनुक्रमिक निर्भरताओं (transitive dependencies) और पैकेज-मैनेजर रिज़ॉल्वर नियमों के एक जटिल ग्राफ के माध्यम से मध्यस्थता किया जाता है। केंद्रीय इंजीनियरिंग प्रश्न यह है कि क्या एक स्थानीय रूप से पेश किया गया वैरिएंट, पारिस्थितिकी तंत्र के विशिष्ट अपडेट नियमों के तहत क्लाइंट-प्रदाता पैकेज ग्राफ में प्रसारित हो सकता है, या क्या यह रिज़ॉल्वर संघर्षों द्वारा दबा दिया जाता है। लेखक इसे एक विकासवादी ग्राफ सिद्धांत (evolutionary graph theory) की समस्या के रूप में देखते हैं, जहाँ पैकेज एडॉप्शन एक परिमित ग्राफ पर एक इमिटेशन प्रक्रिया है, लेकिन वे एक "पहचान योग्यता अनुशासन" (identifiability discipline) की आवश्यकता पर जोर देते हैं ताकि यह सुनिश्चित किया जा सके कि चयन अनुमानक (selection estimators) केवल उस डेटा को पुन: लेबल न करें जिसे उन्हें सिद्ध करने के लिए पूछा गया है।

कार्यप्रणाली (Methodology)
यह अध्ययन चार प्रमुख पारिस्थितिक तंत्रों: npm, Maven Central, PyPI, और crates.io में एक बहु-चरणीय ऑडिट का उपयोग करता है।

कैलिब्रेशन और इंस्ट्रूमेंटेशन (Calibration and Instrumentation): लेखक पहले एक विश्वसनीय स्थानीय अनुकूलता उपकरण स्थापित करते हैं। वे तीन स्वतंत्र संदर्भों के विरुद्ध कैलिब्रेट करते हैं: देखे गए OpenTelemetry protobuf ट्रांज़िशन (जिसे buf के साथ जांचा गया है), सिंथेटिक Buf-WIRE अनुरूपता मामले, और ROS 2 IDL ट्रांज़िशन (जिसे DDS-XTypes शैली के चेकर के साथ मूल्यांकित किया गया है)। यह सुनिश्चित करता है कि जनसंख्या दावों के उपयोग से पहले "स्वीकार" (accept) और "अस्वीकार" (reject) लेबल का उच्च भविष्य कहनेवाला मूल्य (predictive value) हो।
रिज़ॉल्वर प्रोब्स और चयन अनुमान ( $s$ ): मुख्य मीट्रिक एक पारिस्थितिकी तंत्र-विशिष्ट चयन गुणांक, $s_e$ है। लेखक "लेटेस्ट-रिजेक्ट" (latest-reject) किनारों पर 2,100 से अधिक पैकेज-मैनेजर रिज़ॉल्वर प्रोब्स चलाते हैं (जहाँ एक उपभोक्ता का प्रतिबंध प्रदाता के नवीनतम रिलीज़ को अस्वीकार कर देता है)। वे मापते हैं कि एक स्वच्छ 'रिजेक्ट प्रोब' अभी भी सफलतापूर्वक रिज़ॉल्व होता है ( $\hat{r}^-$ ) बनाम एक चेकर-स्वीकृत प्रोब ( $\hat{r}^+$ )। चयन गुणांक की गणना $s_e = \log(\hat{r}^- / \hat{r}^+)$ के रूप में की जाती है। यह पारिस्थितिकी तंत्र के रिज़ॉल्वर के तहत एक सीमा किनारे (boundary edge) की लॉग-सापेक्ष व्यवहार्यता को मापता है।
फॉरवर्ड फिक्सेशन मूल्यांकन (Forward Fixation Evaluation): मापे गए $s_e$ का उपयोग करते हुए, लेखक देखे गए पैकेज ग्राफों पर मोंटे कार्लो सिमुलेशन (Monte Carlo simulations) चलाते हैं। वे फिक्सेशन प्रायिकता $\rho(s_e, G_e)$ की गणना करते हैं और इसकी तुलना तटस्थ बेंचमार्क ( $1/N$ ) से करते हैं। इसे स्पष्ट रूप से मापे गए $s$ के एक फॉरवर्ड मूल्यांकन के रूप में माना जाता है, न कि स्वतंत्र साक्ष्य के रूप में।
एडॉप्शन वैलिडेशन (Adoption Validation): यह परीक्षण करने के लिए कि क्या जनसंख्या मॉडल ऐतिहासिक वास्तविकता के विरुद्ध खड़ा है, लेखक टाइम-स्टैम्पेड रजिस्ट्री इतिहास (2,995 उपभोक्ता-रिलीज़ अवलोकन) को खंगालते हैं। वे अंतर करते हैं:
- चेकर-प्रॉक्सिमल डायग्नोस्टिक्स (Checker-proximal diagnostics): यह परीक्षण करना कि क्या असाइनेबिलिटी (assignability) की दिशा (प्रदाता बनाम उपभोक्ता पक्ष) एडॉप्शन गैप की भविष्यवाणी करती है।
- चेकर-मुक्त टेम्पोरल प्रेडिक्शन (Checker-free temporal prediction): यह परीक्षण करना कि क्या रिज़ॉल्वर-चैनल विशेषताएं (आयु, रिज़ॉल्वर परिणाम, पारिस्थितिकी तंत्र दंड) भविष्य के "ब्लॉक-टू-एडमिटेड" फ्लिप्स की भविष्यवाणी करती हैं, बिना चेकर स्टेट का उत्तर के रूप में पुन: उपयोग किए।

प्रमुख योगदान (Key Contributions)

कैलिब्रेटेड डायरेक्शनल-असाइनेबिलिटी इंस्ट्रूमेंट: उत्पन्न इंटरफेस के लिए एक उपकरण जो अनपरीक्षित अनुकूलता लेबल के बजाय 'एसेप्ट-साइड गेट्स' का उपयोग करता है, जिसे कई बाहरी मानकों के विरुद्ध मान्य किया गया है।
पारिस्थितिकी तंत्र-विशिष्ट रिज़ॉल्वर सिलेक्शन एस्टीमेटर: एक मात्रात्मक माप ( $s$ ) जो शब्दावली द्वारा निर्धारित होने के बजाय सीधे वास्तविक पैकेज-मैनेजर निष्पादन संभावनाओं से प्राप्त होता है।
फॉरवर्ड फिक्सेशन और टोपोलॉजी डायग्नोस्टिक्स: रजिस्ट्री-स्केल ग्राफ का एक विश्लेषण जहाँ फिक्सेशन और टोपोलॉजी प्रभाव ( $\Delta\rho$ ) को मापे गए $s$ के कैलिब्रेटेड परिणामों के रूप में रिपोर्ट किया जाता है, जो उन्हें स्वतंत्र सत्यापन से अलग करता है।
होल्ड-आउट एडॉप्शन ऑडिट: दिशा परम्यूटेशन परीक्षणों, चेकर-मुक्त टेम्पोरल फ्लिप भविष्यवाणियों और रिज़ॉल्वर दंड एवं चेकर-डायरेक्शन एडॉप्शन अनुमानों के बीच पदानुक्रमित निरंतरता जाँचों सहित रजिस्ट्री इतिहास का एक कठोर ऑडिट।

परिणाम (Results)

रिज़ॉल्वर सिलेक्शन: अध्ययन Maven ( $s \approx -1.29$ ), PyPI ( $s \approx -2.19$ ), और npm ( $s \approx -0.13$ ) में महत्वपूर्ण नकारात्मक चयन (दमन) पाता है, जो यह दर्शाता है कि मिश्रित-संस्करण सीमाएं सफल रिज़ॉल्यूशन को तीव्रता से कम करती हैं। Cargo को लगभग तटस्थ ( $s \approx -0.007$ ) पाया गया है।
फिक्सेशन: फॉरवर्ड मूल्यांकन दिखाता है कि एक बार $s$ मापे जाने के बाद, तटस्थ $1/N$ बेंचमार्क से विचलन एक गैर-तटस्थ प्रक्रिया का यांत्रिक परिणाम है। परिणाम रजिस्ट्री ग्राफ स्केल पर रिज़ॉल्वर दंडों को रखते हैं लेकिन जनसंख्या परिकल्पना को स्वतंत्र रूप से सिद्ध नहीं करते हैं।
चेकर-व्युत्पन्न सिग्नल: चेकर-व्युत्पन्न दिशा में एक मजबूत सिग्नल है। मॉडल्स जो चेकर दिशा का उपयोग करते हैं, वे एडॉप्शन गैप की भविष्यवाणी करने में मीन एब्सोल्यूट एरर (MAE) को काफी कम कर देते हैं (तटस्थ माध्य के लिए 0.43 बनाम 0.07, $p=0.002$ )।
चेकर-मुक्त प्रेडिक्शन: सख्त परीक्षण—चेकर स्टेट का उपयोग किए बिना भविष्य के एडमिशन फ्लिप्स की भविष्यवाणी करना—यह दिखाने में विफल रहता है कि रिज़ॉल्वर-चैनल विशेषताएं भविष्य के एडॉप्शन की स्वतंत्र रूप से भविष्यवाणी करती हैं। रिज़ॉल्वर-चैनल मॉडल (Brier 0.28, AUC 0.51) आयु-मात्र बेसलाइन (Brier 0.24, AUC 0.54) से बेहतर प्रदर्शन नहीं करता है।
निरंतरता (Consistency): एक पदानुक्रमित मॉडल रिज़ॉल्वर दंडों और चेकर-डायरेक्शन एडॉप्शन अनुमानों के बीच एक सकारात्मक कपलिंग स्लोप दिखाता है, लेकिन अवशिष्ट विषमता (residual heterogeneity) बड़ी बनी रहती है। रखरखाव की नवीनता (सक्रिय बनाम पुराना प्रदाता) जैसे कारक एडॉप्शन आवृत्तियों को महत्वपूर्ण रूप से भ्रमित (confound) करते हैं।

महत्व और दावे (Significance and Claims)
यह शोध पत्र यह दावा नहीं करता है कि इसने स्वतंत्र रूप से प्रमाणित किया है कि सॉफ्टवेयर एडॉप्शन इतिहास एक विशिष्ट विकासवादी चयन चैनल का पालन करते हैं। इसके बजाय, यह एक पुनरुत्पादक एस्टीमेटर ऑडिट (reproducible estimator audit) प्रस्तुत करता है। इसका महत्व निम्नलिखित में निहित है:

पहचान योग्यता की सीमा को परिभाषित करना: यह स्पष्ट रूप से प्रदर्शित करता है कि कहाँ रिज़ॉल्वर साक्ष्य जनसंख्या इनपुट बन जाता है और वर्तमान रजिस्ट्री डेटा कहाँ लूप को बंद करने में विफल रहता है।
सिग्नल और रीलेबलिंग के बीच अंतर करना: यह "फिक्सेशन" (एक मापे गए पैरामीटर का फॉरवर्ड मूल्यांकन) को "साक्ष्य" (स्वतंत्र सत्यापन) से अलग करता है, जिससे दोनों के बीच भ्रम को रोका जा जाता है।
डायग्नोस्टिक उपयोगिता: यह पुष्टि करता है कि चेकर-व्युत्पन्न दिशा वास्तविक एडॉप्शन सिग्नल ले जाती है, लेकिन यह "विफलता बिंदु" की भी पहचान करती है: रिज़ॉल्वर-टू-एडॉप्शन लूप मापने योग्य और निदान योग्य है, लेकिन वर्तमान डेटा के स्नैपशॉट द्वारा अभी तक पूर्णतः बंद नहीं हुआ है। यह कार्य इंटरफ़ेस विकास को एक वर्णनात्मक रीलेबलिंग अभ्यास से बदलकर एक परीक्षण योग्य (falsifiable) एस्टीमेटर पाइपलाइन में बदल देता है, जबकि वर्तमान डेटा की सीमाओं को ईमानदारी से रिपोर्ट करता है।

एक बड़ी तस्वीर: एक सॉफ्टवेयर इकोसिस्टम एक शहर के रूप में

समस्या: "दरबान" बनाम "भीड़"

प्रयोग: "दरबान" का परीक्षण करना

ट्विस्ट: "चेकर" बनाम "भविष्यवाणी"

निष्कर्ष: उन्होंने वास्तव में क्या सिद्ध किया?

इसी तरह के और पेपर