🔬 materials science

Reducing cross-sample prediction churn in scientific machine learning

यह शोध पत्र वैज्ञानिक मशीन लर्निंग मॉडलों की विभिन्न प्रशिक्षण डेटा ड्रॉ के बीच अस्थिरता को उजागर करने के लिए "क्रॉस-सैंपल प्रेडिक्शन चर्न" (cross-sample prediction churn) की अवधारणा प्रस्तुत करता है और यह प्रदर्शित करता है कि $K$ -बूटस्ट्रैप बैगिंग और प्रस्तावित ट्विन-बूटस्ट्रैप दृष्टिकोण जैसे डेटा-पक्षीय तरीके मानक पैरामीटर-पक्षीय तकनीकों के विपरीत, भविष्य कहने वाली सटीकता से समझौता किए बिना इस चर्न को महत्वपूर्ण रूप से कम करते हैं।

मूल लेखक: Gordan Prastalo, Kevin Maik Jablonka

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gordan Prastalo, Kevin Maik Jablonka

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

समस्या: "मौसम के पूर्वानुमान" वाली समस्या (The "Weather Forecast" Problem)

कल्पना कीजिए कि आप एक वैज्ञानिक हैं जो यह अनुमान लगाने की कोशिश कर रहे हैं कि कौन से अणु (molecules) अच्छी दवाइयाँ बनाएंगे। इसके लिए आप एक कंप्यूटर मॉडल बनाते हैं।

अब, कल्पना कीजिए कि आपने उस मॉडल को डेटा के एक विशिष्ट सेट पर प्रशिक्षित (train) किया है। वह भविष्यवाणी करता है कि अणु A एक "विजेता" है (यह दवा के रूप में काम करेगा)।

लेकिन फिर, आप मॉडल को फिर से प्रशिक्षित करने का निर्णय लेते हैं। आप नियमों या डेटा के स्रोत को नहीं बदलते; आप बस उसी डेटा के थोड़े अलग रैंडम सैंपल का उपयोग करते हैं (जैसे ताश की गड्डी में से एक नया हाथ निकालना)।

चौंकाने वाला परिणाम:
जब आप मॉडल को फिर से प्रशिक्षित करते हैं, तो अचानक वह कहता है कि अणु A एक "हारने वाला" है और अणु B नया विजेता है।

पेपर इसे "क्रॉस-सैंपल प्रेडिक्शन चर्न" (Cross-Sample Prediction Churn) कहता है। यह वह दर है जिस पर मॉडल अपना निर्णय बदल देता है क्योंकि आपने प्रशिक्षण डेटा को थोड़ा सा भी बदला है।

पेपर का निष्कर्ष: 9 अलग-अलग रसायन विज्ञान परीक्षणों में, मॉडल की समग्र सटीकता (overall accuracy) केवल बहुत कम बदली (लगभग 1-4%)। लेकिन, व्यक्तिगत अणुओं के लिए विशिष्ट निर्णय 8% से 22% बार बदल गए।
उपमा (Analogy): कल्पना कीजिए कि एक जज कुल मिलाकर 95% सटीक है। लेकिन यदि आप उन्हें 100 विशिष्ट मामलों का न्याय करने के लिए कहते हैं, और यदि आप उनसे लंच ब्रेक लेने के बाद उन्हीं 100 मामलों को फिर से जज करने के लिए कहते हैं, तो वे उनमें से 20 मामलों पर अपना फैसला बदल सकते हैं। उन विशिष्ट मामलों के लिए जो सबसे अधिक मायने रखते हैं, यह बहुत अधिक अस्थिरता है।

मौजूदा "उपाय" काम क्यों नहीं करते

वैज्ञानिकों ने इसे मानक "अनिश्चितता" (uncertainty) उपकरणों का उपयोग करके ठीक करने की कोशिश की है, जैसे:

डीप एन्सेम्बल्स (Deep Ensembles): 5 अलग-अलग मॉडल को प्रशिक्षित करना और उनके उत्तरों का औसत लेना।
MC Dropout: टेस्टिंग के दौरान मॉडल के कुछ हिस्सों को रैंडम तरीके से "बंद" करना यह देखने के लिए कि उत्तर कितना डगमगाता है।
स्टोकेस्टिक वेट एवरेजिंग (Stochastic Weight Averaging): मॉडल के आंतरिक गणित को सुचारू (smooth) बनाना।

पेपर का निर्णय: ये उपकरण एक हिलते हुए कैमरे के लेंस को फोकस करने की कोशिश करने जैसा है, जबकि कैमरा अभी भी एक हिलते हुए हाथ (डेटा) द्वारा पकड़ा जा रहा है।

ये तरीके "लेंस" को ठीक करते हैं लेकिन "हिलते हुए हाथ" को अनदेखा कर देते हैं।
इन तरीकों ने "चर्न" (churn) को कम नहीं किया। वे डेटा बदलने पर मॉडल को अपने निर्णय बदलने से नहीं रोक पाए।

समाधान: दो नए तरीके

लेखक दो ऐसे तरीके प्रस्तावित करते हैं जो वास्तव में काम करते हैं क्योंकि वे केवल "लेंस" को नहीं बल्कि "हिलते हुए हाथ" (डेटा) को संबोधित करते हैं।

1. K-बूटस्ट्रैप बैगिंग (K-Bootstrap Bagging) - (एक "समिति" वाला दृष्टिकोण)

यह कैसे काम करता है: एक मॉडल प्रशिक्षित करने के बजाय, आप मॉडलों की एक पूरी समिति (committee) प्रशिक्षित करते हैं (उदाहरण के लिए, 5 मॉडल)। समिति का प्रत्येक सदस्य डेटा के थोड़े अलग रैंडम सैंपल पर प्रशिक्षित होता है। जब आपको उत्तर की आवश्यकता होती है, तो आप पूरी समिति से पूछते हैं और औसत वोट लेते हैं।
परिणाम: यह पलटने की दर (flipping rate) को 40-54% तक कम कर देता है।
चुनौती: इसके लिए 1 के बजाय 5 मॉडल प्रशिक्षित करने के लिए 5 गुना अधिक कंप्यूटर पावर की आवश्यकता होती है।

2. ट्विन-बूटस्ट्रैप (Twin-Bootstrap) - ("जुड़वां बहनों" वाला दृष्टिकोण)

यह कैसे काम करता है: यह पेपर का मुख्य आविष्कार है। कल्पना कीजिए कि आप एक ही समय में दो "जुड़वां" न्यूरल नेटवर्क को प्रशिक्षित कर रहे हैं।
- जुड़वां A, सैंपल X से सीखता है।
- जुड़वां B, सैंपल Y (एक थोड़ा अलग सैंपल) से सीखता है।
- गुप्त मंत्र (Secret Sauce): हर बार जब वे सीखते हैं, तो जुड़वाओं को आपस में बात करने के लिए मजबूर किया जाता है। यदि वे किसी अणु पर असहमत होते हैं, तो उन्हें एक "पेनल्टी" (consistency loss) मिलती है ताकि वे सहमत होने के लिए मजबूर हों।
परिणाम:
- यह मानक समिति पद्धति की तुलना में अतिरिक्त 45% तक पलटने की दर को कम करता है।
- यह केवल 2x कंप्यूटर पावर (दो अलग मॉडल के बजाय दो जुड़वा मॉडल प्रशिक्षित करना) के साथ इसे प्राप्त करता है।
- यह मूल मॉडल जितनी ही उच्च सटीकता बनाए रखता है।

यह क्यों महत्वपूर्ण है (वास्तविक दुनिया का प्रभाव)

पेपर का तर्क है कि वैज्ञानिक प्रयोगशालाओं में, निर्णय अणु-दर-अणु लिए जाते हैं।

परिदृश्य: एक वैज्ञानिक लैब में संश्लेषित (synthesize) करने के लिए शीर्ष 10 अणुओं को चुनने के लिए मॉडल का उपयोग करता है।
जोखिम: यदि मॉडल में उच्च "चर्न" (churn) है, तो वैज्ञानिक आज अणु #1 को चुन सकता है। लेकिन यदि वे मॉडल को कल फिर से प्रशिक्षित करते हैं (जो विज्ञान में अक्सर होता है), तो मॉडल कह सकता है, "वास्तव में, अणु #1 बुरा है, चलिए अणु #10 को आजमाते हैं।"
लागत: इससे समय और पैसा बर्बाद होता है। लैब गलत अणु बना सकती है, या उसी सूची का पुनर्मूल्यांकन करने में प्रयास बर्बाद कर सकती है।

पेपर सुझाव देता है कि वैज्ञानिक रिपोर्टों में सटीकता (accuracy) के साथ हमेशा एक "चर्न स्कोर" (Churn Score) शामिल किया जाना चाहिए। केवल यह जानना कि एक मॉडल "90% सटीक" है पर्याप्त नहीं है; आपको यह जानने की आवश्यकता है कि क्या वह सटीकता स्थिर है या मॉडल केवल हर बार पेज रिफ्रेश करने पर बेतरतीब ढंग से अनुमान लगा रहा है।

सारांश

समस्या: वैज्ञानिक AI मॉडल अक्सर फिर से प्रशिक्षित किए जाने पर अपने विशिष्ट भविष्यवाणियों को बदल देते हैं, भले ही उनका समग्र स्कोर अच्छा दिखता हो।
पुराना तरीका: अनिश्चितता को मापने के मानक तरीके (जैसे एन्सेम्बल्स) इस विशिष्ट समस्या को ठीक नहीं करते हैं।
नया तरीका:
1. बैगिंग (Bagging): मॉडलों की एक बड़ी समिति को प्रशिक्षित करें (अच्छा काम करता है, लेकिन महंगा है)।
2. ट्विन-बूटस्ट्रैप (Twin-Bootstrap): दो मॉडल प्रशिक्षित करें और उन्हें सहमत होने के लिए मजबूर करें (इससे भी बेहतर काम करता है और सस्ता भी है)।
लक्ष्य: वैज्ञानिक AI को इतना विश्वसनीय बनाना कि एक वैज्ञानिक उस अणु पर भरोसा कर सके जिसकी सिफारिश की गई है, यह जानते हुए कि सिफारिश केवल इसलिए नहीं बदलेगी क्योंकि उन्होंने प्रशिक्षण कोड को एक बार फिर चलाया है।

तकनीकी सारांश: वैज्ञानिक मशीन लर्निंग में क्रॉस-सैंपल प्रेडिक्शन चर्न (Cross-Sample Prediction Churn) को कम करना

समस्या की परिभाषा: क्रॉस-सैंपल प्रेडिक्शन चर्न

वैज्ञानिक मशीन लर्निंग (ML) बेंचमार्क आमतौर पर समग्र भविष्यवाणात्मक प्रदर्शन (जैसे, सटीकता, AUC) की रिपोर्ट करते हैं लेकिन यह बताने में विफल रहते हैं कि एक ही प्रशिक्षण जनसंख्या के अलग ड्रॉ (draw) पर मॉडल को पुन: प्रशिक्षित (retrain) करने पर व्यक्तिगत भविष्यवाणियों की स्थिरता क्या होती है। लेखक क्रॉस-सैंपल प्रेडिक्शन चर्न को उन टेस्ट प्रेडिक्शन्स के अंश के रूप में परिभाषित करते हैं जो एक ही ट्रेनिंग सेट के स्वतंत्र बूटस्ट्रैप्स पर प्रशिक्षित दो मॉडलों के बीच क्लास लेबल बदलते हैं।

जबकि समग्र सटीकता (aggregate accuracy) अक्सर स्थिर रहती है (पुनः प्रशिक्षण के दौरान केवल 1.3–4.2 प्रतिशत अंक का अंतर), लेखक प्रदर्शित करते हैं कि व्यक्तिगत भविष्यवाणियाँ अत्यधिक अस्थिर हैं। नौ केमिस्ट्री बेंचमार्क में, 8.0% से 21.8% टेस्ट मॉलिक्यूल्स पुनः प्रशिक्षण के बीच अपनी अनुमानित क्लास बदलते हैं। यह "प्रति-भविष्यवाणी स्थिरता अंतराल" (per-prediction stability gap) क्लोज्ड-लूप प्रयोगशालाओं, बेयसियन ऑप्टिमाइज़ेशन और वर्चुअल स्क्रीनिंगिंग जैसे परिचालन वर्कफ़्लो के लिए महत्वपूर्ण है, जहाँ मॉडल के आउटपुट सीधे प्रयोगात्मक निर्णयों (जैसे, कौन सा अणु संश्लेषित किया जाए) को निर्देशित करते हैं। उच्च चर्न का अर्थ है कि संश्लेषण या स्क्रीनिंग के लिए चुने गए विशिष्ट अणु प्रशिक्षण डेटा के रैंडम सैंपलिंग के प्रति संवेदनशील हैं, जिससे वर्कफ़्लो गैर-पुनरुत्पादक (non-reproducible) हो जाता है।

कार्यप्रणाली और प्रस्तावित समाधान

यह शोध पत्र डेटा-साइड विधियों के विरुद्ध मानक पैरामीटर-साइड अनिश्चितता तकनीकों का मूल्यांकन करता है ताकि यह निर्धारित किया जा सके कि कौन सी तकनीक इस चर्न को कम कर सकती है।

1. पैरामीटर-साइड तकनीकों की विफलता

लेखक तीन मानक विधियों का परीक्षण करते हैं जो फिक्स्ड डेटा पर मॉडल वेट्स (weights) के ऊपर सैंपलिंग करती हैं:

डीप एन्सेम्बल्स (Deep Ensembles): अलग-अलग इनिशियलाइजेशन वाले $K$ मॉडलों की भविष्यवाणियों का औसत।
मोंटे कार्लो (MC) ड्रॉपआउट (Monte Carlo Dropout): एक एकल मॉडल के स्टोकेस्टिक फॉरवर्ड पासेज का औसत।
स्टोकेस्टिक वेट एवरेजिंग (SWA): एक एकल ट्रेनिंग ट्राजेक्टरी से वेट्स का औसत।

परिणाम: ये विधियाँ लगातार क्रॉस-सैंपल चर्न को कम करने में विफल रहती हैं। नौ बेंचमार्क में, वे ERM (एम्पेरिकल रिस्क मिनिमाइजेशन) के सापेक्ष क्लास-फ्लिप रेट को $-22.3\%$ से $+12.5\%$ तक बदल देती हैं, जिसमें सुधार का कोई सुसंगत संकेत नहीं मिलता। लेखक तर्क देते हैं कि ऐसा इसलिए है क्योंकि ये विधियाँ डेटा अक्ष (axis) को स्थिर रखते हुए पैरामीटर वेरिएंस को संबोधित करती हैं, जबकि छोटे डेटासेट वाले वैज्ञानिक ML में वेरिएंस का मुख्य स्रोत डेटा सैंपलिंग स्वयं है।

2. डेटा-साइड समाधान A: K-बूटस्ट्रैप बैगिंग (K-Bootstrap Bagging)

शास्त्रीय बैगिंग (Bagging) दृष्टिकोण (ब्रिमैन, 1996) ट्रेनिंग सेट के $K$ स्वतंत्र बूटस्ट्रैप्स पर $K$ मॉडल प्रशिक्षित करता है और उनकी भविष्यवाणियों का औसत निकालता है।

प्रदर्शन: ERM की तुलना में सभी डेटासेट्स पर चर्न को 40–54% कम करता है।
लागत: इसके लिए एक एकल ERM ट्रेनिंग रन की तुलना में $K \times$ कंप्यूट की आवश्यकता होती है (जैसे, $K=5$ के लिए $5\times$ )।
सटीकता: यह बिना समग्र सटीकता की लागत के इस कमी को प्राप्त करता है।

3. डेटा-साइड समाधान B: ट्विन-बूटस्ट्रैप (Twin-Bootstrap)

लेखक ट्विन-बूटस्ट्रैप का प्रस्ताव करते हैं, जो एक विधि है जिसमें दो नेटवर्क ( $\theta_A, \theta_B$ ) स्वतंत्र बूटस्ट्रैप्स ( $S_A, S_B$ ) पर संयुक्त रूप से प्रशिक्षित किए जाते हैं।

तंत्र (Mechanism): नेटवर्क्स को उनके संबंधित बूटस्ट्रैप्स पर मानक क्रॉस-एन्ट्रॉपी और मिनी-बैचेस के यूनियन पर उनकी भविष्यवाणियों के बीच एक सिमेट्रिक KL-डाइवर्जेंस कंसिस्टेंसी लॉस ( $L_{cons}$ ) के संयोजन को मिनिमाइज करने के लिए प्रशिक्षित किया जाता है।
डेटा ओवरलैप: रिप्लेसमेंट के साथ बूटस्ट्रैप सैंपलिंग के कारण, दो बूटस्ट्रैप्स अपेक्षा के अनुसार प्रशिक्षण इंडेक्स का लगभग 40% साझा करते हैं। कंसिस्टेंसी लॉस इस ओवरलैप पर कार्य करता है, जबकि क्रॉस-एन्ट्रॉपी लॉस गैर-साझा शेष भाग पर विशेषज्ञता प्राप्त करता है।
हाइपरपैरामीटर ( $\lambda$ ): कंसिस्टेंसी लॉस का भार एक डेवलपमेंट सेट (BACE) पर एक नियम का उपयोग करके चुना जाता है जो $\lambda$ को अधिकतम करता है जबकि सटीकता को ERM बेसलाइन के 0.02 के भीतर रखता है। डिफॉल्ट MLP आर्किटेक्चर के लिए चयनित मान $\lambda=300$ है।
प्रदर्शन: मैच किए गए 2 $\times$ ERM कंप्यूट (दो नेटवर्क प्रशिक्षित करना) पर, ट्विन-बूटस्ट्रैप $K=2$ वाली बैगिंग की तुलना में चर्न को और अधिक औसत 45% कम करता है। यह $K=5$ वाली बैगिंग (जिसमें $5\times$ कंप्यूट की आवश्यकता होती) के मीन रैंक में प्रदर्शन से मेल खाता है।

मुख्य परिणाम

चर्न का परिमाण

चर्न दरें: 9 केमिस्ट्री बेंचमार्क (MoleculeNet, TDC ADME/Tox, मटेरियल्स साइंस) पर, क्रॉस-सैंपल चर्न टेस्ट प्रेडिक्शंस को 8.0–21.8% तक बदल देता है।
समग्र स्थिरता: पुन: प्रशिक्षण के बीच समग्र सटीकता केवल 1.3–4.2 प्रतिशत अंक चलती है, जो महत्वपूर्ण प्रति-भविष्यवाणी अस्थिरता को छिपा लेती है।
माइनॉरिटी क्लास अस्थिरता: असंतुलित डेटासेट्स पर, मेजॉरिटी क्लास की तुलना में माइनॉरिटी-क्लास प्रेडिक्शंस 2–4 $\times$ अधिक अस्थिर होते हैं, जो सबसे महत्वपूर्ण "एक्टिव" या "टॉक्सिक" प्रेडिक्शंस को प्रभावित करते हैं।

तुलनात्मक प्रदर्शन

पैरामीटर-साइड बनाम डेटा-साइड: डीप एन्सेम्बल्स, MC ड्रॉपआउट और SWA लगातार चर्न को कम करने में विफल रहते हैं। बैगिंग और ट्विन-बूटस्ट्रैप ही एकमात्र विधियाँ हैं जो विश्वसनीय रूप से चर्न को कम करती हैं।
दक्षता: ट्विन-बूटस्ट्रैप $5\times$ -कंप्यूट वाली बैगिंग ( $K=5$ ) के समान चर्न रिडक्शन प्राप्त करता है, जबकि केवल 2 $\times$ ERM कंप्यूट की आवश्यकता होती है।
वितरणात्मक सहमति (Distributional Agreement): ट्विन-बूटस्ट्रेप, बैगिंग- $K=5$ से भी लगभग $\sim9\times$ अधिक सिमेट्रिक KL डाइवर्जेंस (वितरणात्मक असहमति) को कम करता है, जो केवल argmax के बजाय पूर्ण संभाव्यता वितरण के बेहतर स्थिरीकरण को दर्शाता है।

डाउनस्ट्रीम प्रभाव

बेयसियन ऑप्टिमाइज़ेशन (BO): BO सिमुलेशन में, ट्विन-बूटस्ट्रैप पुन: प्रशिक्षण के बीच टॉप-10 चयनित मॉलिक्यूल्स के जकार्ड ओवरलैप (Jaccard overlap) को काफी बढ़ा देता है (जैसे, AMES डेटासेट पर 0.03 से 0.68 तक)। यह रिग्रेशन कार्यों में अंतिम-सर्वश्रेष्ठ एक्वायर्ड वैल्यू के क्रॉस-ट्राजेक्टरी स्टैंडर्ड डेविएशन को 34–100% कम करता है।
ट्राइएज वर्कफ़्लो (Triage Workflow): एस्टिमेटेड चर्न (एक अतिरिक्त रिट्रेनिंग का उपयोग करके) द्वारा टेस्ट उदाहरणों को सॉर्ट करना अभ्यासकर्ताओं को सबसे नाजुक भविष्यवाणियों की पहचान करने की अनुमति देता है। चर्न द्वारा रैंक किए गए शीर्ष 30% प्रेडिक्शंस की समीक्षा करने से सभी क्लास फ्लिप्स का 58–100% कैप्चर होता है, जो प्रेडिक्टिव एंट्रॉपी से बेहतर प्रदर्शन करता है।
सामान्यीकरण (Generalization): यह विधि आर्किटेक्चर और कार्यों में सामान्य होती है:
- आर्किटेक्चर: MLPs, ग्राफ आइसोमोर्फिज्म नेटवर्क (GIN), और प्री-ट्रेन्ड बैकबोन (ChemBERTa, ResNet-50) पर काम करती है।
- हाइपरपैरामीटर ट्यूनिंग: हालांकि अनुकूलतम $\lambda$ मान आर्किटेक्चर के साथ बदलता है (जैसे, MLP के लिए $\lambda=300$ , GIN/ChemBERTa के लिए $\lambda=10$ ), चयन नियम (डेवलपमेंट सेट पर छोटा सटीकता ड्रॉप बनाए रखते हुए $\lambda$ को अधिकतम करना) अपरिवर्तित रहता है।
- कार्य: विधियों की रैंकिंग (ट्विन-बूटस्ट्रैप $\approx$ बैगिंग- $K=5$ > ERM) वर्गीकरण और रिग्रेशन दोनों कार्यों के लिए बनी रहती है।

महत्व और दावे

यह शोध पत्र तर्क देता है कि क्रॉस-सैंपल प्रेडिक्शन चर्न वैज्ञानिक ML बेंचमार्किंग में एक गायब मीट्रिक है। इस मीट्रिक की रिपोर्ट किए बिना, पैरामीटर-साइड अनिश्चितता विधियाँ (एन्सेम्बल्स, ड्रॉपआउट) और डेटा-साइड विधियाँ (बैगिंग, ट्विन-बूटस्ट्रैप) मानक सटीकता मेट्रिक्स पर अविभेद्य दिखाई देती हैं, जबकि वे परिचालन निर्णयों को स्थिर करने की क्षमता में मौलिक रूप से भिन्न हैं।

लेखक का दावा है कि:

चर्न एक परिचालन स्थिरता मीट्रिक है: क्लोज्ड-लूप लैब और वर्चुअल स्क्रीनिंग में, विशिष्ट अणुओं के चयन की पुनरुत्पादकता (reproducibility) समग्र सटीकता से अधिक महत्वपूर्ण है।
डेटा रीसैंपलिंग मुख्य लीवर है: स्थिरता इस बात से निर्धारित होती है कि प्रशिक्षण प्रक्रिया डेटा को कैसे रीसैंपल करती है, न कि मॉडल क्लास से।
ट्विन-बूटस्ट्रैप एक व्यावहारिक रेसिपी प्रदान करता है: यह बिना अपने डिप्लॉयमेंट पाइपलाइन को बदले, ट्रेनिंग के समय क्रॉस-सैंपल स्थिरता को डिजाइन करने के लिए एक कम्प्यूटेशनल रूप से कुशल ( $2\times$ ERM) तरीका प्रदान करता है, बस एक डेवलपमेंट सेट पर एक सिंगल हाइपरपैरामीटर को ट्यून करके।

शोध पत्र निष्कर्ष निकालता है कि चर्न को कम करने के सीधे परिचालन परिणाम होते हैं, जिससे प्रयोगात्मक कार्य की बर्बादी कम होती है और कंप्यूटेशनल ट्राइएज निर्णय पुनरुत्पादक बनते हैं, हालांकि यह नोट करता है कि कम चर्न सही होने की गारंटी नहीं देता है (एक स्थिर रूप से गलत मॉडल अभी भी गलत ही रहेगा)।