📊 statistics

Transporting causal effects from a randomized trial without "transportability:" a case study of political advertising during U.S. elections

यह शोध पत्र एक स्रोत जनसंख्या (पाँच बैटलग्राउंड राज्य) में एक यादृच्छिक परीक्षण (रैंडमाइज्ड ट्रायल) से एक लक्षित जनसंख्या (जॉर्जिया) में कारण प्रभावों का अनुमान लगाने के लिए संवेदनशीलता विश्लेषण के साथ एक ट्रांसफर लर्निंग फ्रेमवर्क प्रस्तावित करता है, जो पूर्ण ट्रांसपोर्टेबिलिटी की धारणा बनाए बिना यह प्रकट करता है कि इस धारणा से छोटे विचलन नस्लीय संरचना द्वारा संचालित मतदाता मतदान पर विषम विज्ञापन प्रभावों की ओर ले जाते हैं।

मूल लेखक: Xinran Miao, Jiwei Zhao, Hyunseung Kang

प्रकाशित 2026-06-24

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinran Miao, Jiwei Zhao, Hyunseung Kang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: अतीत से भविष्य की भविष्यवाणी करने की कोशिश

कल्पना कीजिए कि आप एक राजनीतिक रणनीतिकार हैं। आपने यह देखने के लिए पाँच विशिष्ट राज्यों (पेंसिल्वेनिया, विस्कॉन्सिन, मिशिगन, नॉर्थ कैरोलिना और एरिज़ोना) में एक बड़ा प्रयोग किया कि क्या किसी उम्मीदवार के खिलाफ नकारात्मक डिजिटल विज्ञापन भेजने से अधिक लोग मतदान करेंगे।

परिणाम: उन पाँच राज्यों में, विज्ञापनों का कोई प्रभाव नहीं पड़ा। मतदाता भागीदारी (turnout) में कोई बदलाव नहीं आया।

प्रश्न: अब, आप जानना चाहते हैं: "क्या ये वही विज्ञापन जॉर्जिया में काम करेंगे?"

जॉर्जिया एक महत्वपूर्ण राज्य है, लेकिन यह अलग है। इसमें लोगों का मिश्रण अलग है (अधिक अश्वेत मतदाता, अलग आर्थिक पृष्ठभूमि) और इसका राजनीतिक इतिहास भी अद्वितीय है। समस्या यह है कि मूल प्रयोग जॉर्जिया में नहीं हुआ था, और हम यह मान नहीं सकते कि परिणाम समान होंगे।

यह शोध पत्र इस प्रश्न का उत्तर देने के लिए एक गणितीय "टाइम मशीन" और "अनुवाद गाइड" बनाने के बारे में है, भले ही हम 100% आश्वस्त न हों कि दोनों स्थान एक जैसे हैं।

समस्या: "परफेक्ट मैच" का मिथक

आमतौर पर, सांख्यिकीविद (statisticians) एक स्थान से दूसरे स्थान पर परिणाम ले जाने के लिए यह कहते हैं कि, "यदि हम उन अंतरों को ठीक कर दें जिन्हें हम देख सकते हैं (जैसे आयु, जाति और लिंग), तो परिणाम समान रहने चाहिए।"

लेखक इसे "ट्रांसपोर्टेबिलिटी" (Transportability) धारणा कहते हैं। यह ऐसा ही है जैसे कहना, "यदि मेरे पास एक केक की रेसिपी है जो एक सूखे किचन में काम करती है, और मैं गीले किचन की नमी के अनुसार उसे एडजस्ट कर दूँ, तो केक का स्वाद एक जैसा ही रहेगा।"

पकड़ (The Catch): क्या होगा अगर कुछ अदृश (invisible) सामग्रियां मौजूद हों? हो सकता है कि जॉर्जिया के लोग अधिक थके हुए हों, या न्यूज़ साइकिल अलग हो, या उनके पास स्वास्थ्य बीमा का कवरेज अलग हो। ये ऐसी चीजें हैं जिन्हें मूल प्रयोग ने मापा ही नहीं। यदि ये "अदृश्य सामग्रियां" मौजूद हैं, तो मानक गणित विफल हो जाता है। लेखक इसे 'ट्रांसपोर्टेबिलिटी' का उल्लंघन कहते हैं।

समाधान: एक "क्या-होता-अगर" (What-If) सुरक्षा जाल

सब कुछ जानने का ढोंग करने के बजाय, लेखक एक नया ढांचा प्रस्तावित करते हैं जो यह स्वीकार करता है कि, "हम सब कुछ नहीं जानते, लेकिन आइए देखते हैं कि यदि हम यह मान लें कि कुछ अदृश्य अंतर हैं, तो हमारे उत्तर में कितना बदलाव आता है।"

वे सेंसिटिविटी एनालिसिस (Sensitivity Analysis) नामक एक अवधारणा का उपयोग करते हैं। इसे एक पुल के परीक्षण की तरह समझें।

मानक दृष्टिकोण: "पुल तब तक टिका रहेगा जब तक हवा शांत है।"
इस पेपर का दृष्टिकोण: "पुल तब तक टिका रहेगा जब तक हवा शांत है। लेकिन क्या होगा अगर हवा 10 मील प्रति घंटे की रफ्तार से चले? 20 मील प्रति घंटे? आइए हम सटीक रूप से गणना करें कि हर गति पर पुल कितना डगमगाता है ताकि हमें पता चल सके कि यह कब टूट सकता है।"

उनके गणित में, वे एक "सेंसिटिविटी नॉब" (जिसे $\Gamma$ कहा जाता है) का उपयोग करते हैं।

नॉब को 1.0 पर घुमाएं: हम मानते हैं कि जॉर्जिया अन्य पाँच राज्यों के बिल्कुल समान है (कोई अदृश्य अंतर नहीं)।
नॉब को 1.01 पर घुमाएं: हम मानते हैं कि राज्यों के बीच एक छोटा, अदृश्य अंतर है।
नॉब को 0.99 पर घुमाएं: हम मानते हैं कि अदृश्य अंतर विपरीत दिशा में है।

दो उपकरण जो उन्होंने बनाए

इस गणित को करने के लिए, उन्होंने दो अलग-अलग कैलकुलेटर बनाए:

"सिंपल रिग्रेशन" कैलकुलेटर (द वर्कहॉर्स - भरोसेमंद घोड़ा):
- उपमा: यह एक विश्वसनीय, मानक मानचित्र का उपयोग करने जैसा है। यह समझने में आसान है, उपयोग में आसान है, और अधिकांश लोगों के लिए एक अच्छा उत्तर देता है।
- यह कैसे काम करता है: यह पाँच राज्यों के डेटा को देखता है, दृश्य अंतरों (जैसे जाति और आयु) के लिए समायोजन करता है, और फिर एक "करेक्शन फैक्टर" लागू करता है कि हमें कितना लगता है कि अदृश्य अंतरों का महत्व कितना होगा। वे उत्तर को स्थिर बनाने के लिए बूटस्ट्रैपिंग (bootstrapping) (डेटा को हजारों बार पुन: नमूना लेना) नामक तकनीक का उपयोग करते हैं।
- सिफारिश: लेखक कहते हैं, "यदि आप एक प्रैक्टिशनर हैं, तो इसी से शुरुआत करें।"
"एफिशिएंट इन्फ्लुएंस फंक्शन" कैलकुलेटर (द रेस कार - तेज़ गाड़ी):
- उपमा: यह एक हाई-परफॉर्मेंस रेस कार है। यह तेज़ है और सैद्धांतिक रूप से अधिक सटीक है, लेकिन इसे चलाना बहुत कठिन है और इसके रखरखाव के लिए एक पिट क्रू की आवश्यकता होती है।
- यह कैसे काम करता है: यह सबसे सटीक उत्तर प्राप्त करने के लिए जटिल गणित का उपयोग करता है, लेकिन इसके लिए कई छिपे हुए चरों (variables) का अनुमान लगाने की आवश्यकता होती है।
- चेतावनी: लेखक नोट करते हैं कि अन्य उन्नत उपकरणों के विपरीत, यह "डबली रोबस्ट" (doubly robust) नहीं है। यदि आप गणित के एक भी हिस्से को गलत करते हैं, तो पूरा उत्तर गलत हो सकता है।

"कैलिब्रेशन" का तरीका: नॉब कैसे सेट करें

इस पद्धति का सबसे कठिन हिस्सा यह तय करना है कि "सेंसिटिविटी नॉब" को कितना घुमाना है। अदृश्य अंतर कितना बड़ा होना चाहिए? 1%? 10%?

आमतौर पर लोग केवल अनुमान लगाते हैं। लेखकों ने एक चतुर, डेटा-आधारित तरीका बनाया है, जिसे वे कैलिब्रेशन (Calibration) कहते हैं।

उपमा: कल्पना कीजिए कि आप जानना चाहते हैं कि एक नया कार इंजन बर्फीले वातावरण में काम करता है या नहीं, लेकिन आपने केवल रेगिस्तान में इसका परीक्षण किया है। आप नहीं जानते कि बर्फ कितनी मायने रखती है।
तरीका: अनुमान लगाने के बजाय, आप अपने रेगिस्तान के डेटा को दो समूहों में विभाजित करते हैं: "रस्ट बेल्ट" राज्य (ठंडे, औद्योगिक) और "सन बेल्ट" राज्य (गर्म, धूप वाले)।
आप मान लेते हैं कि "सन बेल्ट" का डेटा नया लक्ष्य है। आप अपने गणित का उपयोग करके "रस्ट बेल्ट" के परिणामों को "सन बेल्ट" तक पहुँचाने (transport) की कोशिश करते हैं।
आप अपने सेंसिटिविटी नॉब को तब तक घुमाते रहते हैं जब तक कि आपका गणित सन बेल्ट के परिणामों की ठीक उतनी ही सटीक भविष्यवाणी न कर दे जितनी कि तब होती यदि आपने वहां प्रयोग चलाया होता।
परिणाम: आपको गणित को सही करने के लिए नॉब को कितना घुमाना पड़ा, वह आपको बताता है: "रस्ट बेल्ट और सन बेल्ट के बीच अदृश्य अंतर का आकार क्या है।" अब आप जानते हैं कि यदि जॉर्जिया मूल राज्यों से उतना ही अलग है, तो आपको नॉब को उतना ही घुमाना चाहिए।

उन्हें जॉर्जिया में क्या मिला

जब उन्होंने जॉर्जिया के 2020 चुनाव डेटा को लागू किया, तो परिणाम आश्चर्यजनक और सूक्ष्म थे:

यदि हम मानते हैं कि सब कुछ परफेक्ट है (Transportability बनी रहती है): विज्ञापन अभी भी कुछ नहीं करते। शून्य प्रभाव।
यदि हम मानते हैं कि कुछ अदृश्य अंतर हैं (Sensitivity Analysis): परिणाम नाटकीय रूप से बदल जाता है।
- उन काउंटियों में जहाँ अधिक श्वेत मतदाता और कम अश्वेत मतदाता हैं, विज्ञापन वास्तव में टर्नआउट (मतदान) को बढ़ा सकते हैं (एक सकारात्मक प्रभाव)।
- उन काउंटियों में जहाँ लैटिनक्स (Latinx) मतदाता अधिक हैं, विज्ञापन टर्नआउट को कम कर सकते हैं (एक नकारात्मक प्रभाव)।

बड़ी सीख:
लेखक निष्कर्ष निकालते हैं कि चूंकि मूल प्रभाव शून्य के बहुत करीब था (यह मूल रूप से एक "नल" परिणाम था), इसलिए यह अत्यधिक नाजुक (fragile) है। पाँच राज्यों और जॉर्जिया के बीच का सबसे छोटा, अनमापा गया अंतर भी परिणाम को "कोई प्रभाव नहीं" से बदलकर "बड़ा सकारात्मक प्रभाव" या "बड़ा नकारात्मक प्रभाव" में बदल सकता है।

वे सारांशित करने के लिए एक प्रसिद्ध सांख्यिकीविद्, पॉल रोसेनबाम का उद्धरण देते हैं: "छोटे प्रभाव छोटे पूर्वाग्रहों (biases) के प्रति संवेदनशील होते हैं।" सिर्फ इसलिए कि एक प्रयोग एक स्थान पर कोई प्रभाव नहीं दिखाता है, इसका मतलब यह नहीं है कि दूसरी जगह कोई प्रभाव नहीं है; हो सकता है कि प्रभाव किसी ऐसे अदृश्य अंतर के पीछे छिपा हो जिसे हमने मापा नहीं है।

सारांश

यह शोध पत्र हमें सिखाता है कि जब वैज्ञानिक परिणामों को एक समूह से दूसरे समूह में ले जाया जाता है, तो हमें केवल यह मानकर नहीं चलना चाहिए कि समूह समान हैं। इसके बजाय, हमें यह परीक्षण करने के लिए एक "सुरक्षा जाल" का उपयोग करना चाहिए कि यदि छिपे हुए अंतर मौजूद हैं, तो हमारे निष्कर्षों में कितना बदलाव आता है। राजनीतिक विज्ञापनों के मामले में, एक स्थान पर "कोई प्रभाव नहीं" का परिणाम दूसरे स्थान पर "बड़ा प्रभाव" हो सकता है, जो जनसंख्या के अदृश्य विवरणों पर निर्भर करता है।

तकनीकी सारांश: "ट्रांसपोर्टेबिलिटी" के बिना एक रैंडमाइज्ड ट्रायल से कारण प्रभावों (Causal Effects) को ले जाना

समस्या विवरण
यह शोध पत्र उस चुनौती को संबोधित करता है जहाँ एक स्रोत जनसंख्या (source population), जहाँ एक रैंडमाइज्ड कंट्रोल्ड ट्रायल (RCT) आयोजित किया गया था, से परिणाम को एक लक्ष्य जनसंख्या (target population) तक सामान्यीकृत (generalize/transport) करने की आवश्यकता होती है, जो अनकहे तरीकों से भिन्न है। विशिष्ट प्रेरक अनुप्रयोग 2020 के अमेरिकी राष्ट्रपति चुनाव के दौरान डोनाल्ड ट्रम्प के विरुद्ध डिजिटल राजनीतिक विज्ञापन पर एक बड़े पैमाने के RCT के परिणामों को सामान्यीकृत करना है। अगरवाल एट अल. (2023) ने पांच युद्ध क्षेत्र वाले राज्यों (पेंसिल्वेनिया, विस्कॉन्सिन, मिशिगन, नॉर्थ कैरोलिना और एरिज़ोना) में मतदाता मतदान (voter turnout) पर कोई प्रभाव नहीं पाया। लेखक यह जांचते हैं कि क्या यह शून्य परिणाम (null result) जॉर्जिया में सामान्यीकृत हो सकता है, जो एक अद्वितीय युद्ध क्षेत्र वाला राज्य है जिसमें विशिष्ट मतदाता जनसांख्यिकी (विशेष रूप से अश्वेत मतदाताओं का उच्च हिस्सा) और अनकहे सामाजिक-आर्थिक कारकों (जैसे स्वास्थ्य बीमा, आय) में भिन्नताएं हैं।

मानक ट्रांसपोर्टेबिलिटी विधियाँ इस धारणा पर निर्भर करती हैं कि स्रोत और लक्ष्य आबादी के बीच सभी अंतर प्रेक्षित सह-चरों (observed covariates) द्वारा कैप्चर किए गए हैं (ट्रांसपोर्टेबिलिटी)। हालाँकि, इस संदर्भ में, अनकहे अंतर इस धारणा का उल्लंघन करते हैं। इसके अलावा, मौजूदा विधियों के लिए अक्सर स्रोत और लक्ष्य डेटा के बीच समान सह-चर सेट की आवश्यकता होती है, जो यहाँ लागू नहीं होता (स्रोत डेटा में पार्टी संबद्धता और मतदान इतिहास शामिल है, जबकि जॉर्जिया के मतदाता रजिस्ट्री से प्राप्त लक्ष्य डेटा में केवल आयु, नस्ल और लिंग जैसी जनसांख्यिकी शामिल है)।

कार्यप्रणाली
लेखक एक ट्रांसफर लर्निंग फ्रेमवर्क प्रस्तावित करते हैं जो अनकहे अंतरों और बेमेल सह-चरों ( $V \subset X$ ) को संभालने के लिए संवेदनशीलता विश्लेषण (sensitivity analysis) के साथ ट्रांसपोर्टेबिलिटी विधियों को जोड़ता है।

संवेदनशीलता मॉडल (Sensitivity Model): यह फ्रेमवर्क एक संवेदनशीलता पैरामीटर $\Gamma_a$ (उपचार स्तर $a \in \{0, 1\}$ के लिए) पेश करके ट्रांसपोर्टेबिलिटी धारणा को शिथिल करता है। यह पैरामीटर साझा सह-चरों $V$ पर आधारित, दो आबादी के बीच काउंटरफैक्चुअल परिणामों के ऑड्स रेशियो (odds ratio) का प्रतिनिधित्व करता है। जब $\Gamma_a = 1$ होता है, तो ट्रांसपोर्टेबिलिटी बनी रहती है; 1 से विचलन दो आबादी के बीच अनकहे अंतर की डिग्री को दर्शाता है। मॉडल दो आबादी के संभावित परिणामों के कंडीशनल डेंसिटी के बीच एक एक्सपोनेंशियल टिल्टिंगिंग संबंध मानता है।
पहचान (Identification): इस संवेदनशीलता मॉडल के तहत, टारगेट एवरेज ट्रीटमेंट इफेक्ट (TATE) को $\Gamma_a$ और न्युसेंस फंक्शन्स (आउटकम रिग्रेशन, प्रोपेंसिटी स्कोर और डेंसिटी रेश्यो) के फलन (function) के रूप में पहचाना जाता है।
अनुमान (Estimation): दो अनुमानक (estimators) प्रस्तावित किए गए हैं:
- आउटकम रिग्रेशन (OR) अनुमानक: एक सरल प्लग-इन अनुमानक जो अनुमानित आउटकम रिग्रेशन फंक्शन $\hat{\rho}_a(V)$ को संवेदनशीलता पैरामीटर द्वारा वेट (weight) देता है। लेखक निष्कर्ष (inference) के लिए नॉनपैरामेट्रिक पर्सेंटाइल बूटस्ट्रैप की सिफारिश करते हैं, जो इसकी निरंतरता (consistency) और एसिम्प्टोटिक नॉर्मलिटी के लिए सैद्धांतिक औचित्य प्रदान करता है।
- एफिशिएंट इन्फ्लुएंस फंक्शन (EIF) अनुमानक: क्रॉस-फिटिंग पर आधारित एक सेमीपैरामेट्रिकली एफिशिएंट अनुमानक। यह संवेदनशीलता मॉडल के लिए व्युत्पन्न EIF का उपयोग करता है। लेखक नोट करते हैं कि मानक ट्रांसपोर्टेबिलिटी अनुमानकों के विपरीत, यह अनुमानक तब 'डबली रोबस्ट' (doubly robust) नहीं होता जब ट्रांसपोर्टेबिलिटी का उल्लंघन होता है; इसके लिए विशेष रूप से आउटकम रिग्रेशन फंक्शन $\rho_a$ के सुसंगत अनुमान की आवश्यकता होती है।
कैलिब्रेशन प्रक्रिया (Calibration Procedure): अनपहचाने जाने योग्य संवेदनशीलता मापदंडों के सार्थक मानों को चुनने की कठिनाई को दूर करने के लिए, लेखक डिज़ाइन संवेदनशीलता से प्रेरित एक डेटा-संचालित कैलिब्रेशन प्रक्रिया प्रस्तावित करते हैं। इसमें स्रोत डेटा को दो असमान उपसमूहों (जैसे, रस्ट बेल्ट बनाम सन बेल्ट राज्य, या उच्च बनाम निम्न ट्रम्प समर्थन) में विभाजित करना शामिल है। प्रक्रिया $\Gamma_a$ के उन मानों की सीमा को खोजती है जहाँ उपसमूहों के बीच ट्रांसपोर्ट किया गया अनुमान, "ओरेकल" अनुमान (सीधे अनुमान जो उस उपसमूह से प्राप्त हुआ जिसे लक्ष्य के रूप में माना गया था) से मेल खाता है। यह संवेदनशीलता मापदंडों का एक संदर्भ सेट बनाता है जो स्रोत डेटा में मौजूद अनकहे अंतरों के परिमाण को दर्शाता है।

प्रमुख योगदान

शिथिल सह-चर आवश्यकताएँ: यह फ्रेमवर्क स्रोत डेटा में लक्ष्य डेटा की तुलना में अधिक सह-चर ( $X$ ) रखने की अनुमति देता है, जो एक सामान्य परिदृश्य है जहाँ RCT में एकत्र किए गए विस्तृत चर लक्ष्य अवलोकन संबंधी डेटा (observational data) में उपलब्ध नहीं होते।
बूटस्ट्रैप निष्कर्ष के लिए सैद्धांतिक औचित्य: यह शोध पत्र ट्रांसफर लर्निंग सेटिंग्स में निष्कर्ष (inference) के लिए नॉनपैरामेट्रिक पर्सेंटाइल बूटस्ट्रैप के उपयोग के सैद्धांतिक शुद्धता को औपचारिक रूप से स्थापित करता है, जो पहले केवल गुणात्मक रूप से सुझाया गया था।
संवेदनशीलता विश्लेषण के तहत EIF अनुमानक: लेखक संवेदनशीलता मापदंडों के साथ एफिशिएंट इन्फ्लुएंस फंक्शन थ्योरी का विस्तार करते हैं। वे प्रदर्शित करते हैं कि जबकि यह अनुमानक सेमीपैरामेट्रिकली एफिशिएंट है, यह "डबली रोबस्ट" गुण खो देता है जब ट्रांसपोर्टेबिलिटी का उल्लंघन होता है, जिसके लिए आउटकम रिग्रेशन फंक्शन का सही विनिर्देश आवश्यक है।
डेटा-संचालित कैलिब्रेशन: संवेदनशीलता मापदंडों के व्याख्या योग्य परिमाण उत्पन्न करने के लिए एक नवीन कैलिब्रेशन विधि पेश की गई है, जो मापे गए सह-चरों को छोड़ने के बजाय (जो पारंपरिक ओमिटेड-वेरिएबल कैलिब्रेशन की खामी है) उन्हें शामिल करती है।

परिणाम
जॉर्जिया के 2020 चुनाव डेटा पर फ्रेमवर्क लागू करने पर:

ट्रांसपोर्टेबिलिटी के तहत: यदि यह माना जाए कि ट्रांसपोर्टेबिलिटी बनी हुई है ( $\Gamma_0 = \Gamma_1 = 1$ ), तो विज्ञापन अभियान जॉर्जिया के सभी 159 काउंटियों में अप्रभावी रहता है।
संवेदनशीलता विश्लेषण के तहत: ट्रांसपोर्टेबिलिटी से छोटे विचलन भी नाटकीय रूप से अलग निष्कर्षों की ओर ले जाते हैं।
- पूर्व-निर्धारित संवेदनशीलता मापदंडों (जैसे, $\Gamma_0=0.99, \Gamma_1=1.01$ ) के साथ, विज्ञापन प्रभाव 154 काउंटियों में महत्वपूर्ण और सकारात्मक हो जाता है।
- उलटे मापदंडों ( $\Gamma_0=1.01, \Gamma_1=0.99$ ) के साथ, प्रभाव 158 काउंटियों में महत्वपूर्ण और नकारात्मक हो जाता है।
कैलिब्रेटेड परिणाम: स्रोत डेटा को विभाजित करने से प्राप्त कैलिब्रेटेड सेटों का उपयोग करते हुए:
- रस्ट बेल्ट बनाम सन बेल्ट विभाजन: कई काउंटियाँ प्रभाव की दिशा के प्रति संवेदनशील हैं। अधिक श्वेत और कम अश्वेत आबादी वाले काउंटियों में सकारात्मक प्रभाव दिखाई देता है, जबकि उच्च लैटिनक्स आबादी वाले काउंटियों में नकारात्मक प्रभाव दिखता है।
- ट्रंप समर्थन विभाजन: अधिकांश काउंटियाँ ट्रांसपोर्टेबिलिटी उल्लंघन के इस परिमाण के प्रति असंवेदनशील हैं, जो यह सुझाव देता है कि ट्रम्प समर्थकों और गैर-समर्थकों के बीच अनकहे अंतर इतने बड़े हैं कि केवल संवेदनशीलता मापदंडों के विशिष्ट, बड़े विचलन ही निष्कर्ष को बदल सकते।
उपसमूह विश्लेषण (Subgroup Analysis): जब ट्रांसपोर्टेबिलिटी का उल्लंघन होता है, तो विज्ञापन प्रभाव (लिंग, नस्ल और मतदान इतिहास द्वारा परिभाषित) आठ में से छह उपसमूहों में संवेदनशील होता है, विशेष रूप से महिला, लौटने वाले मतदाताओं के लिए जो अश्वेत या लैटिनक्स नहीं हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि इसका फ्रेमवर्क एक सांख्यिकीय रूप से वैध दृष्टिकोण प्रदान करता है जब सख्त ट्रांसपोर्टेबिलिटी धारणा अव्यवहार्य हो और सह-चर बेमेल हों। लेखक इस बात पर जोर देते हैं कि उनके निष्कर्ष इस विचार का समर्थन करते कि मूल RCT से प्राप्त शून्य प्रभाव (null effects) लक्ष्य जनसंख्या में तब तक सामान्यीकृत नहीं हो सकते जब तक कि अनकहे अंतरों का छोटा सा भी अंतर मौजूद हो।

महत्वपूर्ण रूप से, यह शोध पत्र रोसेनबाम (2010) के व्यावहारिक अंतर्दृष्टि को रेखांकित करता है: "छोटे प्रभाव, छोटे [अनकहे] पूर्वाग्रहों के प्रति संवेदनशील होते हैं।" चूंकि स्रोत जनसंख्या में मूल प्रभाव शून्य के करीब था, यह अध्ययन प्रदर्शित करता है कि निष्कर्ष आबादी के बीच मामूली अनकहे अंतरों के प्रति अत्यधिक नाजुक है। लेखक अपने कार्य को एक ऐसे उपकरण के रूप में प्रस्तुत करते हैं जो उन अभ्यासकर्ताओं के लिए उपयोगी है जिन्हें पूर्ण ट्रांसपोर्टेबिलिटी की अव्यवहारिक धारणा पर निर्भर रहने के बजाय, सामान्यीकरण के दावों की मजबूती का आकलन करने के लिए एक सैद्धांतिक रूप से वैध और सरल दृष्टिकोण (विशेष रूप से OR अनुमानक के साथ बूटस्ट्रैप) की आवश्यकता है। वे स्पष्ट रूप से कहते हैं कि यह फ्रेमवर्क चुनावों से परे, जैसे कि क्लिनिकल ट्रायल्स में भी लागू किया जा सकता है जहाँ ट्रायल-योग्य रोगी व्यापक पात्र आबादी से अनकहे तरीकों में भिन्न होते हैं।