Detecting and Mitigating Group Bias in Heterogeneous Treatment Effects

यहाँ पर्सन एट अल. (Persson et al.) के शोध पत्र "Detecting and Mitigating Group Bias in Heterogeneous Treatment Effects" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह शोध पत्र कॉज़ल मशीन लर्निंग (causal machine learning) की एक महत्वपूर्ण और अक्सर अनदेखी की जाने वाली समस्या को संबोधित करता है: ग्रुप बायस (Group Bias)। जबकि आधुनिक मशीन लर्निंग (ML) मॉडल व्यक्तिगत स्तर पर कंडीशनल एवरेज ट्रीटमेंट इफेक्ट्स (CATEs) का सटीक अनुमान लगा सकते हैं, संगठन रिपोर्टिंग और निर्णय लेने के लिए इन भविष्यवाणियों को सबग्रुप्स (जैसे, जनसांख्यिकी, बाजार, जोखिम स्तर) में एकत्रित (aggregate) करते हैं ताकि ग्रुप एवरेज ट्रीटमेंट इफेक्ट्स (GATEs) प्राप्त किए जा सकें।

लेखक यह प्रदर्शित करते हैं कि अनुमानित CATEs का एकत्रीकरण सामान्यतः वास्तविक प्रयोगात्मक (experimental) GATE को रिकवर नहीं करता है, भले ही:

• मूल CATE मॉडल सही ढंग से निर्दिष्ट (correctly specified) हो।
• डेटा एक रैंडमाइज्ड कंट्रोल्ड ट्रायल (RCT) से आया हो।
• मॉडल व्यक्तिगत स्तर पर निष्पक्ष (unbiased) हो।

यह विसंगति दो मुख्य कारकों के कारण उत्पन्न होती है:

1. नॉन-कोलैप्सिबिलिटी (Non-collapsibility): सापेक्ष प्रभाव मापों (जैसे, रिस्क रेश्यो, लिफ्ट) के लिए, अनुपात का प्रत्याशा (expectation of a ratio) प्रत्याशाओं का अनुपात नहीं होता है (जेन्सन्स इनइक्वालिटी/Jensen's inequality)। सापेक्ष CATEs का सरल औसत बिना विशिष्ट वेटिंग (weighting) के एक पक्षपाती (biased) GATE देता है।
2. रेगुलराइजेशन और ग्लोबल ऑप्टिमाइजेशन (Regularization and Global Optimization): ML मॉडल आमतौर पर ग्लोबल लॉस फंक्शन को कम करने के लिए प्रशिक्षित किए जाते हैं। जब समूहों के पास असमान सैंपल साइज या सिग्नल-टू-नॉइज़ रेशियो होता है, तो रेगुलराइजेशन भविष्यवाणियों को ग्लोबल मीन की ओर सिकोड़ (shrink) देता है। फलस्वरूप, इन सिकुड़े हुए अनुमानों को एकत्रित करने से समूह स्तर पर व्यवस्थित पूर्वाग्रह (systematic bias) आता है, विशेष रूप से छोटे या शोर वाले (noisy) समूहों के लिए।

2. कार्यप्रणाली (Methodology)

लेखक एक एकीकृत सांख्यिकीय ढांचे का प्रस्ताव करते हैं जिसमें तीन चरण शामिल हैं: परिभाषा (Definition), पहचान (Detection), और शमन (Mitigation)।

A. ग्रुप बायस की परिभाषा (Definition of Group Bias)

लेखक ग्रुप बायस ($b_g$) को एक विशिष्ट समूह $g$ के लिए मॉडल-निहित GATE और प्रयोगात्मक रूप से पहचाने गए GATE के बीच के अंतर के रूप में परिभाषित करते हैं:
$$b_g = E[W \hat{\tau}_f(X) \mid G=g] - E[Y(1) - Y(0) \mid G=g]$$
जहाँ:

• $\hat{\tau}_f(X)$ अनुमानित CATE है।
• $W$ एक कोलैप्सिबिलिटी वेट फंक्शन है (एडिटिव इफेक्ट्स के लिए यूनिफॉर्म; रिलेटिव इफेक्ट्स के लिए बेसलाइन आउटकम्स के समानुपाती)।
• बायस को भारित (weighted) औसत भविष्यवाणियों और वास्तविक प्रयोगात्मक प्रभाव के बीच के अंतर के रूप में परिभाषित किया गया है।

B. पहचान ढांचा (Detection Framework)

यह ढांचा बायस का पता लगाने के लिए एक नॉन-पैरामीट्रिक, मॉडल-अग्नोस्टिक विधि प्रदान करता है:

1. अनुमान (Estimation): बायस का अनुमान मॉडल-निहित GATE (भारित भविष्यवाणियों के साथ एकत्रित) और प्रयोगात्मक GATE (होल्ड-आउट डेटा पर डिफरेंस-इन-मीन्स या रिग्रेशन एडजस्टमेंट के माध्यम से गणना किया गया) के बीच के अंतर के रूप में लगाया जाता है।
2. अनुमान (Inference): लेखक बायस के लिए एक एसिम्प्टोटिकली नॉर्मल एस्टिमेटर (asymptotically normal estimator) प्राप्त करते हैं। वे यह निर्धारित करने के लिए एक औपचारिक सांख्यिकीय परीक्षण (वाल्ड टेस्ट) प्रदान करते हैं कि क्या बायस शून्य से काफी भिन्न है।
3. क्रॉस-ग्रुप तुलना (Cross-Group Comparison): यह ढांचा विभिन्न समूहों में बायस की असमानताओं के परीक्षण की अनुमति देता है (जैसे, क्या समूह A, समूह B की तुलना में अधिक बायस्ड है?)।

C. श्रिंकेज के माध्यम से शमन (Mitigation via Shrinkage)

एक नादान सुधार (अनुमानित बायस $\hat{b}_g$ को घटाना) को उप-इष्टतम (suboptimal) दिखाया गया है क्योंकि यह अनुमान विचरण (estimation variance) की अनदेखी करता है, जिससे संभावित रूप से छोटे समूहों में शोर (noise) बढ़ सकता है। इसके बजाय, लेखक एक श्रिंकेज-आधारित सुधार का प्रस्ताव करते हैं:
$$\hat{\tau}_{corrected}(X) = \hat{\tau}_f(X) - \gamma_g \hat{b}_g$$
जहाँ $\gamma_g \in [0, 1]$ एक श्रिंकेज फैक्टर है जो अपेक्षित हानि (रिस्क) को कम करने के लिए निर्धारित किया जाता है:
यह दो लॉस फंक्शन के तहत इष्टतम $\gamma_g$ के क्लोज्ड-फॉर्म समाधान प्रदान करता है:

1. मीन एरर लॉस (Mean Error Loss): एक बाइनरी निर्णय नियम। पूरी तरह से ठीक करें ($\gamma_g=1$) केवल तभी जब बायस सांख्यिकीय रूप से महत्वपूर्ण हो; अन्यथा, कुछ न करें ($\gamma_g=0$)।
2. मीन स्क्वेर्ड एरर (MSE) लॉस: एक निरंतर श्रिंकेज फैक्टर जो बायस रिडक्शन और वेरिएंस इन्फ्लेशन के बीच संतुलन बनाता है:
   $$\gamma_g^* = \frac{b_g^2}{b_g^2 + \sigma_g^2}$$
   यह एक एम्पिरिकल बेयस एस्टिमेटर के रूप में कार्य करता है, जो सुधार को शून्य की ओर सिकोड़ता है जब सिग्नल-टू-नॉइज़ रेशियो कम होता है (अर्थात, जब समूह छोटा होता है या बायस अनुमान शोर वाला होता है)।

3. प्रमुख योगदान (Key Contributions)

1. सैद्धांतिक पहचान (Theoretical Identification): यह पेपर औपचारिक रूप से पहचान करता है कि CATE एकत्रीकरण आदर्श प्रयोगात्मक स्थितियों के तहत भी बायस उत्पन्न करता है, जो कॉज़ल इन्फरेंस में कोलैप्सिबिलिटी की अवधारणा से जुड़ा है।
2. सामान्य ढांचा (General Framework): यह एक मॉडल-अग्नोस्टिक डिटेक्शन और मिटिगेशन फ्रेमवर्क प्रदान करता है जो एडिटिव और रिलेटिव दोनों प्रभाव पैमानों पर लागू होता है, जिसके लिए केवल सैंपल मोमेंट्स की आवश्यकता होती है और मूल ML मॉडल के पुन: प्रशिक्षण (retraining) की आवश्यकता नहीं होती है।
3. इष्टतम श्रिंकेज रणनीतियाँ (Optimal Shrinkage Strategies): अनुमान अनिश्चितता को अनुकूल रूप से संभालने वाले क्लोज्ड-फॉर्म, रिस्क-मिनिमाइजिंग श्रिंकेज फैक्टर्स का व्युत्पत्ति, जो शोर वाले समूहों के ओवर-करेक्शन को रोकता है।
4. आर्थिक विश्लेषण (Economic Analysis): लेखक प्रॉफिट-मैक्सिमाइजिंग टारगेटिंग में डिबायसिंग (debiasing) के ट्रेड-ऑफ का विश्लेषण करते हैं। वे दिखाते हैं कि हालांकि डिबायसिंग कॉज़ल इन्फरेंस में सुधार करती है, यह टारगेटिंग निर्णयों को बदल सकती है और लाभ को कम कर सकती है यदि बायस सुधार निर्णय थ्रेशोल्ड (decision threshold) के पार उपयोगकर्ताओं को स्थानांतरित कर देता है। वे लक्षणित करते हैं कि ये ट्रेड-ऑफ कब महत्वपूर्ण होते हैं।

4. अनुभवजन्य परिणाम (Empirical Results)

फ्रेमवर्क को दो बड़े पैमाने के डेटासेट्स का उपयोग करके मान्य किया गया था:

• Booking.com (A/B Test): उत्पत्ति के देशों के आधार पर मार्केटिंग इंटरवेंशन का विश्लेषण किया गया।
  • निष्कर्ष: रेगुलराइजेशन के कारण कच्चा (raw) CATE मॉडल छोटे देशों के लिए GATE को काफी कम आंकता था और बड़े देशों के लिए इसे अधिक आंकता था।
  • शमन: रिस्क-मिनिमाइजिंग श्रिंकेज रणनीतियाँ (MSE-) ने सफलतापूर्वक अनुमानित GATE को प्रयोगात्मक GATE के साथ संरेखित किया, जिससे शोर के प्रसार के बिना बायस डिस्पर्सन को कम किया गया।
• Criteo Uplift Prediction Dataset: टारगेटिंग नीतियों के ऑफ-पॉलिसी मूल्यांकन के लिए उपयोग किया गया।
  • निष्कर्ष: नादान डिबायसिंग ने उन उपयोगकर्ताओं के लिए टारगेटिंग निर्णयों को बदलकर महत्वपूर्ण लाभ हानि की।
  • अंतर्दृष्टि: रिस्क-मिनिमाज़िंग रणनीतियों (MSE- और Mean Error) ने अधिकांश लाभ को सुरक्षित रखा जबकि बायस को सुधारा, यह प्रदर्शित करते हुए कि "कोर्स" (coarse) टारगेटिंग नीतियां (डिबायस्ड GATEs पर आधारित) तब एक व्यवहार्य विकल्प हो सकती हैं जब बायस एक चिंता का विषय हो।

5. महत्व और निहितार्थ (Significance and Implications)

• अभ्यासकर्ताओं के लिए (For Practitioners): यह पेपर ML-संचालित कॉज़ल मॉडल्स के ऑडिट के लिए एक व्यावहारिक टूलकिट प्रदान करता है। यह दिखाता है कि केवल व्यक्तिगत भविष्यवाणियों को एकत्रित करना विश्वसनीय सबग्रुप विश्लेषण के लिए पर्याप्त नहीं है।
• निर्णय लेने के लिए (For Decision Making): यह ग्रैनुलर पर्सनलाइजेशन (कच्चे CATEs का उपयोग करना) और विश्वसनीय कॉज़ल इन्फरेंस (डिबायस्ड GATEs का उपयोग करना) के बीच एक मौलिक तनाव को उजागर करता है। लेखक सुझाव देते हैं कि संगठनों को यह सुनिश्चित करने के लिए कि रिपोर्ट किए गए प्रभाव कॉज़ल और निष्पक्ष हैं, अधिक 'कोर्स' टारगेटिंग नीतियों को स्वीकार करने की आवश्यकता हो सकती है।
• पद्धतिगत प्रगति (Methodological Advancement): ग्रुप बायस को एक सांख्यिकीय अनुमान समस्या के रूप में मानकर, जो बायस-वेरिएंस ट्रेड-ऑफ के साथ जुड़ी है, यह पेपर कॉज़ल मशीन लर्निंग में बायस मिटिगेशन के लिए एक कठोर, रिस्क-आधारित दृष्टिकोण की ओर बढ़ता है।

निष्कर्षतः, यह पेपर स्थापित करता है कि ग्रुप बायस CATEs के एकत्रीकरण की एक अंतर्निहित विशेषता है, एक मजबूत सांख्यिकीय विधि प्रदान करता है जिससे इसे पहचाना और सुधारा जा सके, और वास्तविक दुनिया की टारगेटिंग परिदृश्यों में यह मार्गदर्शन भी देता है कि इन सुधारों को कब और कैसे लागू किया जाए।