📊 statistics

Statistical Guarantees in the Search for Less Discriminatory Algorithms

यह शोध पत्र कम भेदभावपूर्ण एल्गोरिदम खोजने के लिए फर्मों की कानूनी आवश्यकता को संबोधित करता है, जिसमें इस खोज को एक इष्टतम स्टॉपिंग समस्या (optimal stopping problem) के रूप में औपचारिक रूप दिया गया है और एक अनुकूलनशील एल्गोरिदम प्रस्तावित किया गया है जो यह प्रमाणित करने के लिए सांख्यिकीय गारंटी प्रदान करता है कि आगे का मॉडल पुनप्रशिक्षण (retraining), असमान प्रभाव (disparate impact) को कम करने में महत्वपूर्ण सुधार लाने की संभावना कम है।

मूल लेखक: Chris Hays, Ben Laufer, Solon Barocas, Manish Raghavan

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chris Hays, Ben Laufer, Solon Barocas, Manish Raghavan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

बड़ी समस्या: "अनुचित एल्गोरिदम" की दुविधा

कल्पना कीजिए कि आप एक बैंक मैनेजर हैं जो यह तय करने की कोशिश कर रहे हैं कि किसे ऋण (loan) दिया जाए। आप इन निर्णयों को लेने के लिए एक कंप्यूटर प्रोग्राम (एल्गोरिदम) का उपयोग करते हैं। हाल ही में कानून ने कहा है: "यदि आपका कंप्यूटर प्रोग्राम अनजाने में लोगों के एक विशिष्ट समूह (जैसे किसी विशेष जाति या लिंग) के खिलाफ भेदभाव करता है, तो आप मुसीबत में पड़ सकते हैं। लेकिन, यदि आप यह साबित कर सकें कि आपने उस प्रोग्राम के एक बेहतर संस्करण की तलाश की थी—एक ऐसा संस्करण जो समान पैसा कमाता है लेकिन लोगों के साथ अधिक निष्पक्ष व्यवहार करता है—और आप उसे ढूँढ नहीं पाए, तो आप कानूनी कार्रवाई से बच सकते हैं।"

इसे कम भेदभावपूर्ण विकल्प (Less Discriminatory Alternative - LDA) की खोज कहा जाता है।

पेंच (The Catch):
कंप्यूटर मॉडल थोड़े बहुत पासे (dice) फेंकने जैसा है। भले ही आप बिल्कुल उसी कोड और उसी डेटा का उपयोग करें, यदि आप प्रशिक्षण प्रक्रिया (training process) को दो बार चलाते हैं, तो आपको दो थोड़े अलग परिणाम मिल सकते हैं। कभी-कभी, एक संस्करण बहुत निष्पक्ष होता है, और दूसरा थोड़ा कम निष्पक्ष होता है, भले ही दोनों इस बात की भविष्यवाणी करने में समान रूप से अच्छे हों कि कौन ऋण वापस करेगा।

समस्या यह है: आपको कितनी बार पासा फेंकना होगा जब तक कि आप यह न कह सकें, "ठीक है, मैंने पर्याप्त कोशिश कर ली है। मैं इससे बेहतर नहीं ढूँढ सकता, इसलिए मैं रुक रहा हूँ"?

यदि आप बहुत जल्दी रुक जाते हैं, तो एक न्यायाधीश कह सकता है, "आपने पर्याप्त प्रयास नहीं किया।" यदि आप अनंत काल तक चलते रहते हैं, तो आप पैसा और समय बर्बाद करते हैं। यह शोध पत्र पूछता है: आप यह कैसे जानेंगे कि आपने "सद्भावना" (good faith) के साथ कार्य करने के लिए पर्याप्त खोज की है?

समाधान: "स्मार्ट शॉपर" एल्गोरिदम

लेखक एक गणितीय उपकरण (एल्गोरिदम) प्रस्तावित करते हैं जो एक बहुत ही समझदार, सतर्क खरीदार (shopper) की तरह काम करता है।

उपमा: सबसे अच्छी डील के लिए खरीदारी करना
कल्पना कीजिए कि आप किसी विशिष्ट वस्तु, मान लीजिए एक टोस्टर (toaster) की खरीदारी कर रहे हैं। आप वह चाहते हैं जिसकी कीमत सबसे कम हो लेकिन वह दूसरों की तरह ही अच्छा काम करे।

आप पहले स्टोर पर जाते हैं और एक टोस्टर $50 में देखते हैं।
आप दूसरे स्टोर पर जाते हैं और एक $48 में देखते हैं। आप इसे खरीदते हैं।
आप तीसरे स्टोर पर जाते हैं और एक $47 में देखते हैं। आप उसे खरीदते हैं।

लेकिन आप दुनिया के हर स्टोर पर नहीं जा सकते। एक बिंदु पर, आपको रुकना ही होगा। आप कैसे जानेंगे कि आपको एक और स्टोर जाने की आवश्यकता नहीं है, कहीं वहां $40 वाला टोस्टर छिपा हुआ तो नहीं है?

इस शोध पत्र का एल्गोरिदम एक सांख्यिकीय दिशा-सूचक (statistical compass) की तरह है जो आपको बताता है कि कब रुकना है। यह गणना करता है: "अब तक देखे गए मूल्यों के आधार पर, अगले स्टोर में काफी सस्ता टोस्टर मिलने की संभावना इतनी कम है कि वहां तक जाने के लिए पेट्रोल का खर्च करना सार्थक नहीं है।"

इस शोध पत्र का टूल कैसे काम करता है

लेखक इसे तीन मुख्य विचारों में विभाजित करते हैं:

1. "स्टॉप" बटन (Optimal Stopping)
वे निष्पक्ष एल्गोरिदम की खोज को एक ऐसे खेल की तरह मानते हैं जहाँ आप तब तक खेलते रहते हैं जब तक कि इनाम (reward) लागत से अधिक न हो जाए।

लागत (Cost): हर बार जब आप एक मॉडल को फिर से प्रशिक्षित (retrain) करते हैं, तो इसमें समय और कंप्यूटर पावर खर्च होती है।
इनाम (Reward): हर बार जब आप एक ऐसा मॉडल पाते हैं जो थोड़ा कम भेदभावपूर्ण है, तो आप "निष्पक्षता अंक" (fairness points) प्राप्त करते हैं।
नियम: एल्गोरिदम तब तक नए मॉडल को प्रशिक्षित करता रहता है जब तक कि अपेक्षित (expected) निष्पक्षता का लाभ प्रशिक्षण की लागत से अधिक हो। जैसे ही गणित कहता है कि अगला मॉडल शायद अधिक मदद नहीं करेगा, यह "स्टॉप" बटन दबा देता है।

2. "सुरक्षा जाल" (Statistical Guarantees)
लेखक केवल अनुमान नहीं लगाते कि कब रुकना है। उन्होंने एक "सुरक्षा जाल" (गणितीय प्रमाण) बनाया है जो बहुत उच्च विश्वास (जैसे 95% या 99%) के साथ गारंटी देता है कि आपने एक ऐसे "जादुई" मॉडल को नहीं छोड़ा है जो बहुत बेहतर होता।

इसे मौसम के पूर्वानुमान की तरह समझें। आप 100% निश्चितता के साथ भविष्य को नहीं जान सकते, लेकिन यदि पूर्वानुमान कहता है कि बारिश न होने की 99% संभावना है, तो आप आत्मविश्वास से अपना छाता घर छोड़ सकते हैं।
यह एक कंपनी को अदालत में जाकर यह कहने की अनुमति देता है, "हम इसलिए नहीं रुके क्योंकि हमने हार मान ली थी, बल्कि इसलिए क्योंकि हमारा गणित 99% निश्चितता के साथ सिद्ध करता है कि आगे और खोजने से कोई मदद नहीं मिलती।"

3. "वास्तविक दुनिया" का परीक्षण
लेखकों ने क्रेडिट और आवास (housing) के वास्तविक डेटा पर इसका परीक्षण किया। उन्होंने हजारों अलग-अलग परिदृश्यों का अनुकरण (simulate) किया जहाँ उन्होंने बार-बार मॉडलों को फिर से प्रशिक्षित किया।

उन्होंने पाया: कई मामलों में, आपको अनंत काल तक खोजने की आवश्यकता नहीं है। लगभग 60 अलग-अलग संस्करणों को प्रशिक्षित करने के बाद, "निष्पक्षता लाभ" (fairness gains) आमतौर पर लगभग शून्य हो जाते हैं। यह वैसा ही है जैसे यह पता लगाना कि 60 स्टोर देखने के बाद, टोस्टर की कीमत अब $47 से नीचे नहीं गिरी है।
उन्होंने यह भी पाया कि कुछ प्रकार के डेटा के लिए, आप सुरक्षित रूप से रुकने से पहले केवल 10 मॉडल ही देख सकते हैं।

यह क्यों महत्वपूर्ण है

यह शोध पत्र कंपनियों को एक "सद्भावना का प्रमाण पत्र" (certificate of good faith) देता है।

इससे पहले, एक कंपनी पर मुकदमा चलाया जा सकता था और उसे अनुमान लगाना पड़ता था, "क्या हमने पर्याप्त प्रयास किया?" अब, वे इस टूल का उपयोग करके एक रिपोर्ट तैयार कर सकते हैं जो कहती है: "हमने 60 मॉडल प्रशिक्षित किए। हमारा सांख्यिकीय गारंटी दिखाता है कि अगले 60 प्रयासों में काफी अधिक निष्पक्ष मॉडल मिलने की संभावना 1% से कम है। इसलिए, हमारी खोज उचित और पर्याप्त थी।"

यह "पर्याप्त प्रयास करने" के अस्पष्ट कानूनी तर्क को एक ठोस, गणित-आधारित निर्णय में बदल देता है जिसे न्यायाधीश या नियामक को दिखाया जा सकता है।

एक वाक्य में सारांश

यह शोध पत्र एक गणितीय "स्टॉप साइन" प्रदान करता है जो कंपनियों को ठीक से बताता है कि उन्होंने एक निष्पक्ष एल्गोरिदम के लिए पर्याप्त खोज कर ली है, ताकि वे कानून को यह सिद्ध कर सकें कि उन्होंने जिम्मेदारी से कार्य किया है, बिना उन संसाधनों को बर्बाद किए जो एक ऐसी खोज में लग रहे थे जो कभी समाप्त ही नहीं होगी।

तकनीकी सारांश: कम भेदभावपूर्ण एल्गोरिदम की खोज में सांख्यिकीय गारंटी

समस्या विवरण
अमेरिकी भेदभाव कानून, विशेष रूप से 'डिस्पैरेट इम्पैक्ट' (विभेदकारी प्रभाव) का सिद्धांत, उन फर्मों पर उत्तरदायित्व लागू कर सकता है जो "कम भेदभावपूर्ण विकल्प" (LDA) को अपनाने में विफल रहती हैं—एक ऐसा निर्णय नीति जो संरक्षित समूहों पर विभेदकारी प्रभाव को कम करते हुए समान व्यावसायिक उद्देश्यों को प्राप्त करती है। हालिया शोध यह सुझाव देता है कि यह सिद्धांत फर्मों को रोजगार, ऋण और आवास जैसे उच्च-जोखम वाले क्षेत्रों में ऐसे एल्गोरिदम खोजने के लिए सक्रिय रूप से बाध्य करता है।

हालाँकि, एक केंद्रीय चुनौती मॉडल बहुलता (model multiplicity) से उत्पन्न होती है: अलग-अलग रैंडम सीड्स या डेटा उपसमुच्चयों के साथ मॉडलों को पुन: प्रशिक्षित करने से अक्सर तुलनीय सटीकता वाले लेकिन सामग्री रूप से भिन्न विभेदकारी प्रभाव वाले भविष्यवक्ता (predictors) प्राप्त होते हैं। जबकि फर्में कम भेदभावपूर्ण मॉडल खोजने के लिए कई मॉडलों का नमूना ले सकती हैं, वे अनंत काल तक पुन: प्रशिक्षण नहीं कर सकतीं। मुख्य समस्या "सद्भावना" (good faith) के कानूनी मानक को क्रियान्वित करने की है: एक खोज कब पर्याप्त मानी जाएगी यह प्रदर्शित करने के लिए कि आगे की खोज से सार्थक सुधार की संभावना कम है? वर्तमान कानूनी और नियामक मार्गदर्शन इस बात के सटीक मानदंड प्रदान करने में कमी रखता है कि कब अतिरिक्त खोज की सीमांत लागत, विभेदक प्रभाव में कमी के सीमांत लाभ से अधिक हो जाती है।

कार्यप्रणाली
लेखक LDA खोज को एक इष्टतम स्टॉपिंग समस्या (optimal stopping problem) के रूपas औपचारिक रूप देते हैं। एक फर्म एक निश्चित डेटासेट $D$ पर आधारित एक रैंडमाइज्ड ट्रेनिंग प्रक्रिया $\mathcal{A}$ से मॉडलों की एक श्रृंखला $h_1, h_2, \dots$ को प्रशिक्षित करती है। लक्ष्य प्रशिक्षण को समय $\tau$ पर रोकना है जब अतिरिक्त मॉडल के प्रशिक्षण से होने वाला अपेक्षित सीमांत लाभ (विभेदक प्रभाव में सुधार के संदर्भ में) एक लागत थ्रेशोल्ड $\gamma$ (जो प्रशिक्षण लागत और विभेदक प्रभाव में एक इकाई सुधार की उपयोगिता के अनुपात को परिभाषित करता है) से कम हो जाता है।

यह ढांचा अनिश्चितता के दो स्रोतों को संबोधित करता है:

अज्ञात वितरण (Unknown Distribution): मॉडल के प्रदर्शन (विभेदक प्रभाव) का वितरण अज्ञात है।
सीमित डेटा (Finite Data): एक मॉडल के वास्तविक विभेदक प्रभाव को सीधे नहीं देखा जा सकता; केवल एक टेस्ट सेट पर एक अनुभवजन्य अनुमान (empirical estimate) उपलब्ध होता है।

इसे हल करने के लिए, यह शोध पत्र अनुकूली स्टॉपिंग एल्गोरिदम (adaptive stopping algorithms) विकसित करता है जो उच्च-संभाव्यता गारंटी प्रदान करते हैं। यह दृष्टिकोण अपेक्षित सीमांत लाभ $g(u)$ को दो घटकों में विभाजित करता है:

सुधार की संभावना ( $p$ ): एक नई नमूना (sample) वर्तमान सर्वश्रेष्ठ से बेहतर होने की संभावना।
सशर्त अपेक्षित सुधार (CEI, $\mu$ ): यदि एक नया नमूना बेहतर है, तो सुधार का अपेक्षित परिमाण।

लेखक इन मात्राओं के लिए एनीटाइम-वैलिड अपर बाउंड्स (anytime-valid upper bounds) का निर्माण करते हैं:

$p$ को बांधना: वे i.i.d. रैंडम वेरिएबल्स की एक श्रृंखला में एक नया न्यूनतम (minimum) देखने की संभावना को ऊपरी सीमा देने वाले एक नवीन अनुक्रम का उपयोग करते हैं (लेम्मा 3.2)। यह बाउंड सभी समय चरणों $t$ के लिए $1-\delta$ की प्रायिकता के साथ एक साथ लागू होता है।
$\mu$ को बांधना: वे वितरण संबंधी धारणाओं के आधार पर कई बाउंड प्रस्तावित करते हैं (तालिका 1)। एक सार्वभौमिक बाउंड ( $\bar{\mu}(u) = u$ ) के लिए किसी भी धारणा की आवश्यकता नहीं है। अधिक सटीक बाउंड्स जैसे कि सब-यूनिफॉर्म लेफ्ट टेल, एक्सपोनेंशियल लेफ्ट टेल, या विभेदक प्रभाव पर ज्ञात लोअर बाउंड के तहत प्राप्त किए जाते हैं।
सीमित डेटा सुधार: अनुभवजन्य और वास्तविक विभेदक प्रभाव के बीच के अंतर को संभालने के लिए, लेखक एक गैर-घटते चयन प्रभाव (non-decreasing selection effect) (धारणा 3.4) की धारणा पेश करते हैं, जिसका अर्थ है कि 'रिग्रेशन-टू-द-मीन' प्रभाव तब नहीं बढ़ता जब देखा गया प्रदर्शन बेहतर होता है।

प्रमुख योगदान

LDA खोज का औपचारिकीकरण: यह शोध पत्र मॉडल बहुलता के तहत LDA खोज को एक इष्टतम स्टॉपिंग समस्या के रूप में औपचारिक रूप देता है, जो खोज की पर्याप्तता को प्रमाणित करने के लिए एक सांख्यिकीय ढांचा प्रदान करता है।
अनुकूली स्टॉपिंग एल्गोरिदम (एल्गोरिदम 1): लेखक एक एल्गोरिदम प्रस्तुत करते हैं जो अनुकूल रूप से मॉडलों को प्रशिक्षित करता है और तब रुक जाता है जब ऊपरी-बाउंड सुधार की संभावना और ऊपरी-बाउंड CEI का गुणनफल लागत थ्रेशोल्ड $\gamma$ से कम हो जाता है।
सांख्यिकीय गारंटी (थ्योरम 3.5): मुख्य सैद्धांतिक परिणाम एक उच्च-प्रायिकता गारंटी ( $1-\delta$ ) प्रदान करता है कि जब एल्गोरिदम रुकता है, तो आगे के प्रशिक्षण से अपेक्षित सीमांत लाभ वास्तव में लागत थ्रेशोल्ड से कम होता है। यह फर्मों को अदालतों या नियामकों को यह "प्रमाणपत्र" देने की अनुमति देता है कि आगे की खोज से सुधार की संभावना कम है।
डेटा-संचालित बाउंड्स (एल्गोरिदम 2): शोध पत्र CEI बाउंड का अनुमान लगाने के लिए डेटा का उपयोग करने हेतु ढांचे का विस्तार करता है (धारणा 3.6 के तहत), जिससे बिना किसी पूर्व-निर्धारित वितरण पैरामीटर के कड़े बाउंड प्राप्त होते हैं, हालांकि इसके लिए कॉन्फिडेंस बजट पर यूनियन बाउंड की आवश्यकता होती है।
अनुभवजन्य सत्यापन: इस दृष्टिकोण को वास्तविक दुनिया के क्रेडिट (Adult, Folktables) और हाउसिंग (HMDF) डेटासेट्स का उपयोग करके लॉजिस्टिक रिग्रेशन, रैंडम फॉरेस्ट और ग्रेडिएंट बूस्टेड ट्रीज़ पर सत्यापित किया गया है।

परिणाम

मॉडल बहुलता: अनुभवजन्य विश्लेषण पुष्टि करता है कि समान प्रक्रियाओं के साथ प्रशिक्षित मॉडलों के बीच विभेदक प्रभाव में महत्वपूर्ण भिन्नता होती है, जबकि सटीकता में भिन्नता बहुत कम रहती है। यह इस धारणा का समर्थन करता है कि पुन: प्रशिक्षण से (सटीकता के नुकसान के बिना) "मुफ्त" में कम भेदभावपूर्ण मॉडल प्राप्त किए जा सकते हैं।
स्टॉपिंग प्रदर्शन: प्रयोगों में, एल्गोरिदम आमतौर पर मॉडलों की एक अपेक्षाकृत छोटी संख्या के बाद रुक जाता है (अक्सर 60 से कम)। इसके बाद, विभेदक प्रभाव में सुधार का सीमांत लाभ प्रति मॉडल सौवें के अंश (hundredths of a percent) तक गिर जाता है।
ग्राउंड ट्रुथ के साथ तुलना: जब इसे "फुल-इंफॉर्मेशन" शासन (जहाँ वास्तविक वितरण ज्ञात है) के साथ तुलना की जाती है, तो एल्गोरिदम का स्टॉपिंग टाइम औसतन दर्जनों मॉडलों द्वारा इष्टतम स्टॉपिंग टाइम से थोड़ा "ओवरशूट" करता है। हालाँकि, लेखक नोट करते हैं कि सीमांत लाभ के लॉगरिदमिक स्केल का अर्थ है कि यह ओवरशूट मूल्य में एक बहुपद (polynomial) कमी को दर्शाता है, और एल्गोरिदम सफलतापूर्वक उस बिंदु की पहचान करता है जहाँ रिटर्न महत्वपूर्ण रूप से कम हो जाता है।
फेयरनेस-अवेयर मेथड्स: यह विधि मानक "वैनिला" ट्रेनिंग बनाम फेयरनेस-अवेयर फ्रेमवर्क (जैसे Fairlearn) के साथ प्रशिक्षित मॉडलों पर लागू होने पर तुलनीय प्रदर्शन करती है।

महत्व और दावे
शोध पत्र यह दावा करता है कि यह मॉडल बहुलता के तहत LDA खोज की पर्याप्तता को मापने और प्रमाणित करने के लिए पहले सांख्यिकीय उपकरण प्रदान करता है। एक इष्टतम स्टॉपing समस्या के रूप में खोज को उच्च-प्रायिकता बाउंड के साथ फ्रेम करके, लेखक फर्मों को अनंत संसाधनों की आवश्यकता के बिना नियामकों और अदालतों को "सद्भावना" के प्रयास प्रदर्शित करने का एक तंत्र प्रदान करते हैं।

लेखक अपने योगदान के दायरे के बारे में विनम्र हैं, यह नोट करते हुए कि:

उनकी प्रक्रिया एक व्यापक खोज का एक घटक है जिसमें गुणात्मक विचार (जैसे फीचर चयन, मॉडल धारणाएं) शामिल हैं।
ढांचा एक निश्चित लागत-लाभ अनुपात मानता है; इन मूल्यों को निर्धारित करना निरंतर कानूनी और आर्थिक बहस का विषय बना हुआ है।
अनुभवजन्य परिणाम दृष्टांत हैं, जो सार्वजनिक रूप से उपलब्ध डेटासेट्स और विशिष्ट मॉडल वर्गों पर आधारित हैं, और विशाल डेटासेट्स और जटिल पाइपलाइनों वाले औद्योगिक परिवेशों में भिन्न हो सकते हैं।
इस ढांचे को अन्य इष्टतम स्टॉपिंग समस्याओं (जैसे हाइपरपैरामीटर ट्यूनिंग, LLMs के लिए प्रॉम्प्ट इंजीनियरिंग) के लिए विस्तारित किया जा सकता है, लेकिन शोध पत्र विशेष रूप से LDA संदर्भ पर ध्यान केंद्रित करता है।

अंततः, यह कार्य कानूनी सिद्धांत (जो कम भेदभावपूर्ण विकल्पों की खोज की मांग करता है) और मशीन लर्निंग विकास की व्यावहारिक सीमाओं के बीच के अंतर को पाटता है, यह निर्धारित करने के लिए एक कठोर सांख्यिकीय पद्धति प्रदान करता है कि एक खोज कब "पर्याप्त अच्छी" है।

बड़ी समस्या: "अनुचित एल्गोरिदम" की दुविधा

समाधान: "स्मार्ट शॉपर" एल्गोरिदम

इस शोध पत्र का टूल कैसे काम करता है

यह क्यों महत्वपूर्ण है

एक वाक्य में सारांश

इसी तरह के और पेपर