💻 computer science

Sequential Fairness Auditing with Limited Output Access

यह शोध पत्र एक सहनशीलता-जागरूक (tolerance-aware) अनुक्रमिक परिकल्पना-परीक्षण ढांचे का प्रस्ताव करता है जो स्वतंत्र ऑडिटरों को सीमित मॉडल एक्सेस के तहत क्वेरी-आधारित इंटरैक्शन से पर्याप्त साक्ष्य प्राप्त होने तक गतिशील रूप से साक्ष्य संचित करके एआई निष्पक्षता को कुशलतापूर्वक मूल्यांकन करने में सक्षम बनाता है, जब तक कि अनुपालन या उल्लंघन के लिए पर्याप्त समर्थन प्राप्त न हो जाए।

मूल लेखक: Ioannis Pitsiorlas, Martha V. Sourla, Marios Kountouris

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ioannis Pitsiorlas, Martha V. Sourla, Marios Kountouris

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक खाद्य निरीक्षक (food inspector) हैं जिसे यह जांचने का काम दिया गया है कि कुकीज़ का एक नया बैच निष्पक्ष (fair) है या नहीं। नियम सरल है: "ग्रुप A" की कुकीज़ और "ग्रुप B" की कुकीज़ के बीच चॉकलेट चिप्स की संख्या का अंतर बहुत कम होना चाहिए। यदि अंतर बहुत अधिक है, तो कुकीज़ अनुचित (unfair) हैं और उन्हें खारिज कर दिया जाना चाहिए।

हालाँकि, आपके पास एक समस्या है। आपको रेसिपी, मिक्सिंग बाउल, या शेफ के नोट्स देखने को नहीं मिलते। आप केवल फैक्ट्री से एक बार में एक कुकी बनाने के लिए कह सकते हैं, उसे देख सकते हैं, और फिर तय कर सकते हैं कि आपको और अधिक कुकीज़ मांगनी चाहिए या नहीं। इसे ही पेपर में "सीमित आउटपुट एक्सेस" (Limited Output Access) कहा गया है।

यहाँ लेखक इस समस्या को सरल उपमाओं (analogies) के माध्यम से समझा रहे हैं:

1. पुराना तरीका बनाम नया तरीका

पुराना तरीका (Static Testing): कल्पना कीजिए कि आप फैक्ट्री से एक साथ 4,000 कुकीज़ का एक बड़ा ढेर बनाने के लिए कहते हैं। आप उन सभी को गिनते हैं, गणित लगाते हैं, और फिर अपना निर्णय देते हैं। यह धीमा और संसाधनों की बर्बादी है। यदि पहली 50 कुकीज़ स्पष्ट रूप से अनुचित हैं, तो भी आपको पूरी ढेरी के बनने का इंतज़ार करना होगा।

नया तरीका (Sequential Auditing): लेखक एक स्मार्ट दृष्टिकोण प्रस्तावित करते हैं। आप एक कुकी मांगते हैं, उसे देखते हैं, फिर दूसरी मांगते हैं। हर कुछ कुकीज़ के बाद, आप एक त्वरित मानसिक जांच करते हैं: "क्या मेरे पास यह कहने के लिए पर्याप्त सबूत हैं कि यह अनुचित है? या क्या मेरे पास यह कहने के लिए पर्याप्त सबूत हैं कि यह निष्पक्ष है? या क्या मुझे सुनिश्चित होने के लिए और कुकीज़ खाने की ज़रूरत है?"

यदि सबूत मजबूत हैं, तो आप तुरंत रुक जाते हैं।
यदि सबूत कमजोर हैं, तो आप जारी रखते हैं।
यह समय और संसाधनों की बचत करता है क्योंकि आपको हमेशा पूरी ढेरी की जांच करने की आवश्यकता नहीं होती है।

2. "सहनशीलता" (Tolerance) का नियम

वास्तविक दुनिया में, पूर्णता (perfection) असंभव है। कानून चॉकलेट चिप्स में शून्य अंतर की मांग नहीं करता; यह त्रुटि की एक छोटी सी गुंजाइश (एक "टॉलरेंस") की अनुमति देता है।

पेपर का ट्विस्ट: लेखकों ने अपने सिस्टम को यह समझने के लिए डिज़ाइन किया है। वे "पूरी तरह से समान" की तलाश नहीं कर रहे हैं। वे "काफी करीब" की तलाश कर रहे हैं। यदि अंतर बहुत कम है, तो सिस्टम रुक जाता है और कहता है, "यह नियमों के अनुरूप है।" यदि यह बहुत अधिक है, तो यह रुक जाता है और कहता है, "यह उल्लंघन है।" यदि यह बिल्कुल बीच में है ("ग्रे एरिया"), तो सिस्टम तब तक और अधिक कुकीज़ मांगता रहता है जब तक कि वह सुनिश्चित न हो जाए, या जब तक उसका समय समाप्त न हो जाए।

3. "दृष्टि" के तीन स्तर

पेपर तीन अलग-अलग तरीकों का परीक्षण करता है जिनसे निरीक्षक को कुकीज़ देखने की अनुमति दी जा सकती है। इसे ऐसे समझें जैसे निरीक्षक की दृष्टि तेज होती जा रही है:

स्तर 1: आँखों पर पट्टी (Decision-Only Access): निरीक्षक केवल अंतिम परिणाम देखता है: "चॉकलेट चिप" या "कोई चॉकलेट चिप नहीं।" यह सबसे कठिन काम है। सुनिश्चित होने के लिए आपको बहुत सारी कुकीज़ खानी पड़ती हैं।
स्तर 2: आवर्धक लेंस (Score Access): निरीक्षक कुकी पर एक "स्कोर" देख सकता है, जैसे 0 से 100 तक का नंबर जो यह दर्शाता है कि उसमें चॉकलेट होने की कितनी संभावना है। यह अधिक सुराग देता है, जिससे निरीक्षक को निर्णय लेने के लिए कम कुकीज़ की आवश्यकता होती है।
स्तर 3: एक्स-रे (Logit Access): निरीक्षक कुकी बनने से पहले उसके कच्चे आटे की आंतरिक संरचना को देखता है। यह सबसे अधिक जानकारीपूर्ण दृश्य है। पेपर ने पाया कि इस "एक्स-रे" दृष्टि के साथ, निरीक्षक अक्सर ब्लाइंडफोल्डेड (आँखों पर पट्टी वाले) दृष्टिकोण की तुलना में बहुत कम कुकीज़ के साथ निष्पक्षता पर निर्णय ले सकता है।

4. पेचीदा हिस्सा: "पॉजिटिव" कुकी फ़िल्टर

पेपर एक विशिष्ट चुनौती को उजागर करता है जो "इक्वल अपॉर्चुनिटी" (Equal Opportunity) नामक निष्पक्षता नियम से जुड़ी है।

सांख्यिकीय समानता (Statistical Parity - SP): आप सभी कुकीज़ की जांच करते हैं।
इक्वल अपॉर्चुनिटी (Equal Opportunity - EO): आपको केवल उन कुकीज़ की जांच करने की अनुमति है जिनमें वास्तव में चॉकलेट चिप्स हैं ("पॉजिटिव" वाली)।
समस्या: यदि केवल 10% कुकीज़ में चॉकलेट चिप्स हैं, तो आपका "ऑडिट पूल" 10 गुना छोटा हो जाता है। यह घास के ढेर में सुई खोजने जैसा है, लेकिन आपको केवल घास के एक छोटे से कप में ही देखने की अनुमति है। पेपर ने पाया कि इस विशिष्ट नियम के लिए ऑडिट करना बहुत कठिन और लंबा है क्योंकि देखने के लिए "पॉजिटिव" कुकीज़ की संख्या बहुत कम है।

5. मुख्य निष्कर्ष (The Big Takeaway)

पेपर निष्कर्ष निकालता है कि:

स्मार्ट तरीके से रुकना समय बचाता है: यदि उत्तर जल्दी स्पष्ट हो जाता है, तो आपको हर एक चीज़ की जांच करने की आवश्यकता नहीं है।
बेहतर दृष्टि मदद करती है, लेकिन हमेशा नहीं: अधिक जानकारी (स्कोर या लॉजिट) होने से ऑडिट तेज़ और सस्ता हो जाता है। हालाँकि, यदि अनुचितता बहुत सूक्ष्म है (कानूनी सीमा के बिल्कुल किनारे पर), तो सबसे अच्छी दृष्टि भी जल्दी स्पष्ट उत्तर नहीं दे पाएगी।
नियम मायने रखता है: कुछ नियमों (जैसे केवल "पॉजिटिव" परिणामों की जांच करना) का ऑडिट करना स्वाभाविक रूप से दूसरों की तुलना में कठिन है क्योंकि उनके पास काम करने के लिए डेटा कम होता है।

संक्षेप में, लेखकों ने एक सांख्यिकीय "स्मार्ट इंस्पेक्टर" बनाया है जो यह जानता है कि सवाल पूछना कब बंद करना है, सब कुछ चेक न करके पैसे बचाता है, और यह भी समझता है कि कभी-कभी, सबसे अच्छे उपकरणों के साथ भी, एक स्पष्ट उत्तर खोजने में लंबा समय लग सकता है।

तकनीकी सारांश: सीमित आउटपुट एक्सेस के साथ अनुक्रमिक निष्पक्षता ऑडिटिंग (Sequential Fairness Auditing)

समस्या का निरूपण
बाहरी ऑडिटर्स को नियामक अनुपालन (जैसे, EU AI Act) के लिए AI सिस्टमों का मूल्यांकन करने का कार्य दिया जाता है, फिर भी उनके पास आमतौर पर मॉडल पैरामीटर्स, प्रशिक्षण डेटा, या आंतरिक दस्तावेज़ों तक पहुँच नहीं होती है। इसके बजाय, उन्हें तैनात सिस्टमों के साथ क्वेरी-आधारित इंटरैक्शन पर निर्भर रहना पड़ता है। मौजूदा निष्पक्षता मूल्यांकन विधियाँ मुख्य रूप से स्थिर डेटासेट और निश्चित-नमूना सांख्यिकीय परीक्षणों को मानती हैं, जो वास्तविक दुनिया के परिदृश्यों के लिए उपयुक्त नहीं हैं जहाँ सख्त क्वेरी बजट के तहत साक्ष्य क्रमवार (sequentially) एकत्र किए जाने चाहिए।

यह कार्य सीमित आउटपुट एक्सेस के तहत निष्पक्षता ऑडिटिंग की चुनौती को संबोधित करता है जहाँ ऑडिटर केवल चयनित इनपुट्स के लिए मॉडल आउटपुट (निर्णय, स्कोर, या लॉजिट्स) देखता है। मुख्य समस्या को टॉलरेंस-अवेयर सीक्वेंशियल हाइपोथीसिस टेस्टिंग (tolerance-aware sequential hypothesis testing) समस्या के रूप में निरूपित किया गया है। पारंपरिक पॉइंट-नल टेस्ट के विपरीत, नियामक संदर्भ में अनुपालन एक टॉलरेंस थ्रेशोल्ड $\delta$ के सापेक्ष परिभाषित होता है। ऑडिटर यह निर्धारित करने का प्रयास करता है कि क्या एक निष्पक्षता मीट्रिक $g(f)$ संतुष्ट करता है $g(f) \le \delta$ (अनुपालन) या $g(f) > \delta$ (उल्लंघन), पर्याप्त सांख्यिकीय समर्थन प्राप्त होने या क्वेरी बजट समाप्त होने तक साक्ष्य संचित करके।

कार्यप्रणाली (Methodology)
लेखक एक सीक्वेंशियल जनरलाइज्ड लाइकलीहुड रेशियो (GLR) फ्रेमवर्क प्रस्तावित करते हैं जिसे सीमित ऑडिट पूल्स और मॉडल एक्सेस के विभिन्न स्तरों के लिए डिज़ाइन किया गया है।

निष्पक्षता मीट्रिक्स और परिकल्पनाएँ (Hypotheses): यह फ्रेमवर्क दो प्राथमिक मीट्रिक्स को लक्षित करता है:
- सांख्यिकीय समानता (Statistical Parity - SP): $|P(f(X)=1|A=a) - P(f(X)=1|A=b)| \le \delta$ ।
- समान अवसर (Equal Opportunity - EO): $|P(f(X)=1|Y=1, A=a) - P(f(X)=1|Y=1, A=b)| \le \delta$ ।
  शून्य परिकल्पना ( $H_0$ ) अनुपालन ( $g(f) \le \delta$ ) का प्रतिनिधित्व करती है, और वैकल्पिक परिकल्पना ( $H_1$ ) उल्लंघन ( $g(f) > \delta$ ) का प्रतिनिधित्व करती है।
एक्सेस रिजीम (Access Regimes): कार्यप्रणाली तीन स्तरों के अवलोकन (observability) के बीच अंतर करती है:
- डिसीजन-ओनली (ब्लैक-बॉक्स): ऑडिटर बाइनरी प्रेडिक्शन $\hat{Y} \in \{0,1\}$ देखता है। लाइकलीहुड मॉडल बर्नौली (Bernoulli) है।
- स्कोर एक्सेस (ग्रे-बॉक्स): ऑडिटर प्रेडिक्शन स्कोर $S(x) \in [0,1]$ देखता है। फ्रेमवर्क इन्हें ग्रुप-कंडीशनल स्कोर मीन्स के लिए एक गॉसियन लाइकलीहुड मॉडल का उपयोग करते हुए प्रॉक्सी ऑडिट के रूप में मानता है।
- लोगिट एक्सेस (व्हाइट-बॉक्स प्रॉक्सी): ऑडिटर प्री-सिग्मॉइड लॉजिट्स $Z(x)$ देखता है। स्कोर की तरह ही, इनका उपयोग गॉसियन लाइकलीहुड मॉडल के साथ प्रॉक्सी ऑडिट के लिए किया जाता है।
अनुक्रमिक प्रक्रिया (Sequential Procedure):
- ऑडिटर एक निश्चित, होल्ड-आउट ऑडिट पूल (या EO के लिए एक फ़िल्टर्ड सब-पूल जहाँ $Y=1$ ) को बिना प्रतिस्थापन (without replacement) के रैंडम क्रम में क्वेरी करता है।
- प्रत्येक चरण $t$ पर, संचित डेटा के आधार पर एक GLR सांख्यिकी $\Lambda_t$ की गणना की जाती है।
- स्टॉपिंग रूल्स (Stopping Rules): ऑडिट तब समाप्त होता है जब $\Lambda_t$ ऊपरी सीमा $u$ (अस्वीकार करें $H_0$ , उल्लंघन का पता चला) या निचली सीमा $\ell$ (स्वीकार करें $H_0$ , अनुपालन प्रमाणित हुआ) को पार कर जाता है। यदि अधिकतम बजट $B$ बिना किसी सीमा को पार किए पहुँच जाता है, तो परिणाम को अनिर्णायक (inconclusive) घोषित किया जाता है।
- सीमाओं को नाममात्र त्रुटि दरों $\alpha=0.05$ और $\beta=0.2$ के लिए वाल्ड-टाइप एप्रोक्सिमेशन ( $u = \log((1-\beta)/\alpha)$ , $\ell = \log(\beta/(1-\alpha))$ ) का उपयोग करके सेट किया जाता है।

प्रमुख योगदान

अनुक्रमिक निरूपण: यह पेपर सीमित एक्सेस के तहत निष्पक्षता ऑडिटिंग को स्पष्ट टॉलरेंस थ्रेशोल्ड के साथ एक अनुक्रमिक सांख्यिकीय निर्णय समस्या के रूप में औपचारिक रूप देता है, जो स्टेटिक बैच मूल्यांकन से आगे जाता है।
GLR प्रोटोकॉल: यह कम्पोजिट निष्पक्षता बाधाओं के लिए परिचालन स्टॉपिंग रूल्स के साथ एक अनुक्रमिक GLR परीक्षण प्रोटोकॉल विकसित करता है, जो निर्णय-आधारित और प्रॉक्सी (स्कोर/लोगिट) दोनों ऑडिट के लिए लागू है।
एक्सेस-अवेयर विश्लेषण: यह कार्य व्यवस्थित रूप से विश्लेषण करता है कि कैसे विभिन्न एक्सेस रिजीम (डिसीजन-ओनली बनाम समृद्ध ऑब्जर्वेबल्स) ऑडिट दक्षता को प्रभावित करते हैं, सटीक निर्णय-आधारित परीक्षणों और प्रॉक्सी ऑडिट के बीच अंतर करते हैं।
अनुभवजन्य अंतर्दृष्टि (Empirical Insights): ACS और Adult डेटासेट पर प्रयोगों के माध्यम से, लेखक अनुक्रमिक ऑडिटिंग में व्यावहारिक घटनाओं की पहचान करते हैं, जिसमें मीट्रिक का चयन (SP बनाम EO) और नियामक थ्रेशोल्ड के पास सांख्यिकीय अस्पष्टता शामिल है।

परिणाम
विभिन्न न्यूरल नेटवर्क मॉडलों (बेस और फेयरनेस-कंस्ट्रेंड) का उपयोग करके बेंचमार्क डेटासेट (ACS और Adult) पर प्रयोग किए गए। मुख्य निष्कर्ष इस प्रकार हैं:

एक्सेस रिजीम का प्रभाव: समृद्ध आउटपुट जानकारी सांख्यिकीय समानता (SP) ऑडिट के लिए आवश्यक क्वेरी की संख्या को काफी कम कर देती है। उदाहरण के लिए, ACS डेटासेट पर, लॉजिट एक्सेस ने डिसीजन-ओनली एक्सेस की तुलना में औसत क्वेरी काउंट को लगभग तीन गुना कम कर दिया। हालांकि, समान अवसर (EO) के लिए, समृद्ध एक्सेस के लाभ समान नहीं हैं।
EO ऑडिट की कठिनाई: EO ऑडिट स्वाभाविक रूप से SP ऑडिट की तुलना में अधिक सैंपल-इंटेंसिव हैं। इसका कारण यह है कि EO एक कंडीशनल सब-पूल ( $Y=1$ ) पर काम करता है, जो छोटा है और जिसमें साक्ष्य संचय के लिए कम अनुकूल समूह संरचना हो सकती है। निकट-थ्रेशोल्ड मामलों में (जैसे, Adult डेटासेट EO), समृद्ध एक्सेस (स्कोर/लोगिट) ने लगातार तेज़ या अधिक निर्णायक ऑडिट नहीं दिए; कई रन उच्च क्वेरी बजट के बावजूद अनिर्णायक रूप से समाप्त हुए।
दक्षता बनाम सटीकता का ट्रेड-ऑफ: अनुक्रमिक ऑडिटिंग निश्चित-नमूना बेसलाइन (जैसे, Adult पर SP के लिए 4000 के मुकाबले केवल ~200 क्वेरी का उपयोग करना) की तुलना में क्वेरी लागत को नाटकीय रूप से कम करती है। हालांकि, इस दक्षता के साथ एक ट्रेड-ऑफ भी है: चुनौतीपूर्ण, निकट-थ्रेशोल्ड परिदृशनों में, अनुक्रमिक ऑडिट पूर्ण बजट का उपयोग करने वाले निश्चित-नमूना परीक्षण की तुलना में अधिक अनिर्णायक परिणाम या कम निर्णय सटीकता दे सकते हैं।
बाउंड्री इफेक्ट्स: नियामक टॉलरेंस $\delta$ के पास फेयरनेस गैप वाले मॉडल अक्सर यथार्थवादी बजट के भीतर अनिर्णायक परिणाम देते हैं, जो इन व्यवस्थाओं में अनुपालन से उल्लंघन को अलग करने की सांख्यिकीय कठिनाई को उजागर करता है।

महत्व और दावे
पेपर का दावा है कि यह अनुक्रमिक निष्पक्षता ऑडिटिंग के लिए एक व्यावहारिक सांख्यिकीय ढांचा प्रदान करता है जो वास्तविक तैनाती की बाधाओं को दर्शाता है जहाँ ऑडिटर्स के पास सीमित एक्सेस होता है। यह प्रदर्शित करता है कि:

निष्पक्षता ऑडिट के परिणाम न केवल मॉडल पर, बल्कि सांख्यिकीय प्रोटोकॉल और ऑडिटर के एक्सेस स्तर पर भी निर्भर करते हैं।
जबकि समृद्ध आउटपुट कुछ मीट्रिक्स (जैसे SP) के लिए ऑडिट दक्षता में काफी सुधार कर सकते हैं, वे सभी मीट्रिक्स (जैसे EO) के लिए तेज़ ऑडिट की गारंटी नहीं देते हैं, विशेष रूप से जब विषमताएं टॉलरेंस थ्रेशोल्ड के करीब हों।
प्रस्तावित फ्रेमवर्क "टॉलरेंस-अवेयर" ऑडिटिंग की अवधारणा को संचालित करता है, यह स्वीकार करता है कि छोटी विषमताएं कानूनी रूप से स्वीकार्य हो सकती हैं, और एक तंत्र प्रदान करता है कि पर्याप्त साक्ष्य एकत्र होने पर डेटा संग्रह को कैसे रोका जाए।

लेखक सीमाओं का उल्लेख करते हैं, जिनमें बाइनरी समूहों और बाइनरी क्लासिफिकेशन पर ध्यान केंद्रित करना, स्कोर/लोगिट एक्सेस के लिए प्रॉक्सी ऑडिट का उपयोग करना (जो हार्ड-डिसीजन बाधाओं के लिए सटीक गारंटी प्रदान नहीं करते हैं), और स्टॉपिंग बाउंड्रीज़ के लिए सटीक परिमित-नमूना अंशांकन के बजाय परिचालन अंशांकन का उपयोग करना शामिल है। वे सुझाव देते हैं कि भविष्य के कार्य मल्टी-ग्रुप सेटिंग्स, एडेप्टिव क्वेरी रणनीतियों और कॉन्फिडेंस सीक्वेंसों का पता लगा सकते हैं।

1. पुराना तरीका बनाम नया तरीका

2. "सहनशीलता" (Tolerance) का नियम

3. "दृष्टि" के तीन स्तर

4. पेचीदा हिस्सा: "पॉजिटिव" कुकी फ़िल्टर

5. मुख्य निष्कर्ष (The Big Takeaway)

इसी तरह के और पेपर