तकनीकी सारांश: मजबूती और व्यक्तिगत निष्पक्षता पर विक्षोभ प्रभाव (Perturbation Effects on Robustness and Individual Fairness)

समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क (DNNs) उन प्रतिकूल विक्षोभों (adversarial perturbations) के प्रति संवेदनशील होते हैं जो भविष्यवाणी की मजबूती (prediction robustness) और व्यक्तिगत निष्पक्षता (individual fairness) दोनों को कम कर सकते हैं। हालाँकि, मौजूदा मूल्यांकन प्रोटोकॉल आमतौर पर इन आयामों का अलग-अलग आकलन करते हैं। यह अलगाव उन महत्वपूर्ण विफलता मोड (failure modes) को छिपा देता है जहाँ एक मॉडल मजबूत दिख सकता है लेकिन निष्पक्ष नहीं, या निष्पक्ष लेकिन अनमजबूत हो सकता है। विशेष रूप से, एकल-अक्षीय मेट्रिक्स (single-axis metrics) सहवर्ती विफलता शासन (coupled failure regimes) को पहचानने में विफल रहते हैं:

• रोबस्ट बायस्ड (RB - Robust Biased): मॉडल सही रहता है (मजबूत), लेकिन समानार्थक व्यक्तियों के लिए असंगत भविष्यवाणियाँ करता है (अनुचित)।
• अनरोबस्ट फेयर (UF - Unrobust Fair): मॉडल समान व्यक्तियों के लिए सुसंगत भविष्यवाणियाँ करता है (निष्पक्ष), लेकिन दोनों ही गलत होती हैं (अनमजबूत)।
• अनरोबस्ट बायस्ड (UB - Unrobust Biased): मॉडल दोनों ही मामलों में विफल रहता है।

वर्तमान विधियाँ अक्सर ज्यामितीय निकटता (जैसे, कोसाइन समानता) या व्हाइट-बॉक्स ग्रेडिएंट एक्सेस पर निर्भर करती हैं, जो या तो अर्थपूर्ण सत्य स्थितियों (semantic truth conditions) को बनाए रखने में विफल रहती हैं या ब्लैक-बॉक्स API तैनाती में लागू नहीं होती हैं। इसके अलावा, कई निष्पक्षता परीक्षणों में सिमेंटिक ड्रिफ्ट (semantic drift) की अनुमति होती है, जिससे यह अंतर करना असंभव हो जाता है कि यह मॉडल की विफलता है या ग्राउंड ट्रुथ (ground truth) में परिवर्तन।

कार्यप्रणाली (Methodology)

1. औपचारिक परिभाषा: रोबस्ट इंडिविजुअल फेयरनेस (RIF)

लेखक सत्य-सशर्त अर्थविज्ञान (truth-conditional semantics) पर आधारित एक एकीकृत मानदंड के रूप में रोबस्ट इंडिविजुअल फेयरनेस (RIF) का प्रस्ताव करते हैं।

• सिमेंटिक इक्विवेलेंस (Semantic Equivalence): दो इनपुट $v$ और $v'$ को तब अर्थतः समान माना जाता है यदि वे समान सत्य स्थितियाँ साझा करते हैं। शोध पत्र इसे नेचुरल लैंग्वेज इंफरेंस (NLI) मॉडल का उपयोग करके द्विदिश निहितार्थ (bidirectional entailment) के माध्यम से संचालित करता है। एक संपादन (edit) तभी स्वीकार्य है यदि $v \models v'$ और $v' \models v$।
• मानदंड: एक क्लासिफायर $f$, $\epsilon$-RIF को संतुष्ट करता है यदि, प्रत्येक अर्थतः समान प्रतिरूप $v'$ और प्रत्येक स्वीकार्य विक्षोभ $\delta$ के लिए, भविष्यवाणी त्रुटि $\epsilon$ द्वारा सीमित रहती है। इसके लिए मॉडल को न केवल सही (ग्राउंड ट्रुथ से जुड़ा हुआ) और सुसंगत (समान व्यक्तियों के बीच अपरिवर्तनीय) होना आवश्यक है।

2. ढांचा: RIFair

RIF उल्लंघनों को उजागर करने के लिए, लेखक एक ब्लैक-बॉक्स एडवरसेरियल फ्रेमवर्क, RIFair पेश करते हैं।

• डिकपल्ड सब्स्टीट्यूशन स्ट्रैटेजी (Decoupled Substitution Strategy): युग्मित हमलों (coupled attacks) के विपरीत, जो समान जोड़ों पर समान प्रतिस्थापन लागू करते हैं, RIFair जोड़े के प्रत्येक सदस्य के लिए अलग लेकिन अर्थतः समान प्रतिस्थापन लागू करता है (उदाहरण के लिए, एक इनपुट के लिए "talk" $\to$ "discuss" और दूसरे के लिए "talk" $\to$ "chat" करना)। यह विषम सतही-रूप संवेदनशीलता (heterogeneous surface-form sensitivity) के कारण होने वाली विफलताओं को अलग करता है।
• दो-चरणीय पाइपलाइन:
  1. समानता निर्माण (Similarity Construction): संवेदनशील गुणों (जैसे, लिंग, जाति) को मास्क किया जाता है और विकल्पों के साथ बदला जाता है ताकि अर्थतः मेल खाने वाले जोड़े $(v, v')$ बनाए जा सकें, जबकि गैर-संवेदनशील सामग्री समान रहती है।
  2. जेनरेट-फिल्टर विक्षोभ (Generate-Filter Perturbation): एक लार्ज लैंग्वेज मॉडल (LLM) टोकन के लिए उम्मीदवार पैराफ्रेस (paraphrases) उत्पन्न करता है, जिन्हें द्विदिश निहितार्थ (bidirectional entailment) सुनिश्चित करने के लिए एक NLI मॉडल द्वारा फ़िल्टर किया जाता है (अर्थात, अर्थ का संरक्षण)।
• ऑप्टिमाइज़ेशन ऑब्जेक्टिव: RIFair एक संयुक्त ऑब्जेक्टिव फंक्शन को मिनिमाइज करता है जो मजबूती हानि (क्रॉस-एन्ट्रॉपी विद ग्राउंड ट्रुथ) और निष्पक्षता विसंगति (भविष्यवाणियों के बीच की दूरी) को जोड़ता है। $\alpha, \beta$ भार को बदलकर, फ्रेमवर्क विशिष्ट चतुर्थांशों (quadrants) को लक्षित करता है: RB, UF, या UB।
• क्वेरी दक्षता (Query Efficiency): विधि ऑक्लूजन सैलिएंसी (occlusion saliency) का उपयोग करके टोकन को रैंक करती है और केवल चरम उम्मीदवारों (न्यूनतम/अधिकतम कॉन्फिडेंस) की खोज करती है ताकि मॉडल क्वेरी को कम किया जा सके, जिससे यह ब्लैक-बॉक्स सेटिंग्स के लिए उपयुक्त बनता है।

मुख्य योगदान (Key Contributions)

1. एकीकृत मानदंड (RIF): अर्थ-संरक्षण विक्षोभों के तहत मजबूती और व्यक्तिगत निष्पक्षता की संयुक्त आवश्यकता को औपचारिक रूप देता है, जो मौजूदा एकल-अक्षीय मेट्रिक्स के मिसअलाइनमेंट को संबोधित करता है।
2. सिमेंटिक कठोरता (Semantic Rigor): द्विदिश निहितार्थ के माध्यम से औपचारिक अर्थविज्ञान में विक्षोभों को स्थापित करता है, यह सुनिश्चित करता है कि उत्पन्न एडवरसेरियल इंस्टेंस मूल सत्य स्थितियों को संरक्षित करते हैं, जो केवल ज्यामितीय निकटता (cosine) पर निर्भर विधियों के विपरीत है।
3. ब्लैक-बॉक्स फ्रेमवर्क (RIFair): एक डिकपल्ड सब्स्टीट्यूशन स्ट्रैटेजी प्रस्तावित करता है जो प्रभावी रूप से उन छिपे हुए भेद्यताओं (RB और UF) को उजागर करता है जिन्हें युग्मित हमले मिस कर देते हैं।
4. अनुभवजन्य साक्ष्य (Empirical Evidence): यह प्रदर्शित करता है कि केवल मजबूती-आधारित और केवल निष्पक्षता-आधारित मेट्रिक्स अक्सर बहु-आयामी एडवरसेरियल विफलताओं का पता लगाने में विफल रहते हैं, जो संयुक्त मूल्यांकन के लिए एक मामला प्रस्तुत करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

विभिन्न ट्रांसफॉर्मर आर्किटेक्चर (BERT, RoBERTa, DistilBERT, DeBERTa-v3) पर विविध टेक्स्ट डेटासेट्स (Bias in Bios, Jigsaw, SST-2) और एक वर्बलाइज्ड टैबुलर डेटासेट (Census Income) पर प्रयोग किए गए।

• मेट्रिक्स का मिसअलाइनमेंट: तालिका 3 दिखाती है कि मूल्यांकन अक्ष के आधार पर मॉडल रैंकिंग काफी भिन्न होती है। उदाहरण के लिए, DistilBERT मजबूती ($R$) में उच्चतम रहा, BERT निष्पक्षता ($F$) में, लेकिन DeBERTa-v3 ने सबसे मजबूत संयुक्त प्रतिरोध ($RIF$) प्राप्त किया।
• छिपी हुई विफलताओं का पता लगाना: RIFair ने उन विफलता मोडों की पहचान की जिन्हें एकल-अक्षीय मेट्रिक्स नहीं देख पाए।
  • मजबूती ($R$) RB परिदृश्यों (जहाँ भविष्यवाणियाँ स्थिर लेकिन पक्षपाती होती हैं) के प्रति असंवेदनशील थी।
  • निष्पक्षता ($F$) UF परिदृश्यों के प्रति असंवेदनशील थी (जहाँ भविष्यवाणियाँ एक साथ विचलित होती हैं, निरंतरता बनाए रखती हैं लेकिन सटीकता खो देती हैं)।
  • RIF ने सभी विफलता मोडों (RB, UF, UB) में लगातार संवेदनशील सिग्नल प्रदान किया।
• सिमेंटिक संरक्षण: एब्लेशन अध्ययनों ने पुष्टि की कि एनटीएल-आधारित बाधाएं ज्यामितीय (कोसाइन) बाधाओं की तुलना में काफी उच्च अर्थ समानता स्कोर ($S_{eq} \approx 0.97$) और मानव-संरेखित जज स्कोर प्रदान करती हैं, जो अक्सर सिमेंटिक ड्रिफ्ट ($S_{eq} \approx 0.33$) का कारण बनती हैं।
• डिकपलिंग प्रभावकारिता: डिकपल्ड स्ट्रैटेजी को युग्मित हमलों की तुलना में RB उल्लंघनों को उजागर करने में $2.3\times$ अधिक प्रभावी और UB उल्लंघनों को उजागर करने में $3.0\times$ अधिक प्रभावी पाया गया।
• रक्षा (Defense): RIFair-जेनरेटेड इंस्टेंस का उपयोग करके एडवरसेरियल रिट्रेनिंग ने सभी श्रेणियों में विफलता दर को काफी कम कर दिया (जैसे, UB विफलता दर को $\approx 16\%$ कम करना)।

महत्व और दावे (Significance and Claims)

शोध पत्र तर्क देता है कि मजबूती और निष्पक्षता स्वतंत्र गुण नहीं हैं और केवल उन्हें अलग-अलग मूल्यांकन करने से मॉडल की विश्वसनीयता का अधूरा और संभावित रूप से भ्रामक आकलन होता है।

• संयुक्त मूल्यांकन की आवश्यकता: लेखक दावा करते हैं कि RIF विश्वसनीय मॉडल मूल्यांकन के लिए एक आवश्यक मानदंड है, विशेष रूप से उच्च-जोखिम वाले अनुप्रयोगों (जैसे, विषाक्त सामग्री की पहचान, भावना विश्लेषण, आय भविष्यवाणी) में जहाँ विश्वसनीयता और समानता दोनों आवश्यक हैं।
• सीमाएँ: वे विनम्रतापूर्वक स्वीकार करते हैं कि अर्थ समानता के लिए NLI मॉडल पर उनकी निर्भरता एक प्रॉक्सी है जो पूर्वाग्रहों को एनकोड कर सकती है या दुर्लभ संस्थाओं और लंबे संदर्भों के साथ संघर्ष कर सकती है। वे सुझाव देते हैं कि भविष्य के कार्यों में मानव-इन-द-लूप ओवरसाइट और बेहतर मास्किंग फंक्शन शामिल होने चाहिए।
• मुख्य अंतर्दृष्टि: प्राथमिक योगदान यह प्रदर्शन करना है कि मॉडल "संयुक्त विफलताओं" (compound failures) को प्रदर्शित कर सकते हैं जिन्हें एकल-अक्षीय मेट्रिक्स नहीं पकड़ पाते हैं, जिसके लिए RIF और RIFair जैसा एकीकृत ढांचा आवश्यक है।