🤖 machine learning

Fair and Calibrated Toxicity Detection with Robust Training and Abstention

यह शोध पत्र तर्क देता है कि विषाक्तता का पता लगाने (टॉक्सिसिटी डिटेक्शन) में निष्पक्षता प्राप्त करने के लिए रैंकिंग, अंशांकन (कैलिब्रेशन) और परित्याग (एब्स्टेंशन) को एकीकृत करने वाले एक बहु-अक्षीय ढांचे की आवश्यकता है, जो यह प्रदर्शित करता है कि प्रशिक्षण संबंधी हस्तक्षेप और पोस्ट-हॉक सुरक्षा तंत्र परस्पर निर्भर हैं और वर्तमान विधियाँ अक्सर छिपे हुए उपसमूहों के बीच असमानताओं के लिए समग्र प्रदर्शन से समझौता करती हैं या गलत अंशांकन और पक्षपाती विdeferral (डेफरल) के माध्यम से अनfairness के नए रूप उत्पन्न करती हैं।

मूल लेखक: Mokshit Surana

प्रकाशित 2026-05-15

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mokshit Surana

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही संवेदनशील इमारत के लिए एक सुरक्षा गार्ड रख रहे हैं। इस गार्ड का काम भीड़ में हो रही बातचीत में "विषाक्त" (toxic) व्यवहार (जैसे नफरत भरी बातें) को पहचानना है। हालाँकि, इसमें एक पेंच है: गार्ड की एक बुरी आदत है—वह उन लोगों को भी मुसीबत समझ लेता है जो अपनी पहचान (जैसे उनकी जाति, धर्म या लिंग) का जिक्र करते हैं। भले ही कोई व्यक्ति अपनी पहचान के बारे में तटस्थ या सकारात्मक तरीके से बात कर रहा हो, गार्ड उन्हें खतरनाक मान सकता है।

यह शोध पत्र तीन अलग-अलग प्रशिक्षण विधियों (training methods) पर एक रिपोर्ट कार्ड की तरह है, जो इस सुरक्षा गार्ड का परीक्षण तीन विशिष्ट मानदंडों पर करता है: रैंकिंग (Ranking) (क्या वे बुरे लोगों को पहचान सकते हैं?), कैलिब्रेशन (Calibration) (क्या उन्हें अपनी निश्चितता का पता है?), और एब्स्टेंशन (Abstention) (क्या उन्हें पता है कि कब कहना है "मुझे नहीं पता" और बैकअप के लिए बुलाना है?)।

यहाँ निष्कर्षों का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:

1. तीन प्रशिक्षण विधियाँ (गार्ड्स)

शोधकर्ताओं ने गार्ड को प्रशिक्षित करने के तीन तरीके आजमाए:

"औसत" गार्ड (ERM): इस गार्ड को औसतन परेशानी पहचानने में कुशल होने के लिए प्रशिक्षित किया गया है।
- समस्या: वे भीड़ के समग्र व्यवहार को पहचानने में बहुत अच्छे हैं, लेकिन वे गुप्त रूप से पक्षपाती हैं। जब वे किसी विशिष्ट पहचान (जैसे "श्वेत" या "यहूदी") का उल्लेख करने वाले व्यक्ति को देखते हैं, तो वे अत्यधिक आश्वस्त हो जाते हैं कि यह नफरत भरी भाषा है, भले ही वह न हो। उन्हें लगता है कि वे 90% सुनिश्चित हैं, लेकिन वे वास्तव में गलत होते हैं।
"निष्पक्षता-प्रथम" गार्ड (Reweighted ERM): इस गार्ड को उन समूहों पर विशेष ध्यान देने के लिए प्रशिक्षित किया गया है जिन्हें आमतौर पर अनदेखा कर दिया जाता है।
- परिणाम: वे वास्तविक बुरे लोगों को पकड़ने में बहुत बेहतर हो जाते हैं (रैंकिंग में सुधार होता है)। हालाँकि, वे अपनी स्वयं की निश्चितता के बारे में और अधिक भ्रमित हो जाते हैं। वे निर्दोष लोगों को पहले गार्ड की तुलना में और भी अधिक निश्चितता के साथ "खतरा!" चिल्लाकर बताने लगते हैं। वे रैंकिंग को ठीक करते हैं लेकिन कॉन्फिडेंस मीटर को बिगाड़ देते हैं।
"समूह-सुरक्षात्मक" गार्ड (Group DRO): इस गार्ड को विशेष रूप से इस बात के लिए प्रशिक्षित किया गया है कि वह सबसे कठिन समूह को कभी विफल न करे।
- परिणाम: वे विभिन्न समूहों के लिए अलग-अलग आत्मविश्वास स्तर रखने के बजाय (कैलिब्रेशन "फेयर" है), इतने सतर्क हो जाते हैं कि वे अपनी पूरी निश्चितता खो देते हैं। अब वे न केवल विशिष्ट समूहों के लिए, बल्कि सभी के लिए लगातार गलत होते हैं। उनका कॉन्फिडेंस मीटर पूरे भवन के लिए टूट चुका है।

2. निष्पक्षता के तीन अक्ष (Axes of Fairness)

यह शोध पत्र तर्क देता है कि आप केवल एक चीज़ को नहीं देख सकते; आपको तीनों को एक साथ देखना होगा:

रैंकिंग (The Sorter - छाँटने वाला): क्या गार्ड वास्तव में विषाक्त टिप्पणियों को सूची में सबसे ऊपर रख सकता है?
- निष्कर्ष: "निष्पक्षता-प्रथम" गार्ड सबसे अच्छा सॉर्टर है। "औसत" गार्ड सबसे खराब है।
कैलिब्रेशन (The Confidence Meter - आत्मविश्वास का मीटर): यदि गार्ड कहता है, "मुझे 80% यकीन है कि यह विषाक्त है," तो क्या वे वास्तव में 80% बार सही होते हैं?
- निष्कर्ष: "औसत" गार्ड सामान्य भीड़ के बारे में ईमानदार है लेकिन विशिष्ट पहचान समूहों के बारे में झूठ बोलता है। "समूह-सुरक्षात्मक" गार्ड सभी के बारे में झूठ बोलता है। "निष्पक्षता-प्रथम" गार्ड विशिष्ट समूहों के बारे में सबसे अधिक झूठ बोलता है।
एब्स्टेंशन (The "I Don't Know" Button - "मुझे नहीं पता" बटन): यदि वे सुनिश्चित नहीं हैं, तो उन्हें रुक जाना चाहिए और मानव सहायता मांगनी चाहिए।
- निष्कर्ष: यहीं मामला पेचीदा हो जाता है।
  - "औसत" गार्ड जानता है कि कब रुकना है। यदि वे सुनिश्चित नहीं हैं, तो वे मदद मांगते हैं, और सिस्टम अच्छी तरह से काम करता है।
  - "समूह-सुरक्षात्मक" गार्ड इस सिस्टम को तोड़ देता है। क्योंकि उनकी निश्चितता वास्तविकता से पूरी तरह से अलग है, इसलिए उन्हें "अनिश्चित होने पर रुकने" के लिए कहना काम नहीं करता। वे उन चीजों को भी फ्लैग करते रहते हैं जिन्हें उन्हें नहीं करना चाहिए, भले ही उन्हें अनिश्चित होना चाहिए।
  - बड़ी खामी: यहाँ तक कि सबसे अच्छा "रुकने" वाला बटन भी अनुचित है। यह पृष्ठभूमि की बातचीत के लिए बहुत अच्छा काम करता है, लेकिन पहचान का उल्लेख करने वाले लोगों के लिए यह बुरी तरह विफल हो जाता है। गार्ड निर्दोष पहचान-संबंधी टिप्पणियों को भी "आत्मविश्वास के साथ गलत" के रूप में फ्लैग करता रहता है और उन्हें आगे बढ़ने देने से इनकार कर देता है, भले ही उन्हें मदद मांगनी चाहिए थी।

3. "पोस्ट-हॉक" सुधार (After-Care)

शोधकर्ताओं ने इन गार्डों को प्रशिक्षित करने के बाद उन्हें सुधारने की कोशिश की, जैसे उन्हें एक मैनुअल या नया चश्मा देना:

टेम्परेचर स्केलिंग (चश्मा): उन्होंने गार्ड के आत्मविश्वास के स्तर को अधिक सटीक बनाने के लिए समायोजित करने की कोशिश की।
- परिणाम: यह काम नहीं आया। "औसत" गार्ड को चश्मे की आवश्यकता नहीं थी। "निष्पक्षता-प्रथम" गार्ड का लेंस खराब था जो केवल विशिष्ट समूहों को प्रभावित करता था (चश्मा उस समस्या को ठीक नहीं कर सकता)। "समूह-सुरक्षात्मक" गार्ड का दिमाग ही खराब था (चश्मा उसे ठीक नहीं कर सकता)।
थ्रेशोल्ड ऑप्टिमाइज़ेशन (नया नियम पुस्तिका): उन्होंने अलग-अलग समूहों के लिए "विषाक्त" माने जाने वाले नियमों को बदलने की कोशिश की।
- परिणाम: इससे बहुत कम मदद मिली। समस्या केवल यह नहीं थी कि गार्ड बहुत सख्त था; समस्या यह थी कि वह गलत चीजों के बारे में आत्मविश्वास के साथ सख्त था। नियम बदलने से आत्मविश्वास की समस्या ठीक नहीं हुई।

4. "आत्मविश्वास के साथ गलत" (Confidently Wrong) का जाल

सबसे डरावना निष्कर्ष "आत्मविश्वास के साथ गलत" भविष्यवाणियों के बारे में है।
कल्पना कीजिए कि गार्ड एक टिप्पणी देखता है, जैसे, "श्वेत लोग महान हैं," जो एक अच्छी, तटस्थ वाक्य है।

"औसत" गार्ड कहता है, "यह सुरक्षित है।"
"निष्पक्षता-प्रथम" और "समूह-सुरक्षात्मक" गार्ड पूरी निश्चितता के साथ कहते हैं, "यह 99% विषाक्त है!"

क्योंकि वे इतने आत्मविश्वासी हैं, सिस्टम स्वचालित रूप से इन निर्दोष टिप्पणियों को प्रतिबंधित कर देता है। कोई भी "मुझे नहीं पता" बटन उन्हें बचा नहीं सकता क्योंकि गार्ड को लगता है कि वह सही है। शोध पत्र दिखाता है कि प्रशिक्षण के दौरान गार्ड को "निष्पक्ष" बनाने की कोशिश ने वास्तव में इन खतरनाक, आत्मविश्वासी गलतियों को पैदा कर दिया।

मुख्य निष्कर्ष (The Bottom Line)

कोई भी परफेक्ट गार्ड नहीं है।

यदि आप वास्तविक नफरत भरी बातों को पकड़ने में सर्वश्रेष्ठ चाहते हैं, तो आप "निष्पक्षता-प्रथम" गार्ड चुनते हैं, लेकिन आपको यह स्वीकार करना होगा कि वे विशिष्ट समूहों के बारे में अपनी निश्चितता को लेकर बहुत भ्रमित होंगे।
यदि आप एक ऐसा गार्ड चाहते है जो जानता है कि मदद कब मांगनी है, तो "औसत" गार्ड वास्तव में सबसे सुरक्षित दांव है, भले ही वे कुछ वास्तविक नफरत भरी बातों को मिस कर दें।
"समूह-सुरक्षात्मक" गार्ड "मदद मांगने" वाले सिस्टम को पूरी तरह से तोड़ देता है।

मुख्य सीख: आप केवल बाद में नियमों को बदलकर निष्पक्षता को ठीक नहीं कर सकते। जिस तरह से आप मॉडल को प्रशिक्षित करते हैं, वही तय करता है कि वे किस तरह की गलतियाँ करेंगे। यदि आप एक मॉडल को एक तरीके से "निष्पक्ष" होने के लिए प्रशिक्षित करते हैं, तो यह दूसरे तरीके से खतरनाक रूप से पक्षपाती हो सकता है (जैसे निर्दोष टिप्पणियों के बारे में आत्मविश्वास के साथ गलत होना)। यह शोध पत्र निष्कर्ष निकालता है कि वास्तविक जोखिम को समझने के लिए हमें तीनों चीजों (रैंकिंग, कैलिब्रेशन और एब्स्टेंशन) को एक साथ मापना आवश्यक है।

तकनीकी सारांश: मजबूत प्रशिक्षण और अपवंचन (Abstention) के साथ निष्पक्ष और कैलिब्रेटेड विषाक्तता पहचान

समस्या विवरण

विषाक्तता क्लासिफायर (Toxicity classifiers) अक्सर पहचान उल्लेखों (जैसे, "white," "muslim," "gay") और विषाक्तता लेबल के बीच भ्रामक सहसंबंध (spruious correlations) सीख लेते हैं। क्योंकि घृणास्पद भाषण अक्सर संरक्षित समूहों के उल्लेखों के साथ सह-अस्तित्व में होता है, मॉडल पहचान शब्दों को विषाक्तता के संकेतों के रूप में देखते हैं। इससे व्यवस्थित रूप से 'फॉल्स पॉजिटिव' (false positives) उत्पन्न होते हैं जहाँ इन पहचानों का उल्लेख करने वाली तटस्थ या नस्लवाद-विरोधी सामग्री को असमान रूप से दंडित किया जाता है।

मानक मूल्यांकन आमतौर पर रैंकिंग मेट्रिक्स (जैसे BPSN/BNSP AUC) पर ध्यान केंद्रित करते हैं जबकि कैलिब्रेशन और अपवंचन (abstention) को अलग गुणवत्ता चिंताओं के रूप में देखते हैं। यह शोध पत्र तर्क देता है कि ऐसा पृथक्करण तीन कारणों से भ्रामक है:

कैलिब्रेशन विषमता एक निष्पक्षता उल्लंघन है: यदि विश्वास स्कोर (confidence scores) विभिन्न समूहों के लिए अलग-अलग सटीकता से मेल खाते हैं, तो थ्रेशोल्ड-आधारित निर्णय स्वाभाविक रूप से पक्षपाती होते हैं।
अपवंचन प्रभावकारिता एक निष्पक्षता गुण है: विश्वास-आधारित विdeferral (deferral) केवल एक सुरक्षा तंत्र के रूप में कार्य करता है यदि विश्वास स्तर सभी उप-समूहों में एकरूपता से शुद्धता (correctness) को ट्रैक करता है।
पोस्ट-हॉक निर्भरता: टेम्परेचर स्केलिंग या थ्रेशोल्ड ऑप्टिमाइज़ेशन जैसे हस्तक्षेप तभी सफल या विफल होते हैं जब वे इस बात पर आधारित हों कि अंतर्निहित संभाव्यता वितरण (probability distribution) को प्रशिक्षण पद्धति ने कैसे आकार दिया है।

यह शोध पत्र एक एकीकृत ढांचे का प्रस्ताव करता है जो विषाक्तता क्लासिफायर का तीन अक्षों पर मूल्यांकन करता है: रैंकिंग, कैलिब्रेशन, और अपवंचन।

कार्यप्रणाली

डेटा

यह अध्ययन Civil Comments डेटासेट (Jigsaw) का उपयोग करता है, जिसे 200,000 उदाहरणों तक स्ट्रैटिफाइड और डाउनसैंपल किया गया है। समूहों को टिप्पणी में उल्लेखित पहले पहचान के आधार पर सौंपा गया है। टेस्ट सेट में 18,217 बैकग्राउंड उदाहरण (कोई पहचान उल्लेख नहीं) और पर्याप्त समर्थन वाले आठ पहचान समूह (जैसे white, black, muslim, gay/lesbian, jewish, christian, female, male) शामिल हैं। स्थिर बूटस्ट्रैप अनुमान सुनिश्चित करने के लिए 50 से कम उदाहरणों वाले समूहों को बाहर रखा गया है। ज़ीरो-शॉट ट्रांसफर मूल्यांकन के माध्यम से सामान्यीकरण (generalization) का आकलन करने के लिए HateXplain का उपयोग किया गया है।

प्रशिक्षण विधियाँ

तीन प्रशिक्षण-समय हस्तक्षेपों की तुलना की गई है:

एम्पेरिकल रिस्क मिनिमाइजेशन (ERM): एक बेसलाइन जो डिस्टिलबर्ट-बेस-अनकेस्ड (DistilBERT-base-uncased) पर फाइन-ट्यून की गई है, जो उप-समूह जागरूकता के बिना औसत हानि (average loss) को कम करती है।
रीवेटेड ERM (Reweighted ERM): प्रति-उदाहरण भार (per-example weights) लागू करता है ( $w_i = N / (G \cdot n_{g_i})$ ), जिसे दुर्लभ समूहों को ग्रेडिएंट्स पर हावी होने से रोकने के लिए क्लिप किया गया है।
ग्रुप डिस्ट्रिब्यूशनली रोबस्ट ऑप्टिमाइजेशन (Group DRO): उच्चतम-हानि वाले समूह पर ध्यान केंद्रित करने के लिए एक मिनिमैक्स ऑब्जेक्टिव के माध्यम से अपडेट किए गए एडेप्टिव प्रति-समूह भार का उपयोग करता है।

पोस्ट-हॉक हस्तक्षेप

प्रशिक्षित आउटपुट पर तीन तंत्र लागू किए गए हैं:

टेम्परेचर स्केलिंग (Temperature Scaling): यूनिफॉर्म मिसकैलिब्रेशन को ठीक करने के लिए एक स्केलर $T$ सीखता है।
विश्वास-आधारित अपवंचन (Confidence-based Abstention): आत्मविश्वास ($max(p, 1-p) $) के आधार पर शीर्ष$ c$-फ्रैक्शन भविष्यवाणियों को बनाए रखकर रिस्क-कवरेज कर्व्स की गणना करता है।
प्रति-पहचान थ्रेशोल्ड ऑप्टिमाइजेशन (Per-identity Threshold Optimization): उप-समूहों और बैकग्राउंड के बीच पूर्ण त्रुटि अंतराल को कम करने के लिए ग्रिड सर्च करता है।

मूल्यांकन मेट्रिक्स

ढांचा सभी मेट्रिक्स के लिए युग्मित बूटस्ट्रैप 95% विश्वास अंतराल ( $n=1000$ ) का उपयोग करता है:

रैंकिंग: उप-समूह AUC, BPSN (Benign Positive, Subgroup Negative), और BNSP (Benign Negative, Subgroup Positive)।
कैलिब्रेशन: प्रति उप-समूह अपेक्षित कैलिब्रेशन एरर (ECE) और कैलिब्रेशन-फेयरनेस गैप ( $\Delta ECE = ECE_{subgroup} - ECE_{background}$ )।
टेल व्यवहार (Tail Behavior): उच्च अनुमानित विषाक्तता ( $p > 0.9$ और $p > 0.99$ ) वाले बेनिन (benign) उदाहरणों का प्रतिशत।
अपवंचन: विभिन्न कवरेज स्तरों पर रिस्क-कवरेज कर्व्स और अवशिष्ट त्रुटि अंतराल (residual error gaps)।

मुख्य परिणाम

1. ERM में छिपी हुई कैलिब्रेशन विषमता

जबकि ERM लगभग पूर्ण समग्र कैलिब्रेशन (ECE $\approx$ 0.013) और मजबूत समग्र AUC (0.940) प्राप्त करता है, यह सभी पहचान उप-समूहों में महत्वपूर्ण कैलिब्रेशन विषमता प्रदर्शित करता है।

प्रत्येक पहचान उप-समूह बैकग्राउंड की तुलना में काफी मिसकैलिब्रेटेड है (जैसे, Jewish उप-समूह ECE गैप +0.134; White उप-समूह +0.077)।
मॉडल पहचान-उल्लेख वाली सामग्री पर अत्यधिक आत्मविश्वासी (overconfident) है। एक संरक्षित समूह का उल्लेख करने वाली टिप्पणी पर $p=0.85$ का अनुमान, बैकग्राउंड सामग्री पर $p=0.85$ की तुलना में उतनी सटीक नहीं है।
यह विषमता BPSN जैसे मानक रैंकिंग मेट्रिक्स में अदृश्य रहती है।

2. प्रशिक्षण हस्तक्षेप विषमता को मिटाते नहीं, बल्कि नया रूप देते हैं

निष्पक्षता विधियाँ सभी मुद्दों को एक साथ हल करने के बजाय अक्षों के बीच ट्रेड-ऑफ को बदल देती हैं:

Reweighted ERM: रैंकिंग निष्पक्षता में सुधार करता है (BPSN AUC +0.06 से +0.12 बढ़ता है) लेकिन कैलिब्रेशन-फेयरनेस गैप को काफी खराब कर देता है (उपकी +0.232 तक)। यह एक "बाइमोडल" वितरण बनाता है जहाँ अधिकांश बेनिन पहचान टिप्पणियों को शून्य के करीब स्कोर किया जाता है, लेकिन एक छोटा सा हिस्सा अत्यधिक आत्मविश्वास ( $p > 0.99$ ) की ओर धकेल दिया जाता है।
Group DRO: कैलिब्रेशन विषमता को समाप्त करता है (गैप शून्य को पार कर जाते हैं), लेकिन केवल वैश्विक रूप से समान रूप से मिसकैलिब्रेटेड होकर (ECE बढ़कर 0.118 हो जाता है)। यह आत्मविश्वास को शुद्धता से अलग कर देता है, जिससे अपवंचन के लिए रिस्क-कवरेज कर्व नीचे जाने के बजाय ऊपर उठता है।

3. पोस्ट-हॉक हस्तक्षेप प्रशिक्षण विफलता मोड को विरासत में लेते हैं

टेम्परेचर स्केलिंग: सभी विधियों के लिए विफल रहता है। ERM पहले से ही वैश्विक रूप से कैलिब्रेटेड है; Reweighted ERM में चयनात्मक, उप-समूह-विशिष्ट मिसकैलिब्रेशन है जिसे एक स्केलर ठीक नहीं कर सकता; DRO में आत्मविश्वास और शुद्धता का संरचनात्मक अलगाव है।
थ्रेशोल्ड ऑप्टिमाइजेशन: उस "टेल-हैवी" (tail-heavy) पूर्वाग्रह को ठीक नहीं कर सकता जहाँ बेनिन टिप्पणियों का एक छोटा हिस्सा अत्यधिक विषाक्तता स्कोर असाइन किया जाता है।
अपवंचन (Abstention): बैकग्राउंड सामग्री के लिए ERM के तहत अच्छा काम करता है लेकिन यह अनुचित है। यह पहचान-उल्लेख वाली सामग्री की रक्षा करने में विफल रहता है क्योंकि त्रुटियां "कॉन्फिडेंटली-रॉन्ग" (high confidence, incorrect label) होती हैं न कि अनिश्चित। DRO के तहत, अपवंचन पूरी तरह से टूट जाता है क्योंकि कम-आत्मविश्वास वाली भविष्यवाणियों को टालना गलत भविष्यवाणियों को प्राथमिकता से नहीं टालता है।

4. गुणात्मक विफलता मामले

"White" का उल्लेख करने वाली बेनिन नस्ल-विरोधी या वर्णनात्मक टिप्पणियों को अक्सर ERM और Rewested ERM द्वारा उच्च विषाक्तता स्कोर ( $p > 0.9$ ) दिया जाता है। ये "कॉन्फिडेंटली-रॉन्ग" भविष्यवाणियां आत्मविश्वास फिल्टरों से बच जाती हैं, जो यह समझाता है कि उच्च कवरेज स्तरों पर भी अपवंचन गैप क्यों बने रहते हैं।

योगदान और महत्व

शोध पत्र के चार प्राथमिक योगदान हैं:

बहु-विधि तुलना: ERM, Reweighted ERM और Group DRO का एक कठोर, बूटस्ट्रैप-सत्यापित तुलनात्मक अध्ययन, जिसे पोस्ट-हॉक हस्तक्षेपों के साथ जोड़ा गया है।
कैलिब्रेशन एक निष्पक्षता के रूप में: कैलिब्रेशन-फेयरनेस गैप का परिचय, जो दर्शाता है कि समग्र कैलिब्रेशन गंभीर उप-समूह स्तर के उल्लंघनों को छिपा सकता है।
गैर-प्रभावी ट्रेड-ऑफ (Non-Dominated Trade-offs): प्रशिक्षण विधियों को निष्पक्षता स्थान में विशिष्ट स्थितियों में रखने का लक्षण वर्णन:
- ERM: सबसे खराब रैंकिंग निष्पक्षता, लेकिन सबसे स्वच्छ अपवंचन व्यवहार।
- Reweighted ERM: सबसे अच्छी रैंकिंग निष्पक्षता, लेकिन सबसे खराब कैलिब्रेशन विषमता और "कॉन्फिडेंटली-रॉन्ग" त्रुटियों का परिचय।
- Group DRO: कैलिब्रेशन समानता को ठीक करता है लेकिन अपवंचन उपयोगिता को तोड़ देता है।
पोस्ट-हॉक निर्भरता: यह प्रदर्शन कि सुरक्षा तंत्रों (स्केलिंग, अपवंचन) की प्रभावकारिता प्रशिक्षण विधि के विशिष्ट विफलता मोड द्वारा निर्धारित होती है।

महत्व:
यह शोध पत्र तर्क देता है कि सामाजिक रूप से जिम्मेदार AI (SRAI) निष्पक्षता के लिए एक बहु-अक्षीय ढांचे की आवश्यकता है। विधियाँ जो समग्र रैंकिंग मेट्रिक्स पर समान दिखाई देती हैं, उनके विफलता मोड में गहरा अंतर होता है, जो वास्तविक दुनिया के नुकसान को निर्धारित करते हैं। विशेष रूप से, निष्पक्षता हस्तक्षेप जो रैंकिंग में सुधार करते हैं, अक्सर बेनिन पहचान सामग्री पर "कॉन्फिडेंटली-रॉन्ग" भविष्यवाणियां पेश करते हैं जिन्हें कोई भी पोस्ट-हॉक हस्तक्षेप ठीक नहीं कर सकता है। लेखक निष्कर्ष निकालते हैं कि इस बेंचमार्क पर, Reweighted ERM रैंकिंग निष्पक्षता, कैलिब्रेशन और अपवंचन अनुकूलता के संतुलन के कारण सबसे अधिक बचाव योग्य व्यावहारिक विकल्प है, हालांकि यह अभी भी बेसलाइन ERM में मौजूद नहीं होने वाले नए विफलता मोड पेश करता है।