Investigating Counterfactual Unfairness in LLMs towards Identities through Humor

यहाँ शोध पत्र "Investigating Counterfactual Unfairness in LLMs towards Identities through Humor" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वेब-स्केल कॉर्पोरा पर प्रशिक्षित बड़े भाषा मॉडल (LLMs) अक्सर सामाजिक और सांस्कृतिक पूर्वाग्रहों को आत्मसात कर लेते हैं। जबकि पिछले शोध निर्विषय पूर्वाग्रह (जैसे, स्थिर शब्द एम्बेडिंग या अलग वाक्य) पर केंद्रित रहे हैं, यह शोध पत्र तर्क देता है कि संवादात्मक संदर्भ (conversational context) और संबंधात्मक गतिशीलता (relational dynamics) पूर्वाग्रह के महत्वपूर्ण लेकिन उपेक्षित आयाम हैं। विशेष रूप से, हास्य (humor) एक अनूठा प्रोब है क्योंकि यह यह निर्धारित करने के लिए कि क्या "मजेदार" है बनाम "अपमानजनक", अस्पष्टता, सामाजिक संकेतों और शक्ति संरचनाओं (power dynamics) पर निर्भर करता है।

मुख्य समस्या जिसका समाधान किया गया है वह है प्रतितथ्यात्मक अनfairness (counterfactual unfairness): क्या LLMs अलग-अलग आउटपुट (इनकार, इरादे का आरोपण, या प्रभाव का पूर्वानुमान) उत्पन्न करते हैं जब वक्ता और श्रोता की पहचान को आपस में बदल दिया जाता है, भले ही चुटकुले की सामग्री समान रहती है? लेखक यह परिकल्पना करते हैं कि मॉडल निश्चित सामाजिक पदानुक्रमों को कूटबद्ध (encode) करते हैं, जिससे असममित उपचार (asymmetric treatment) होता है जहाँ "विशेषाधिकार प्राप्त" वक्ताओं को वास्तविक इरादे या सामग्री की परवाह किए बिना, "हाशिए पर स्थित" वक्ताओं की तुलना में अधिक कठोरता से आंका जाता है।

2. कार्यप्रणाली (Methodology)

यह अध्ययन एक प्रतितथ्यात्मक निष्पक्षता ढांचे (counterfactual fairness framework) (Kusner et al., 2017) का उपयोग करता है, जो अन्य सभी कारकों (चुटकुले की सामग्री, संदर्भ, प्रॉम्प्ट संरचना) को स्थिर रखते हुए संवेदनशील विशेषताओं (वक्ता/श्रोता की पहचान) को व्यवस्थित रूप से बदलता है। अनुसंधान तीन पूरक कार्यों के इर्द-गिर्द संरचित है:

कार्य 1: वक्ता-लक्ष्य आधारित हास्य सृजन (Speaker-Target Conditioned Humor Generation)

• उद्देश्य: यह मापने के लिए कि चुटकुला कौन सुना रहा है और लक्ष्य कौन है, इनकार की दर (refusal rates) को मापना।
• डेटासेट: 80 अनुरोध टेम्पलेट जो यथार्थवादी परिदृश्यों (सोशल मीडिया, पेशेवर, व्यक्तिगत) को कवर करते हैं, जिनमें सौहार्दपूर्ण और दुर्भावनापूर्ण दोनों इरादे शामिल हैं।
• सेटअप: 10 श्रेणियों (जाति, धर्म, धन, पेशा, आदि) के अंतर्गत 33 पहचानें 121 अद्वितीय वक्ता-लक्ष्य युग्म बनाती हैं।
• मेट्रिक्स:
  • असममित इनकार दर (Asymmetric Refusal Rate - ARR): $|RR(A \to B) - RR(B \to A)|$, जो पहचान दिशाओं को उलटने पर इनकार दरों में अंतर को मापता है।
  • वक्ता प्रभाव (Speaker Effect - SE): यह मापता है कि वक्ता की पहचान निर्दिष्ट करने से केवल लक्ष्य-आधारित बेसलाइन की तुलना में इनकार दरों में कितनी वृद्धि या कमी होती है।
• मूल्यांकन: इनकार (प्रत्यक्ष, सुझाया गया विकल्प, स्पष्ट विकल्प, निहित विकल्प) को वर्गीकृत करने के लिए GPT-4o द्वारा स्वचालित निर्णय (जिसे Llama-3 और मानव समीक्षकों द्वारा सत्यापित किया गया है)।

कार्य 2: वक्ता के इरादे का अनुमान (Speaker Intention Inference)

• उद्देश्य: यह निर्धारित करना कि क्या मॉडल पहचान मार्करों के आधार पर समान चुटकुलों के लिए अलग-अलग दुर्भावनापूर्ण या सौहार्दपूर्ण इरादों का आरोपण करते हैं।
• डेटासेट:
  • पहचान-अज्ञेय (Identity-Agnostic): बिना किसी पहचान मार्कर के 400 चुटकुले।
  • पहचान-विशिष्ट अपमान (Identity-Specific Disparagement): विशिष्ट पहचानों को लक्षित करने वाले 737 चुटकुले, जिन्हें HaHackathon कॉर्पस से क्यूरेट किया गया है।
• सेटअप: चुटकुलों को एक फ्रेम में रखा गया है: "[वक्ता] [श्रोता] से कहता है, 'चुटकुला'"।
• मेट्रिक: अंतर-आधारित पूर्वाग्रह (Difference-based Bias - $B_{diff}$), जो वक्ता/श्रोता भूमिकाओं को बदलने पर अनुमानित इरादे के वैलेंस (दुर्भावनापूर्ण=+1, अनिश्चित=0, सौहार्दपूर्ण=-1) में बदलाव को मात्रात्मक रूप से दर्शाता है।

कार्य 3: संबंधपरक और सामाजिक प्रभाव का पूर्वानुमान (Relational and Societal Impact Prediction)

• उद्देश्य: संबंधों (जैसे, बॉस-अधीनस्थ, मित्र) और प्रतिच्छेदी पहचानों (intersectional identities) के आधार पर श्रोता की प्रतिक्रियाओं का अनुकरण करना और सामाजिक नुकसान का पूर्वानुमान लगाना।
• सेटअप: मॉडल पात्र-निहित (in-character) प्रतिक्रियाएं उत्पन्न करते हैं। इन प्रतिक्रियाओं का फिर एक अलग "जज" मॉडल (GPT-4o) द्वारा तीन मानदंडों पर मूल्यांकन किया जाता है:
  1. हास्य स्वीकृति (Humor Acceptance): चुटकुला कितनी सकारात्मकता से स्वीकार किया गया।
  2. सामाजिक संवेदनशीलता (Social Sensitivity): संभावित पूर्वाग्रह/अपमान के प्रति जागरूकता।
  3. चरित्र निरंतरता (Character Consistency): विशिष्ट पहचान प्रोफाइल के साथ संरेखण।
• चर (Variables): एकल-आयामी पहचान बनाम जटिल प्रतिच्छेदी प्रोफाइल (10 आयाम: लिंग, जाति, धन, आदि) चार संबंधपरक संदर्भों में।

3. प्रमुख योगदान (Key Contributions)

1. संदर्भगत पूर्वाग्रह के लिए नवीन ढांचा: यह स्थिर पूर्वाग्रह का पता लगाने से आगे बढ़कर इस बात का विश्लेषण करता है कि संबंधपरक गतिशीलता (कौन किससे बोलता है) और सामाजिक पदानुक्रम हास्य में मॉडल के व्यवहार को कैसे प्रभावित करते हैं।
2. तीन-कार्य पाइपलाइन: एक व्यापक मूल्यांकन सुइट पेश करता है जिसमें सृजन (इनकार), तर्क (इरादा अनुमान), और प्रभाव पूर्वानुमान (सामाजिक नुकसान) शामिल है, जो यह प्रकट करता है कि पूर्वाग्रह पाइपलाइन में अलग-अलग तरह से प्रकट होता है।
3. प्रतितथ्यात्मक मेट्रिक्स: दिशात्मक पूर्वाग्रह को मापने और "ऊपर की ओर प्रहार" (शक्ति को लक्षित करना) बनाम "नीचे की ओर प्रहार" (कमजोरों को लक्षित करना) के बीच अंतर करने के लिए विशिष्ट मेट्रिक्स (ARR, SE, $B_{diff}$) प्रस्तावित करता है।
4. "अति-सतर्कता" (Over-Caution) का प्रमाण: यह प्रदर्शित करता है कि सुरक्षा संरेखण (safety alignment) अक्सर अति-इनकार (over-refusal) और विशेषाधिकार प्राप्त समूहों की अति-जांच की ओर ले जाता है, जबकि साथ ही हाशिए पर स्थित समूहों को कम-सुरक्षित करता है या उनका रूढ़िबद्ध चित्रण करता है (जैसे, यह मान लेना कि उनका हास्य आत्म-तिरस्कारपूर्ण है)।

4. मुख्य परिणाम (Key Results)

कार्य 1: असममित इनकार पैटर्न (Asymmetric Refusal Patterns)

• विशेषाधिकार पदानुक्रम: मॉडल व्यवस्थित रूप से हाशिए पर स्थित समूहों को लक्षित करने वाले विशेषाधिकार प्राप्त वक्ताओं के चुटकुलों को, इसके विपरीत दिशा की तुलना में काफी अधिक बार अस्वीकार करते हैं।
  • उदाहरण: धनी $\to$ गरीब के चुटकुलों को गरीब $\to$ धनी की तुलना में 67.5% अधिक बार अस्वीकार किया जाता है (Claude में)।
  • उदाहरण: श्वेत $\to$ अश्वेत चुटकुलों को अश्वेत $\to$ श्वेत की तुलना में उच्च इनकार दर का सामना करना पड़ता है।
• इनकार के प्रकार: विशेषाधिकार प्राप्त वक्ताओं को "प्रत्यक्ष इनकार" (श्रेणीगत अस्वीकृति) प्राप्त होता है, जबकि हाशिए पर स्थित वक्ताओं को अक्सर "सुझाए गए विकल्प" मिलते हैं या उन्हें संशोधित सामग्री उत्पन्न करने की अनुमति दी जाती है।
• वक्ता प्रभाव: हाशिए पर स्थित वक्ता (जैसे, "अंधा," "सफाईकर्मी") को निर्दिष्ट करने से अक्सर इनकार की दर कम हो जाती है (नकारात्मक SE), जिसका अर्थ है कि मॉडल मानता है कि वे नुकसान पहुँचाने में कम सक्षम हैं। इसके विपरीत, विशेषाधिकार प्राप्त वक्ता को निर्दिष्ट करने से इनकार की दर बढ़ जाती है (सकारात्मक SE)।

कार्य 2: इरादा आरोपण पूर्वाग्रह (Intent Attribution Bias)

• दुर्भावनापूर्ण आरोपण: समान चुटकुलों को विशेषाधिकार प्राप्त वक्ताओं द्वारा हाशिए पर स्थित श्रोताओं को सुनाए जाने पर काफी अधिक बार दुर्भावनापूर्ण इरादे के रूप में माना जाता है।
  • उदाहरण: स्वस्थ $\to$ दिव्यांग चुटकुलों को विपरीत दिशा की तुलना में लगभग दोगुनी दर से दुर्भावनापूर्ण माना जाता है।
• पहचान द्वारा प्रवर्धन: पूर्वाग्रह तब भी बढ़ता है जब चुटकुला एक तीसरे पक्ष (असंबंधित लक्ष्य) को लक्षित करता है। विशेषाधिकार प्राप्त वक्ता और हाशिए पर स्थित श्रोता की मात्र उपस्थिति अधिक संदेह पैदा करती है, जिससे पता चलता है कि मॉडल सामग्री का विश्लेषण करने के बजाय इरादे के लिए पहचान संकेतों को प्रॉक्सी के रूप में उपयोग करता है।
• रूढ़िवादिता: हाशिए पर स्थित वक्ताओं को अक्सर आत्म-विनाशकारी या संबद्ध (affiliative) इरादे के रूप में देखा जाता है, जो इस रूढ़ि को पुख्ता करता है कि वे हानिरहित या आत्म-तिरस्कारपूर्ण हैं।

कार्य 3: संबंधपरक प्रभाव (Relational Impact)

• विशेषाधिकार पर सख्ती: हाशिए पर स्थित श्रोताओं को संबोधित करने वाले विशेषाधिकार प्राप्त वक्ताओं को कम हास्य स्वीकृति स्कोर (5-पॉइंट स्केल पर 1.5 अंक तक कम) और उच्च सामाजिक संवेदनशीलता स्कोर प्राप्त होता है।
• संदर्भ मॉड्यूलेशन: पेशेवर पदानुक्रम (बॉस $\to$ अधीनस्थ) इन पूर्वाग्रहों को बढ़ा देते हैं, जबकि मित्रता इन्हें कम करती है।
• प्रतिच्छेदन (Intersectionality): "रूढ़िवादी" मॉडल (Claude, DeepSeek, Grok) जटिल प्रतिच्छेदी प्रोफाइल को एक जोखिम गुणक (सख्त निर्णय) के रूप में देखते हैं, जबकि "उदार" मॉडल (GPT-4o, Gemini) जटिलता को सूक्ष्मता (स्वीकृति बनाए रखना या बढ़ाना) के रूप में देखते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

• वर्तमान सुरक्षा संरेखण की आलोचना: यह शोध पत्र तर्क देता है कि वर्तमान सुरक्षा तंत्र वास्तविक संदर्भ-जागरूक तर्क के बजाय जनसांख्यिकीय प्रॉक्सी पर निर्भर करते हैं। विशेषाधिकार प्राप्त वक्ताओं की अत्यधिक निगरानी करके और हाशिए पर स्थित लोगों की कम सुरक्षा करके, मॉडल वास्तविक निष्पक्षता प्राप्त करने में विफल रहते हैं।
• "अति-रूढ़िवाद" (Hyperconservatism) परिकल्पना: मजबूत सुरक्षा संरेखण अनजाने में सूक्ष्म सामाजिक तर्क को दबा सकता है, जिससे मॉडल उन शक्ति संरचनाओं के प्रति स्वतः ही शत्रुतापूर्ण हो जाते हैं जिन्हें वे जोखिम भरा समझते हैं, भले ही सामग्री सौहार्दपूर्ण हो।
• भविष्य की दिशाएँ: लेखक स्थिर, पहचान-ट्रिगर फिल्टर से गतिशील, संदर्भ-जागरूक तर्क की ओर बढ़ने का आह्वान करते हैं। एक निष्पक्ष LLM को चाहिए:
  1. पहचान लेबल पर प्रतिक्रिया करने के बजाय दुर्भावनापूर्ण सामग्री के लिए सुसंगत इनकार मानकों को लागू करना चाहिए।
  2. अस्पष्टता के तहत आत्मविश्वासी, पक्षपाती निर्णय लेने से बचना चाहिए (उपयुक्त होने पर "अनिश्चित" चुनना)।
  3. संपूर्ण संचार प्रक्रिया का मूल्यांकन करना चाहिए, न कि केवल पहचान लेबल पर यांत्रिक रूप से प्रतिक्रिया देनी चाहिए।

यह कार्य इस बात पर प्रकाश डालता है कि LLMs में निष्पक्षता प्राप्त करने के लिए सतही संवेदनशीलता से आगे बढ़कर उन गहरे, संबंधपरक पूर्वाग्रहों को संबोधित करने की आवश्यकता है जो मॉडल के सामाजिक अंतःक्रियाओं के अनुकरण में कूटबद्ध हैं।