तकनीकी सारांश: कानूनी लार्ज लैंग्वेज मॉडल्स (LLMs) में लैंगिक पूर्वाग्रह का परिमाणीकरण और शमन

1. समस्या विवरण

यह शोध पत्र कानूनी लार्ज लैंग्वेज मॉडल्स (LLMs) में एल्गोरिद्मिक पूर्वाग्रह के महत्वपूर्ण मुद्दे को संबोधित करता है, जो विशेष रूप से चीन के लेबर कॉन्ट्रैक्ट लॉ (LCL) के अनुच्छेद 87 के तहत गलत बर्खास्तगी मुआवजे (wrongful-dismissal compensation) के संदर्भ में लैंगिक पूर्वाग्रह पर केंद्रित है। सामान्य कानून (common-law) प्रणालियों के विपरीत, जहाँ परिणाम संभाव्य होते हैं (जैसे कि पुनरावृत्ति का जोखिम), यह डोमेन एक अनूठा "स्वच्छ" प्रयोगात्मक परीक्षण स्थल प्रदान करता है: उचित मुआवजा राशि एक सांविधिक सूत्र (statutory formula) द्वारा विशिष्ट रूप से निर्धारित होती है ($मुआवजा = कार्यकाल \times मासिक\ वेतन \times 2$)।

लेखकों का तर्क है कि मौजूदा पूर्वाग्रह अनुसंधान अक्सर एक विशिष्ट विफलता मोड की अनदेखी करता है: प्रतिभास अस्थिरता (counterfactual instability)। जबकि पूर्व कार्य दिशात्मक पूर्वाग्रह (जैसे, व्यवस्थित रूप से एक लिंग का पक्ष लेना) पर ध्यान केंद्रित करते हैं, यह अध्ययन इस बात की जांच करता है कि क्या एक अन्यथा समान प्रॉम्प्ट में एकल-टोकन लिंग प्रतिस्थापन, अनुशंसित मुआवजे की राशि में अप्रत्याशित, केस-विशिष्ट विचलन का कारण बनता है। ऐसी अस्थिरता प्रतिभास निष्पक्षता (counterfactual fairness) (Kusner et al., 2017) का उल्लंघन करती है और प्रक्रियात्मक न्याय को कमजोर करती है, क्योंकि यह "तकनीकी मनमानी" पेश करती है जहाँ कानूनी रूप से अप्रासंगिक गुण (लिंग) अप्रत्याशित रूप से परिणामों को बदल देते हैं।

2. कार्यप्रणाली

2.1 प्रतिभास निष्पक्षता ढांचा (Counterfactual Fairness Framework)

अध्ययन पूर्वाग्रह शिफ्ट दर ($\Delta$) का उपयोग करके लैंगिक पूर्वाग्रह को परिभाषित करता है:
$$\Delta = \frac{R_{male} - R_{female}}{\bar{R}}$$
जहाँ $R_{male}$ और $R_{female}$ क्रमशः वादी के लिंग में भिन्न होने के बावजूद समान परिदृश्यों के लिए अनुशंसित मुआवजे की राशि हैं, और $\bar{R}$ उनका औसत है।

• ग्राउंड ट्रुथ ($R^*$): LCL सूत्र के माध्यम से गणना की गई सांविधिक राशि।
• कानूनी अनुपालन: एक आउटपुट तब अनुपालन योग्य माना जाता है यदि वह $R^*$ के $\pm 10\%$ के भीतर आता है।
• पूर्वाग्रह थ्रेशोल्ड: एक परिदृश्य को तब पक्षपाती माना जाता है यदि $|\Delta| > 0.05$ हो।

2.2 प्रयोगात्मक डिजाइन

• परिदृश्य: 50 प्रतिभास (counterfactual) परिदृश्य युग्मों का निर्माण किया गया, जिसमें कार्यकाल (1-12 वर्ष), वेतन (4k-30k CNY) को बदला गया, और यथार्थवादी शोर (noise) को सिम्युलेट करने के लिए कानूनी रूप से अप्रासंगिक संदर्भ (शिक्षा, पारिवारिक स्थिति) शामिल किए गए।
• मॉडल्स: चार मुख्यधारा के LLMs का उनके आधिकारिक API के माध्यम से मूल्यांकन किया गया:
  • Qwen 3.6 Plus (Alibaba)
  • DeepSeek V4 Flash (DeepSeek)
  • Gemini 3.1 Flash Lite (Google)
  • Claude Sonnet 4.6 (Anthropic)
• अनुमान प्रोटोकॉल (Inference Protocol): 400 नियतात्मक अनुमान ($K=1$, तापमान $= 0$) किए गए। यह डिज़ाइन लिंग टोकन के प्रति नियतात्मक संवेदनशीलता (deterministic sensitivity) को अलग करता है, जिससे सैंपलिंग वेरिएंस बाहर हो जाता है।

2.3 शमन रणनीतियाँ (Remediation Strategies)

दो पूरक रणनीतियाँ प्रस्तावित और परीक्षण की गईं:

1. प्रतिभास सममित अंशांकन (Counterfactual Symmetric Calibration - CSC): क्लोज्ड-सोर्स मॉडल्स के लिए एक पोस्ट-प्रोसेसिंग सुरक्षा जाल। यदि $|\Delta| > 0.05$ है, तो दोनों लिंग-आधारित आउटपुट को सांविधिक मान $R^*$ से बदल दिया जाता है। इसके लिए मॉडल रिट्रेनिंग की आवश्यकता नहीं है।
2. निष्पक्षता-प्रतिबंधित फाइन-ट्यूनिंग (Fairness-Constrained Fine-Tuning - FCFT): ओपन-सोर्स मॉडल्स (Qwen1.5-1.8B-Chat पर परीक्षण किया गया) के लिए एक पैरामीटर-स्तरीय दृष्टिकोण। प्रशिक्षण उद्देश्य मानक भाषा हानि (language loss) को एक निष्पक्षता रेगुलराइज़र के साथ जोड़ता है:
   $$L_{total} = L_{LM} + \lambda \cdot L_{fairness}$$
   जहाँ $L_{fairness}$, लिंग-सशर्त आउटपुट वितरणों के बीच KL डाइवर्जेंस को दंडित करता है। एक एब्लेशन अध्ययन ने चार वेरिएंट्स की तुलना की: बेसलाइन, केवल डेटा अलाइनमेंट, केवल KL लॉस, और पूर्ण FCFT।

3. मुख्य परिणाम

3.1 पूर्वाग्रह का पता लगाना: दिशा के बजाय अस्थिरता

सभी चार मॉडल्स में, अध्ययन ने कोई सांख्यिकीय रूप से महत्वपूर्ण दिशात्मक पूर्वाग्रह नहीं पाया (सभी Wilcoxon $p > 0.28$)। हालांकि, सभी मॉडल्स ने गहन प्रतिभास अस्थिरता प्रदर्शित की:

• DeepSeek V4 Flash: सबसे कम अस्थिरता (औसत $|\Delta| = 0.082$), जिसमें 86% परिदृश्यों में समान सिफारिशें देखी गईं।
• Qwen 3.6 Plus और Claude Sonnet 4.6: उच्चतम अस्थिरता (क्रमशः औसत $|\Delta| = 0.266$ और $0.214$), जिसमें 74% परिदृश्य पूर्वाग्रह दिखाते हैं।
• वितरण: $|\Delta|$ का वितरण हेवी-टेल्ड (heavy-tailed) है। जबकि कुछ मॉडल्स के लिए औसत विचलन शून्य था, कुछ मामलों में बहुत अधिक विचलन देखा गया, जो दर्शाता है कि त्रुटियाँ छिटपुट और अप्रत्याशित हैं न कि एकसमान।

3.2 कानूनी अनुपालन

• DeepSeek ने उच्चतम बेसलाइन कानूनी अनुपालन (78%) प्राप्त किया।
• Claude और Gemini ने लिंग-तटस्थ परिदृश्यों में भी सांविधिक सूत्र से व्यवस्थित नकारात्मक विचलन दिखाया, जिसके परिणामस्वरूप बहुत कम बेसलाइन अनुपालन (क्रमशः 2% और 6%) हुआ।
• निष्कर्ष: उच्च प्रवाह (fluency) और पेशेवर शब्दावली (जैसा कि Claude के आउटपुट में देखा गया) कानूनी सटीकता के साथ सह-संबंधित नहीं है।

3.3 शमन की प्रभावशीलता

• CSC प्रदर्शन: CSC लागू करने से कानूनी अनुपालन में नाटकीय सुधार हुआ:
  • Qwen: +60 प्रतिशत अंक (34% $\to$ 94%)।
  • Claude: +72 प्रतिशत अंक (2% $\to$ 74%)।
  • DeepSeek: +14 प्रतिशत अंक (78% $\to$ 92%)।
  • इस पद्धति ने ट्रिगर किए गए परिदृश्यों में पूर्वाग्रह को सफलतापूर्वक समाप्त कर दिया ($\Delta \to 0$)।
• FCFT एब्लेशन: नैदानिक फाइन-ट्यूनिंग ने खुलासा किया कि सूत्र ज्ञान की कमी, न कि एन्कोडेड लिंग प्राथमिकता, पूर्वाग्रह का प्राथमिक चालक है।
  • वेरिएंट B (केवल डेटा अलाइनमेंट): इसने 97.29% कानूनी सटीकता और सबसे कम $|\Delta|$ (0.0213) प्राप्त किया, जो सिद्ध करता है कि सांविधिक लेबल प्रदान करने से अधिकांश मुद्दे हल हो जाते हैं।
  • वेरिएंट D (पूर्ण FCFT): इसने KL डाइवर्जेंस को और कम किया (0.0010) लेकिन वेरिएंट B की तुलना में सटीकता में मामूली कमी आई, जो सुझाव देता है कि निष्पक्षता रेगुलराइज़र एक स्मूथिंग बाधा के रूप में कार्य करता है।

4. महत्व और दावे

शोध पत्र तीन प्राथमिक योगदानों का दावा करता है:

1. प्रथम बड़े पैमाने पर प्रतिभास ऑडिट: यह एक सिविल-लॉ, फॉर्मूला-निर्धारित सेटिंग में कानूनी LLMs का पहला व्यवस्थित ऑडिट प्रदान करता है, जो प्रतिभास अस्थिरता को दिशात्मक भेदभाव से अलग, प्रमुख पूर्वाग्रह रूप के रूप में वर्णित करता है।
2. शमन पाइपलाइन: यह क्लोज्ड-सोर्स API के लिए कम लागत वाले, उच्च-प्रभाव वाले सुरक्षा जाल के रूप में CSC और ओपन-सोर्स मॉडल्स के लिए नैदानिक उपकरण के रूप में FCFT को प्रमाणित करता है।
3. स्थापत्य अंतर्दृष्टि (Architectural Insight): परिणाम तर्क देते हैं कि कानूनी गणना को भाषा उत्पादन से अलग करना आवश्यक है। चूंकि ग्राउंड ट्रुथ एक नियतात्मक फलन (deterministic function) है, इसलिए गणनात्मक कार्यों को जेनेरेटिव मॉडल्स को सौंपना अनावश्यक विचरण (variance) पैदा करता है। लेखक एक न्यूरो-सिंबोलिक आर्किटेक्चर का प्रस्ताव करते हैं जहाँ सिंबोलिक मॉड्यूल सूत्र निष्पादन को संभालते हैं, और LLMs संदर्भ और स्पष्टीकरण को संभालते हैं।

लेखक इस बात पर जोर देते हैं कि पूर्वाग्रह का यह रूप (असंगति) समूह-स्तर के ऑडिट में अदृश्य होता है और इसे स्केलर समायोजन द्वारा ठीक नहीं किया जा सकता है, जिसके लिए व्यक्तिगत-स्तर के प्रतिभास परीक्षण की आवश्यकता होती है। वे निष्कर्ष निकालते हैं कि फॉर्मूला-निर्धारित कानूनी कार्यों के लिए, नियामक मानकों को प्रतिभास निष्पक्षता ऑडिट और प्रक्रियात्मक न्याय सुनिश्चित करने के लिए सूत्र-निष्पादन मॉड्यूल के एकीकरण को अनिवार्य करना चाहिए।