💬 NLP

A Heuristic Perspective on Debiasing Language Models

यह शोध पत्र HEIMAT को प्रस्तुत करता है, जो एक ह्यूरिस्टिक-आधारित स्वचालित डिबायसिंग फ्रेमवर्क है जो सांस्कृतिक पूर्वाग्रहों को प्रभावी ढंग से कम करने के लिए टेम्पलेट-संचालित बायस डिस्क्लोजर को डाइवर्जेंस-मिनिमाइजिंग फाइन-ट्यूनिंग के साथ जोड़ता है और उनकी प्राकृतिक भाषा समझ की क्षमताओं को बनाए रखते हुए, मौजूदा महंगी विधियों के एक स्केलेबल विकल्प के रूप में कार्य करता है।

मूल लेखक: Tian Lan, Yemin Wang, Chuancheng Shi, Xiangyu Wu, Zesheng Shi, Yuan Wang, Jiang Li, Guanglai Gao, Xiangdong Su

प्रकाशित 2026-08-04

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tian Lan, Yemin Wang, Chuancheng Shi, Xiangyu Wu, Zesheng Shi, Yuan Wang, Jiang Li, Guanglai Gao, Xiangdong Su

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट बनाया है जो इंटरनेट पर मौजूद लगभग हर किताब, वेबसाइट और फोरम को पढ़कर इंसानों के बात करने के तरीके को सीखता है। यह भाषा मॉडल (Language Model) एक प्रतिभाशाली छात्र की तरह है जिसने पूरी लाइब्रेरी पढ़ ली है, लेकिन अभी तक उसने उन गंदे, अनुचित या रूढ़िवादी विचारों को छानना नहीं सीखा है जो उसे उन किताबों में मिले थे। यदि आप इस रोबोट से पूछते हैं, "एक नर्स कैसी दिखती है?" तो यह "एक महिला" का अनुमान लगा सकता है क्योंकि इसने अपने प्रशिक्षण डेटा में इस पैटर्न को लाखों बार देखा है, भले ही पुरुष भी नर्स हो सकते हैं। ऐसा इसलिए नहीं है कि रोबोट "बुरा" है, बल्कि इसलिए क्योंकि इसने एक ऐसी दुनिया से सीखा है जो मानवीय पूर्वाग्रहों (biases) से भरी हुई है। वैज्ञानिक इसे ठीक करने की कोशिश कर रहे हैं ताकि रोबोट सभी के साथ निष्पक्ष व्यवहार करे, लेकिन वर्तमान में अधिकांश समाधान एक विशाल दाग को नन्ही टूथब्रश से साफ करने की कोशिश करने जैसा है: वे बहुत समय लेते हैं, बहुत महंगे हैं, या केवल एक विशिष्ट प्रकार के दाग पर काम करते हैं।

यहीं पर एक नया अध्ययन आता है, जो इन रोबोट्स को साफ करने का एक चतुर और हल्का तरीका प्रस्तावित करता है। शोधकर्ता, जिनका नेतृत्व टियान लैन और उनके सहयोगियों ने किया है, एक विधि पेश करते हैं जिसे HEIMAT कहा जाता है। HEIMAT को एक भारी-भरकम क्लीनर के रूप में नहीं, बल्कि एक "पूर्वाग्रह जासूस" (bias detective) के रूप में सोचें जो कुछ सरल, स्मार्ट ट्रिक्स का उपयोग करता है ताकि यह पता लगाया जा सके कि रोबोट क्या सोच रहा है, और फिर उसे अपना विचार बदलने के लिए धीरे से प्रेरित करता है। एक विशाल, पहले से बनी हुई "सही" और "गलत" उत्तरों की सूची की आवश्यकता के बिना (जिसे हर संस्कृति के लिए बनाना कठिन है), HEIMAT रोबोट से कुछ पेचीदा सवाल पूछता है जिससे उसके छिपे हुए धारणाओं का पता चलता है, और फिर उसे अधिक संतुलित होना सिखाता है। टीम ने इसे कई अलग-अलग रोबोटों पर परखा और पाया कि इसने लिंग और नस्ल के बारे में अनुचित अनुमानों को सफलतापूर्वक कम किया, जबकि इसने रोबोट को भाषा समझने का अपना काम पहले की तरह ही अच्छी तरह से करने दिया।

समस्या: रोबोट की "आंतरिक लाइब्रेरी"

भाषा मॉडल इंटरनेट से प्राप्त विशाल टेक्स्ट के ढेर पर प्रशिक्षित होते हैं। चूंकि मानव लेखन में अक्सर रूढ़ियाँ (जैसे "महिलाएं नर्स हैं" या "पुरुष डॉक्टर हैं") होती हैं, इसलिए रोबोट इन पैटर्न को सोख लेता है। जब आप इसे एक खाली स्थान भरने के लिए कहते हैं, जैसे "The [MASK] is a doctor," तो यह "he" का अनुमान अधिक बार लगा सकता है बजाय "she" के, केवल इसलिए क्योंकि उसने अपने प्रशिक्षण डेटा में इसे सबसे अधिक बार देखा था। इससे वास्तविक दुनिया में नुकसान हो सकता है, जैसे कि इस बारे में गलत धारणाओं को पुख्ता करना कि कौन क्या काम कर सकता है।

पुराना तरीका बनाम नया तरीका

पहले, वैज्ञानिकों ने इस समस्या को दो मुख्य तरीकों से ठीक करने की कोशिश की थी:

"सब कुछ फिर से लिखने" वाला तरीका: वे रोबोट को पुन: प्रशिक्षित करने के लिए हजारों नए, पूरी तरह से संतुलित वाक्यों को मैन्युअल रूप से बनाते थे। यह एक बच्चे को हर विषय के लिए एक नई पाठ्यपुस्तक लिखकर निष्पक्ष होने के लिए सिखाने जैसा है। यह महंगा है, धीमा है, और दुनिया की हर भाषा के लिए ऐसा करना कठिन है।
"मैथी प्रोजेक्शन" वाला तरीका: उन्होंने रोबोट की आंतरिक स्मृति से पूर्वाग्रह को मिटाने के लिए जटिल गणित का उपयोग करने का प्रयास किया। यह अक्सर सरल समस्याओं के लिए काम करता है, लेकिन जब पूर्वाग्रह गहरा और जटिल होता है, तो यह उलझ जाता है।

इस शोध पत्र के लेखक तर्क देते हैं कि ये विधियाँ बहुत कठोर और महंगी हैं। वे पूछते हैं: क्या हम रोबोट को बिना किसी विशाल, पूर्व-लिखित नियम पुस्तिका की आवश्यकता के, अपने स्वयं के पूर्वाग्रह को पहचानने और उसे ठीक करने के योग्य बना सकते हैं?

HEIMAT कैसे काम करता है: जासूस और दर्पण

शोधकर्ताओं ने HEIMAT (एक HEurIstic-style autoMATic framework) को दो मजेदार, सरल चरणों में काम करने के लिए डिज़ाइन किया है।

चरण 1: "पूर्वाग्रह का खुलासा" (जासूस)
सबसे पहले, HEIMAT एक जासूस की तरह काम करता है। यह रोबोट से ऐसे सवाल पूछने के लिए कुछ सरल, पूर्व-लिखित टेम्पलेट्स का उपयोग करता है जो एक पक्षपाती उत्तर को ट्रिगर कर सकते हैं।

उदाहरण: "यह युवती अक्सर अस्पताल में दिखाई देती है, और उसका काम एक [MASK] के रूप में है।"
यदि रोबोट "डॉक्टर" की तुलना में "नर्स" का अनुमान बहुत अधिक लगाता है, तो HEIMAT को पता चल जाता है, "आहा! यह रोबोट सोचता है कि महिलाओं का काम नर्सिंग भूमिकाओं में है।"
यह सुनिश्चित करने के लिए कि वे सभी पूर्वाग्रहों को पकड़ लें, सिस्टम फिर रोबोट से अन्य संबंधित शब्द (जैसे "हिस्पैनिक," "एशियाई," "लैटिनक्स") सूचीबद्ध करने के लिए कहता है और एक "प्रतिस्थापन सूची" (substitution list) बनाता है। यह एक जासूस द्वारा संदिग्धों की एक लाइनअप इकट्ठा करने जैसा है ताकि यह देखा जा सके कि रोबोट किसके साथ अलग व्यवहार करता है।

चरण 2: "दर्पण सुधार" (शिक्षक)
एक बार जब पूर्वाग्रह उजागर हो जाता है, तो HEIMAT लगभग एक जैसे वाक्यों का एक सेट बनाता है जो केवल जनसांख्यिकीय शब्द (जैसे, "यह महिला डॉक्टर के रूप में काम करती है" बनाम "यह पुरुष डॉक्टर के रूप में काम करता है") द्वारा भिन्न होते हैं।

फिर रोबोट को इन सभी वाक्यों के लिए अगला शब्द अनुमान लगाने के लिए कहा जाता है।
यदि रोबोट पक्षपाती है, तो वह "महिला" वाले वाक्य के लिए "पुरुष" वाले वाक्य की तुलना में बहुत अलग उत्तर देगा।
HEIMAT जेन्सन-शैनन डायवर्जेंस (Jensen-Shannon Divergence) नामक एक गणितीय उपकरण का उपयोग करता है (इसे "निष्पक्षता मीटर" समझें) यह मापने के लिए कि उनके उत्तर कितने अलग हैं।
सिस्टम फिर रोबोट को धीरे से "फाइन-ट्यून" करता है, उसे तब तक प्रेरित करता है जब तक कि "महिला" और "पुरुष" के लिए उसके उत्तर लगभग समान न हो जाएं। यह एक दर्पण दिखाने जैसा है और कहने जैसा है, "हे, तुम इन दोनों के साथ बिना किसी ठोस कारण के अलग व्यवहार कर रहे हो। चलो इसे ठीक करते हैं।"

उन्हें क्या मिला

टीम ने BERT, ALBERT, TinyBERT, LLaMA-2, और GPT-2 सहित कई अलग-अलग रोबोटों पर HEIMAT का परीक्षण किया। उन्होंने फ्रांसीसी संस्कृतियों में इसके काम करने की जांच करने के लिए फ्रांसीसी मॉडल जैसे CamemBERT और FrALBERT का भी परीक्षण किया।

परिणाम: शोध पत्र रिपोर्ट करता है कि HEIMAT ने लगातार पूर्वाग्रह स्कोर को कम किया। उदाहरण के लिए, CrowS-Pairs बेंचमार्क (रूढ़ियों के लिए एक परीक्षण) पर, मूल BERT मॉडल का लिंग पूर्वाग्रह स्कोर 58.01 था। HEIMAT का उपयोग करने के बाद, यह स्कोर गिरकर 50.00 हो गया (जहाँ 50 एक आदर्श, निष्पक्ष स्कोर है)। नस्ल के पूर्वाग्रह के लिए, यह 58.12 से गिरकर 47.48 हो गया।
क्रॉस-कल्चर सफलता: यह फ्रांसीसी मॉडलों पर भी उतना ही प्रभावी रहा, जिसने CamemBERT के समग्र पूर्वाग्रह स्कोर को 57.36 से घटाकर 50.69 कर दिया।
कोई "दिमागी क्षति" नहीं: एक बड़ी चिंता यह थी कि पूर्वाग्रह को ठीक करने से रोबोट "बेवकूफ" हो सकता है। शोधकर्ताओं ने मानक भाषा परीक्षणों (जैसे अंग्रेजी के लिए GLUE और फ्रेंच के लिए FLUE) का उपयोग करके इसकी जांच की। उन्होंने पाया कि डिबायस्ड (पूर्वाग्रह मुक्त) मॉडल मूल मॉडलों के लगभग समान प्रदर्शन करते हैं। उदाहरण के लिए, BERT का GLUE टेस्ट पर औसत स्कोर 79.09 (मूल 79.24 की तुलना में) बना रहा, जो साबित करता है कि रोबोट ने भाषा समझने की अपनी क्षमता नहीं खोई।

बड़ी तस्वीर

लेखक सुझाव देते हैं कि HEIMAT एआई (AI) को साफ करने का एक लचीला, कम लागत वाला तरीका है। हर नई संस्कृति या भाषा के लिए एक विशाल, महंगे डेटासेट की आवश्यकता के बजाय, आपको बस कुछ सरल टेम्पलेट्स और रोबोट से उसके अपने उत्तरों पर विचार करने के तरीके की आवश्यकता है। यह अध्ययन दिखाता है कि केवल रोबोट से विभिन्न समूहों के प्रति सुसंगत रहने के लिए कहकर, आप उसके मस्तिष्क को नुकसान पहुँचाए बिना उसके कई अनुचित पूर्वाग्रहों को धो सकते हैं।

हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह कोई जादुई छड़ी नहीं है जो सब कुछ हल कर दे। वे स्वीकार करते हैं कि कुछ जुड़ाव (जैसे "ईसाइयों को चर्च जाना चाहिए") केवल सामान्य ज्ञान हैं और अनिवार्य रूप से हानिकारक पूर्वाग्रह नहीं हैं, और "हानिकारक पूर्वाग्रह" और "सांस्कृतिक तथ्य" के बीच अंतर करना अभी भी भविष्य के लिए एक कठिन समस्या है। लेकिन फिलहाल, HEIMAT हमारे AI दोस्तों को थोड़ा अधिक निष्पक्ष बनाने का एक आशाजनक, मनोरंजक और प्रभावी तरीका प्रदान करता है।

तकनीकी सारांश: HEIMAT – भाषा मॉडलों के पूर्वाग्रह निवारण पर एक ह्यूरिस्टिक परिप्रेक्ष्य

समस्या विवरण

भाषा मॉडल (LMs), जिनमें प्री-ट्रेन्ड लैंग्वेज मॉडल्स (PLMs) और लार्ज लैंग्वेज मॉडल्स (LLMs) शामिल हैं, प्री-ट्रेनिंग के दौरान अनिवार्य रूप से सामाजिक पूर्वाग्रहों को आत्मसात कर लेते हैं। ऐसा इसलिए होता है क्योंकि उनके प्रशिक्षण डेटा का स्वरूप ऑनलाइन समुदायों से लिया गया है, जो वास्तविक दुनिया की असमानताओं को दर्शाते हैं। ये पूर्वाग्रह डाउनस्ट्रीम कार्यों में प्रकट होते हैं, जैसे कि विशिष्ट जनसांख्यिकी (जैसे, लिंग, जाति) को विशेष व्यवसायों या आख्यानों के साथ जोड़ना, जिससे हानिकारक रूढ़िवादिता को बल मिल सकता है और सामाजिक क्षति हो सकती है।

मौजूदा पूर्वाग्रह निवारण (debiasing) विधियों को महत्वपूर्ण सीमाओं का सामना करना पड़ता है:

उच्च लागत: काउंटरफैक्चुअल डेटा ऑग्मेंटेशन या रिप्रजेंटेशन प्रोजेक्शन पर निर्भर रणनीतियाँ कम्प्यूटेशनल रूप से महंगी हैं और उन्हें स्केल करना कठिन है।
मैनुअल एनोटेशन पर निर्भरता: कई दृष्टिकोणों के लिए मैन्युअल रूप से क्यूरेट किए गए डेटासेट या निश्चित प्राथमिकता डेटासेट की आवश्यकता होती है, जिन्हें तैयार करना महंगा है और विभिन्न भाषाओं, संस्कृतियों और पूर्वाग्रह श्रेणियों में सामान्यीकृत करना कठिन है।
सामान्यीकरण की कमी: वर्तमान विधियाँ अक्सर सांस्कृतिक सार्वभौमिकता मान लेती हैं या मुख्य रूप से अंग्रेजी पर ध्यान केंद्रित करती हैं, जिससे वे क्रॉस-कल्चरल पूर्वाग्रह की बारीकियों को संबोधित करने में विफल रहती हैं। वे अक्सर "एक ही आकार सबके लिए" (one-size-fits-all) वाले दृष्टिकोण पर निर्भर करती हैं जो विभिन्न मॉडलों की विशिष्ट पूर्वाग्रह प्रवृत्तियों को ध्यान में नहीं रखती हैं।

इस कार्य द्वारा संबोधित मुख्य चुनौती है: हम बाहरी कॉर्पोरा या निश्चित प्राथमिकता डेटासेट पर निर्भर हुए बिना विभिन्न भाषाओं और संस्कृतियों में भाषा मॉडलों के पूर्वाग्रह कैसे दूर कर सकते हैं?

कार्यप्रणाली: HEIMAT फ्रेमवर्क

लेखक HEIMAT (HEurIstic-style autoMATic debiasing) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे बाहरी कॉर्पोरा और मैनुअल लेक्सिकॉन (शब्दकोश) से स्वतंत्र रूप से संचालित करने के लिए डिज़ाइन किया गया है। इसमें दो प्राथमिक चरण शामिल हैं: बायस डिस्क्लोजर (पूर्वाग्रह प्रकटीकरण) और डिबायसिंग फाइन-ट्यूनिंग (पूर्वाग्रह निवारण फाइन-ट्यूनिंग)।

1. बायस डिस्क्लोजर (पूर्वाग्रह प्रकटीकरण)

इस चरण का उद्देश्य मॉडल के अंतर्निहित पूर्वाग्रहों को स्पष्ट रूप से प्रकट करना और न्यूनतम विरोधाभासी संदर्भ प्रॉम्प्ट्स (context prompts) का एक सेट बनाना है।

ह्यूरिस्टिक प्रॉम्प्ट्स (Heuristic Prompts): फ्रेमवर्क ह्यूरिस्टिक प्रॉम्प्ट्स उत्पन्न करने के लिए छह पूर्व-निर्धारित टेम्पलेट्स का उपयोग करता है। ये प्रॉम्प्ट्स तीन घटकों को जोड़ते हैं:
- टारगेट वर्ड ( $W_t$ ): सामाजिक इकाई (जैसे, "युवा महिला")।
- फीचर वर्ड ( $W_f$ ): प्रासंगिक गुण (जैसे, "अस्पताल में दिखाई देती है")।
- बायस टाइप वर्ड ( $W_b$ ): रुचि की श्रेणी (जैसे, "नौकरी")।
- उदाहरण: "यह युवा महिला अक्सर एक अस्पताल में दिखाई देती है, और उसकी नौकरी एक [MASK] के रूप में है।"
एसोसिएशन प्रॉम्प्ट्स और सब्स्टीट्यूशन लिस्ट: जनसांख्यिकीय कवरेज बढ़ाने के लिए, मॉडल को अपने प्रारंभिक अनुमानों के आधार पर संबंधित जनसांख्यिकीय शब्दों को उत्पन्न करने के लिए प्रॉम्प्ट किया जाता है। यह एक सब्स्टीट्यूशन लिस्ट ( $S_L$ ) बनाता है जिसमें संबंधित शब्दों के समूह होते हैं (जैसे, "एशियाई," "हिस्पैनिक," "लैटिनक्स")।
कॉन्टेक्स्ट प्रॉम्प्ट सेट (CPS): सब्स्टीट्यूशन लिस्ट का उपयोग करके, फ्रेमवर्क कॉन्टेक्स्ट प्रॉम्प्ट्स का एक सेट बनाता है जहाँ जनसांख्यिकीय विशेषता को बदला जाता है जबकि सिमेंटिक संदर्भ (semantic context) समान रहता है। ऑटोरेग्रेसिव मॉडलों के लिए, वाक्य संरचनाओं को पुनर्व्यवस्थित किया जाता है ताकि यह सुनिश्चित हो सके कि मॉडल अगले टोकन की भविष्यवाणी करने से पहले जनसांख्यिकीय विशेषता पर आधारित (condition) हो।

2. डिबायसिंग फाइन-ट्यूनिंग (पूर्वाग्रह निवारण फाइन-ट्यूनिंग)

मॉडल को निर्मित कॉन्टेक्स्ट प्रॉम्प्ट सेट (CPS) में इसके अनुमानों के बीच विसंगति को कम करने के लिए फाइन-ट्यून किया जाता है।

उद्देश्य: लक्ष्य यह सुनिश्चित करना है कि मॉडल उन प्रॉम्प्ट्स के लिए सुसंगत भविष्यवाणी वितरण (prediction distributions) उत्पन्न करे जो केवल जनसांख्यिकीय विशेषताओं में भिन्न होते हैं, जिससे प्रासंगिक अर्थों को बदले बिना जनसांख्यिकीय-अपरिवर्तनीय व्यवहार लागू किया जा सके।
लॉस फंक्शन: फ्रेमवर्क CPS में विभिन्न प्रॉम्प्ट्स द्वारा प्रेरित भविष्यवाणी वितरणों के बीच जेन्सन-शैनन डायवर्जेंस (JSD) लॉस ( $L_{JSD}$ ) को कम करता है।
$L_{JSD} = \frac{1}{n} \sum_{i=1}^{n} D_{KL} \left( p_i \middle\| \frac{1}{n} \sum_{j=1}^{n} p_j \right)$
जहाँ $p_i$ $i$ -वें कॉन्टेक्स्ट प्रॉम्प्ट के लिए भविष्यवाणी वितरण है और $D_{KL}$ कुलबैक-लीब्लर डायवर्जेंस (Kullback-Leibler Divergence) है।

भाषाओं और संस्कृतियों के अनुकूलन हेतु

HEIMAT लचीलेपन के लिए डिज़ाइन किया गया है। नई भाषाओं या संस्कृतियों के अनुकूल होने के लिए, स्थिर अनुवादों पर निर्भर रहने के बजाय, सांस्कृतिक रूप से प्रासंगिक फीचर वर्ड्स के साथ एक LLM (जैसे, DeepSeek) का उपयोग करके ह्यूरिस्टिक टेम्पलेट्स को पुन: उत्पन्न किया जाता है। यह सुनिश्चित करता है कि मापे गए पूर्वाग्रह लक्षित संस्कृति के विशिष्ट हों। इसी तरह, टेम्पलेट्स में बायस टाइप वर्ड को बदलकर पूर्वाग्रह श्रेणियों को बदला जा सकता है (जैसे, लिंग से जाति की ओर)।

मुख्य योगदान

HEIMAT फ्रेमवर्क: एक ह्यूरिस्टिक-शैली, स्वचालित पूर्वाग्रह निवारण फ्रेमवर्क का परिचय जो बाहरी कॉर्पोरा या निश्चित प्राथमिकता डेटासेट के बिना संचालित होता है।
स्वचालित अनुकूलन क्षमता: यह विधि स्वचालित रूप से निर्मित ह्यूरिस्टिक और एसोसिएशन प्रॉम्प्ट्स का उपयोग करती है, जिससे सरल प्रॉम्प्ट संशोधनों के माध्यम से विभिन्न भाषाओं, संस्कृतियों और पूर्वाग्रह श्रेणियों में आसान अनुकूलन संभव होता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग सिद्ध करते हैं कि HEIMAT मॉडल की नेचुरल लैंग्वेज अंडरस्टैंडिंग (NLU) क्षमताओं को संरक्षित करते हुए प्रभावी रूप से पूर्वाग्रह को कम करता है।

प्रयोगात्मक परिणाम

लेखकों ने पांच PLMs (BERT, ALBERT, TinyBERT, LLaMA-2, GPT-2) और दो फ्रेंच PLMs (CamemBERT, FrALBERT) पर कई बेंचमार्क पर HEIMAT का मूल्यांकन किया।

पूर्वाग्रह न्यूनीकरण (Bias Mitigation):
- CrowS-Pairs और StereoSet पर, HEIMAT ने लगातार आदर्श मान 50 (जो पूर्वाग्रह की अनुपस्थिति दर्शाता है) के सबसे करीब स्कोर प्राप्त किया, जो CDA, INLP और विभिन्न प्रॉम्प्ट-आधारित विधियों जैसे बेसलाइन से बेहतर प्रदर्शन करता है।
- BERT के लिए, HEIMAT ने CrowS-Pairs पर जेंडर (लिंग) पूर्वाग्रह को 58.01 से घटाकर 50.00 और रेस (जाति) पूर्वाग्रह को 47.48 तक कम कर दिया।
- LLaMA-2 और GPT-2 के लिए भी समान सुधार देखे गए, जिन्होंने परीक्षण की गई विधियों में सबसे कम पूर्वाग्रह स्कोर प्राप्त किया।
क्रॉस-कैटेगरी जनरलाइजेशन: जेंडर और रेस पर डिबायसिंग से अनदेखी श्रेणियों जैसे सामाजिक-आर्थिक स्थिति, राष्ट्रीयता, धर्म और शारीरिक उपस्थिति में निरंतर सुधार हुआ, जो मॉडलों में विभिन्न प्रकार के पूर्वाग्रहों के बीच अंतर्निहित सहसंबंधों का सुझाव देता है।
बहुभाषी प्रदर्शन: HEIMAT ने फ्रेंच मॉडलों (CamemBERT और FrALBERT) में पूर्वाग्रह को सफलतापूर्वक कम किया, जो व्याकरणिक लिंग जटिलताओं (जैसे, संज्ञा लिंग समझौता) के अनुकूल है जिनके लिए स्थिर सूची-आधारित विधियाँ संघर्ष करती हैं।
NLU संरक्षण:
- GLUE बेंचमार्क (अंग्रेजी) पर, HEIMAT ने मूल मॉडलों (जैसे, BERT औसत स्कोर 79.24 बनाम 79.09) के तुलनीय NLU प्रदर्शन बनाए रखा।
- FLUE बेंचमार्क (फ्रेंच) पर, प्रदर्शन काफी हद तक अपरिवर्तित रहा या थोड़ा सुधरा (CamemBERT औसत 89.05 बनाम 89.18)।
गुणात्मक विश्लेषण: केस स्टडीज ने दिखाया कि डिबायस्ड मॉडलों ने व्यवसायों के लिए अधिक संतुलित जेंडर सर्वनाम भविष्यवाणियां (जैसे, "नर्स" बनाम "डॉक्टर") उत्पन्न कीं और विशिष्ट नस्लीय समूहों के प्रति व्यवस्थित हिंसक आख्यानों के आरोपण को कम किया।

महत्व और दावे

पेपर का दावा है कि HEIMAT मौजूदा पूर्वाग्रह निवारण रणनीतियों के लिए एक लचीला, स्केलेबल और लागत प्रभावी विकल्प प्रदान करता है। महंगे, मैन्युअल रूप से एनोटेट किए गए डेटासेट पर निर्भरता से बचकर, यह विविध भाषाओं और संस्कृतियों में सामाजिक पूर्वाग्रह को कम करने में सक्षम बनाता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण विभिन्न पूर्वाग्रह प्रकारों के बीच अंतर्निहित संबंधों को प्रकट करता है, जिससे एक क्षेत्र में शमन (mitigation) दूसरे में सामान्यीकृत हो जाता है।

यह कार्य निष्कर्ष निकालता है कि प्रभावी डिबायसिंग के लिए पूर्ण रिट्रेनिंग या बाहरी कॉर्पोरा की आवश्यकता नहीं है; इसके बजाय, JSD-आधारित रेगुलराइजेशन का उपयोग करने वाला एक ह्यूरिस्टिक-संचालित दृष्टिकोण मॉडल भविष्यवाणियों को अधिक न्यायसंगत बनाने के लिए संरेखित कर सकता है जबकि मुख्य भाषा समझ क्षमताओं को सुरक्षित रखता है।

स्वीकृत सीमाएं:
लेखक नोट करते हैं कि सभी रूढ़िवादी जुड़ाव स्वाभाविक रूप से हानिकारक नहीं होते हैं (जैसे, विशिष्ट स्थानों के साथ धार्मिक जुड़ाव), और हानिकारक पूर्वाग्रह और सौहार्दपूर्ण सामान्य-बोध पैटर्न (benign common-sense patterns) के बीच अंतर करना भविष्य के कार्य के लिए एक खुला विषय बना हुआ है।