💬 NLP

Mitigating Translationese Bias in Multilingual LLM-as-a-Judge via Disentangled Information Bottleneck

यह शोध पत्र DIBJudge को प्रस्तुत करता है, जो एक सुदृढ़ फाइन-ट्यूनिंग फ्रेमवर्क है जो एक विलगित सूचना बाधा (disentangled information bottleneck) का उपयोग करके निर्णय-महत्वपूर्ण निरूपणों से भ्रामक क्रॉस-लिंगुअल सहसंबंधों को अलग करता है, जिससे बहुभाषी LLM-as-a-Judge प्रणालियों में ट्रांसलेशनिस (translationese) पूर्वाग्रह को कम किया जा सके।

मूल लेखक: Hongbin Zhang, Kehai Chen, Xuefen Bai, Youcheng Pan, Yang Xiang, Jinpeng Wang, Min Zhang

प्रकाशित 2026-03-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hongbin Zhang, Kehai Chen, Xuefen Bai, Youcheng Pan, Yang Xiang, Jinpeng Wang, Min Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "Mitigating Translationese Bias in Multilingual LLM-as-a-Judge via Disentangled Information Bottleneck" का सरल भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।

समस्या: "विदेशी लहजे" का पूर्वाग्रह (The "Foreign Accent" Bias)

कल्पना कीजिए कि आप एक प्रसिद्ध फूड क्रिटिक (भोजन समीक्षक) हैं (LLM जज) जिन्हें दुनिया भर के व्यंजनों का स्वाद चखने के लिए काम पर रखा गया है। आपका काम यह तय करना है कि कौन सा व्यंजन सबसे स्वादिष्ट है।

हालाँकि, आपके मस्तिष्क में एक गड़बड़ी है। आपके पास एक गुप्त पूर्वाग्रह है: आपको वह भोजन पसंद है जो सुनने में ऐसा लगता है जैसे उसे अंग्रेजी से अनुवादित किया गया हो।

परिदृश्य: आप अफ्रीका के एक छोटे से गाँव के पारंपरिक व्यंजन का स्वाद ले रहे हैं (एक "लो-रिसोर्स" भाषा)।
- व्यंजन A (मानव): इसे एक स्थानीय शेफ ने बनाया है। यह प्रामाणिक है, लेकिन इसका विवरण एक स्वाभाविक, स्थानीय शैली में लिखा गया है।
- व्यंजन B (मशीन): एक रोबोट ने अंग्रेजी से स्थानीय भाषा में रेसिपी का अनुवाद किया है। यह थोड़ा अजीब और "अस्वाभाविक" लगता है, जैसे कोई विदेशी भाषा बोलने की कोशिश कर रहा हो।
दोष: भले ही व्यंजन A बेहतर है, लेकिन आपका मस्तिष्क व्यंजन B को पसंद करता है। क्यों? क्योंकि व्यंजन B की वाक्य संरचना अनजाने में आपको अंग्रेजी की याद दिलाती है, जो वह भाषा है जिस पर आपका मस्तिष्क सबसे अधिक प्रशिक्षित हुआ है। आप सोचते हैं, "यह स्मार्ट और सुव्यवस्थित लगता है," जबकि वास्तव में, यह केवल एक खराब अनुवाद की तरह लग रहा है।

इसे "ट्रांसलेशनिस बायस" (Translationese Bias) कहा जाता है। AI जज उन भाषाओं के लिए मशीन-अनुवादित टेक्स्ट को मानव-लिखित टेक्स्ट पर प्राथमिकता देते हैं, विशेष रूप से उन भाषाओं के लिए जो इंटरनेट पर कम बोली जाती हैं। यह AI को उन भाषाओं के लिए एक बुरा जज बनाता है।

कारण: दो "बुरी आदतें" (Two "Bad Habits")

शोधकर्ताओं ने पाया कि AI के पास दो विशिष्ट बुरी आदतें हैं जो यह कारण बन रही हैं:

"अंग्रेजी की गूँज" (Latent Manifold Alignment): AI का आंतरिक मस्तिष्क एक अंग्रेजी बोलने वाले के मस्तिष्क जैसा आकार लेता है। जब यह ऐसे टेक्स्ट को देखता है जो अंग्रेजी जैसा दिखता है (भले ही वह स्वाहिली या पाश्तो में हो), तो यह सहज महसूस करता है और इसे उच्च स्कोर देता है।
"पूर्वानुमेयता का जाल" (The Predictability Trap - Cross-lingual Predictability): मशीन अनुवाद अक्सर बहुत पूर्वानुमान योग्य होते हैं और सख्त सांख्यिकीय पैटर्न का पालन करते हैं। AI पूर्वानुमान को पसंद करता है क्योंकि अगले शब्द का अनुमान लगाना आसान होता है। यह "आसान अनुमान" को "अच्छी गुणवत्ता" समझ लेता है।

समाधान: "डिसेंटैंगल्ड इंफॉर्मेशन बॉटलनेक" (The "Disentangled Information Bottleneck" - DIBJUDGE)

इस समस्या को ठीक करने के लिए, शोधकर्ताओं ने एक नया प्रशिक्षण सिस्टम बनाया जिसे DIBJUDGE कहा जाता है। इसे एक क्लब के सख्त बाउंसर के रूप में सोचें जो AI को अपने विचारों को दो अलग-अलग कमरों में विभाजित करने के लिए मजबूर करता है।

1. दो कमरे (Disentanglement)

AI को अपने सभी विचारों को मिलाने देने के बजाय, DIBJUDGE इसे अपने मस्तिष्क को दो अलग-अलग चैनलों में विभाजित करने के लिए मजबूर करता है:

कमरा A: "सत्य का कमरा" (The "Truth Room" - Robust Representation): यह कमरे टेक्स्ट के वास्तविक अर्थ के लिए है। क्या उत्तर सही है? क्या कहानी तार्किक है? क्या इसका कोई अर्थ निकलता है?
कमरा B: "शोर का कमरा" (The "Noise Room" - Bias Representation): यह कमरे बुरी आदतों के लिए है। क्या यह अंग्रेजी जैसा लग रहा है? क्या यह बहुत अधिक पूर्वानुमान योग्य है? क्या यह एक मशीन अनुवाद है?

लक्ष्य यह सुनिश्चित करना है कि "सत्य का कमरा" कभी भी "शोर" को न देखे। AI को केवल स्वाद (अर्थ) के आधार पर भोजन का निर्णय लेना चाहिए, इस बात को नजरअंदाज करते हुए कि मेनू का फॉन्ट अंग्रेजी जैसा है या नहीं।

2. "संपीड़न" (The "Compression" - Information Bottleneck)

कल्पना कीजिए कि आप एक खराब कनेक्शन वाले फोन कॉल पर अपने दोस्त को एक जटिल पेंटिंग का वर्णन करने की कोशिश कर रहे हैं। आप पूरी तस्वीर नहीं भेज सकते; आपको इसे संकुचित (compress) करना होगा।

पुराना तरीका: आप फ्रेम, कैनवास की धूल और कलाकार के हस्ताक्षर सहित सब कुछ भेजने की कोशिश करते हैं। आपका दोस्त अतिरिक्त शोर के कारण भ्रमित हो जाता है।
DIBJUDGE का तरीका: सिस्टम AI को एक अच्छा निर्णय लेने के लिए आवश्यक न्यूनतम जानकारी तक संदेश को संकुचित करने के लिए मजबूर करता है। यह "धूल" (अनुवाद संबंधी त्रुटियों) को फेंक देता है और केवल "पेंटिंग" (अर्थपूर्ण सामग्री) को रखता है।

3. "एंटी-कोरिलेशन" दंड (The "Anti-Correlation" Penalty)

प्रशिक्षण के दौरान, सिस्टम एक नियम जोड़ता है: "यदि 'सत्य का कमरा' और 'शोर का कमरा' एक-दूसरे से बात करने लगते हैं, तो आपको दंड दिया जाएगा।"
यह सुनिश्चित करता है कि दोनों कमरे पूरी तरह से अलग रहें। AI सीखता है कि अच्छा स्कोर पाने के लिए, उसे "अंग्रेजी-जैसे" पैटर्न को अनदेखा करना होगा और पूरी तरह से विषय-वस्तु (content) पर ध्यान केंद्रित करना होगा।

परिणाम: एक निष्पक्ष जज

शोधकर्ताओं ने स्पेनिश जैसी प्रमुख भाषाओं से लेकर योरूबा जैसी दुर्लभ भाषाओं तक, कई अलग-अलग भाषाओं पर इस नए सिस्टम का परीक्षण किया।

पहले: AI एक घमंडी था। उसे अंग्रेजी जैसा दिखने वाला अनुवाद पसंद था और वह प्रामाणिक स्थानीय लेखन को नापसंद करता था, विशेष रूप से दुर्लभ भाषाओं में।
बाद में: AI एक निष्पक्ष समीक्षक बन गया। उसने इस बात की परवाह करना छोड़ दिया कि टेक्स्ट अनुवाद जैसा लग रहा है या नहीं। उसने वास्तविक गुणवत्ता के आधार पर निर्णय लेना शुरू कर दिया।
- इसने भाषा के आधार पर पूर्वाग्रह को 50% से 80% तक कम कर दिया।
- इसने अपनी निर्णय लेने की क्षमता नहीं खोई; वास्तव में, यह निर्णय लेने में बेहतर हो गया क्योंकि अब यह "विदेशी लहजे" से विचलित नहीं हो रहा था।

मुख्य निष्कर्ष (The Takeaway)

यह शोध पत्र AI को एक "नकलची" बनने से रोकने के बारे में है जो उन चीजों को पसंद करता है जो अंग्रेजी जैसी लगती हैं। AI को "टेक्स्ट का अर्थ क्या है" और "टेक्स्ट कैसा सुनाई देता है" को अलग करने के लिए मजबूर करके, उन्होंने एक ऐसा जज बनाया जो सभी के प्रति निष्पक्ष है, चाहे वे कोई भी भाषा बोलते हों। यह एक फूड क्रिटिक को मेनू के फॉन्ट को अनदेखा करने और वास्तव में भोजन का स्वाद लेने के लिए सिखाने जैसा है।

यहाँ शोध पत्र "Mitigating Translationese Bias in Multilingual LLM-as-a-Judge via Disentangled Information Bottleneck" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: ट्रांसलेशनिस बायस (Translationese Bias)

यह शोध पत्र बहुभाषी मूल्यांकन के लिए स्वचालित न्यायाधीशों ("LLM-as-a-Judge") के रूप में उपयोग किए जाने वाले लार्ज लैंग्वेज मॉडल्स (LLMs) की एक गंभीर विफलता मोड को संबोधित करता है।

घटना: LLM जज मानव-लिखित संदर्भों (references) की तुलना में मशीन-अनुवादित टेक्स्ट को व्यवस्थित रूप से प्राथमिकता देते हैं, भले ही मशीन-अनुवादित टेक्स्ट में अर्थ संबंधी त्रुटियाँ हों। इसे "ट्रांसलेशनिस बायस" (Translationese Bias) कहा जाता है।
गंभीरता: यह पूर्वाग्रह व्यापक है लेकिन कम-संसाधन वाली भाषाओं (low-resource languages) को असमान रूप से प्रभावित करता है, जहाँ इस पूर्वाग्रह की गंभीरता उच्च-संसाधन वाली भाषाओं की तुलना में काफी अधिक है।
मूल कारण (Spurious Correlations): लेखक इन पूर्वाग्रहों को चलाने वाले दो प्राथमिक स्प्यूरियस (भ्रामक) कारकों की पहचान करते हैं:
1. अंग्रेजी के साथ लेटेंट मैनिफोल्ड अलाइनमेंट (Latent Manifold Alignment with English): गैर-अंग्रेजी निरूपण (representations) प्री-ट्रेनिंग के दौरान अप्रत्यक्ष रूप से एक अंग्रेजी-केंद्रित लेटेंट स्पेस के साथ संरेखित होते हैं। मशीन-अनुवादित टेक्स्ट अक्सर मूल मानव टेक्स्ट की तुलना में अंग्रेजी मैनिफोल्ड के साथ मजबूत ज्यामितीय संरेखण प्रदर्शित करता है।
2. क्रॉस-लिंगुअल प्रेडिक्टेबिलिटी (Cross-Lingual Predictability): LLM जज उन संभाव्यता ह्यूरिस्टिक्स (probability heuristics) पर अत्यधिक निर्भर होते हैं जो मशीन-अनुवादित टेक्स्ट के सांख्यिकीय पैटर्न (जो अक्सर उच्च क्रॉस-लिंगुअल प्रेडिक्टेबिलिटी/कम सरप्राइज़ल प्रदर्शित करते हैं) का पक्ष लेते हैं, न कि अर्थ संबंधी गुणवत्ता का।
वर्तमान विधियों की सीमा: मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) इसे कम करने में विफल रहती है क्योंकि यह मजबूत अर्थ संबंधी निरूपण सीखने के बजाय इन स्प्यूरियस सहसंबंधों का लाभ उठाकर लॉस (loss) को कम करने की कोशिश करती है।

2. कार्यप्रणाली: DIBJUDGE

लेखक DIBJUDGE (डिसेन्टैंगल्ड इंफॉर्मेशन बॉटलनेक जज) प्रस्तावित करते हैं, जो एक मजबूत फाइन-ट्यूनिंग फ्रेमवर्क है जिसे निर्णय-महत्वपूर्ण अर्थ (semantics) को स्प्यूरियस बायस कारकों से अलग करने के लिए डिज़ाइन किया गया है।

मुख्य अवधारणा: डिसेन्टैंगल्ड इंफॉर्मेशन बॉटलनेक (Disentangled Information Bottleneck)

यह फ्रेमवर्क क्लासिक इंफॉर्मेशन बॉटलनेक (IB) सिद्धांत का विस्तार करता है। इनपुट $X$ को एक एकल प्रतिनिधित्व $Z$ में संकुचित करने के बजाय, DIBJUDGE लेटेंट स्पेस को स्पष्ट रूप से दो शाखाओं में विभाजित करता है:

मजबूत प्रतिनिधित्व ( $Z_r$ - Robust Representation): इसमें केवल सटीक गुणवत्ता निर्णय के लिए आवश्यक न्यूनतम पर्याप्त जानकारी (अर्थ संबंधी सामग्री) होती है।
बायस प्रतिनिधित्व ( $Z_b$ - Bias Representation): यह स्प्यूरियस कारकों (अनुवाद संबंधी आर्टिफैक्ट्स) को अवशोषित करने के लिए एक समर्पित "सिंक" (sink) के रूप में कार्य करता है।

ऑब्जेक्टिव फंक्शन (The Objective Function)

प्रशिक्षण उद्देश्य ( $L_{DIB}$ ) चार पदों का एक भारित योग है:
$L_{DIB} = -I(Y; Z_r) + \beta I(X; Z_r) - \gamma I(S; Z_b) + \lambda I(Z_r; Z_b)$

प्रेडिक्शन ( $-I(Y; Z_r)$ ): मजबूत प्रतिनिधित्व और लक्षित निर्णय $Y$ के बीच म्यूचुअल इंफॉर्मेशन को अधिकतम करता है।
कंप्रेशन ( $\beta I(X; Z_r)$ ): कच्चे इनपुट $X$ के बारे में मजबूत शाखा द्वारा रखे गए सूचना के स्तर को कम करता है (वेरिएशनल इंफॉर्मेशन बॉटलनेक के माध्यम से), जिससे इसे गैर-आवश्यक विवरणों को त्यागने के लिए मजबूर किया जाता है।
बायस कैप्चर ( $-\gamma I(S; Z_b)$ ): स्प्यूरियस गुणों $S$ $S$ के बारे में बायस शाखा द्वारा रखी गई सूचना को अधिकतम करता है। यह दो प्रॉक्सी कार्यों (proxy tasks) के माध्यम से प्राप्त किया जाता है:
- क्रॉस-लिंगुअल अलाइनमेंट कॉन्ट्रास्टिव लर्निंग: $Z_b$ को अंग्रेजी लेटेंट मैनिफोल्ड के साथ संरेखण की डिग्री को कैप्चर करने के लिए प्रोत्साहित करता है।
- लॉग-प्रोबेबिलिटी बिन क्लासिफिकेशन: $Z_b$ को क्रॉस-लिंगुअल प्रेडिक्टेबिलिटी (सरप्राइज़ल) संकेतों को कैप्चर करने के लिए प्रोत्साहित करता है।
डिसेन्टैंगलमेंट ( $\lambda I(Z_r; Z_b)$ ): मजबूत और बायस शाखाओं के बीच निर्भरता को दंडित करता है। चूंकि प्रत्यक्ष MI अनुमान कठिन है, लेखक स्वतंत्रता के एक संगणकीय रूप से कुशल सरोगेट के रूप में क्रॉस-कोवेरिएंस पेनल्टी (क्रॉस-कोवेरिएंस मैट्रिक्स के स्क्वेर्ड फ्रोबेनियस नॉर्म को कम करना) का उपयोग करते हैं।

आर्किटेक्चर (Architecture)

एनकोडर्स (Encoders): अलग-अलग एनकोडर ( $g_{\phi_r}$ और $g_{\phi_b}$ ) इनपुट को प्रोसेस करते हैं ताकि $Z_r$ और $Z_b$ उत्पन्न किए जा सकें।
वेरिएशनल बॉटलनेक (Variational Bottleneck): बैकप्रोपैगेशन को सक्षम करने के लिए $Z_r$ को रीपैरामीट्रिज़ेशन ट्रिक के साथ एक गॉसियन वितरण के रूप में मॉडल किया गया है।
जज हेड (Judge Head): एक हल्का LoRA-अनुकूलित LLM जज अंतिम आउटपुट उत्पन्न करने के लिए केवल $Z_r$ का उपयोग करता है।
प्रॉक्सी हेड्स (Proxy Heads): हल्के डिकोडर प्रशिक्षण के दौरान स्प्यूरियस गुणों की भविष्यवाणी करने के लिए $Z_b$ का उपयोग करते हैं।

3. मुख्य योगदान

बायस का लक्षण वर्णन (Characterization of Bias): यह पेपर बहुभाषी LLM जजों में "ट्रांसलेशनिस बायस" का पहला व्यवस्थित लक्षण वर्णन प्रदान करता है, जिसमें "लेटेंट मैनिफोल्ड अलाइनमेंट" और "क्रॉस-लिंगुअल प्रेडिक्टेबिलिटी" को कारणभूत स्प्यूरियस कारकों के रूप में पहचाना गया है।
नया फ्रेमवर्क (DIBJUDGE): एक डिसेन्टैंगल्ड IB फ्रेमवर्क पेश करता है जो स्प्यूरियस कारकों को एक समर्पित शाखा में अलग करता है, जिससे मुख्य निर्णय तर्क को उन पर निर्भर होने से रोका जा सके।
सैद्धांतिक और व्यावहारिक डिसेन्टैंगलमेंट: गॉसियन धारणाओं के तहत de-biasing के लिए स्वतंत्र प्रतिनिधित्व सुनिश्चित करने हेतु एक सुलभ क्रॉस-कोवेरिएंस पेनल्टी प्रस्तावित करता है।
व्यापक मूल्यांकन: यह सिद्ध करता है कि यह विधि विविध डोमेन (रीडिंग कॉम्प्रिहेन्शन, इंस्ट्रक्शन फॉलोइंग, समराइजेशन) और संसाधन स्तरों में प्रभावी है।

4. प्रयोगात्मक परिणाम

लेखकों ने M-RewardBench, MM-Eval, RewardBench और एक समर्पित ट्रांसलेशनिस बायस सूट पर DIBJUDGE का मूल्यांकन किया।

रिवॉर्ड बेंचमार्क पर प्रदर्शन:
- M-RewardBench पर ओपन-वेट मॉडल्स के बीच SOTA (State-of-the-Art) प्रदर्शन हासिल करते हुए (91.37% सटीकता), DIBJUDGE (Qwen3-8B पर आधारित) ने mR3 जैसे मजबूत बेसलाइन और GPT-4o एवं Gemini-2.5-Flash जैसे प्रोप्रायटरी मॉडल्स को भी पीछे छोड़ दिया।
- इसने अंग्रेजी-केंद्रित बेंचमार्क पर उच्च प्रदर्शन बनाए रखा, जिससे यह सिद्ध हुआ कि यह सामान्य क्षमताओं को कम नहीं करता है।
बायस मिटिगेशन (Bias Mitigation):
- महत्वपूर्ण कमी: वैनिला SFT की तुलना में DIBJUDGE ने BELEBELE पर ट्रांसलेशनिस बायस की गंभीरता ( $S_{bias}$ ) को 80%, AYA पर 56%, और XL-SUM पर 75% तक कम कर दिया।
- कम-संसाधन प्रभाव: सबसे नाटकीय सुधार उन कम-संसाधन भाषाओं में देखे गए, जहाँ पूर्वाग्रह पहले सबसे गंभीर था।
- ज़ीरो-शॉट जनरलाइजेशन: मॉडल अनदेखे बायस प्रकारों (जैसे लंबाई का पूर्वाग्रह, सेल्फ-प्रेफरेंस बायस) पर भी अच्छी तरह से काम कर सका, जो बताता है कि यह केवल विशिष्ट आर्टिफैक्ट्स को याद करने के बजाय सतही ह्यूरिस्टिक्स को फ़िल्टर करना सीखता है।
एब्लेशन स्टडीज (Ablation Studies):
- डिसेन्टैंगलमेंट टर्म या प्रॉक्सी कार्यों को हटाने से उप-इष्टतम (suboptimal) परिणाम मिले, जिससे पुष्टि हुई कि कंप्रेशन और स्पष्ट बायस आइसोलेशन दोनों आवश्यक हैं।
- क्रॉस-कोवेरिएंस पेनल्टी को कर्नेल-आधारित विधियों (HSIC) या म्यूचुअल इंफॉर्मेशन एस्टिमेटर्स (MINE/CLUB) की तुलना में अधिक गणना-कुशल पाया गया, जबकि इसने समान स्तर का बायस रिडक्शन प्राप्त किया।
लेटेंट स्पेस विश्लेषण:
- t-SNE विज़ुअलाइज़ेशन: बायस प्रतिनिधित्व ( $Z_b$ ) ने मानव बनाम मशीन टेक्स्ट को स्पष्ट रूप से अलग किया, जबकि मजबूत प्रतिनिधित्व ( $Z_r$ ) ने डोमेन इनवेरिएंस (मिश्रित क्लस्टर) दिखाया, जो सफल डिसेन्टैंगलमेंट की पुष्टि करता है।
- लीनियर प्रोबिंग: $Z_r$ पर प्रशिक्षित एक क्लासिफायर मानव और मशीन टेक्स्ट के बीच अंतर नहीं कर सका (सटीकता ~50%), जबकि $Z_b$ पर एक क्लासिफायर ने ~96% सटीकता प्राप्त की।

5. महत्व

बहुभाषी AI में विश्वसनीयता: जैसे-जैसे LLMs का उपयोग वैश्विक सामग्री के मूल्यांकन के लिए किया जा रहा है, यह सुनिश्चित करना कि जज अनुवाद संबंधी आर्टिफैक्ट्स के कारण गैर-नेटिव या कम-संसाधन वाली भाषाओं को दंडित न करें, निष्पक्षता के लिए महत्वपूर्ण है।
मेथोडोलॉजिकल एडवांसमेंट: यह पेपर दिखाता है कि डिसेन्टैंगल्ड रिप्रेजेंटेशन लर्निंग को इंफॉर्मेशन बॉटलनेक सिद्धांतों के साथ जोड़ना, साधारण डेटा ऑग्मेंटेशन या मानक फाइन-ट्यूनिंग से आगे बढ़कर LLMs को डी-बायस करने का एक शक्तिशाली दृष्टिकोण है।
स्केलेबिलिटी: प्रस्तावित विधि कंप्यूटेशनल रूप से कुशल है (LoRA और क्रॉस-कोवेरिएंस पेनल्टी का उपयोग करके), जिससे इसे बड़े पैमाने पर बहुभाषी रिवॉर्ड मॉडलिंग कार्यों के लिए लागू करना संभव बनाता है।

निष्कर्षतः, DIBJUDGE एक पहले से अनदेखे व्यवस्थित पूर्वाग्रह के लिए एक मजबूत समाधान प्रदान करता है, जिससे यह सुनिश्चित होता है कि स्वचालित मूल्यांकन प्रणाली कम-संसाधन और मशीन-अनुवादित सामग्री के साथ निष्पक्ष व्यवहार करे, जिससे बहुभाषी AI विकास की विश्वसनीयता में सुधार होता है।