Challenges and Recommendations for LLMs-as-a-Judge in Multilingual Settings and Low-Resource Languages
यह शोध पत्र एनएलपी (NLP) समुदाय के भीतर बहुभाषी और कम-संसाधन वाली भाषाओं के परिवेश में 'एलएलएम-एज़-ए-जज' (LLM-as-a-Judge) के सीमित और अक्सर असंगत अनुप्रयोग का विश्लेषण करता है, जो अत्यधिक विश्वास (overtrust) और एकल-मॉडल निर्भरता जैसे जोखिमों को उजागर करते हुए अधिक सुदृढ़ मूल्यांकन प्रथाओं के लिए सिफारिशें प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया भर के लेखकों के लिए एक विशाल टैलेंट शो आयोजित कर रहे हैं। आपके पास हजारों प्रतियोगी हैं जो अंग्रेजी और स्पेनिश से लेकर योरूबा (Yorùbá) या मासाई (Maasai) जैसी दुर्लभ, कम-संसाधन वाली भाषाओं तक, विभिन्न भाषाएं बोलते हैं।
अतीत में, यह तय करने के लिए कि कौन जीतेगा, आपको मानव निर्णायकों (judges) के एक पैनल की आवश्यकता होती थी जो हर एक भाषा बोल सके। यह धीमा, महंगा और व्यवस्थित करने में कठिन था।
हाल ही में, एक नया उपकरण आया: द एआई जज (The AI Judge)। यह एक सुपर-स्मार्ट कंप्यूटर प्रोग्राम (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो उत्तरों को पढ़ सकता है, उनकी तुलना कर सकता है और स्कोर दे सकता है। क्योंकि यह तेज़, सस्ता और कई भाषाएं बोलने में सक्षम है, इसलिए हर किसी ने मानव निर्णायकों को बदलने के लिए इसका उपयोग करना शुरू कर दिया।
समस्या:
यह शोध पत्र एक जासूसी रिपोर्ट की तरह है जो इस बात की जांच करता है कि क्या होता है जब हम एक ऐसे एआई जज को शो चलाने देते हैं जो उन भाषाओं के लिए नहीं बना है जिन्हें वह अच्छी तरह नहीं जानता। लेखकों ने उन 33 हालिया शोध पत्रों की जांच की जिन्होंने गैर-अंग्रेजी भाषाओं के लिए एआई जज का उपयोग करने की कोशिश की। उन्होंने पाया कि हालांकि यह विचार सुनने में बहुत अच्छा लगता है, लेकिन वास्तविकता जटिल और जोखिम भरी है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "पर्यटक" जज (The "Tourist" Judge)
कल्पना कीजिए कि एआई जज एक पर्यटक है जिसने पेरिस (अंग्रेजी) की कई बार यात्रा की है और वह शहर को पूरी तरह से जानता है। लेकिन अब, उन्हें अमेज़न के एक दूरदराज के गाँव में एक कुकिंग प्रतियोगिता का निर्णय लेने के लिए कहा जाता है।
- पेपर का दावा: एआई जज अंग्रेजी में बहुत अच्छा है। लेकिन कम-संसाधन वाली भाषाओं में, यह उस पर्यटक की तरह है जो उस स्थानीय व्यंजन का निर्णय लेने की कोशिश कर रहा है जिसे उसने पहले कभी चखा ही नहीं है। वे शायद खाने को केवल इसलिए स्वादिष्ट मान लेंगे क्योंकि वह दिखने में शानदार है, या वे सामग्री को पूरी तरह से गलत समझ सकते हैं।
- वास्तविकता: पेपर में पाया गया कि कई अध्ययनों में, शोधकर्ताओं ने यह मान लिया कि एआई जज योरूबा या नेपाली में उतना ही अच्छा है जितना कि अंग्रेजी में। उन्होंने यह जांचा ही नहीं कि क्या जज वास्तव में भाषा को समझता है। अक्सर, एआई केवल अनुमान लगा रहा था या भ्रमित (hallucinating) हो रहा था, लेकिन शोधकर्ताओं ने फिर भी उस पर भरोसा किया।
2. "एकल रेफरी" का पूर्वाग्रह (The "Single Referee" Bias)
एक खेल में, यदि आपके पास केवल एक रेफरी है, और वह रेफरी गलती करता है, तो पूरा खेल अनुचित हो जाता है।
- पेपर का दावा: जिन अध्ययनों को लेखकों ने देखा, उनमें से अधिकांश ने केवल एक एआई मॉडल (आमतौर पर GPT-4 जैसा कोई प्रसिद्ध मॉडल) का उपयोग किया ताकि सारा निर्णय लिया जा सके। उन्होंने दूसरे एआई से काम की दोबारा जांच करने के लिए नहीं कहा।
- वास्तविकता: यह एक ऐसे रेफरी की तरह है जो खुद एक टीम का प्रशंसक भी है। यदि उस विशिष्ट एआई मॉडल में कोई पूर्वाग्रह है (उदाहरण के लिए, वह छोटे और सटीक उत्तरों के बजाय लंबे उत्तरों को पसंद करता है), तो पूरा मूल्यांकन पक्षपाती हो जाता है। पेपर ने पाया कि 48% अध्ययन केवल एक जज मॉडल पर निर्भर थे, और 33% ने केवल GPT को अपना एकमात्र जज बनाया।
3. "अंग्रेजी-केंद्रित" सुरक्षा जाल (The "English-Only" Safety Net)
कल्पना कीजिए कि एक शिक्षक फ्रेंच में परीक्षा का ग्रेड दे रहा है। यह सुनिश्चित करने के लिए कि वह अपना काम अच्छी तरह से कर रहा है, वह अपने ग्रेडिंग की तुलना फ्रेंच में लिखे गए उत्तर कुंजी (answer key) से करता है।
- पेपर का दावा: कई शोधकर्ताओं ने दावा किया कि उनका एआई जज विश्वसनीय है। लेकिन जब लेखकों ने करीब से देखा, तो उन्होंने पाया कि "सुरक्षा जाल" गायब था। वे अक्सर अंग्रेजी डेटा का उपयोग करके एआई की विश्वसनीयता की जांच करते थे, और फिर मान लेते थे कि यह फ्रेंच, जर्मन या स्वाहिली के लिए भी समान रूप से काम करेगा।
- वास्तविकता: पेपर में पाया गया कि कई मामलों में, एआई को वास्तव में लक्षित भाषा के मानव विशेषज्ञों के विरुद्ध कभी टेस्ट ही नहीं किया गया। उन्होंने जज को अंग्रेजी में मान्य (validate) किया (जहाँ वह अच्छा है) और फिर उसे आँख मूंदकर अन्य भाषाओं (जहाँ वह बहुत खराब हो सकता है) पर लागू कर दिया।
4. "अति-आत्मविश्वासी" भीड़ (The "Overconfident" Crowd)
शोध समुदाय में एक प्रवृत्ति है कि वे एआई पर बहुत अधिक भरोसा करते हैं।
- पेपर का दावा: क्योंकि एआई तेज़ और सस्ता है, शोधकर्ता इस पर "अत्यधिक भरोसा" (over-trusting) कर रहे हैं। वे एआई के स्कोर को पूर्ण सत्य मानते हैं, भले ही एआई एक कठिन भाषा के साथ संघर्ष कर रहा हो।
- वास्तविकता: पेपर चेतावनी देता है कि कम-संसाधन वाली भाषाओं के लिए, एआई अक्सर सबसे कमजोर स्थिति में होता है। फिर भी, क्योंकि वहां मानव विशेषज्ञों की कमी है जो काम को दोबारा जांच सकें, लोग बस एआई के त्रुटिपूर्ण स्कोर को स्वीकार कर लेते हैं। यह एक चक्र बनाता है जहाँ गलत मूल्यांकनों को तथ्य के रूप में स्वीकार किया जाता है।
लेखकों की सिफारिशें (खेल के नियम)
इसे ठीक करने के लिए, पेपर उन सभी के लिए चार सरल नियम सुझाता है जो एआई जज का उपयोग कर रहे हैं:
- जज का स्थानीय भाषा में परीक्षण करें: यह न मानें कि एआई भाषा जानता है सिर्फ इसलिए क्योंकि वह अंग्रेजी बोलता है। आपको यह परीक्षण करना चाहिए कि क्या एआई वास्तव में उस विशिष्ट भाषा के बोलने वालों के साथ सहमत है, इससे पहले कि आप उसके स्कोर पर भरोसा करें।
- मानव को प्रक्रिया में शामिल रखें (Keep a Human in the Loop): भले ही आप एआई का उपयोग करें, आपको काम के एक छोटे नमूने की जांच के लिए एक मानव की आवश्यकता है। यह एक हेड कोच द्वारा रेफरी के फैसलों की समीक्षा करने जैसा है।
- जांचें कि क्या पुराने उपकरण बेहतर काम करते हैं: कभी-कभी, साधारण, पुराने गणितीय उपकरण (जैसे शब्दों के सटीक मिलान की गिनती करना) एक फैंसी एआई की तुलना में अधिक सुरक्षित हो सकते हैं जो भाषा को नहीं समझता। यदि एक सरल उपकरण उतना ही अच्छा काम करता है, तो एआई का उपयोग न करें।
- केवल शब्दों का नहीं, संस्कृति का सम्मान करें: भाषा केवल व्याकरण नहीं है; यह संस्कृति है। एक एआई कहानी के शब्दों को समझ सकता है लेकिन सांस्कृतिक अर्थ को मिस कर सकता है। शोधकर्ताओं को यह जांचना चाहिए कि क्या एआई केवल शब्दावली को ही नहीं, बल्कि भाषा के संदर्भ (context) और संस्कृति को भी समझता है।
निष्कर्ष (The Bottom Line)
पेपर निष्कर्ष निकालता है कि हालांकि एआई जज एक शक्तिशाली उपकरण हैं, लेकिन उनका उपयोग उन भाषाओं के लिए करना जिन्हें वे पूरी तरह से नहीं समझते, खतरनाक है। यह एक स्थानीय कला उत्सव को जज करने के लिए एक पर्यटक को भेजने जैसा है, जो स्थानीय कला के इतिहास को नहीं जानता। जब तक हम यह सत्यापित नहीं करते कि ये एआई जज वास्तव में विशिष्ट, कम-संसाधन वाली भाषाओं में सक्षम हैं, हमें उनके स्कोर को अंतिम शब्द के रूप में स्वीकार नहीं करना चाहिए। हमें यह मानना बंद करना होगा कि वे हर जगह काम करते हैं और यह साबित करना शुरू करना होगा कि वे वास्तव में काम करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।