Lost in Translation: Do LVLM Judges Generalize Across Languages?
यह शोध पत्र MM-JudgeBench प्रस्तुत करता है, जो LVLM जजों के मूल्यांकन के लिए एक बड़े पैमाने का बहुभाषी बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान रिवॉर्ड मॉडल 25 विविध भाषाओं में महत्वपूर्ण क्रॉस-लिंगुअल प्रदर्शन भिन्नता और असंगत व्यवहार प्रदर्शित करते हैं, जिससे स्वचालित मॉडल मूल्यांकन में बहुभाषी मूल्यांकन मानकों की महत्वपूर्ण आवश्यकता रेखांकित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास सुपर-स्मार्ट आर्ट क्रिटिक्स (ये AI मॉडल हैं, या "LVLMs") की एक टीम है जिनका काम चित्रों को देखना और यह तय करना है कि चित्र का कौन सा विवरण बेहतर है।
लंबे समय तक, इन आलोचकों का परीक्षण केवल अंग्रेजी के चित्रों और अंग्रेजी विवरणों पर किया जाता था। वे बहुत बुद्धिमान लगते थे। लेकिन इस शोध पत्र के पीछे के शोधकर्ताओं ने एक सरल, डरावना सवाल पूछा: "क्या होगा यदि हम इन आलोचकों से फ्रेंच, हिंदी या कज़ाख में बात करें? क्या वे अभी भी जानते हैं कि वे क्या कह रहे हैं, या वे सिर्फ अंदाज़ा लगा रहे हैं?"
यहाँ उनके निष्कर्षों का विवरण दिया गया, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:
1. नया टेस्ट: "द ग्लोबल टैलेंट शो"
शोधकर्ताओं ने एक विशाल नया टेस्ट बनाया जिसे MM-JudgeBench कहा गया। इसे AI आलोचकों के लिए एक वैश्विक टैलेंट शो की तरह समझें।
- मंच: उन्होंने मौजूदा टेस्ट लिए और उन्हें 25 अलग-अलग भाषाओं में अनुवादित किया (स्पेनिश जैसी सामान्य भाषाओं से लेकर कज़ाख जैसी कम संसाधन वाली भाषाओं तक)।
- प्रतिभागी: उन्होंने 22 अलग-अलग AI मॉडलों का परीक्षण किया, जिनमें प्रसिद्ध "बिग टेक" मॉडल (जैसे GPT-5 और Gemini) और ओपन-सोर्स कम्युनिटी मॉडल (जैसे Qwen) शामिल थे।
- कार्य: AI को एक चित्र दिखाएं और दो अलग-अलग विवरण दें। AI से पूछें: "कौन सा सही है, और क्यों?"
2. चौंकाने वाले परिणाम: "भाषा की बाधा"
परिणाम ऐसे थे जैसे किसी विश्व स्तरीय पियानो वादक को अंग्रेजी में खूबसूरती से बजाते हुए देखना, लेकिन फिर अलग भाषा में बजाने के लिए कहे जाने पर सुरों में लड़खड़ाते हुए देखना।
- "केवल-अंग्रेजी" का भ्रम: कई मॉडल जो अंग्रेजी में एकदम सटीक दिखते थे, अन्य भाषाओं में स्विच करने पर अचानक भ्रमित हो गए या तथ्य गढ़ने लगे।
- "दक्षता का जाल" (The Efficiency Trap): कुछ मॉडल "लाइटवेट" और तेज़ होने के लिए डिज़ाइन किए गए थे (जैसे एक स्पोर्ट्स कार)। वे अंग्रेजी में बहुत अच्छे थे, लेकिन अन्य भाषाओं में वे पूरी तरह से क्रैश हो गए। यह एक ऐसी स्पोर्ट्स कार की तरह है जो हाईवे पर तो बढ़िया चलती है लेकिन कच्ची सड़क पर टूट जाती है।
- कज़ाख की समस्या: मॉडल कज़ाख (एक कम-संसाधन वाली भाषा) के साथ सबसे अधिक संघर्ष करते हैं। यह ऐसा है जैसे आलोचकों ने अंग्रेजी में टेस्ट के लिए कड़ी मेहनत की हो, लेकिन अचानक उनसे एक ऐसी भाषा में टेस्ट देने को कहा गया जिसे उन्होंने पहले कभी नहीं देखा था। वे केवल कुछ प्रश्न गलत नहीं कर रहे थे; वे अक्सर पूरी तरह से विफल हो रहे थे।
3. "हैलुसिनेशन" (Hallucination) का मुद्दा
अंग्रेजी परीक्षणों में, AI आलोचक झूठ पकड़ने में अच्छे थे। लेकिन अन्य भाषाओं में, वे हैलुसिनेट करने लगे (चीजें बनाने लगे)।
- उदाहरण: अंग्रेजी में, एक AI सही ढंग से कह सकता है, "यह कुत्ता एक बेंच पर है।"
- फ्रेंच में (गलत तरीके से): वही AI कह सकता है, "यह कुत्ता एक ऐसी बेंच पर है जिस पर 'WATSON BOWL' लिखा है," भले ही चित्र में मौजूद बेंच पर कोई लिखावट न हो। AI फ्रेंच में स्मार्ट दिखने के लिए इतना उत्सुक था कि उसने वे विवरण भी बना दिए जो वहां थे ही नहीं।
4. विजेता और हारने वाले
- बिग टेक दिग्गज: सबसे महंगे, क्लोज्ड-सोर्स मॉडल (जैसे GPT-5) सबसे सुसंगत थे। वे बहुभाषी राजनयिकों (polyglot diplomats) की तरह थे जो बिना अपना आपा खोए भाषाओं को बदल सकते थे।
- ओपन सोर्स हीरो: आश्चर्यजनक रूप रूप से, Qwen नामक एक मॉडल परिवार ने अविश्वसनीय रूप से अच्छा प्रदर्शन किया, और अक्सर बहुत बड़े और महंगे मॉडलों को भी पीछे छोड़ दिया। वे अंडरडॉग एथलीटों की तरह थे जिन्होंने पसंदीदा खिलाड़ियों की तुलना में अधिक कठिन प्रशिक्षण लिया और बेहतर अनुकूलन किया।
- "विशेषज्ञ" मॉडल: कुछ मॉडल जो विशेष रूप से जज बनने के लिए बनाए गए थे (जैसे LLaVA-Critic), वे सामान्य मॉडलों की तुलना में वास्तव में बुरे प्रदर्शन करते थे। यह एक ऐसे विशेषज्ञ को काम पर रखने जैसा है जो खेल के नियम तो जानता है लेकिन खेलना भूल गया है।
5. यह क्यों मायने रखता है
शोध पत्र निष्कर्ष निकालता है कि हम अभी एक वैश्विक दुनिया में इन AI जजों पर भरोसा नहीं कर सकते।
यदि कोई कंपनी यह तय करने के लिए AI का उपयोग करती है कि एक फ्रेंच बोलने वाले उपयोगकर्ता के लिए कौन सा कस्टमर सर्विस चैटबॉट "बेहतर" है, लेकिन AI जज केवल अंग्रेजी अच्छी तरह बोलता है, तो कंपनी गलत चैटबॉट चुन सकती है। AI जज एक खराब उत्तर को अच्छा मान सकता है क्योंकि वह ऐसी भाषा में लिखा गया है जिसे जज पूरी तरह से नहीं समझ पाता है।
निचोड़ (The Bottom Line)
शोधकर्ता कह रहे हैं: "अपने AI जजों को केवल अंग्रेजी में टेस्ट करना बंद करें।" सिर्फ इसलिए कि एक मॉडल एक भाषा में स्मार्ट है, इसका मतलब यह नहीं है कि वह सभी भाषाओं में स्मार्ट है। वास्तव में विश्वसनीय AI बनाने के लिए, हमें उन्हें पूरी दुनिया की जटिल और विविध वास्तविकता में टेस्ट करने की आवश्यकता है, न कि केवल अंग्रेजी के आरामदायक बुलबुले में।
उन्होंने एक "प्रशिक्षण मैनुअल" (एक डेटासेट) भी जारी किया है ताकि इन AI जजों को अन्य भाषाओं में बेहतर होने के लिए प्रशिक्षित किया जा सके, इस उम्मीद में कि वास्तविक दुनिया की समस्याओं के पैदा होने से पहले इस समस्या को ठीक किया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।