How Reliable Are Bengali LLM Benchmarks? A Cross-Lingual Contamination and Robustness Audit of Open-Weight Language Models
यह शोध पत्र क्रॉस-लिंगुअल डेटा संदूषण (cross-lingual data contamination) का पता लगाने और गड़बड़ी (perturbations) के विरुद्ध मजबूती को मापने के माध्यम से बंगाली एलएलएम (LLM) बेंचमार्क की विश्वसनीयता के ऑडिटिंग के लिए एक व्यवस्थित ढांचे को प्रस्तुत और मान्य करता है, जो यह प्रकट करता है कि प्रारंभिक पायलट परिणाम संयोग के स्तर (chance levels) से मुश्किल से ऊपर हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह आंकने की कोशिश कर रहे हैं कि एक नया छात्र गणित के सवालों को हल करने में कितना अच्छा है। आप उसे एक परीक्षा देते हैं, वह उच्च अंक प्राप्त करता है, और आप उसे जीनियस घोषित कर देते हैं। लेकिन क्या होगा यदि, परीक्षा से पहले, उसने गुप्त रूप से उत्तर कुंजी (answer key) को याद कर लिया हो? या क्या होगा यदि उसने उन्हीं सवालों को किसी दूसरी भाषा में देखा था और बस उनके आधार पर अनुमान लगा लिया? यह आर्टिफिशियल इंटेलिजेंस (AI) परीक्षणों की पेचीदा दुनिया है। वैज्ञानिक "लार्ज लैंग्वेज मॉडल्स" (LLMs) बनाते हैं—ऐसे सुपर-स्मार्ट कंप्यूटर प्रोग्राम जो कई भाषाओं में पढ़, लिख और चैट कर सकते हैं। यह देखने के लिए कि ये प्रोग्राम वास्तव में बुद्धिमान हैं या केवल याद रखने में अच्छे हैं, शोधकर्ता उन्हें "बेंचमार्क" नामक मानकीकृत परीक्षण देते हैं।
हालाँकि, यहाँ एक चालाकी भरी समस्या है जिसे "कंटैमिनेशन" (contamination) कहा जाता है। यह बिल्कुल वैसा ही है जैसे यदि एक शिक्षक ने गलती से उत्तर कुंजी शिक्षक की मेज पर छोड़ दी हो, और छात्र को परीक्षा से पहले वह मिल गई हो। छात्र को पूर्ण अंक मिलते हैं, लेकिन उसने सामग्री सीखी नहीं है; उसने केवल उत्तरों को रट लिया है। यह एक बहुत बड़ी बात है क्योंकि यदि परीक्षण "कंटैमिनेटेड" (दूषित) हैं, तो हम अंकों पर भरोसा नहीं कर सकते। हमें लग सकता है कि कोई AI बंगाली जैसी भाषा (जो करोड़ों लोग बोलते हैं) में बहुत अच्छा है, जबकि वास्तव में उसने पहले अंग्रेजी संस्करण वाला परीक्षण देखा होगा।
अब, एक नए अध्ययन को देखें जो एक जासूस की तरह काम करता है, यह जांच करता है कि क्या बंगाली भाषा के लिए AI परीक्षण निष्पक्ष हैं या वे छिपे हुए रिसाव (leaks) से भरे हुए हैं।
जासूसी का काम: बंगाली AI परीक्षणों का ऑडिट
इस शोध पत्र में शोधकर्ता एक बहुत ही महत्वपूर्ण प्रश्न पूछ रहे हैं: क्या हम जो स्कोर देखते हैं वे बंगाली परीक्षणों पर AI मॉडल्स के वास्तविक स्कोर हैं, या वे पूर्व एक्सपोजर (prior exposure) के कारण बढ़े हुए हैं?
उन्होंने बंगाली पर ध्यान केंद्रित किया क्योंकि यह एक विशाल भाषा है जिसे हाल ही में अपने स्वयं के AI परीक्षण मिले हैं। इनमें से कई परीक्षण प्रसिद्ध अंग्रेजी परीक्षणों के सीधे अनुवाद हैं। टीम को डर था कि यदि किसी AI मॉडल ने प्रशिक्षण के दौरान किसी प्रश्न का अंग्रेजी संस्करण देखा है, तो वह बिना बंगाली समझे भी बंगाली उत्तर का सही अनुमान लगाने में सक्षम हो सकता है। इसे "क्रॉस-लिंगुअल कंटैमिनेशन" (cross-lingual contamination) कहा जाता है।
इस रहस्य को सुलझाने के लिए, शोधकर्ताओं ने एक विशेष "ऑडिट फ्रेमवर्क" बनाया—पूर्व एक्सपोजर की जांच करने के लिए उपकरणों का एक सेट। उन्होंने तीन मुख्य विधियों का उपयोग किया:
- "लाइकलीहुड" (Likelihood) की जांच: उन्होंने देखा कि AI परीक्षण के सवालों से कितना हैरान था। यदि AI ने सवाल पहले देखा था, तो वह हैरान नहीं होगा; वह बहुत आत्मविश्वासी होगा। यदि वह इसे पहली बार देख रहा था, तो वह अधिक हिचकिचाएगा।
- "रिक्त स्थान भरें" (Fill-in-the-Blank) परीक्षण: उन्होंने AI को धोखा देने की कोशिश की जिसमें एक बहुविकल्पीय प्रश्न में से एक गलत उत्तर को छिपा दिया गया और उससे पूछा गया कि गायब विकल्प क्या है। यदि AI सटीक गायब शब्द का अनुमान लगा सकता है, तो संभावना है कि उसने पूरा परीक्षण याद कर लिया है।
- "ग्राउंड ट्रुथ" (Ground Truth) की खोज: उन मॉडल्स के लिए जो पूरी तरह से खुले (open) हैं (जहाँ हम देख सकते हैं कि उन्हें किस डेटा पर प्रशिक्षित किया गया है), उन्होंने वास्तव में प्रशिक्षण डेटा में खोजा कि क्या परीक्षण के प्रश्न वहाँ मौजूद थे।
उन्होंने रोबस्टनेस (robustness/मजबूती) का भी परीक्षण किया। यह एक प्रश्न की शब्दावली को थोड़ा बदलने जैसा है—एक संख्या बदलना या एक बेतुका, अप्रासंगिक वाक्य जोड़ना—यह देखने के लिए कि क्या AI अभी भी इसे सही हल करता है। यदि प्रश्न को थोड़ा बदलने पर AI का स्कोर गिर जाता है, तो यह सुझाव देता है कि AI वास्तव में "सोच" नहीं रहा था; वह केवल सटीक पैटर्न को याद कर रहा था।
उन्होंने क्या पाया (अभी तक)
शोधकर्ताओं ने केवल सिद्धांत की बात नहीं की; उन्होंने वास्तव में यह देखने के लिए एक छोटा "पायलट" परीक्षण चलाया कि क्या उनके जासूसी उपकरण काम करते हैं। उन्होंने एक छोटे AI मॉडल (जिसे Qwen2.5-1.5B कहा जाता है) का उपयोग किया और उसे BoolQ-bn नामक एक बंगाली रीडिंग कॉम्प्रिहेन्शन टेस्ट के 500 सवालों पर परखा।
इस पायलट परीक्षण ने क्या खुलासा किया:
- स्कोर सिक्का उछालने (coin flip) से मुश्किल से बेहतर था: मॉडल की सटीकता 0.568 थी। चूंकि यह एक हाँ/ना वाले प्रश्न का परीक्षण है, इसलिए एक रैंडम अनुमान से आपको 0.50 मिलेगा। मॉडल केवल शुद्ध भाग्य (luck) से लगभग 7 अंक बेहतर था। यह बताता है कि इस आकार में, मॉडल के पास अभी तक बंगाली पढ़ने की समझ (reading comprehension) का मजबूत आधार नहीं है।
- "प्रायर एक्सपोजर" (Prior Exposure) परीक्षण अनिर्णायक रहा: उन्होंने अपने लाइकलीहुड टूल्स का उपयोग करके यह देखने की कोशिश की कि क्या मॉडल ने उत्तर याद किए थे, लेकिन उन्हें तुलना करने के लिए एक विशेष "कंट्रोल" सेट (ऐसे प्रश्न जो मॉडल ने निश्चित रूप से नहीं देखे थे) की आवश्यकता थी। वह हिस्सा अभी भी पूरा किया जा रहा है।
- "डिस्ट्रैक्शन" (Distraction) परीक्षण: उन्होंने सवालों में एक भटकाने वाला वाक्य जोड़ा ताकि यह देखा जा सके कि क्या मॉडल भ्रमित हो जाता है। मॉडल का स्कोर थोड़ा गिरकर 0.558 हो गया, लेकिन अंतर सांख्यिकीय रूप से महत्वपूर्ण (statistically significant) नहीं था (गणित कहता है कि यह केवल रैंडम शोर हो सकता है)। इसका मतलब है कि पायलट परीक्षण यह निश्चित रूप से कहने के लिए बहुत छोटा था कि मॉडल नाजुक था या नहीं।
बड़ी तस्वीर (The Big Picture)
इस शोध पत्र का मुख्य निष्कर्ष यह नहीं है कि क्या बंगाली AI पूर्व एक्सपोजर प्रदर्शित कर रहा है या नहीं, इसके बारे में अंतिम निर्णय। इसके बजाय, यह शोध पत्र एक ब्लूप्रिंट (खाका) है कि यह कैसे पता लगाया जाए।
शोधकर्ताओं ने एक पूर्ण, ओपन-सोर्स टूलकिट बनाया है जिसे कोई भी इन परीक्षणों के ऑडिट के लिए उपयोग कर सकता है। उन्होंने सभी उपलब्ध बंगाली बेंचमार्क सूचीबद्ध किए हैं, कंटैमिनेशन की जांच करने के लिए एक प्रोटोकॉल बनाया है, और दिखाया है कि इन महंगे परीक्षणों को मुफ्त कंप्यूटर संसाधनों (जैसे Google Colab) पर चलाना संभव है।
वे वर्तमान में कई और मॉडल्स और बेंचमार्क्स पर पूर्ण ऑडिट चला रहे हैं। पायलट ने सिद्ध किया कि सिस्टम काम करता है, लेकिन पूर्ण परिणाम अभी भी कैलकुलेट किए जा रहे हैं। यह शोध पत्र तर्क देता है कि जब तक हम ये ऑडिट नहीं चलाते, हम यह सुनिश्चित नहीं कर सकते कि बंगाली में AI के लिए जो उच्च स्कोर दिख रहे हैं वे वास्तविक बुद्धिमत्ता हैं या केवल इस बात का परिणाम हैं कि मॉडल्स ने अंग्रेजी उत्तरों को पहले देख लिया था।
संक्षेप में, यह शोध पत्र एक आह्वान है: "आइए हम केवल यह अनुमान लगाना बंद करें कि बंगाली में AI स्मार्ट है या नहीं, और इसे साबित करने के लिए इन जासूसी उपकरणों का उपयोग करना शुरू करें।" वे यह सुनिश्चित कर रहे हैं कि जब हम कहें कि कोई AI किसी भाषा में अच्छा है, तो वह इसलिए है क्योंकि वह वास्तव में उस भाषा को समझता है, न कि इसलिए कि उसने परीक्षण को रट लिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।