Who Benchmarks the Benchmarks? A Case Study of LLM Evaluation in Icelandic
यह शोध पत्र आइसलैंडिक भाषा के लिए वर्तमान लार्ज लैंग्वेज मॉडल बेंचमार्क की वैधता की आलोचना करता है, यह प्रदर्शित करते हुए कि अपुष्ट सिंथेटिक या मशीन-अनुवादित डेटा गंभीर दोष उत्पन्न करता है और कम तथा मध्यम-संसाधन वाली भाषा सेटिंग में मानव-सत्यापित मूल्यांकन विधियों की आवश्यकता का तर्क देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो एक नए छात्र के निबंध को ग्रेड करने की कोशिश कर रहे हैं। लेकिन खुद निबंध पढ़ने के बजाय, आप एक रोबोट से उस निबंध को आपकी भाषा में अनुवाद करने, उसे ग्रेड करने और फिर आपको यह बताने के लिए कहते हैं कि छात्र ने कैसा प्रदर्शन किया।
यह पेपर अनिवार्य रूप से एक रिपोर्ट कार्ड है कि हम वर्तमान में आइसलैंडिक (एक ऐसी भाषा जिसे बोलने वाले लोगों की संख्या अपेक्षाकृत कम है) में AI (लार्ज लैंग्वेज मॉडल्स) का परीक्षण कैसे कर रहे हैं। इसके लेखक, जो आइसलैंडिक और AI के विशेषज्ञ हैं, एक बहुत बड़ा रेड फ्लैग (चेतावनी) उठा रहे हैं: हमारे द्वारा उपयोग किए जाने वाले कई परीक्षण दोषपूर्ण हैं, और ये दोषपूर्ण परीक्षण हमें गलत तस्वीर दिखा रहे हैं कि ये AI वास्तव में कितने बुद्धिमान हैं।
यहाँ उनके निष्कर्षों का रोजमर्रा के उदाहरणों (analogies) का उपयोग करके विवरण दिया गया है:
1. "कॉपी-पेस्ट" की समस्या (मशीन अनुवाद)
वर्तमान में, क्योंकि शून्य से परीक्षण बनाना कठिन और महंगा है, इसलिए कई शोधकर्ता प्रसिद्ध अंग्रेजी परीक्षणों (जैसे कि 5वीं कक्षा की विज्ञान क्विज़) को लेते हैं और उन्हें आइसलैंडिक बनाने के लिए बस एक मशीन ट्रांसलेटर के माध्यम से चला देते हैं।
- उदाहरण: कल्पना कीजिए कि आप किसी छात्र के आइसलैंडिक इतिहास के ज्ञान का परीक्षण करना चाहते हैं। आइसलैंडिक में टेस्ट लिखने के बजाय, आप अमेरिकी इतिहास का एक टेस्ट लेते हैं, उसे गूगल ट्रांसलेट के माध्यम से चलाते हैं, और छात्र को थमा देते हैं।
- परिणाम: अनुवाद अजीब त्रुटियों से भरा हो सकता है। एक "turkey" (पक्षी) का अनुवाद "Turkey" (देश) के रूप में हो सकता है। किसी प्रसिद्ध वैज्ञानिक का नाम बदलकर कोई यादृच्छिक स्थानीय नाम रखा जा सकता है।
- पेपर का निष्कर्ष: लेखकों ने पाया कि इनमें से कई "अनुवादित" परीक्षण इतने त्रुटिपूर्ण हैं कि वे बेकार हैं। यह एक गणित के टेस्ट देने जैसा है जहाँ संख्याएँ ऐसी भाषा में लिखी गई हैं जिसे छात्र समझ ही नहीं पाता। यदि AI सही उत्तर देता है, तो हो सकता है कि वह वास्तव में समझ नहीं रहा हो, बल्कि केवल अनुमान लगा रहा हो क्योंकि प्रश्न ही निरर्थक था।
2. "फेक न्यूज" फैक्ट्री (सिंथेटिक डेटा)
कुछ परीक्षण केवल अनुवादित नहीं होते हैं; वे पूरी तरह से अन्य AI द्वारा उत्पन्न किए जाते हैं। एक AI से कहा जाता है कि "आइसलैंड के बारे में 1,000 प्रश्न बनाओ।"
- उदाहरण: यह एक छात्र को अपना स्वयं का इतिहास का पाठ्यपुस्तक लिखने के लिए कहने जैसा है, और फिर उसी पाठ्यपुस्तक का उपयोग करके उसे ग्रेड देने जैसा है। छात्र ऐसे तथ्य बना सकता है जो सुनने में तर्कसंगत लगें लेकिन पूरी तरह से गलत हों।
- पेपर का निष्कर्ष: जब AI ये प्रश्न उत्पन्न करते हैं, तो वे अक्सर 'हैलुसिनेट' (भ्रमित होकर मनगढ़ंत बातें बनाना) करते हैं। वे किसी ऐसे व्यक्ति के बारे में प्रश्न बना सकते हैं जिसका अस्तित्व ही नहीं था या किसी ऐसे तथ्य के बारे में जो वैज्ञानिक रूप से असंभव है। लेखकों ने पाया कि इनमें से कुछ AI-जनरेटेड परीक्षण लगभग 100% त्रुटिपूर्ण थे।
3. "नेटिव स्पीकर" का अंतर
पेपर में सबसे सफल परीक्षण वे थे जहाँ वास्तविक आइसलैंडिक बोलने वाले मनुष्यों ने प्रश्नों को लिखा या उनकी जाँच की।
- उदाहरण: यह एक वास्तविक आइसलैंडिक शिक्षक द्वारा टेस्ट लिखने जैसा है। वे स्थानीय संस्कृति, स्लैंग, सही व्याकरण और इतिहास को जानते हैं। वे यह अनुमान लगाने के लिए रोबोट पर निर्भर नहीं रहते कि किसी वाक्य का क्या अर्थ है।
- पेपर का निष्कर्ष: मनुष्यों द्वारा बनाए गए परीक्षण बहुत अधिक स्पष्ट और सटीक थे। मशीनों (या उनके द्वारा अनुवादित) द्वारा बनाए गए परीक्षण "ट्रांसलेशनिस" (अजीब वाक्यांश जो कोई वास्तविक मानव कभी नहीं कहेगा) से भरे हुए थे।
4. यह क्यों मायने रखता है? ("गार्बेज इन, गार्बेज आउट" का नियम)
लेखकों का तर्क है कि यदि हम इन टूटे हुए परीक्षणों का उपयोग करना जारी रखते हैं, तो हम खुद को यह कहकर धोखा दे रहे हैं कि AI कितना अच्छा है।
- उदाहरण: कल्पना कीजिए कि आप एक कुत्ते को प्रशिक्षित कर रहे हैं। यदि आप एक टूटे हुए क्लिकर का उपयोग करते हैं जो हर बार शोर करता है जब कुत्ता बैठता है, भले ही वह केवल खड़ा हो, तो कुत्ता सोचेगा कि वह कुछ सही कर रहा है। अंततः, कुत्ता भ्रमित हो जाएगा और वास्तव में बैठना नहीं सीख पाएगा।
- वास्तविक परिणाम: यदि AI मॉडल इन टूटे हुए परीक्षणों पर प्रशिक्षित या मूल्यांकित किए जाते हैं, तो वे "सिस्टम को चकमा देना" सीख सकते हैं। वे अजीब अनुवाद त्रुटियों को पहचानने और उन त्रुटियों के आधार पर उत्तर देने में सक्षम हो सकते हैं, न कि वास्तव में भाषा को समझने के आधार पर। यह AI को वास्तविक में जितना है उससे अधिक स्मार्ट दिखाता है, लेकिन वास्तविक दुनिया में वह विफल हो जाएगा।
मुख्य निष्कर्ष
पेपर एक सरल प्रश्न पूछता है: "उन लोगों की जाँच कौन कर रहा है जो परीक्षण बनाते हैं?"
अभी, उत्तर अक्सर "कोई नहीं", या "एक रोबोट" होता है। लेखक बदलाव की मांग कर रहे हैं:
- परीक्षणों को आँख मूंदकर अनुवाद करना बंद करें। यदि आप एक परीक्षण का अनुवाद करते हैं, तो एक वास्तविक मूल वक्ता (native speaker) को इसकी जाँच करनी चाहिए कि क्या यह समझ में आता है।
- वास्तविक मनुष्यों को शामिल करें। यह सुनिश्चित करने के लिए कि परीक्षण वास्तविक संस्कृति और भाषा को दर्शाते हैं, न कि केवल रोबोटिक अनुवाद को, मूल वक्ताओं को प्रक्रिया का हिस्सा होना चाहिए।
- मात्रा से अधिक गुणवत्ता। एक विशाल, टूटे हुए परीक्षण के बजाय एक छोटा, पूर्ण परीक्षण बेहतर है।
संक्षेप में: हम स्कोरबोर्ड पर भरोसा नहीं कर सकते यदि रेफरी ऐसे रोबोट हैं जो भाषा नहीं बोलते। हमें यह सुनिश्चित करने के लिए मानव विशेषज्ञों की आवश्यकता है कि परीक्षण निष्पक्ष और सटीक हों, इससे पहले कि हम किसी AI को जीनियस घोषित करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।