NOLLI: A Difficulty-Calibrated Puzzle Benchmark for Diagnosing the English-Korean Performance Gap
यह शोध पत्र NOLLI को प्रस्तुत करता है, जो 7,500 अंग्रेजी-कोरियाई पहेली कार्यों का एक प्रक्रियात्मक रूप से निर्मित और कठिनाई-कैलिब्रेटेड बेंचमार्क है, जो यह प्रकट करता है कि कोरियाई भाषा मॉडल प्रत्यक्ष अनुवादों पर अंग्रेजी के तुलनीय प्रदर्शन करते हैं, लेकिन बहु-चरणीय उप-सिलेबिक निष्पादन की चुनौतियों के कारण लेखन-प्रणाली-गहन कार्यों में महत्वपूर्ण अंतराल का सामना करते हैं, और साथ ही यह भी प्रदर्शित करता है कि संरचनात्मक कार्य आकार, अनुभवजन्य कठिनाई का एक अविश्वसनीय प्रॉक्सी है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर इंसानों की तरह पढ़ना, लिखना और सोचना सीख रहे हैं। लंबे समय से, वैज्ञानिक इन "लार्ज लैंग्वेज मॉडल्स" (LLMs) का परीक्षण पेचीदा पहेलियों के साथ कर रहे हैं ताकि यह देखा जा सके कि क्या वे वास्तव में तर्क को समझते हैं या वे केवल पैटर्न को याद कर रहे हैं। लेकिन इसमें एक पेंच है: अधिकांश परीक्षण अंग्रेजी में लिखे गए हैं। जब हम उन्हीं मॉडल्स का अन्य भाषाओं, जैसे कि कोरियाई में परीक्षण करने की कोशिश करते हैं, तो उनके स्कोर अक्सर गिर जाते हैं। यह एक बड़ा सवाल खड़ा करता है: क्या कंप्यूटर नई भाषा में खराब है, या वह किसी गहरी चीज़ से जूझ रहा है, जैसे कि अक्षर कैसे बने हैं या शब्दों के पीछे के सांस्कृतिक नियम क्या हैं? इसका उत्तर देने के लिए, हमें एक समान खेल के मैदान की आवश्यकता है जहाँ केवल भाषा बदल रही हो, खेल की कठिनाई नहीं।
यहाँ NOLLI आता है, जो विशेष रूप से यह पता लगाने के लिए डिज़ाइन किए गए तर्क संबंधी पहेलियों का एक नया सेट है कि AI कोरियाई भाषा के साथ ठीक कहाँ और क्यों संघर्ष करता है। NOLLI को एक विशाल, प्रक्रियात्मक रूप से उत्पन्न (procedurally generated) बाधा दौड़ के रूप में समझें। पुराने घिसे-पिटे सुरागों का उपयोग करने के बजाय, शोधकर्ताओं ने एक ऐसी मशीन बनाई जो सुडोकू ग्रिड से लेकर गुप्त कोड तक, हजारों अद्वितीय पहेलियाँ तुरंत बना सकती है। यहाँ असली जादू "कैलिब्रेशन" (अंशांकन) है। आमतौर पर, किसी पहेली को "कठिन" बनाने का अर्थ ग्रिड को बड़ा करना या अधिक शब्द जोड़ना होता है। लेकिन NOLLI टीम ने महसूस किया कि कंप्यूटर के लिए बड़ा होने का मतलब हमेशा कठिन होना नहीं होता है। इसलिए, उन्होंने पहेली जनरेटरों को एक रेडियो डायल की तरह तब तक ट्यून किया जब तक कि एक विशिष्ट "संदर्भ" कंप्यूटर ने सही मात्रा में प्रश्न सही नहीं किए (आसान के लिए 75%, मध्यम के लिए 50%, कठिन के लिए 25%)। यह सुनिश्चित करता है कि जब वे अंग्रेजी और कोरियाई की तुलना करते हैं, तो वे सेब की तुलना सेब से कर रहे हों, न कि सेब की तुलना संतरे से।
टीम ने 15 अलग-अलग AI मॉडल्स का परीक्षण किया, जिनमें सुपर-स्मार्ट "फ्रंटियर" मॉडल्स से लेकर छोटे, ओपन-सोर्स मॉडल्स तक शामिल थे। उन्होंने पहेलियों को तीन स्तरों में व्यवस्थित किया। पहला स्तर था प्रत्यक्ष अनुवाद (Direct Translations): वही पहेली अंग्रेजी और कोरियाई में लिखी गई। दूसरा स्तर था लिपि अनुकूलन (Script Adaptations), जहाँ पहेली अंग्रेजी अक्षरों के बजाय कोरियाई वर्णमाला के निर्माण खंडों (जिन्हें जामो कहा जाता है) का उपयोग करती है। तीसरा स्तर था कोरियाई-ओनली (Korean-Only), जिसमें ऐसी पहेलियाँ थीं जो कोरियाई संस्कृति पर आधारित थीं, जैसे कि जटिल पारिवारिक संबंधों या पारंपरिक कैलेंडर गणित को समझना।
यहाँ उन्हें क्या मिला, यह थोड़ा चौंकाने वाला है। सबसे पहले, भाषा स्वयं खलनायक नहीं है। जब पहेलियाँ केवल प्रत्यक्ष अनुवाद थीं, तो AI ने अंग्रेजी और कोरियाई में लगभग एक जैसा प्रदर्शन किया। अंतर बहुत कम था, जिससे पता चलता है कि केवल कोरियाई पढ़ना ही मॉडल्स को परेशान नहीं कर रहा है। हालाँकि, समस्या तब शुरू हुई जब पहेलियों के लिए कोरियाई लेखन प्रणाली के हेरफेर की आवश्यकता हुई। "कोरियन साइफर" नामक एक खेल में, जहाँ AI को कोरियाई अक्षरों के उप-सिलेबिक भागों का उपयोग करके संदेशों को डिकोड करना था, कुछ मॉडल्स पूरी तरह से विफल हो गए, और उनके प्रदर्शन में अंग्रेजी प्रदर्शन की तुलना में 68.7 प्रतिशत अंक तक की गिरावट आई। दिलचस्प बात यह है कि उसी अक्षरों का उपयोग करने वाले एक अन्य पहेली ने, जो उन्हें सरल प्रतीकों के रूप में मानती थी, कोई गिरावट नहीं की। इससे पता चलता है कि समस्या स्वयं अक्षर नहीं हैं, बल्कि कोरियाई अक्षरों को तोड़ने और उन्हें वापस जोड़ने के लिए आवश्यक जटिल, बहु-चरणीय मानसिक व्यायाम है।
अंत में, टीम ने कोरियाई-ओनली सांस्कृतिक पहेलियों को देखा। उन्होंने एक अजीब पैटर्न पाया: जबकि कुछ कार्यों में मॉडल के आधार पर आसानी या कठिनाई होती थी, एक विशिष्ट कार्य—कोरियाई पारिवारिक शीर्षकों को समझना (जैसे कि "मतृ पक्ष के दादा के छोटे भाई की पत्नी")—हर एक मॉडल के लिए कठिन था, चाहे वह कितना भी स्मार्ट क्यों न हो। बेहतरीन AI मॉडल्स भी इस अंतर को पाट नहीं सके। अध्ययन निष्कर्ष निकालता है कि हालांकि AI अनुवाद करने में बहुत अच्छा हो गया है, लेकिन यह कोरियाई भाषा के अद्वितीय निर्माण खंडों पर जटिल, चरण-दर-चरण संचालन करने या इसके विशिष्ट सांस्कृतिक नियमों को समझने में लड़खड़ाता है। ऐसा नहीं है कि कंप्यूटर कोरियाई पढ़ नहीं सकता; बल्कि यह है कि उसने अभी तक उस मानसिक नृत्य को पूरी तरह से नहीं सीखा है जो इसे संचालित करने के लिए आवश्यक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।