mmPISA-bench: Do LLMs Reason Equally Well Across 43 Languages?
यह शोध पत्र mmPISA-bench प्रस्तुत करता है, जो 43 भाषाओं में PISA से व्युत्पन्न एक बहुभाषी तर्क बेंचमार्क है, जो यह प्रदर्शित करता है कि आधुनिक LLMs मशीन अनुवाद से न्यूनतम गिरावट के साथ मानव-तुलनीय तर्क प्रदर्शन प्राप्त करते हैं, हालांकि यह विभिन्न भाषाओं के बीच सटीकता और अनुमान लागत (inference costs) में महत्वपूर्ण भिन्नताओं को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट छात्र है जो लगभग कोई भी भाषा बोल सकता है। आप यह जानना चाहते हैं: क्या यह छात्र फ्रेंच में टेस्ट देने में उतना ही स्मार्ट है जितना कि वह अंग्रेजी में है? या, यदि आप उसे एक ऐसी भाषा में टेस्ट देते हैं जिसे वह मूल रूप से नहीं जानता (लेकिन जिसे एक रोबोट द्वारा अनुवादित किया गया है), तो क्या उसे अभी भी सही उत्तर मिलते हैं?
यह पेपर, जिसे mmPISA-bench कहा जाता है, दुनिया के दो सबसे उन्नत AI "छात्रों" (विशेष रूप से, OpenAI और Anthropic के मॉडल्स) के लिए एक विशाल, बहुभाषी रिपोर्ट कार्ड की तरह है। यहाँ बताया गया है कि उन्होंने क्या पाया, रोज़मर्रा के उदाहरणों का उपयोग करते हुए।
1. टेस्ट: एक वैश्विक गणित और पठन परीक्षा
शोधकर्ताओं ने केवल मनमाने सवाल नहीं बनाए। उन्होंने PISA परीक्षा से 25 वास्तविक प्रश्न लिए—वह प्रसिद्ध अंतरराष्ट्रीय परीक्षा जो दुनिया भर के 15 वर्षीय छात्र यह साबित करने के लिए देते हैं कि वे गणित की समस्याओं को हल कर सकते हैं और पठन अंशों को समझ सकते हैं।
- सेटअप: उन्होंने इन 25 प्रश्नों को लिया और उन्हें 43 अलग-अलग भाषाओं में अनुवादित किया।
- ट्विस्ट: हर भाषा के लिए, उनके पास दो संस्करण थे:
- "आधिकारिक" संस्करण: मानव विशेषज्ञों (जैसे कि एक पेशेवर अनुवादक) द्वारा अनुवादित।
- "रोबोट" संस्करण: गूगल ट्रांसलेट (मशीन अनुवाद) द्वारा अनुवादित।
- लक्ष्य: यह देखना कि क्या AI इन 43 भाषाओं में इन तर्क संबंधी पहेलियों को हल कर सकता है, और क्या इससे फर्क पड़ता है कि अनुवाद किसी इंसान ने किया था या किसी रोबोट ने।
2. परिणाम: क्या AI छात्र हर जगह समान रूप से स्मार्ट हैं?
अच्छी खबर: हाँ, ज्यादातर।
AI मॉडल्स ने सभी 43 भाषाओं में बहुत अच्छा प्रदर्शन किया। वास्तव में, उनकी सटीकता अक्सर उस स्तर के बराबर थी जिसकी आप एक बुद्धिमान 15 वर्षीय मानव छात्र से अपेक्षा करेंगे। वे अचानक गणित करना नहीं "भूल" गए क्योंकि प्रश्न आइसलैंडिक या थाई भाषा में था।
सावधानी: यह पूरी तरह से समान नहीं था।
- "बोली" का प्रभाव: जैसे कि एक इंसान अपनी मातृभाषा में कहानी पढ़ने में दूसरी भाषा की तुलना में थोड़ा अधिक सहज हो सकता है, AI भी कुछ भाषाओं में अन्य भाषाओं की तुलना में थोड़ा अधिक सटीक था।
- "रोबोट" अनुवाद का मिथक: आप सोच सकते हैं, "यदि प्रश्न एक रोबोट द्वारा अनुवादित किया गया है, तो AI भ्रमित हो जाएगा।" पेपर कहता है कि नहीं। AI को "रोबोट" अनुवादों के साथ भी उतनी ही बार सही उत्तर मिले जितने कि "मानव" अनुवादों के साथ। यह एक बड़ी बात है क्योंकि इसका मतलब है कि हमें नई भाषाओं में AI का परीक्षण करने के लिए हमेशा महंगे मानव अनुवादकों की आवश्यकता नहीं है; एक अच्छा मशीन अनुवादर ठीक काम करता है।
3. छिपा हुआ खर्च: "सोचने" का मूल्य टैग
यहीं पर यह पेपर वास्तव में दिलचस्प हो जाता है। यह केवल सही उत्तर पाने के बारे में नहीं है; यह इस बारे में है कि वहाँ पहुँचने में कितनी लागत आती है।
कल्प_ना कीजिए कि दो छात्र एक टेस्ट दे रहे हैं:*
- छात्र A (Claude): हर उत्तर के लिए बहुत लंबा, विस्तृत विवरण लिखता है।
- छात्र B (GPT): छोटे स्पष्टीकरण लिखता है।
शोधकर्ताओं ने पाया कि कुछ भाषाओं के लिए, AI को सही उत्तर पाने के लिए बहुत अधिक "सोचना" पड़ा (अधिक टेक्स्ट लिखना पड़ा), जिससे टेस्ट चलाना अधिक महंगा हो गया।
- "महंगी और अनाड़ी" भाषाएँ: कुछ भाषाओं के लिए (जैसे एक मॉडल के लिए थाई, या दूसरे के लिए ग्रीक), AI को एक सरल समस्या को हल करने के लिए बहुत सारा टेक्स्ट जेनरेट करना पड़ा। यह ऐसा था जैसे कोने वाली दुकान तक जाने के लिए एक लग्जरी टैक्सी की सवारी के लिए भुगतान करना।
- परिणाम: इन "महंगी" भाषाओं में, AI वास्तव में कम सटीक था और साथ ही अधिक महंगा भी था। यह एक दोहरा झटका है: आप अधिक भुगतान करते हैं, और आपको खराब परिणाम मिलता है।
4. गुप्त भाषा स्विच
शोधकर्ताओं ने यह देखने के लिए भी गहराई से जांच की कि AI कैसे सोच रहा था। उन्होंने कुछ आश्चर्यजनक पाया:
- कभी-कभी, जब AI से कज़ाख में सवाल पूछा जाता था, तो वह केवल कज़ाख या अंग्रेजी में नहीं सोचता था। वास्तव में, वह कज़ाख में उत्तर देने से पहले रूसी में अपनी गणित और तर्क करना शुरू कर देता था।
- यह एक ऐसे व्यक्ति की तरह है जो स्पेनिश और अंग्रेजी बोलता है, लेकिन जब उसे गणित की एक कठिन समस्या मिलती है, तो वह स्वाभाविक रूप से फ्रेंच में सोचने लगता है क्योंकि वहीं उसका "गणित वाला दिमाग" रहता है। AI भी कुछ ऐसा ही कर रहा था, समस्या को हल करने के लिए एक "पिवट भाषा" (pivot language) का उपयोग कर रहा था।
सारांश: इसका क्या मतलब है?
- AI भाषाओं में अच्छा हो रहा है: आधुनिक AI 43 अलग-अलग भाषाओं में तर्क संबंधी पहेलियों को लगभग एक मानव किशोर की तरह ही हल कर सकता है।
- मशीन अनुवाद ठीक है: आपको AI का परीक्षण करने के लिए पूर्ण मानव अनुवादों की आवश्यकता नहीं है; रोबोट अनुवाद भी ठीक काम करते हैं।
- भाषा लागत के लिए मायने रखती है: कुछ भाषाएँ AI के लिए प्रोसेस करना "कठिन" होती हैं। वे AI को अधिक बोलने (जिससे लागत बढ़ती है) पर मजबूर करती हैं और कभी-कभी उनसे अधिक गलतियाँ भी होती हैं।
- हमें गहराई से देखने की आवश्यकता है: यह समझने के लिए कि AI कितना अच्छा है, हम केवल अंतिम स्कोर को नहीं देख सकते। हमें यह भी देखना होगा कि उस स्कोर को पाने के लिए कितनी "मेहनत" (और पैसा) लगी, और वे गुप्त रूप से किन भाषाओं में सोच रहे थे।
संक्षेप में, AI एक बहुभाषी जीनियस है, लेकिन उसके पास अभी भी कुछ ऐसे "बोलियाँ" हैं जहाँ वह थोड़ा लड़खड़ाता है और काम पूरा करने के लिए अपने पॉकेट मनी का बहुत अधिक खर्च करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।