ML2B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation
यह शोध पत्र ML2B प्रस्तुत करता है, जो बड़े भाषा मॉडलों (large language models) द्वारा क्रॉस-लिंगुअल मशीन लर्निंग पाइपलाइन जनरेशन के मूल्यांकन के लिए पहला बेंचमार्क है, जो 14 भाषाओं में 490 कार्य-भाषा युग्मों (task-language pairs) का उपयोग करके यह प्रकट करता है कि प्रदर्शन में गिरावट पारंपरिक संसाधन पदानुक्रमों का पालन करने के बजाय अत्यधिक कार्य-निर्भर (task-dependent) है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आप एक बहुत ही बुद्धिमान रोबोट से केवल एक सरल अनुरोध टाइप करके आपके लिए मशीन लर्निंग मॉडल बनाने के लिए कह सकते हैं, जैसे कि, "अनुमान लगाओ कि हमारे नए जूते कौन से ग्राहक खरीदेंगे।" लंबे समय से, ये रोबोट—जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है—इसमें अविश्वसनीय रूप से प्रतिभाशाली रहे हैं, लेकिन केवल तभी जब आप उनसे अंग्रेजी में बात करते हैं। यह एक शानदार शेफ होने जैसा है जो अंग्रेजी में रेसिपी मिलने पर पांच-सितारा भोजन बना सकता है, लेकिन यदि आप उन्हें फ्रेंच, स्पेनिश या जापानी में रेसिपी देते हैं, तो वे शायद केवल सामग्रियों को घूरते रह जाएंगे और रसोई जला देंगे।
यही वह समस्या है जिसे शोधकर्ता हल करने की कोशिश कर रहे हैं: जैसे-जैसे AI दुनिया भर में फैल रहा है, हमें यह जानने की आवश्यकता है कि क्या ये डिजिटल शेफ वास्तव में किसी भी भाषा में निर्देशों का पालन कर सकते हैं, न कि केवल उस भाषा में जिस पर उन्हें सबसे अधिक प्रशिक्षित किया गया है। लेकिन इसमें एक पेंच है। यदि हम उनसे ऐसे पहेलियाँ सुलझाने के लिए कहते हैं जो पहले से ही इंटरनेट पर मौजूद हैं, तो रोबोट ने अपने प्रशिक्षण डेटा से उत्तर याद कर लिए होंगे, जिससे वे वास्तव में जितने स्मार्ट हैं उससे कहीं अधिक स्मार्ट दिखाई देते हैं। यह एक छात्र को गणित के उस टेस्ट देने जैसा है जिसे उसने पहले ही देख लिया है; उसे 'A' ग्रेड तो मिल जाता है, लेकिन हमें यह नहीं पता चलता कि क्या वह वास्तव में बीजगणित (algebra) समझता है। एक वास्तविक तस्वीर पाने के लिए, हमें एक ऐसे परीक्षण की आवश्यकता है जो नया हो, निष्पक्ष हो और कई अलग-अलग भाषाओं में बोला जाता हो।
यहाँ आता है ML2B, एक नया "एग्जाम" जिसे शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए बनाया है कि ये AI रोबोट कितनी अच्छी तरह पूर्ण मशीन लर्निंग पाइपलाइन बना सकते हैं जब निर्देश 14 अलग-अलग भाषाओं में हों। ML2B को एक विशाल, बहुभाषी कुकिंग प्रतियोगिता के रूप में समझें। केवल रोबोट को कोड की एक एकल पंक्ति लिखने के लिए कहने के बजाय, शोधकर्ताओं ने उन्हें 35 वास्तविक दुनिया की चुनौतियाँ दीं—जैसे घरों की कीमतों का अनुमान लगाना, कुत्तों की नस्लों की पहचान करना, या जहरीली टिप्पणियों का पता लगाना—और निर्देशों को अरबी और चीनी से लेकर कज़ाख और यूक्रेनी तक की भाषाओं में अनुवादित किया।
यह सुनिश्चित करने के लिए कि रोबोट उत्तर याद करके धोखाधड़ी न कर सकें, टीम ने 10 "गुप्त" प्रतियोगिताएं शामिल कीं जहाँ समाधान कभी सार्वजनिक नहीं किए गए थे। उन्होंने एक विशेष, अलग डिजिटल किचन (एक नेटवर्क-आइसोलेटेड कंटेनर) भी बनाया जहाँ रोबोटों को अपना कोड बनाना था। यदि रोबोट इंटरनेट से पहले से बना हुआ व्यंजन चुराने की कोशिश करता या ऐसा रेसिपी उपयोग करता जिसमें खाना पकाने से पहले ही सामग्री का मिश्रण गड़बड़ा गया हो (एक समस्या जिसे 'डेटा लीकेज' कहा जाता है), तो सिस्टम उन्हें पकड़ लेता। रोबrots को सख्त नियमों का पालन करना था, जैसे कि "ट्रेनिंग" चरण को "प्रेडिक्शन" चरण से अलग करना, ठीक वैसे ही जैसे एक असली शेफ अंतिम व्यंजन पूरी तरह से पकने से पहले उसका स्वाद नहीं चखता।
जब शोधकर्ताओं ने शीर्ष-स्तरीय AI मॉडल्स के साथ परीक्षण चलाया, तो उन्हें कुछ ऐसा आश्चर्यजनक मिला जो कई लोगों की धारणाओं को चुनौती देता है। उन्हें उम्मीद थी कि रोबोट "लो-रिसोर्स" भाषाओं (कम डिजिटल डेटा उपलब्ध वाली भाषाएं) के साथ सबसे अधिक संघर्ष करेंगे और अंग्रेजी या फ्रेंच जैसी "हाई-रिसोर्स" भाषाओं के साथ सबसे अच्छा प्रदर्शन करेंगे। लेकिन परिणामों ने दिखाया कि भाषा मुख्य बॉस नहीं थी। इसके बजाय, कठिनाई पूरी तरह से इस बात पर निर्भर थी कि रोबोट से क्या करने के लिए कहा जा रहा था। कभी-कभी, एक रोबोट "लो-रिसोर्स" भाषा में अंग्रेजी की तुलना में बेहतर प्रदर्शन करता था, और अन्य समय में वह "हाई-रिसोर्स" भाषा में पूरी तरह विफल हो जाता था।
अध्ययन बताता है कि वास्तविक बाधा केवल शब्दों को जानना नहीं है; यह मशीन लर्निंग मॉडल बनाने के जटिल, चरण-दर-चरण निर्देशों का पालन करने के बारे में है। शोधकर्ताओं ने पाया कि रोबोट अक्सर इसलिए विफल नहीं हुए क्योंकि वे भाषा नहीं समझ पा रहे थे, बल्कि इसलिए क्योंकि उन्होंने कोड की संरचना बिगाड़ दी थी—जैसे कि ब्रैकेट बंद करना भूल जाना या ऐसे टूल का उपयोग करना जो उनके सॉफ़्टवेयर के वर्ज़न में मौजूद नहीं था। एक मॉडल, GPT-4.1-mini, उच्च-गुणवत्ता वाले विचार लाने में बहुत अच्छा था लेकिन अक्सर काम को सही ढंग से पूरा करने में विफल रहा, जबकि दूसरा, GPT-OSS-120b, नियमों का पालन करने में अधिक विश्वसनीय था लेकिन कभी-कभी सरल परिणाम देता था।
अंततः, ML2B प्रकट करता है कि हम यह मानकर नहीं चल सकते कि एक AI हर चीज़ में अच्छा है क्योंकि वह कई भाषाएँ बोलता है। जटिल उपकरण बनाने की क्षमता उस विशिष्ट कार्य पर बहुत अधिक निर्भर करती है, न कि उस भाषा पर जिसमें उसके लिए पूछा गया है। इस बेंचमार्क को जनता के लिए खोलने के साथ, लेखकों को उम्मीद है कि यह डेवलपर्स को ऐसे रोबोट बनाने में मदद करेगा जो न केवल बहुभाषी हैं, बल्कि वास्तव में मजबूत और विश्वसनीय भी हैं, चाहे उन्हें किसी भी भाषा में पूछा जाए या किसी भी समस्या को हल करने के लिए कहा जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।