EuroExec: Frontier Language Models Fall Short of Expert Judgment on European Executive Decision Tasks
यह शोध पत्र EuroExec को प्रस्तुत करता है, जो मानव विशेषज्ञों द्वारा मूल्यांकित 413 वास्तविक यूरोपीय कार्यकारी कार्यों का एक बेंचमार्क है, जो यह प्रकट करता है कि सबसे मजबूत फ्रंटियर लार्ज लैंग्वेज मॉडल भी पेशेवर मानव मानकों से काफी पीछे रह जाते हैं, क्योंकि वे केवल 56.9% कार्यों को ही हल कर पाते हैं और विशेषज्ञ द्वारा लिखे गए संदर्भों से लगातार पिछड़ जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल कंपनी को चलाने में मदद करने के लिए एक नया सहायक रख रहे हैं। आपको केवल ऐसे व्यक्ति की आवश्यकता नहीं है जो पाठ्यपुस्तक से तथ्यों को दोहरा सके; आपको एक ऐसे रणनीतिकार की आवश्यकता है जो एक अव्यवस्थित, वास्तविक दुनिया की समस्या को देख सके, स्थानीय नियमों को समझ सके और एक शानदार योजना लिख सके जो वास्तव में काम करे। यह "लार्ज लैंग्वेज मॉडल्स" (LLMs) की दुनिया है—अति-बुद्धिमान कंप्यूटर प्रोग्राम जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है ताकि वे कहानियाँ लिख सकें, प्रश्नों के उत्तर दे सकें और पहेलियाँ सुलझा सकें। कुछ समय से, हम इन AI सहायकों का सरल, बहुविकल्पीय क्विज़ के माध्यम से परीक्षण कर रहे हैं, जैसे कि उन्हें चार विकल्पों की सूची में से सही उत्तर चुनने के लिए कहना। लेकिन वास्तविक दुनिया में, समस्याएँ शायद ही कभी विकल्पों की सूची के साथ आती हैं। वे खुले अंत वाली, अव्यवस्थित होती हैं और उनके लिए गहरे निर्णय की आवश्यकता होती है। हर किसी के मन में बड़ा सवाल यह है: क्या ये AI "प्रतिभाशाली" वास्तव में उन उच्च-दांव वाले, खुले अंत वाले निर्णयों को संभाल सकते हैं जो वास्तविक कार्यकारी (executives) हर दिन लेते हैं, या वे केवल परीक्षा देने में बहुत अच्छे हैं?
सोवरानो एआई (Sovrano AI) के शोधकर्ताओं की एक टीम ने यह पता लगाने का निर्णय लिया और इसके लिए एक बिल्कुल नई, अत्यंत कठिन चुनौती बनाई जिसे EuroExec कहा गया। एक साधारण क्विज़ के बजाय, उन्होंने वास्तविक यूरोपीय व्यावसायिक परिदृश्यों पर आधारित 413 जटिल, दीर्घ-रूप प्रश्नों की एक विशाल परीक्षा बनाई। उन्होंने केवल AI को अनुमान लगाने के लिए नहीं कहा; उन्होंने 47 वास्तविक मानव विशेषज्ञों—ऐसे लोग जिनके पास वित्त, मार्केटिंग, व्यवसाय और उत्पाद प्रबंधन में दशकों का अनुभव है—को प्रश्न लिखने और उत्तरों को ग्रेड देने के लिए काम पर लगाया। इन विशेषज्ञों ने प्रत्येक उत्तर के लिए आवश्यकताओं की एक सख्त चेकलिस्ट बनाई, जो एक जूनियर कर्मचारी के काम की जांच करने वाले एक कठोर बॉस की तरह कार्य करती थी। फिर उन्होंने दुनिया के छह सबसे उन्नत AI मॉडल को इन समस्याओं को हल करने के लिए कहा और AI के प्रदर्शन की तुलना मानव विशेषज्ञों के साथ की।
परिणाम एक वास्तविकता की जाँच (reality check) की तरह थे। दुनिया के सबसे स्मार्ट AI मॉडल भी पेशेवरों के साथ तालमेल बिठाने के लिए संघर्ष करते दिखे। सबसे अच्छे AI मॉडल ने केवल लगभग 56.9% कार्यों को "हल" किया, जिसका अर्थ है कि वह लगभग आधे प्रश्नों पर पेशेवर मानक को पूरा करने में विफल रहा। इसके विपरीत, मानव विशेषज्ञों ने, जब उन्हें अपने स्वयं के आदर्श उत्तर लिखने के लिए कहा गया, तो उन्होंने समस्याओं को 92.4% की लगभग पूर्ण दर से हल किया। जब शोधकर्ताओं ने मानव विशेषज्ञों से उत्तरों को अंधे होकर (blindly) रैंक करने के लिए कहा, तो उन्होंने AI के उत्तरों के बजाय मानव-लिखित उत्तरों को 74% बार प्राथमिकता दी।
अध्ययन ने यह भी देखा कि AI कैसे विफल हुआ। जबकि मॉडल अच्छी तरह से संरचित टेक्स्ट लिखने और स्पष्ट रूप से संवाद करने में सक्षम थे, वे वास्तविक तर्क और लॉजिक के मामले में विफल रहे। वे अक्सर यूरोपीय बाजारों के विशिष्ट स्थानीय नियमों को समझने में चूक गए या यथार्थवादी, कार्रवाई योग्य योजनाएं बनाने में विफल रहे। दिलचस्प बात यह है कि शोधकर्ताओं ने समय और पैसा बचाने की उम्मीद में, उत्तरों को स्वचालित रूप से ग्रेड करने के लिए अन्य AI प्रोग्रामों का उपयोग करने का प्रयास किया। हालाँकि, ये "AI जज" अविश्वसनीय थे; वे सबसे अच्छे मॉडलों के प्रदर्शन को बढ़ा-चढ़ाकर बताते थे और उन सूक्ष्म बारीकियों को पकड़ने में विफल रहे जिन्हें मानव विशेषज्ञों ने पकड़ा था।
अंत में, यह शोध पत्र सुझाव देता है कि हालांकि AI टेक्स्ट उत्पन्न करने में अविश्वसनीय रूप से अच्छा हो रहा है, लेकिन यह उच्च-स्तरीय निर्णय लेने में मानव विशेषज्ञों को बदलने के लिए अभी तैयार नहीं है। सबसे आसान प्रश्नों पर शीर्ष AI की "सॉल्व रेट" (Solve Rate) मुश्किल से 50% तक पहुँच पाई, और यहाँ तक कि सबसे सक्षम मॉडल भी कार्यकारी कार्य के लिए आवश्यक पेशेवर मानक से बहुत दूर थे। शोधकर्ता निष्कर्ष निकालते हैं कि इस प्रकार के जटिल, वास्तविक दुनिया के कार्यों के लिए, मानवीय निर्णय अभी भी स्वर्ण मानक (gold standard) है, और हम स्वचालित माप या AI जजों पर भरोसा नहीं कर सकते कि क्या कोई कंप्यूटर वास्तव में एक विशेषज्ञ की तरह "सोच" रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।