← नवीनतम पेपर
🤖 AI

Agents' Last Exam

यह शोध पत्र एजेंट्स लास्ट एग्जाम (ALE) को प्रस्तुत करता है, जो 13 उद्योग समूहों में दीर्घकालिक, आर्थिक रूप से मूल्यवान वास्तविक दुनिया के कार्यों पर एआई एजेंटों का मूल्यांकन करने के लिए 250 से अधिक उद्योग विशेषज्ञों के साथ विकसित एक लिविंग बेंचमार्क है, जिसका उद्देश्य वर्तमान बेंचमार्क सफलता और सार्थक जीडीपी-प्रासंगिक परिनियोजन के बीच के अंतर को पाटना है।

मूल लेखक: Yiyou Sun, Xinyang Han, Weichen Zhang, Yuanbo Pang, Tianyu Wang, Yuhan Cao, Yixiao Huang, Chris Duroiu, Haoyun Zhang, Jeffrey Lin, Weishu Zhang, Tyler Zeng, Ying Yan, Bo Liu, Hanson Wen, Mingyang Xu
प्रकाशित 2026-06-05
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Yiyou Sun, Xinyang Han, Weichen Zhang, Yuanbo Pang, Tianyu Wang, Yuhan Cao, Yixiao Huang, Chris Duroiu, Haoyun Zhang, Jeffrey Lin, Weishu Zhang, Tyler Zeng, Ying Yan, Bo Liu, Hanson Wen, Mingyang Xu, Xiaoyuan Liu, Zimeng Chen, Weiyan Shi, Amanda Dsouza, Vincent Sunn Chen, Patrick Bryant, Carl Boettiger, Yamini Rangan, Bradley Rothenberg, Kyle Steinfeld, Arvind Rao, Tapio Schneider, Georgios Yannakakis, Laure Zanna, Kaan Ozbay, Ida Sim, Tarek Zohdi, George Em Karniadakis, Jack Gallant, Teresa Head-gordon, Yushan Li, Wenxi Deng, Tao Sun, Huiqi Wang, Zhun Wang, Justin Xu, Chris Yuhao Liu, Yafei Cheng, Rongwang Hu, Aras Bacho, Shengcao Cao, Zengyi Qin, Yixiong Chen, Hengduan Fan, Hao Liu, Lin Zeng, Shashank Muralidhar Bharadwaj, Litian Gong, Yingxuan Yang, Maojia Song, Ruheng Wang, Zongzheng Zhang, Honglin Bao, Shuo Lu, Jianhong Tu, Zhonghua Wang, Zheng Zhang, Zijiao Chen, yanqiong Jiang, Zhendong Li, Bohan Lyu, Chang Ma, Peiran Xu, Benran Zhang, Shangding Gu, Haoyue Hua, Haoyang Li, Wanzhe Liao, Chengzhi Liu, Junbo Peng, Haoran Sun, Zechen Xu, Bo Chen, Jiayi Cheng, Yi Jiang, Keying Kuang, Yuan Li, Youbang Pan, Ziyan Rao, Alexander Schubert, Yifan Shen, Vincent Siu, Xiatao Sun, Kangqi Zhang, Xiaopan Zhang, Yuchen Zhu, Ishaan Singh Chandok, Lei Ding, Jingxuan Fan, Andrew Glover, Jiaming Hu, Yiran Hu, Wenbo Huang, Zixin Jiang, Haoran Jin, Lukas Kim, Ming Liu, Yang Liu, Alireza Rafiei, Xuhuan Shen, Kunyang Sun, Sophia Sun, Ting Sun, Eric Wang, Yixin Wang, Hanwen Xing, Sihan Xu, Yuzheng Xu, Zhongxing Xu, Zhiling Yan, Boqin Yuan, Ruiqi Zhang, Yifan Zhang, Zibo Zhao, Liana, Santanu Bosu Antu, Haoyue Bai, Carlo Bosio, Joseph Cavanagh, Patricia Cavazos-Rehg, Tianxing Chen, Xuewen Chen, Yipu Chen, Zhu Chenyu, Chen Dai, Stefano De Castro, Yunfu Deng, Kaustubh Dhole, Jiayuan Ding, Chenchen Du, Zhehang Du, Hao Fan, Run-ze Fan, Hengyu Fu, Shi Gu, Yifan Gu, Charlie Guo, Baihe Huang, Baixiang Huang, Rimika Jaiswal, Zhihan Jiang, Ran Jin, Erin Kasson, Xin Lan, Joseph Lee, Deren Lei, Chenyu Li, Daofeng Li, Haitao Li, Hongwei Li, Jingyan Li, Xiao Li, Yi Li, Yinsheng Li, Yuangang Li, Zhixu Li, Wenyu Liang, Longtai Liao, Kevin Qinghong Lin, AndyZeyi Liu, Che Liu, Jiaming Liu, Kaiyuan Liu, Xuan Liu, Pan Lu, Wenbo Lv, Yicheng Lv, Qiuyang Mang, Kyle Montgomery, Yuzhou Nie, Ruoxi Ning, Jorin Overwiening, Xu Pan, Layna Paraboschi, Core Francisco Park, Justin Purnomo, Swati Rajwal, Scott Rankin, Bixuan Ren, Yiren Rong, HaoYang Shang, Ventus Shaw, Fiona Shen, Jiawei Shen, Minqi Shi, Qiu Shi, Huaxiu Yao, Tianneng Shi, Jonah So, Vladislav Susoy, Hannah Szlyk, Haocheng Wang, Jialu Wang, Wei Wang, Xinyu Wang, Zehao Wang, Dowling Wong, Angela Wu, Dehao Wu, Fangyu Wu, Mengyuan "Millie" Wu, Yu Wu, Yuchen Wu, Yuhao Wu, Qingpo Wuwu, Weihang Xiao, Yongyi Xiong, Fan Xu, Ruiling Xu, Mingxuan Yan, Benjamin Yang, Jirong Yang, Sen Yang, Xiaoli Yang, Yushi Yang, Haoran Ye, Xiaohu Yu, Zhengming Yu, Chenlong Zhang, Chi Zhang, Hanning Zhang, Hanwen Zhang, Junge Zhang, Kunpeng Zhang, Song Zhang, Wenjin Zhang, Wenshuo Zhang, Ying Zhang, Yizhi Zhang, Brian Zhao, Qijian Zhao, Yimin Zhao, Yuhaohua Zheng, Liwei Zhou, Tianyue Zhou, Sichen Zhu, Siqi Zhu, Yan Zhu, Yishu Zhu, Jierui Zuo, Chonghao Cai, Helena Casademunt, Wenjia Chen, Benjamin Cheng, Nawen Deng, Rao Fu, Tianfu Fu, Yifan Han, Ren He, Zhenyu He, Qiao Jin, Lang Lang, Yuetai Li, Sylvia Liu, Lu Lu, Qing Lu, Subhabrata Mukherjee, Yunqi Ouyang, Yin Ren, Dawei Shi, Haoran Wu, Zhiyue Wu, Hannah Yao, Zhuoran Yi, Jenny Yu, Rhea Zhan, Hang Zhou, Blake Zhu, Junfan Zhu, Alan Yuille, Yang Liu, Russell Alan Poldrack, Jiachen Li, Zhenglu Li, Molei Tao, Jing Huang, Wenqi Shi, Costas Spanos, Lichao Sun, Chenguang Wang, Orson Xu, Zhen Dong, Hector Gomez, Aylin Caliskan, Ali Emami, Haimin Hu, Zhi Li, Lihui Liu, Murphy Niu, Yi Shao, Jianxin Sun, Mikko Tolonen, Ting Wang, Sanjiv Das, Yanjun Gao, Wenbo Guo, Erika J Schneider, Zhiyong Lu, Mark Mueller, Radha Poovendran, Somayeh Sojoudi, Dawn Song

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने वर्षों तक एक रोबोट शेफ को प्रशिक्षित किया है। आपने उससे रेसिपी के बारे में क्विज़ पूछकर, सामग्री के नाम पूछकर और उसे "प्याज काटें" जैसे सरल निर्देश देकर उसका परीक्षण किया है। इन परीक्षणों पर, वह रोबोट सटीक स्कोर प्राप्त करता है। ऐसा लगता है जैसे वह पाक कला का कोई जीनियस हो।

लेकिन फिर, आप उससे व्यस्त रेस्टोरेंट के दौरान रश ऑवर में एक पूरा, जटिल डिनर बनाने के लिए कहते हैं। अचानक, रोबोट सॉस जला देता है, ऑर्डर भूल जाता है, या चूल्हे को लेकर भ्रमित हो जाता है। यह साबित हो गया कि खाना पकाने के बारे में बात करने में अच्छा होना, वास्तव में काम करने में अच्छा होने के समान नहीं है।

यही वह समस्या है जिसे पेपर "एजेंट्स लैस्ट एग्जाम" (ALE) हल करने की कोशिश कर रहा है।

समस्या: "क्विज़" का जाल

लंबे समय से, एआई शोधकर्ता अपने एआई एजेंटों (स्मार्ट कंप्यूटर प्रोग्राम) को ऐसे बेंचमार्क पर टेस्ट कर रहे हैं जो बहुविकल्पीय क्विज़ (multiple-choice quizzes) की तरह होते हैं। ये टेस्ट यह मापने में तो बेहतरीन हैं कि एक एआई क्या जानता है, लेकिन वे यह नहीं मापते कि एक एआई वास्तविक दुनिया में क्या कर सकता है।

लेखकों का तर्क है कि सिर्फ इसलिए कि एक एआई गणित का टेस्ट या कोडिंग क्विज़ पास कर सकता है, इसका मतलब यह नहीं है कि वह वास्तव में एक व्यवसाय चला सकता है, एक पुल डिजाइन कर सकता है, या अस्पताल के शेड्यूल का प्रबंधन कर सकता है। "टेस्ट पास करने" और "पैसा कमाने" के बीच का अंतर बहुत बड़ा है।

समाधान: "द लास्ट एग्जाम"

इसे ठीक करने के लिए, टीम ने ALE (Agents' Last Exam) बनाया। इसे एक क्विज़ के रूप में नहीं, बल्कि एआई के लिए एक वास्तविक, वास्तविक दुनिया के जॉब इंटरव्यू के रूप में सोचें।

एआई से यह पूछने के बजाय कि, "फ्रांस की राजधानी क्या है?" या "एक पायथन लूप लिखें," ALE एआई को एक वास्तविक, जटिल, कई दिनों का प्रोजेक्ट देता है जो एक मानव पेशेवर वास्तव में करेगा।

  • कार्य (Tasks): यह परीक्षा 55 अलग-अलग कार्य क्षेत्रों (जैसे इंजीनियरिंग, चिकित्सा, वित्त और वीडियो गेम डिजाइन) को कवर करती है।
  • कठिनाई: कार्य "लॉन्ग-होराइजन" (long-horizon) हैं, जिसका अर्थ है कि उन्हें पूरा करने में घंटों या दिन लगते हैं। इसके लिए एआई को विभिन्न सॉफ्टवेयर प्रोग्राम खोलने, बटन क्लिक करने, कोड लिखने, फाइलों की जांच करने और अपनी गलतियों को सुधारने की आवश्यकता होती है, बिल्कुल वैसे ही जैसे एक मानव कर्मचारी करता है।
  • स्रोत: ये शोधकर्ताओं द्वारा बनाए गए काल्पनिक कार्य नहीं हैं। ये वास्तविक प्रोजेक्ट्स हैं जो 250 से अधिक उद्योग विशेषज्ञों ने वास्तव में अपने काम में किए थे। विशेषज्ञों ने अपना पिछला काम जमा किया, और टीम ने उन्हें टेस्ट में बदल दिया।

परीक्षा कैसे काम करती है

कल्पना कीजिए कि एआई एक वर्चुअल ऑफिस में कंप्यूटर पर बैठा है।

  1. असाइनमेंट: एआई को एक वास्तविक कार्य मिलता है, जैसे "कार के पुर्जे के लिए एक मोल्ड डिजाइन करें" या "इन मेडिकल एक्स-रे का विश्लेषण करें।"
  2. टूल्स: एआई को वास्तविक सॉफ्टवेयर (जैसे 3D मॉडलिंग टूल्स, वित्तीय स्प्रेडशीट, या मेडिकल इमेजिंग सॉफ्टवेयर) का उपयोग करना होगा, ठीक वैसे ही जैसे एक इंसान करता है। उसे मेनू पर क्लिक करना होगा, कमांड टाइप करनी होगी और फाइलों को मैनेज करना होगा।
  3. ग्रेडिंग: यही सबसे चतुर हिस्सा है। परीक्षा इस बात पर निर्भर नहीं करती कि कोई मानव शिक्षक परिणाम को देखकर कहे, "अच्छा लग रहा है!" यह बहुत धीमा और व्यक्तिपरक (subjective) है। इसके बजाय, परीक्षा स्वचालित चेकर (automated checkers) का उपयोग करती है।
    • यदि कार्य एक 3D मॉडल बनाना था, तो कंप्यूटर चेक करेगा कि आयाम (dimensions) बिल्कुल सही हैं या नहीं।
    • यदि कार्य एक वित्तीय रिपोर्ट लिखना था, तो कंप्यूटर चेक करेगा कि आंकड़े सही ढंग से जुड़े हुए हैं या नहीं।
    • यदि एआई किसी "गेट" (जैसे ऐसी गलती जो मशीन को खराब कर दे) में विफल रहता है, तो बाकी काम कितना भी सुंदर क्यों न दिखे, उसे तुरंत शून्य मिल जाता है।

परिणाम: एआई अभी भी स्कूल में है

पेपर ने दुनिया के सबसे स्मार्ट एआई एजेंटों का इस परीक्षा पर परीक्षण किया। परिणाम निराशाजनक थे:

  • "आसान" टियर: यहाँ तक कि सर्वश्रेष्ठ एआई एजेंट भी उन कार्यों में से केवल 30% ही पास कर पाए जिन्हें "निकट-अवधि" (near-term/आसान) माना जाता है।
  • "कठिन" टियर: सबसे कठिन कार्यों ( "द लास्ट एग्जाम" टियर) पर, पास होने की दर 0% थी। एआई उन्हें बिल्कुल भी नहीं कर सका।
  • अंतर: एक एआई जो एक मानक कोडिंग टेस्ट (Terminal-Bench) पर 82% प्राप्त करता है, वह इस वास्तविक दुनिया की परीक्षा में लगभग 25% ही प्राप्त करता है।

लेखक इसे "द लास्ट एग्जाम" कहते हैं क्योंकि यह अंतिम बाधा का प्रतिनिधित्व करता है। यदि कोई एआई इसे पास कर लेता है, तो इसका मतलब है कि वह वास्तव में काम करने और मानव कार्यकर्ता की जगह लेने के लिए तैयार है। फिलहाल, पेपर कहता है कि एआई अभी भी पास करने से बहुत दूर है।

यह क्यों महत्वपूर्ण है

यह पेपर केवल एक कठिन टेस्ट बनाने के बारे में नहीं है; यह लक्ष्य को बदलने के बारे में है।

  • वर्तमान लक्ष्य: एआई को क्विज़ पर 100% स्कोर करने के लिए बनाना।
  • नया लक्ष्य: एआई को उन वास्तविक नौकरियों पर 100% स्कोर करने के लिए बनाना जो आर्थिक मूल्य (GDP) उत्पन्न करती हैं।

लेखकों का मानना है कि इन वास्तविक, सत्यापन योग्य कार्यों पर ध्यान केंद्रित करके, हम केवल बात करने में अच्छे एआई बनाने के बजाय, काम करने में अच्छे एआई बनाना शुरू करेंगे। जब तक एआई इस "लास्ट एग्जाम" को पास नहीं कर लेता, तब तक वह वास्तविक कार्यबल के लिए तैयार नहीं है।

सारांश उपमा (Summary Analogy)

वर्तमान एआई बेंचमार्क को ड्राइविंग थ्योरी टेस्ट के रूप में समझें। आप सड़क के सभी नियमों को याद कर सकते हैं और एक परफेक्ट स्कोर प्राप्त कर सकते हैं। लेकिन ALE वह ड्राइविंग टेस्ट है जहाँ आपको भारी ट्रैफिक के बीच वास्तव में कार चलानी होगी, पैरेलल पार्क करना होगा और बिना किसी चीज़ से टकराए निर्माण क्षेत्र (construction zone) से गुजरना होगा।

पेपर कहता है: "हमारे एआई ड्राइवर थ्योरी टेस्ट में तो अच्छे हैं, लेकिन वे वास्तविक ड्राइविंग टेस्ट में अभी भी दुर्घटनाग्रस्त हो रहे हैं। आइए थ्योरी स्कोर का जश्न मनाना बंद करें और उन्हें वास्तव में गाड़ी चलाना सिखाना शुरू करें।"

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →