← नवीनतम पेपर
💬 NLP

ERNIE 5.0 Technical Report

यह शोध पत्र ERNIE 5.0 को प्रस्तुत करता है, जो एक अल्ट्रा-स्पार्स मिक्स्चर-ऑफ-एक्सपर्ट्स आर्किटेक्चर और एक नवीन इलास्टिक ट्रेनिंग प्रतिमान के माध्यम से टेक्स्ट, इमेज, वीडियो और ऑडियो में मल्टीमॉडल समझ और पीढ़ी को नेटिव रूप से सपोर्ट करने वाला पहला सार्वजनिक रूप से घोषित प्रोडक्शन-स्केल ट्रिलियन-पैरामीटर यूनिफाइड ऑटोरेग्रेसिव फाउंडेशन मॉडल है।

मूल लेखक: Haifeng Wang, Hua Wu, Tian Wu, Yu Sun, Jing Liu, Dianhai Yu, Yanjun Ma, Jingzhou He, Zhongjun He, Dou Hong, Qiwen Liu, Shuohuan Wang, Junyuan Shang, Zhenyu Zhang, Yuchen Ding, Jinle Zeng, Jiabin Yang
प्रकाशित 2026-02-05
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Haifeng Wang, Hua Wu, Tian Wu, Yu Sun, Jing Liu, Dianhai Yu, Yanjun Ma, Jingzhou He, Zhongjun He, Dou Hong, Qiwen Liu, Shuohuan Wang, Junyuan Shang, Zhenyu Zhang, Yuchen Ding, Jinle Zeng, Jiabin Yang, Liang Shen, Ruibiao Chen, Weichong Yin, Siyu Ding, Dai Dai, Shikun Feng, Siqi Bao, Bolei He, Yan Chen, Zhenyu Jiao, Ruiqing Zhang, Zeyu Chen, Qingqing Dang, Kaipeng Deng, Jiajun Jiang, Enlei Gong, Guoxia Wang, Yanlin Sha, Yi Liu, Yehan Zheng, Weijian Xu, Jiaxiang Liu, Zengfeng Zeng, Yingqi Qu, Zhongli Li, Zhengkun Zhang, Xiyang Wang, Zixiang Xu, Xinchao Xu, Zhengjie Huang, Dong Wang, Bingjin Chen, Yue Chang, Xing Yuan, Shiwei Huang, Qiao Zhao, Xinzhe Ding, Shuangshuang Qiao, Baoshan Yang, Bihong Tang, Bin Li, Bingquan Wang, Binhan Tang, Binxiong Zheng, Bo Cui, Bo Ke, Bo Zhang, Bowen Zhang, Boyan Zhang, Boyang Liu, Caiji Zhang, Can Li, Chang Xu, Chao Pang, Chao Zhang, Chaoyi Yuan, Chen Chen, Cheng Cui, Chenlin Yin, Chun Gan, Chunguang Chai, Chuyu Fang, Cuiyun Han, Dan Zhang, Danlei Feng, Danxiang Zhu, Dong Sun, Dongbo Li, Dongdong Li, Dongdong Liu, Dongxue Liu, Fan Ding, Fan Hu, Fan Li, Fan Mo, Feisheng Wu, Fengwei Liu, Gangqiang Hu, Gaofeng Lu, Gaopeng Yong, Gexiao Tian, Guan Wang, Guangchen Ni, Guangshuo Wu, Guanzhong Wang, Guihua Liu, Guishun Li, Haibin Li, Haijian Liang, Haipeng Ming, Haisu Wang, Haiyang Lu, Haiye Lin, Han Zhou, Hangting Lou, Hanwen Du, Hanzhi Zhang, Hao Chen, Hao Du, Hao Liu, Hao Zhou, Haochen Jiang, Haodong Tian, Haoshuang Wang, Haozhe Geng, Heju Yin, Hong Chen, Hongchen Xue, Hongen Liu, Honggeng Zhang, Hongji Xu, Hongwei Chen, Hongyang Zhang, Hongyuan Zhang, Hua Lu, Huan Chen, Huan Wang, Huang He, Hui Liu, Hui Zhong, Huibin Ruan, Jiafeng Lu, Jiage Liang, Jiahao Hu, Jiahao Hu, Jiajie Yang, Jialin Li, Jian Chen, Jian Wu, Jianfeng Yang, Jianguang Jiang, Jianhua Wang, Jianye Chen, Jiaodi Liu, Jiarui Zhou, Jiawei Lv, Jiaxin Zhou, Jiaxuan Liu, Jie Han, Jie Sun, Jiefan Fang, Jihan Liu, Jihua Liu, Jing Hu, Jing Qian, Jing Yan, Jingdong Du, Jingdong Wang, Jingjing Wu, Jingyong Li, Jinheng Wang, Jinjin Li, Jinliang Lu, Jinlin Yu, Jinnan Liu, Jixiang Feng, Jiyi Huang, Jiyuan Zhang, Jun Liang, Jun Xia, Jun Yu, Junda Chen, Junhao Feng, Junhong Xiang, Junliang Li, Kai Liu, Kailun Chen, Kairan Su, Kang Hu, Kangkang Zhou, Ke Chen, Ke Wei, Kui Huang, Kun Wu, Kunbin Chen, Lei Han, Lei Sun, Lei Wen, Linghui Meng, Linhao Yu, Liping Ouyang, Liwen Zhang, Longbin Ji, Longzhi Wang, Meng Sun, Meng Tian, Mengfei Li, Mengqi Zeng, Mengyu Zhang, Ming Hong, Mingcheng Zhou, Mingming Huang, Mingxin Chen, Mingzhu Cai, Naibin Gu, Nemin Qiu, Nian Wang, Peng Qiu, Peng Zhao, Pengyu Zou, Qi Wang, Qi Xin, Qian Wang, Qiang Zhu, Qianhui Luo, Qianwei Yang, Qianyue He, Qifei Wu, Qinrui Li, Qiwen Bao, Quan Zhang, Quanxiang Liu, Qunyi Xie, Rongrui Zhan, Rufeng Dai, Rui Peng, Ruian Liu, Ruihao Xu, Ruijie Wang, Ruixi Zhang, Ruixuan Liu, Runsheng Shi, Ruting Wang, Senbo Kang, Shan Lu, Shaofei Yu, Shaotian Gong, Shenwei Hu, Shifeng Zheng, Shihao Guo, Shilong Fan, Shiqin Liu, Shiwei Gu, Shixi Zhang, Shuai Yao, Shuang Zhang, Shuangqiao Liu, Shuhao Liang, Shuwei He, Shuwen Yang, Sijun He, Siming Dai, Siming Wu, Siyi Long, Songhe Deng, Suhui Dong, Suyin Liang, Teng Hu, Tianchan Xu, Tianliang Lv, Tianmeng Yang, Tianyi Wei, Tiezhu Gao, Ting Sun, Ting Zhang, Tingdan Luo, Wei He, Wei Luan, Wei Yin, Wei Zhang, Wei Zhou, Weibao Gong, Weibin Li, Weicheng Huang, Weichong Dang, Weiguo Zhu, Weilong Zhang, Weiqi Tan, Wen Huang, Wenbin Chang, Wenjing Du, Wenlong Miao, Wenpei Luo, Wenquan Wu, Xi Shi, Xi Zhao, Xiang Gao, Xiangguo Zhang, Xiangrui Yu, Xiangsen Wang, Xiangzhe Wang, Xianlong Luo, Xianying Ma, Xiao Tan, Xiaocong Lin, Xiaofei Wang, Xiaofeng Peng, Xiaofeng Wu, Xiaojian Xu, Xiaolan Yuan, Xiaopeng Cui, Xiaotian Han, Xiaoxiong Liu, Xiaoxu Fei, Xiaoxuan Wu, Xiaoyu Wang, Xiaoyu Zhang, Xin Sun, Xin Wang, Xinhui Huang, Xinming Zhu, Xintong Yu, Xinyi Xu, Xinyu Wang, Xiuxian Li, XuanShi Zhu, Xue Xu, Xueying Lv, Xuhong Li, Xulong Wei, Xuyi Chen, Yabing Shi, Yafeng Wang, Yamei Li, Yan Liu, Yanfu Cheng, Yang Gao, Yang Liang, Yang Wang, Yang Wang, Yang Yang, Yanlong Liu, Yannian Fu, Yanpeng Wang, Yanzheng Lin, Yao Chen, Yaozong Shen, Yaqian Han, Yehua Yang, Yekun Chai, Yesong Wang, Yi Song, Yichen Zhang, Yifei Wang, Yifeng Guo, Yifeng Kou, Yilong Chen, Yilong Guo, Yiming Wang, Ying Chen, Ying Wang, Yingsheng Wu, Yingzhan Lin, Yinqi Yang, Yiran Xing, Yishu Lei, Yixiang Tu, Yiyan Chen, Yong Zhang, Yonghua Li, Yongqiang Ma, Yongxing Dai, Yongyue Zhang, Yu Ran, Yu Sun, Yu-Wen Michael Zhang, Yuang Liu, Yuanle Liu, Yuanyuan Zhou, Yubo Zhang, Yuchen Han, Yucheng Wang, Yude Gao, Yuedong Luo, Yuehu Dong, Yufeng Hu, Yuhui Cao, Yuhui Yun, Yukun Chen, Yukun Gao, Yukun Li, Yumeng Zhang, Yun Fan, Yun Ma, Yunfei Zhang, Yunshen Xie, Yuping Xu, Yuqin Zhang, Yuqing Liu, Yurui Li, Yuwen Wang, Yuxiang Lu, Zefeng Cai, Zelin Zhao, Zelun Zhang, Zenan Lin, Zezhao Dong, Zhaowu Pan, Zhaoyu Liu, Zhe Dong, Zhe Zhang, Zhen Zhang, Zhengfan Wu, Zhengrui Wei, Zhengsheng Ning, Zhenxing Li, Zhenyu Li, Zhenyu Qian, Zhenyun Li, Zhi Li, Zhichao Chen, Zhicheng Dong, Zhida Feng, Zhifan Feng, Zhihao Deng, Zhijin Yu, Zhiyang Chen, Zhonghui Zheng, Zhuangzhuang Guo, Zhujun Zhang, Zhuo Sun, Zichang Liu, Zihan Lin, Zihao Huang, Zihe Zhu, Ziheng Zhao, Ziping Chen, Zixuan Zhu, Ziyang Xu, Ziyi Liang, Ziyuan Gao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ ERNIE 5.0 तकनीकी रिपोर्ट का सरल भाषा में अनुवाद दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है।

मुख्य विचार: "स्विस आर्मी नाइफ" जैसा मस्तिष्क

कल्पना कीजिए कि आज के अधिकांश AI मॉडल विशेषज्ञों की एक टीम की तरह हैं: एक व्यक्ति लिखता है, दूसरा चित्र बनाता है, और तीसरा गाता है। वे एक-दूसरे से बात कर सकते हैं, लेकिन वे अलग-अलग लोग हैं जिनके अलग-अलग दिमाग हैं।

ERNIE 5.0 अलग है। यह एक विशाल, एकल मस्तिष्क है जो पहले दिन से ही लिखना, चित्र बनाना, गाना और वीडियो बनाना एक साथ सीखता है। एक "ड्राइंग मॉड्यूल" को "राइटिंग ब्रेन" में जोड़ने के बजाय, ERNIE 5.0 को शुरू से ही यह समझने के लिए प्रशिक्षित किया गया है कि एक तस्वीर, एक ध्वनि और एक शब्द सभी एक ही बड़े पहेली (puzzle) के अलग-अलग प्रकार के "टोकन" (पहेली के टुकड़ों की तरह) हैं।

1. इंजन: एक स्मार्ट, स्पार्स फैक्ट्री

पेपर में मॉडल के आर्किटेक्चर को अल्ट्रा-स्पार्स मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) के रूप में वर्णित किया गया है।

  • उपमा (Analogy): एक विशाल फैक्ट्री की कल्पना करें जिसमें 1,000 अलग-अलग विशेषज्ञ कर्मचारी हैं। जब कोई काम आता है, तो फैक्ट्री मैनेजर (राउटर) सभी 1,000 कर्मचारियों को नहीं जगाता। इसके बजाय, वे केवल उन शीर्ष 2 या 3 कर्मचारियों को जगाते हैं जो उस विशिष्ट कार्य के लिए सबसे अच्छे होते हैं।
  • नवाचार: पुराने मॉडलों में, मैनेजर के पास "लेखन कार्यों" बनाम "चित्रण कार्यों" के लिए अलग-अलग नियम हो सकते थे। ERNIE 5.0 में, मैनेजर मोडालिटी-अग्नोस्टिक (modality-agnostic) है। उसे इस बात से फर्क नहीं पड़ता कि अनुरोध एक कविता है या एक पेंटिंग; वह बस सामग्री को देखता है और सबसे अच्छे कर्मचारियों को चुन लेता है। यह मॉडल को विशाल (ट्रिलियन पैरामीटर्स) होने के बावजूद तेज़ और कुशल बनाता है क्योंकि यह किसी भी एकल कार्य के लिए अपने मस्तिष्क के बहुत छोटे हिस्से का उपयोग करता है।

2. सीखने की शैली: "एक आकार सभी के लिए उपयुक्त" (इलास्टिक ट्रेनिंग)

आमतौर पर, यदि किसी कंपनी को फोन के लिए एक छोटा AI और सर्वर के लिए एक बड़ा AI चाहिए, तो उन्हें दो अलग-अलग मॉडल प्रशिक्षित करने पड़ते हैं या बाद में बड़े वाले को सिकोड़ना पड़ता है (जैसे केक को काटना)। यह बर्बादी है और अक्सर केक का स्वाद बिगाड़ देता है।

ERNIE 5.0 इलास्टिक ट्रेनिंग (Elastic Training) का उपयोग करता है।

  • उपमा: एक जिम्नास्ट को प्रशिक्षित करने की कल्पना करें। केवल उन्हें एक पूर्ण रूटीन करने के लिए प्रशिक्षित करने के बजाय, आप उन्हें पूर्ण रूटीन करने के लिए प्रशिक्षित करते हैं, लेकिन साथ ही अभ्यास के दौरान उनसे बेतरतीब ढंग से कुछ फ्लिप्स छोड़ने या एक छोटी बीम का उपयोग करने के लिए भी कहते हैं।
  • परिणाम: प्रशिक्षण के अंत तक, यह जिम्नास्ट इतना अच्छी तरह से तैयार होता है कि वह पूर्ण रूटीन को पूरी तरह से कर सकता है, या वह बिना अतिरिक्त अभ्यास के तुरंत एक छोटे, सरल रूटीन में स्विच कर सकता है। इसका मतलब है कि एक अकेला ERNIE 5.0 मॉडल प्रदर्शन खोए बिना फोन, टैबलेट या सुपरकंप्यूटर में फिट होने के लिए तुरंत "सिकुड़ा" जा सकता है।

3. देखना और सुनना: एक ही भाषा बोलना

इमेज और ऑडियो को संभालने के लिए, मॉडल विशेष अनुवादकों (टोकनाइज़र) का उपयोग करता है ताकि चित्रों और ध्वनियों को टेक्स्ट की ही "भाषा" में बदला जा सके।

  • विज़न (इमेज/वीडियो): मॉडल एक एकल छवि को "एक-फ्रेम वीडियो" के रूप में मानता है। यह अगले "स्केल" के विवरण (जैसे ज़ूम इन करना) और समय में अगले फ्रेम की भविष्यवाणी करना सीखता है। यह एक हाइब्रिड दृष्टिकोण का उपयोग करता है, जो बड़े चित्र (semantics) और सूक्ष्म विवरणों (pixels) दोनों को एक साथ देखता है, जैसे एक कलाकार जो पेंटिंग की कहानी और ब्रशस्ट्रोक दोनों को समझता है।
  • ऑडियो (भाषण/ध्वनि): यह ध्वनि को प्याज की परतों की तरह परतों में तोड़ देता है। पहली परत "अर्थ" (क्या कहा जा रहा है) को पकड़ती है, और गहरी परतें "बनावट" (आवाज का लहजा, बैकग्राउंड शोर) को पकड़ती हैं। यह इन परतों की एक-एक करके भविष्यवाणी करता है, बड़े विचार से लेकर बारीक विवरणों तक।

4. स्मार्ट बनना: संकेतों के साथ सुदृढीकरण सीखना (Reinforcement Learning with Hints)

प्रारंभिक प्रशिक्षण के बाद, मॉडल को तर्क करने और जटिल निर्देशों का पालन करने के लिए सीखने की आवश्यकता होती है। यह सुदृढीकरण लर्निंग (Reinforcement Learning - RL) के माध्यम से किया जाता है।

  • चुनौती: कभी-कभी मॉडल कठिन समस्याओं पर अटक जाता है और प्रयास करना छोड़ देता है (एंट्रॉपी कोलैप्स)।
  • समाधान: शोधकर्ताओं ने एडेप्टिव हिंट-बेस्ड लर्निंग (Adaptive Hint-based Learning) पेश किया है।
    • उपमा: एक छात्र की कल्पना करें जो कठिन गणित का टेस्ट दे रहा है। यदि वह अटक जाता है, तो शिक्षक उसे केवल उत्तर नहीं देता। इसके बजाय, शिक्षक एक छोटा सा संकेत देता है ("पहले चरण के बारे में सोचें")। जैसे-जैसे छात्र बेहतर होता जाता है, शिक्षक कम संकेत देता है जब तक कि छात्र इसे अकेले हल न कर ले।
    • यह मॉडल को निराश हुए बिना या हार दिए बिना कठिन कार्य सीखने में मदद करता है।

5. परिणाम: संतुलित और वास्तविक दुनिया के लिए तैयार

पेपर का दावा है कि ERNIE 5.0 अपने प्रकार का पहला प्रोडक्शन-स्केल (production-scale) मॉडल है (ट्रिलियन पैरामीटर्स) जो स्वाभाविक रूप से टेक्स्ट, इमेज, वीडियो और ऑडियो को एक साथ संभालता है।

  • प्रदर्शन: यह पढ़ने, गणित, कोडिंग और ड्राइंग में विशिष्ट मॉडलों के समान (या बेहतर) प्रदर्शन करता है।
  • दक्षता: इसके "इलास्टिक" डिज़ाइन के कारण, आप इसे अपनी कुल शक्ति के केवल 35% का उपयोग करने के लिए कम कर सकते हैं और फिर भी 95% परिणाम प्राप्त कर सकते हैं। यह इसे शक्तिशाली सर्वरों से लेकर छोटे गैजेट्स तक विभिन्न उपकरणों पर चलाने के लिए व्यावहारिक बनाता है।

संक्षेप में: ERNIE 5.0 एक एकीकृत, लचीला और कुशल AI मस्तिष्क है जो सब कुछ एक साथ सीखता है। इसे विभिन्न उपकरणों में फिट होने के लिए पुन: प्रशिक्षित करने की आवश्यकता नहीं है, और यह चित्रों, ध्वनियों और शब्दों को अलग-अलग विषयों के बजाय एक ही बातचीत के हिस्से के रूप में देखता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →