← أحدث الأبحاث
💬 NLP

ERNIE 5.0 Technical Report

تقدم هذه الورقة نموذج ERNIE 5.0، وهو أول نموذج تأسيسي موحد ذاتي الانحدار بمقياس إنتاجي وتريليونات المعلمات تم الكشف عنه علنًا، والذي يدعم أصليًا الفهم والتوليد متعدد الوسائط عبر النصوص والصور والفيديو والصوت من خلال بنية خليط خبراء فائقة الندرة ونموذج تدريب مرن ومبتكر.

المؤلفون الأصليون: Haifeng Wang, Hua Wu, Tian Wu, Yu Sun, Jing Liu, Dianhai Yu, Yanjun Ma, Jingzhou He, Zhongjun He, Dou Hong, Qiwen Liu, Shuohuan Wang, Junyuan Shang, Zhenyu Zhang, Yuchen Ding, Jinle Zeng, Jiabin Yang
نُشر 2026-02-05
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Haifeng Wang, Hua Wu, Tian Wu, Yu Sun, Jing Liu, Dianhai Yu, Yanjun Ma, Jingzhou He, Zhongjun He, Dou Hong, Qiwen Liu, Shuohuan Wang, Junyuan Shang, Zhenyu Zhang, Yuchen Ding, Jinle Zeng, Jiabin Yang, Liang Shen, Ruibiao Chen, Weichong Yin, Siyu Ding, Dai Dai, Shikun Feng, Siqi Bao, Bolei He, Yan Chen, Zhenyu Jiao, Ruiqing Zhang, Zeyu Chen, Qingqing Dang, Kaipeng Deng, Jiajun Jiang, Enlei Gong, Guoxia Wang, Yanlin Sha, Yi Liu, Yehan Zheng, Weijian Xu, Jiaxiang Liu, Zengfeng Zeng, Yingqi Qu, Zhongli Li, Zhengkun Zhang, Xiyang Wang, Zixiang Xu, Xinchao Xu, Zhengjie Huang, Dong Wang, Bingjin Chen, Yue Chang, Xing Yuan, Shiwei Huang, Qiao Zhao, Xinzhe Ding, Shuangshuang Qiao, Baoshan Yang, Bihong Tang, Bin Li, Bingquan Wang, Binhan Tang, Binxiong Zheng, Bo Cui, Bo Ke, Bo Zhang, Bowen Zhang, Boyan Zhang, Boyang Liu, Caiji Zhang, Can Li, Chang Xu, Chao Pang, Chao Zhang, Chaoyi Yuan, Chen Chen, Cheng Cui, Chenlin Yin, Chun Gan, Chunguang Chai, Chuyu Fang, Cuiyun Han, Dan Zhang, Danlei Feng, Danxiang Zhu, Dong Sun, Dongbo Li, Dongdong Li, Dongdong Liu, Dongxue Liu, Fan Ding, Fan Hu, Fan Li, Fan Mo, Feisheng Wu, Fengwei Liu, Gangqiang Hu, Gaofeng Lu, Gaopeng Yong, Gexiao Tian, Guan Wang, Guangchen Ni, Guangshuo Wu, Guanzhong Wang, Guihua Liu, Guishun Li, Haibin Li, Haijian Liang, Haipeng Ming, Haisu Wang, Haiyang Lu, Haiye Lin, Han Zhou, Hangting Lou, Hanwen Du, Hanzhi Zhang, Hao Chen, Hao Du, Hao Liu, Hao Zhou, Haochen Jiang, Haodong Tian, Haoshuang Wang, Haozhe Geng, Heju Yin, Hong Chen, Hongchen Xue, Hongen Liu, Honggeng Zhang, Hongji Xu, Hongwei Chen, Hongyang Zhang, Hongyuan Zhang, Hua Lu, Huan Chen, Huan Wang, Huang He, Hui Liu, Hui Zhong, Huibin Ruan, Jiafeng Lu, Jiage Liang, Jiahao Hu, Jiahao Hu, Jiajie Yang, Jialin Li, Jian Chen, Jian Wu, Jianfeng Yang, Jianguang Jiang, Jianhua Wang, Jianye Chen, Jiaodi Liu, Jiarui Zhou, Jiawei Lv, Jiaxin Zhou, Jiaxuan Liu, Jie Han, Jie Sun, Jiefan Fang, Jihan Liu, Jihua Liu, Jing Hu, Jing Qian, Jing Yan, Jingdong Du, Jingdong Wang, Jingjing Wu, Jingyong Li, Jinheng Wang, Jinjin Li, Jinliang Lu, Jinlin Yu, Jinnan Liu, Jixiang Feng, Jiyi Huang, Jiyuan Zhang, Jun Liang, Jun Xia, Jun Yu, Junda Chen, Junhao Feng, Junhong Xiang, Junliang Li, Kai Liu, Kailun Chen, Kairan Su, Kang Hu, Kangkang Zhou, Ke Chen, Ke Wei, Kui Huang, Kun Wu, Kunbin Chen, Lei Han, Lei Sun, Lei Wen, Linghui Meng, Linhao Yu, Liping Ouyang, Liwen Zhang, Longbin Ji, Longzhi Wang, Meng Sun, Meng Tian, Mengfei Li, Mengqi Zeng, Mengyu Zhang, Ming Hong, Mingcheng Zhou, Mingming Huang, Mingxin Chen, Mingzhu Cai, Naibin Gu, Nemin Qiu, Nian Wang, Peng Qiu, Peng Zhao, Pengyu Zou, Qi Wang, Qi Xin, Qian Wang, Qiang Zhu, Qianhui Luo, Qianwei Yang, Qianyue He, Qifei Wu, Qinrui Li, Qiwen Bao, Quan Zhang, Quanxiang Liu, Qunyi Xie, Rongrui Zhan, Rufeng Dai, Rui Peng, Ruian Liu, Ruihao Xu, Ruijie Wang, Ruixi Zhang, Ruixuan Liu, Runsheng Shi, Ruting Wang, Senbo Kang, Shan Lu, Shaofei Yu, Shaotian Gong, Shenwei Hu, Shifeng Zheng, Shihao Guo, Shilong Fan, Shiqin Liu, Shiwei Gu, Shixi Zhang, Shuai Yao, Shuang Zhang, Shuangqiao Liu, Shuhao Liang, Shuwei He, Shuwen Yang, Sijun He, Siming Dai, Siming Wu, Siyi Long, Songhe Deng, Suhui Dong, Suyin Liang, Teng Hu, Tianchan Xu, Tianliang Lv, Tianmeng Yang, Tianyi Wei, Tiezhu Gao, Ting Sun, Ting Zhang, Tingdan Luo, Wei He, Wei Luan, Wei Yin, Wei Zhang, Wei Zhou, Weibao Gong, Weibin Li, Weicheng Huang, Weichong Dang, Weiguo Zhu, Weilong Zhang, Weiqi Tan, Wen Huang, Wenbin Chang, Wenjing Du, Wenlong Miao, Wenpei Luo, Wenquan Wu, Xi Shi, Xi Zhao, Xiang Gao, Xiangguo Zhang, Xiangrui Yu, Xiangsen Wang, Xiangzhe Wang, Xianlong Luo, Xianying Ma, Xiao Tan, Xiaocong Lin, Xiaofei Wang, Xiaofeng Peng, Xiaofeng Wu, Xiaojian Xu, Xiaolan Yuan, Xiaopeng Cui, Xiaotian Han, Xiaoxiong Liu, Xiaoxu Fei, Xiaoxuan Wu, Xiaoyu Wang, Xiaoyu Zhang, Xin Sun, Xin Wang, Xinhui Huang, Xinming Zhu, Xintong Yu, Xinyi Xu, Xinyu Wang, Xiuxian Li, XuanShi Zhu, Xue Xu, Xueying Lv, Xuhong Li, Xulong Wei, Xuyi Chen, Yabing Shi, Yafeng Wang, Yamei Li, Yan Liu, Yanfu Cheng, Yang Gao, Yang Liang, Yang Wang, Yang Wang, Yang Yang, Yanlong Liu, Yannian Fu, Yanpeng Wang, Yanzheng Lin, Yao Chen, Yaozong Shen, Yaqian Han, Yehua Yang, Yekun Chai, Yesong Wang, Yi Song, Yichen Zhang, Yifei Wang, Yifeng Guo, Yifeng Kou, Yilong Chen, Yilong Guo, Yiming Wang, Ying Chen, Ying Wang, Yingsheng Wu, Yingzhan Lin, Yinqi Yang, Yiran Xing, Yishu Lei, Yixiang Tu, Yiyan Chen, Yong Zhang, Yonghua Li, Yongqiang Ma, Yongxing Dai, Yongyue Zhang, Yu Ran, Yu Sun, Yu-Wen Michael Zhang, Yuang Liu, Yuanle Liu, Yuanyuan Zhou, Yubo Zhang, Yuchen Han, Yucheng Wang, Yude Gao, Yuedong Luo, Yuehu Dong, Yufeng Hu, Yuhui Cao, Yuhui Yun, Yukun Chen, Yukun Gao, Yukun Li, Yumeng Zhang, Yun Fan, Yun Ma, Yunfei Zhang, Yunshen Xie, Yuping Xu, Yuqin Zhang, Yuqing Liu, Yurui Li, Yuwen Wang, Yuxiang Lu, Zefeng Cai, Zelin Zhao, Zelun Zhang, Zenan Lin, Zezhao Dong, Zhaowu Pan, Zhaoyu Liu, Zhe Dong, Zhe Zhang, Zhen Zhang, Zhengfan Wu, Zhengrui Wei, Zhengsheng Ning, Zhenxing Li, Zhenyu Li, Zhenyu Qian, Zhenyun Li, Zhi Li, Zhichao Chen, Zhicheng Dong, Zhida Feng, Zhifan Feng, Zhihao Deng, Zhijin Yu, Zhiyang Chen, Zhonghui Zheng, Zhuangzhuang Guo, Zhujun Zhang, Zhuo Sun, Zichang Liu, Zihan Lin, Zihao Huang, Zihe Zhu, Ziheng Zhao, Ziping Chen, Zixuan Zhu, Ziyang Xu, Ziyi Liang, Ziyuan Gao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للتقرير التقني لنموذج ERNIE 5.0، مترجم إلى لغة بسيطة باستخدام تشبيهات من الحياة اليومية.

الفكرة الكبرى: عقل "السكين السويسري"

تخيل أن معظم نماذج الذكاء الاصطناعي اليوم تشبه فريقاً من المتخصصين: شخص يكتب، وآخر يرسم، وثالث يغني. قد يتحدثون مع بعضهم البعض، لكنهم أشخاص منفصلون بعقول منفصلة.

ERNIE 5.0 مختلف. إنه عقل واحد ضخم يتعلم الكتابة، والرسم، والغناء، وصنع الفيديوهات جميعها في وقت واحد، منذ اليوم الأول. فبدلاً من إضافة "وحدة رسم" إلى "عقل كتابة"، تم تدريب ERNIE 5.0 من الصفر ليفهم أن الصورة، والصوت، والكلمة هي مجرد أنواع مختلفة من "الرموز" (Tokens) (مثل قطع الأحجية/البازل) التي تتناسب مع نفس الأحجية الكبيرة.

1. المحرك: مصنع ذكي ومتفرق

يصف البحث بنية النموذج بأنها خليط خبراء فائق التفرق (Ultra-Sparse Mixture-of-Experts - MoE).

  • التشبيه: تخيل مصنعاً ضخماً به 1,000 عامل متخصص مختلف. عندما تأتي مهمة ما، لا يقوم مدير المصنع (الموجه/Router) بإيقاظ جميع العمال الـ 1,000. بدلاً من ذلك، يقوم فقط بإيقاظ أفضل عاملين أو ثلاثة متخصصين في تلك المهمة المحددة.
  • الابتكار: في النماذج القديمة، قد يكون لدى المدير قواعد مختلفة لـ "مهام الكتابة" مقابل "مهام الرسم". أما في ERNIE 5.0، فإن المدير غير مرتبط بنوع الوسائط (Modality-agnostic). فهو لا يهتم إذا كان الطلب قصيدة أو لوحة؛ بل ينظر فقط إلى المحتوى ويختار أفضل العمال. هذا يسمح للنموذج بأن يكون ضخماً (تريليونات المعلمات) ولكنه لا يزال سريعاً وفعالاً لأنه يستخدم جزءاً ضئيلاً فقط من عقله لأي مهمة واحدة.

2. أسلوب التعلم: "مقاس واحد يناسب الجميع" (التدريب المرن)

عادةً، إذا أرادت شركة الحصول على ذكاء اصطناٍعي صغير للهاتف وذكاء اصطناعي كبير للخادم (Server)، يتعين عليها تدريب نموذجين مختلفين أو تصغير النموذج الكبير لاحقاً (مثل تقطيع الكعكة). وهذا أمر هدِر وغالباً ما يفسد طعم الكعكة.

يستخدم ERNIE 5.0 التدريب المرن (Elastic Training).

  • التشبيه: تخيل تدريب لاعبة جمباز. بدلاً من تدريبها فقط على أداء عرض كامل، تقوم بتدريبها على أداء العرض الكامل، ولكن تطلب منها أيضاً بشكل عشوائي تخطي بعض الحركات أو استخدام عارضة أقل طولاً أثناء التدريب.
  • النتيجة: بنهاية التدريب، تكون هذه اللاعبة مستعدة جيداً بحيث يمكنها أداء العرض الكامل بشكل مثالي، أو يمكنها الانتقال فوراً إلى عرض أقصر وأبسط دون الحاجة إلى تدريب إضافي. هذا يعني أن نموذجاً واحداً من ERNIE 5.0 يمكن "تقليصه" فورياً ليتناسب مع هاتف، أو جهاز لوحي، أو حاسوب فائق دون فقدان الكثير من الأداء.

3. الرؤية والسمع: التحدث بنفس اللغة

للتعامل مع الصور والصوت، يستخدم النموذج مترجمين خاصين (Tokenizers) لتحويل الصور والأصوات إلى نفس "اللغة" المستخدمة في النصوص.

  • الرؤية (الصور/الفيديو): يعامل النموذج الصورة الواحدة كأنها "فيديو ذو إطار واحد". يتعلم التنبؤ بـ "المقياس" التالي من التفاصيل (مثل التكبير/Zooming) والإطار التالي في الزمن. وهو يستخدم نهجاً "هجيناً"، حيث ينظر إلى الصورة الكبيرة (الدلالات) والتفاصيل الدقيقة (البكسلات) في آن واحد، مثل فنان يفهم كلاً من قصة اللوحة وضربات الفرشاة.
  • الصوت (الكلام/الصوت): يقوم بتفكيك الصوت إلى طبقات، مثل تقشير البصل. الطبقة الأولى تلتقط "المعنى" (ما يقال)، والطبقات الأعمق تلتقط "النسيج" (نبرة الصوت، الضوضاء في الخلفية). وهو يتنبأ بهذه الطبقات واحدة تلو الأخرى، من الفكرة الكبيرة وصولاً إلى التفاصيل الدقيقة.

4. زيادة الذكاء: التعلم بالتعزيز مع التلميحات

بعد التدريب الأولي، يحتاج النموذج لتعلم كيفية التفكير واتباع التعليمات المعقدة. يتم ذلك من خلال التعلم بالتعزيز (Reinforcement Learning - RL).

  • التحدي: أحياناً يعلق النموذج في المشكلات الصعبة ويتوقف عن المحاولة (انهيار الإنتروبيا/Entropy collapse).
  • الحل: قدم الباحثون التعلم التكيفي القائم على التلميحات (Adaptive Hint-based Learning).
    • التشبيه: تخيل طالباً يؤدي اختبار رياضيات صعباً. إذا تعثر، لا يعطيه المعلم الإجابة مباشرة، بل يعطيه تلميحاً صغيراً ("فكر في الخطوة الأولى"). ومع تحسن الطالب، يعطيه المعلم تلميحات أقل حتى يتمكن الطالب من حلها بمفرده.
    • يساعد هذا النموذج على تعلم المهام الصعبة دون الشعور بالإحباط أو الاستسلام.

5. النتائج: متوازن وجاهز للعالم الحقيقي

يدعي البحث أن ERNIE 5.0 هو أول نموذج بمقياس إنتاجي (Production-scale) من نوعه (تريليونات المعلمات) يتعامل بشكل أصيل مع النصوص والصور والفيديو والصوت معاً.

  • الأداء: يعمل بمستوى يضاهي (أو يتفوق على) النماذج المتخصصة في القراءة، والرياضيات، والبرمجة، والرسم.
  • الكفاءة: بفضل التصميم "المرن"، يمكنك خفض قدرته لاستخدام 35% فقط من إجمالي قوته ومع ذلك ستحصل على 95% من النتائج. وهذا يجعله عملياً للتشغيل على أجهزة مختلفة، من الخوادم القوية إلى الأجهزة الصغيرة.

باختصار: ERNIE 5.0 هو عقل ذكاء اصطناعي موحد، مرن، وفعال يتعلم كل شيء في وقت واحد. لا يحتاج لإعادة التدريب ليتناسب مع الأجهزة المختلفة، ويعامل الصور والأصوات والكلمات كجزء من نفس المحادثة، وليس كمواضيع منفصلة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →