💬 NLP

EuroLLM-22B: Technical Report

تقدم هذه الورقة نموذج EuroLLM-22B، وهو نموذج لغوي كبير تم تدريبه من الصفر لدعم 35 لغة (بما في ذلك جميع اللغات الرسمية الـ 24 للاتحاد الأوروبي)، معالجةً بذلك نقص التمثيل للغات الأوروبية في النماذج الحالية مع تحقيق أداء تنافسي في الاستنتاج، واتباع التعليمات، والترجمة، مع إصدار جميع البيانات والنماذج والشيفرات البرمجية ذات الصلة لدعم الأبحاث المستقبلية.

المؤلفون الأصليون: Miguel Moura Ramos, Duarte M. Alves, Hippolyte Gisserot-Boukhlef, João Alves, Pedro Henrique Martins, Patrick Fernandes, José Pombal, Nuno M. Guerreiro, Ricardo Rei, Nicolas Boizard, Amin Farajian, Ma

نُشر 2026-02-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Miguel Moura Ramos, Duarte M. Alves, Hippolyte Gisserot-Boukhlef, João Alves, Pedro Henrique Martins, Patrick Fernandes, José Pombal, Nuno M. Guerreiro, Ricardo Rei, Nicolas Boizard, Amin Farajian, Mateusz Klimaszewski, José G. C. de Souza, Barry Haddow, François Yvon, Pierre Colombo, Alexandra Birch, André F. T. Martins

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

EuroLLM-22B: أمين المكتبة متعدد اللغات في أوروبا

تخيل عالم الذكاء الاصطناعي كمكتبة ضخمة. لفترة طويلة، هيمنت الكتب المكتوبة باللغة الإنجليزية على هذه المكتبة. إذا دخلت وطلبت قصة بالفرنسية أو الألمانية أو البرتغالية، فقد تجد بضعة كتب، لكنها غالبًا ما كانت ترجمات لقصص إنجليزية أو كتبها مؤلفون لا يفهمون الثقافة المحلية تمامًا.

EuroLLM-22B هو مشروع ضخم جديد صُمم لإصلاح هذا الأمر. إنه "نموذج لغوي كبير" (فكر فيه كأنه أمين مكتبة رقمي فائق الذكاء) تم بناؤه من الصفر خصيصًا ليتحدث، ويفهم، ويستنتج بلغات جميع الدول الأعضاء في الاتحاد الأوروبي البالغ عددها 24 لغة رسمية، بالإضافة إلى 11 لغة رئيسية أخرى مثل العربية والصينية واليابانية.

إليك كيف بنى الفريق أمين المكتبة الرقمي هذا، مشروحًا بكلمات بسيطة:

1. المخطط (البنية الهيكلية)

قبل بناء المنزل، تحتاج إلى مخطط. لم يقم الفريق بمجرد نسخ ولصق تصميم موجود؛ بل قاموا بتعديل المخطط للتعامل مع كمية هائلة من المعلومات.

الحجم: يحتوي هذا النموذج على 22 مليار "عصبون" (معلمة/Parameter). لاستخدام التشبيه، إذا كان الإصدار السابق (9B) طالبًا ذكيًا في المدرسة الثانوية، فإن هذا الإصدار هو أستاذ جامعي متمرس ذاكرة قوية جدًا.
الذاكرة الطويلة: أحد أكبر التحديثات هو "نافذة السياق" (Context Window). تخيل أنك تحاول قراءة رواية؛ النماذج القديمة كانت تستطيع تذكر الصفحات القليلة الأخيرة فقط قبل أن تنسى البداية. يستطيع EuroLLM-22B استيعاب 32,000 كلمة في ذهنه في وقت واحد. يمكنه قراءة قصة قصيرة كاملة أو وثيقة قانونية طويلة وتذكر التفاصيل من الصفحة الأولى حتى الأخيرة دون أن يتوه.

2. النظام الغذائي للتدريب (البيانات)

لا يمكنك صنع طاهٍ عظيم بمكونات سيئة. كان الفريق دقيقًا للغاية بشأن "الطعام" الذي قدموه للنموذج أثناء تدريبه.

الفلتر (المصفاة): لم يقوموا بمجرد سكب الإنترنت بأكمله داخل النموذج. استخدموا مصفاة خاصة (تسمى EuroFilter) لتقييم جودة النص، حيث منحته درجة من 0 إلى 5. لقد تخلصوا من المحتوى الرديء (مثل الأكواد العشوائية أو صفحات الويب منخفضة الجودة) واحتفظوا فقط بالمحتوى التعليمي والأدبي عالي الجودة.
المراحل: قاموا بتدريب النموذج عبر ثلاث مراحل، مثل طالب يتقدم عبر مراحل الدراسة:
1. المرحلة الابتدائية: بدأوا بكمية هائلة من البيانات العامة لتعليم الأساسيات.
2. المرحلة الثانوية: أدخلوا بيانات ذات جودة أعلى لصقل قدرته على الاستنتاج.
3. الدراسات العليا: في المرحلة النهائية، غدوهم بأفضل البيانات المتاحة، بما في ذلك الرياضيات المعقدة، والبرمجة، والكتب المترجمة، لشحذ ذكائه.
مزيج اللغات: على عكس النماذج الأخرى التي تركز بشدة على الإنجليزية، تم إطعام EuroLLM-22B نظامًا غذائيًا متوازنًا من جميع اللغات الأوروبية منذ اليوم الأول، مما يضمن عدم تفضيله للغة على أخرى.

3. اللمسة النهائية (ضبط التعليمات)

بعد أن تعلم النموذج الحقائق، كان عليه أن يتعلم كيف يتصرف. وهذا ما يسمى "ما بعد التدريب".

الفصل الدراسي: استخدم الفريق مجموعة بيانات جديدة تسمى EuroBlocks. تخيل هذا كمجموعة ضخمة من الأسئلة والأجوبة التدريبية التي تغطي كل شيء من "اكتب قصيدة عن المطر" إلى "حل هذه المسألة الرياضية" و"ترجم هذه الجملة".
المعلم: استخدموا نماذج ذكاء اصطناعي متقدمة أخرى لتوليد إجابات عالية الجودة لهذه الأسئلة، ثم اختاروا الأفضل منها لتعليم EuroLLM-22B كيفية اتباع التعليمات بدقة. لقد قاموا بإزالة أي "آثار استنتاجية" (المونولوج الداخلي) لجعل المخرجات النهائية نظيفة ومباشرة.

4. الشهادة (النتائج)

اختبر الفريق EuroLLM-22B مقابل نماذج ذكاء اصطناعي شهيرة أخرى لمعرفة أدائه.

المنافسة: قارنوه مع نماذج أخرى "مفتوحة بالكامل" (النماذج التي تكون أكوادها وأوزانها مجانية لأي شخص لاستخدامها) وبعض النماذج "مفتوحة الأوزان" (حيث يمكنك استخدام النموذج ولكن لا يمكنك رؤية كيفية بنائه).
النتيجة:
- البطل الأوروبي: من بين النماذج مفتوحة المصدر بالكامل والمصنوعة في أوروبا، يعد EuroLLM-22B الأقوى. لقد تفوق على النماذج الأوروبية الأخرى، حتى تلك الأكبر حجمًا بكثير (مثل نموذج بـ 70 مليار معلمة).
- الترجمة: هو ممتاز في الترجمة بين اللغات، وغالبًا ما يضاهي أداء النماذج التي تبلغ ضعف حجمه.
- الاستنتاج: هو جيد جدًا في الألغاز المنطقية، والرياضيات، واتباع التعليمات المعقدة.
- الكفاءة: تشير الورقة البحثية إلى أن EuroLLM-22B حقق هذه النتائج بمقدار "متواضع" من بيانات التدريب (4 تريليون كلمة) مقارنة ببعض المنافسين الذين استخدموا 15 تريليون كلمة، مما يشير إلى أن جودة البيانات أهم من مجرد الكمية الضخمة.

5. هدية للعالم

الجزء الأكثر أهمية في هذه الورقة البحثية هو أن الفريق لم يحتفظ بالمكتبة لأنفسهم. إنهم يطلقون كل شيء للجمهور:

النماذج: كل من نسخة "القاعدة" (الدماغ الخام) ونسخة "التعليمات" (المساعد المفيد).
البيانات: مجموعات البيانات الفعلية التي استخدموها لتدريب النموذج (EuroWeb و EuroBlocks)، حتى يتمكن الباحثون الآخرون من التعلم منها.
الكود: الأدوات البرمجية التي استخدموها لبناء واختبار النموذج.

باختدال القول: EuroLLM-22B هو أداة ذكاء اصطناعي قوية مفتوحة المصدر مصممة لضمان عدم تخلف اللغات الأوروبية عن ركب ثورة الذكاء الاصطناعي. وهو يثبت أنه من خلال الاختيار الدقيق للبيانات والتركيز على الجودة، يمكنك بناء ذكاء اصطناعي عالمي المستوى يتحدث لغتك بطلاقة، دون الحاجة إلى أن يكون مشروعًا مغلقًا وسريًا.

ملخص تقني: EuroLLM-22B

بيان المشكلة

على الرغم من التقدم السريع في النماذج اللغوية الكبيرة (LLMs)، لا يزال النظام البيئي الحالي منحازًا بشدة نحو اللغة الإنجليزية ومجموعة محدودة من اللغات ذات الموارد العالية. العديد من النماذج الرائدة إما مغلقة المصدر أو مفتوحة جزئيًا فقط، مما يوفر شفافية محدودة فيما يتعلق ببيانات التدريب وإجراءاته. وبناءً على ذلك، تظل العديد من اللغات الأوروبية غير مخدومة بشكل كافٍ، مع وجود عدد قليل من النماذج "المصنوعة في أوروبا" القادرة على دعم الطيف الكامل للغات الاتحاد الأوروبي (EU) الرسمية بشكل أصيل. تم إطلاق مشروع EuroLLM لمعالجة هذه الفجوة من خلال تطوير نماذج مفتوحة تعطي الأولوية للتنوع اللغوي الأوروبي وتعزز تطوير الذكاء الاصطناعي داخل الاتحاد الأوروبي.

المنهجية

البنية والنمذجة

إن EuroLLM-22B هو نموذج بـ 22.6 مليار معلمة (parameter)، مبني على القرارات الهيكلية لنماذج أسلافه (EuroLLM 1.7B و 9B). تشمل المواصفات الرئيسية ما يلي:

الترميز (Tokenization): مُرمز يعتمد على تقنية BPE مع مفردات تبلغ 128,000 وحدة، تغطي 24 لغة رسمية من لغات الاتحاد الأوروبي و11 لغة إضافية (العربية، الكتالونية، الصينية، الغاليسية، الهندية، اليابانية، الكورية، النرويجية، الروسية، التركية، والأوكرانية).
البنية: يستخدم تقنية "انتباه الاستعلام المجموع" (GQA)، ومعايرة ما قبل الطبقة (pre-layer normalization)، وRMSNorm، ودوال تنشيط SwiGLU، وتضمينات الموضع الدوارة (RoPE).
نافذة السياق: توسعة كبيرة لتصل إلى 32,768 توكن، تم تحقيقها عن طريق تعديل عامل قياس RoPE ( $\theta$ ) من $1 \times 10^4$ إلى $1 \times 10^6$ .

استراتيجية ما قبل التدريب

تم تدريب النموذج مسبقًا على حوالي 4 تريليون توكن باستخدام جدول تدريبي مكون من ثلاث مراحل مصمم لتعريض النموذج تدريجيًا لبيانات ذات جودة أعلى:

المرحلة الأولى: التدريب على 3.6 تريليون توكن مع تسخين خطي (linear warmup) ليصل إلى ذروة معدل التعلم عند $1.5 \times 10^{-4}$ . تتضمن هذه المرحلة وثائق تعليمية عالية الجودة من FineWeb-edu على الفور، بدلاً من حجزها للمراحل اللاحقة.
المرحلة الثانية: مرحلة التلدين (annealing phase) عبر 400 مليار توكن، حيث يتم خفض معدل التعلم إلى 10% من ذروته.
المرحلة الثالثة: مرحلة اضمحلال نهائية حيث ينخفض معدل التعلم إلى الصفر. تتضمن هذه المرحلة بيانات السياق الطويل (الكتب والبرمجة) لدعم نافذة الـ 32 ألف توكن.

تنسيق البيانات:

بيانات الويب: يتم الحصول على البيانات الإنجليزية من FineWeb-edu وNemotron-CC. يتم تجميع البيانات متعددة اللغات من RedPajama-Data-v2 (للغات ذات الموارد العالية) وHPLT، وMADLAD-400، وCulturaX، وmC4 (للغات الأخرى). تخضع جميع البيانات لعمليات تصفية صارمة، بما في ذلك فحوصات الاندفاع (perplexity)، والمرشحات الاستدلالية (مثل إزالة نصوص "lorem ipsum" أو الحروف الكبيرة المفرطة)، وتقييم الجودة عبر EuroFilter، وهو مصنف يمنح درجات من 0 إلى 5.
البيانات المتوازية: يتم جمع البيانات المتوازية على مستوى الجملة والمستند (xx $\leftrightarrow$ en) من مصادر مثل Europarl، وParaCrawl، وWikiMatrix، ويتم تصفيتها باستخدام Bicleaner وCometKiwi-22.
البرمجة والرياضيات: يتم الحصول على البيانات من The Stack، وAlgebraic-stack، وOpen-web-math. تقدم المرحلة الثالثة FineMath وبيانات رياضية اصطناعية تم إنشاؤها بواسطة نماذج Qwen-2.5، والتي تمت تصفيتها بواسطة "النموذج كحكم" (LLM-as-a-Judge).
المصادر عالية الجودة: تُستخدم ويكيبيديا، وArXiv، والكتب، وApollo للغة الإنجليزية، مع إضافة Cosmopedia (ونسخها المترجمة) للمراحل اللاحقة.

ما بعد التدريب

يُشتق النموذج المضبوط للتعليمات (EuroLLM-22B-Instruct) من النموذج الأساسي باستخدام EuroBlocks-22B، وهو مجموعة بيانات تعليمات متعددة اللغات جديدة تحتوي على حوالي 10.6 مليون مثال.

بناء مجموعة البيانات: بُنيت على إصدارات EuroBlocks السابقة، وتتضمن تعليمات من مصادر عامة متنوعة (مثل Hermes-3، وTülu 3، وNemotron V2). يتم إعادة توليد الاستجابات باستخدام نماذج مفتوحة قادرة (DeepSeek، وQwen، وLlama) ويتم اختيارها عبر Skywork-Gemma2-27B كنموذج مكافأة (reward model).
التصفية: يتم إزالة آثار الاستدلال المهيكلة لإنشاء مجموعة بيانات تعليمات واستجابات غير قائمة على الاستدلال.
الضبط الدقيق (Fine-Tuning): يتم ضبط النموذج لمدة 5 دورات (epochs) باستخدام دقة مختلطة من نوع bfloat16، وتعبئة التسلسل (sequence packing)، ومجدول معدل تعلم جيب التمام (cosine learning rate scheduler) بمعدل تعلم أقصى قدره $1 \times 10^{-5}$ . يتم تعزيز كفاءة التدريب باستخدام Axolotl وLiger-Kernel.

المساهمات الرئيسية

نموذج EuroLLM-22B: إصدار نموذج بـ 22 مليار معلمة تم تدريبه من الصفر لدعم جميع لغات الاتحاد الأوروبي الـ 24 بالإضافة إلى 11 لغة أخرى، مع نافذة سياق تبلغ 32 ألف توكن.
تحسين EuroLLM-9B: نسخة محدثة من نموذج 9B تتضمن نفس توسعة السياق الطويل ووصفة ما بعد التدريب الخاصة بنسخة 22B.
مجموعة بيانات EuroWeb: إصدار مجموعة بيانات تدريب الويب متعددة اللغات المستخدمة في EuroLLM 22B، بما في ذلك طبقات البيانات المصفاة من حيث الجودة.
EuroBlocks-22B: مجموعة بيانات تعليمات موسعة ومتعددة اللغات تحتوي على استجابات اصطناعية عالية الجودة.
النظام البيئي مفتوح المصدر: إطلاق النماذج الأساسية والمضبوطة للتعليمات، جنباً إلى جنب مع قواعد بيانات ما قبل التدريب (نسخة معدلة من Megatron-LM) وأكواد التقييم.

النتائج

أظهر EuroLLM-22B، عند تقييمه عبر مجموعة واسعة من الاختبارات المعيارية الإنجليزية ومتعددة اللغات، أداءً تنافسياً:

اتجاهات التوسع (Scaling Trends): يُظهر النموذج تحسينات مستمرة مقارنة بـ EuroLLM-9B وEuroLLM-22B-Preview، مما يؤكد اتجاه التوسع الإيجابي ضمن عائلة EuroLLM.
المقارنة مع النماذج الأوروبية: يحقق EuroLLM-22B أقوى أداء بين النماذج الأوروبية المفتوحة بالكامل. ومن الملاحظ أنه يتفوق غالباً أو يظل منافساً لنموذج Apertus-70B (نموذج بـ 70 مليار معلمة) رغم امتلاكه حوالي ثلث عدد المعلمات فقط، لا سيالما في اتباع التعليمات ومهام العلوم والتكنولوجيا والهندسة والرياضيات (STEM).
المقارنة مع النماذج العالمية: بينما يتأخر EuroLLM-22B عن أفضل النماذج ذات الأوزان المفتوحة (مثل Llama-3.3-70B وQwen-3-30B-A3B) في الدرجات الإجمالية، إلا أنه يقدم البديل الأكثر قدرة والمفتوح بالكامل والمصمم خصيصاً للغات الأوروبية.
الترجمة: يظل أداء الترجمة قوياً، حيث عززت وصفة ما بعد التدريب المحدثة سلوك المساعد العام والاستدلال دون إضعاف جودة الترجمة.
السياق الطويل: تتيح التوسعة إلى 32 ألف توكن نمذجة فعالة للمدخلات طويلة الشكل وتغطية اختبارات مثل WMT25، والتي كانت غير متاحة سابقاً لنماذج سياق الـ 4 آلاف توكن.

الأهمية والادعاءات

يضع البحث نموذج EuroLLM-22B كخطوة هامة نحو دمقرطة الذكاء الاصطناعي في أوروبا. ومن خلال توفير نموذج مفتوح بالكامل وعالي الجودة يدعم أصيلًا التنوع اللغوي الكامل للاتحاد الأوروبي، يهدف المؤلفون إلى تقليل الاعتماد على النماذج المغلقة التي تركز على اللغة الإنجليزية. يزعم المؤلفون أن EuroLLM يحقق جودة قوية بميزانية توكن متواضعة نسبياً (4 تريليون توكن) مقارنة بالنماذج الأكبر التي تدربت على بيانات أكثر بكثير (مثل 15 تريليون توكن لـ Apertus-70B)، مما يشير إلى أن تنسيق البيانات عالية الجودة وما بعد التدريب المستهدف هي استراتيجيات فعالة لسد فجوات الأداء. إن إصدار مجموعات البيانات وأكواد البرمجة المرتبطة يهدف إلى دعم الأبحاث المستقبلية في فهم وتوليد اللغات الأوروبية.