← أحدث الأبحاث
💬 NLP

EstLLM: Enhancing Estonian Capabilities in Multilingual LLMs via Continued Pretraining and Post-Training

تُثبت هذه الورقة أن الجمع بين التدريب المسبق المستمر وإعادة العرض متعدد اللغات المعزز باللغة الإستونية والمحاذاة اللاحقة خفيفة الوزن يعزز بشكل كبير قدرات اللغة الإستونية في النماذج اللغوية الكبيرة متعددة اللغات مع الحفاظ بفعالية على أدائها في اللغة الإنجليزية ومهارات الاستدلال العامة لديها.

المؤلفون الأصليون: Aleksei Dorkin, Taido Purason, Emil Kalbaliyev, Hele-Andra Kuulmets, Marii Ojastu, Mark Fišel, Tanel Alumäe, Eleri Aedmaa, Krister Kruusmaa, Kairit Sirts

نُشر 2026-08-26
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Aleksei Dorkin, Taido Purason, Emil Kalbaliyev, Hele-Andra Kuulmets, Marii Ojastu, Mark Fišel, Tanel Alumäe, Eleri Aedmaa, Krister Kruusmaa, Kairit Sirts

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تُعد النماذج اللغوية الكبيرة هي المحركات التي تقف وراء العديد من أدوات الذكاء الاصطناğu الأكثر تقدمًا في يومنا هذا، وهي قادرة على كتابة القصص، وحل المشكلات، والإجابة على الأسئلة. يتم تدريب هذه الأنظمة على كميات هائلة من النصوص من الإنترنت، حيث تتعلم أنماط اللغة البشرية من خلال قراءة مليارات الأمثلة. ومع ذلك، فإن البيانات المستخدمة لتعليمها تميل بشدة نحو اللغة الإنجليزية. ولأن الإنجليزية تهيمن على العالم الرقمي، تصبح هذه النماذج خبيرة في الإنجليزية بينما غالبًا ما تعاني مع اللغات الأصغر مثل الإستونية، التي تمتلك تمثيلًا رقميًا أقل بكتمثيرًا. ويعني هذا الخلل أنه بينما قد يكتب الذكاء الاصطناعي مقالاً مثاليًا بالإنجليزية، فقد ينتج نصًا مربكًا أو غير صحيح عند مطالبته بالقيام بالشيء نفسه باللغة الإستونية. ويعمل الباحثون الآن على إصلاح هذه الفجوة، متسائلين عما إذا كان من الممكن تعليم هذه النماذج القوية، المعتمدة بشدة على الإنجليزية، لغة جديدة دون كسر المهارات التي تمتلكها بالفعل.

لقد وضع فريق من الباحثين من إستونيا هدفًا للإجابة على هذا السؤال من خلال إنشاء نسخة متخصصة من نموذج لغوي كبير مصممة خصيصًا للغة الإستونية. بدأوا بنموذجين موجودين: أحدهما تم تدريبه بكثافة على بيانات إنجليزية، والآخر كان ملمًا بالفعل ببعض اللغات المتعددة. لم يقم الباحثون ببناء نموذج جديد من الصفر، بل أخذوا هذه الأنظمة القائمة ومنحوها "إعادة تعليم" مركزة باستخدام مزيج محدد من البيانات. أولاً، عرضوا النماذج على حجم كبير من النصوص الإستونية، بما في ذلك الأدب، والكتابة الأكاديمية، ومحتوى الويب، لبناء أساس من المعرفة اللغوية. ولضمان عدم نسيان النماذج لكيفية التفكير أو فهم المواضيع الأخرى، قاموا بخلط النصوص الإنجليزية، والبرمجية، والمسائل الرياضية خلال مرحلة التدريب هذه. هذه العملية، المعروفة باسم "التدريب المسبق المستمر"، سمحت للنماذج بتعلم الإستونية مع الحفاظ على ذكائها العام سليمًا.

بعد هذا التدريب الأولي، قام الباحثون بتنقية النماذج لجعلها أفضل في اتباع التعليمات، وهي مهارة حاسمة لروبوتات الدردشة والمساعدين. لقد علموا النماذج كيفية الاستجابة لأوامر المستخدم باللغتين الإستونية والإنجليزية، باستخدام مزيج من المحادثات البشرية الحقيقية والأمثلة الاصطناعية. تضمنت خطوة رئيسية في عمليتهم تقنية تسمى "دمج ناقل الدردشة" (chat vector merging). تخيل النموذج كطالب تعلم لغة جديدة ولكنه نسي كيف يتحدث بأدب أو يتبع قواعد معقدة. أخذ الباحثون "معرفة" كيفية اتباع التعليمات من النسخة الإنجليزية الأصلية للنموذج ودمجوها في نسختهم الجديدة المدربة على الإستونية. سمح هذا للمنتج النهائي بالتحدث بطلاقة بالإنجليزية مع الاحتفاظ بالقدرة على اتباع التعليمات بوضوح في كلتا اللغتين.

كانت نتائج هذه التجربة مفاجئة وهامة. قبل بدء التدريب، كان النموذج الذي كان متعدد اللغات بالفعل يؤدي بشكل أفضل في المهام الإستونية من النموذج الذي كان يركز بشكل أساسي على الإنجليزية. ومع ذلك، بعد عملية التكيف، انقل الوضع. أظهر النموذج الذي بدأ بأساس إنجليزي قوي تحسنًا أكبر بكثير في الإستونية، ليتفوق في النهاية على النموذج متعدد اللغات. يشير هذا إلى أن نقطة البداية لنموذج في لغة معينة لا تتنبأ بالضرورة بمدى جودة تعلمه لتلك اللغة لاحقًا. وجد الباحثون أن النماذج المكيفة يمكنها فهم القواعد، وترجمة النصوص، وحل الألغاز المنطقية باللغة الإستونية بشكل أفضل بكثير مما سبق. كما اختبروا هذه النماذج في ساحة عامة حيث يمكن للمستخدمين البشريين الدردشة معها والتصويت لأفضل استجابة. وقد احتلت النماذج الإستونية الجديدة مراتب عالية، وتنافست بنجاح مع أنظمة أكبر وأكثر تعقيدًا.

كشفت الدراسة أيضًا عن حدود مهمة لكيفية تعلم هذه النماذج. اختبر الباحثون ما إذا كان تكرار بيانات التدريب الإستونية عدة مرات سيساعد النماذج على التعلم بشكل أفضل، وهي طريقة تستخدمها دراسات أخرى. ووجدوا أنه بالنسبة لحجم هذا النموذج، فإن المرور بالبيت مرة ثانية لم يقدم أي فائدة حقيقية وكان مجرد إضاعة لقدرة الحوسبة؛ إذ كانت دورة تدريبية واحدة كافية. علاوة على ذلك، اكتشف الباحثون أنه بينما أصبحت النماذج ممتازة في الإستونية، كان هناك مقايضة طفيفة: انخفضت قدرتها على اتباع التعليمات بالإنجليزية قليلاً. ومع ذلك، نجحت تقنية دمج ناقل الدردشة في استعادة معظم هذه القدرة الإنجليزية المفقودة، مما يثبت أنه من الممكن تخصيص نموذج للغة أصغر دون التضحية بقدراته العامة.

يوفر هذا العمل مسارًا واضحًا للمضي قدمًا في تحسين الذكاء الاصطناعي في اللغات التي غالبًا ما يتم تجاهلها. من خلال المزج بعناية بين بيانات اللغة الجديدة والمعرفة الموجودة واستخدام تقنيات ذكية لدمج سلوكيات النماذج المختلفة، يمكن للباحثين إنشاء أدوات قوية لمجتمعات معينة دون الحاجة إلى البدء من الصفر. تشير النتائج إلى أن الطريقة الأكثر فعالية لتكييف نموذج لغوي كبير قد لا تكون بالبدء بنموذج يعرف اللغة بالفعل، بل بأخذ نموذج قوي في التفكير العام وتعليمه اللغة الجديدة مع نظام غذائي متوازن من البيانات. إن النماذج الناتجة متاحة الآن للآخرين لاستخدامها، مما يوفر تجربة عالية الجودة بمستوى لغوي أصلي للمتحدثين بالإستونية مع الحفاظ على متانة الذكاء العالمي.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →