تخيل أنك تحاول تعليم روبوت ضخم وذكي للغاية كيف يتحدث. تريد أن يكون واسع المعرفة ولكن أيضًا سريعًا وفعالاً. للقيام بذلك، يستخدم العلماء حيلة ذكية تسمى "خليط من الخبراء" (Mixture of Experts - MoE). فكر في هذا ليس كدماغ واحد عملاق، بل كفريق من المتخصصين. عندما يحتاج الروبوت للإجابة على سؤال، فإنه لا يسأل الفريق بأكمله؛ بل يستيقظ خبير واحد محدد هو الأفضل في ذلك الموضوع. هذا يوفر الطاقة ويسمح للروبوت بأن يكون ضخمًا دون أن يكون بطيئًا.

ومع ذلك، هناك مشكلة كبيرة تواجه تدريب هذه الفرق. فعندما تستمر في تعليمهم أشياء جديدة، غالبًا ما يبدأ المتخصصون في التفكير بنفس الطريقة تمامًا. يتعلمون جميعًا نفس الحقائق المملة ويبدأون في الظهور كنسخ مكررة من بعضهم البعض. وهذا يلغي الغرض الأساسي من وجود فريق؛ إذ يمكنك ببساطة امتلاك شخص واحد فقط. والأسوأ من ذلك، أنه بينما يتعلمون أشياء جديدة، قد ينسون أحيانًا كيفية التحدث بشكل صحيح على الإطلاق، ويبدأون في اختلاق كلام لا معنى له. تتناول هذه الورقة البحثية المهمة الفوضوية المتمثلة في الحفاظ على تميز واحترافية هؤلاء المتخصصين في الذكاء الاصطناعي دون الحاجة إلى روبوت ثانٍ، أكبر حجمًا، ليعمل كمشرف عليهم.

---

الفريق المكون من ثلاثة أجزاء الذي ينقذ الموقف

اكتشف الباحثون وراء هذه الدراسة، بقيادة تشانغ تشينغجون (Zhang Qingjun)، أنه لكي تعالج مشكلات "الاستنساخ" و"النسيان" هذه، لا تحتاج إلى عقوبات رياضية معقدة أو روبوت معلم. بدلاً من ذلك، قاموا ببناء نظام مكون من ثلاثة أجزاء يعمل مثل آلة مشحمة جيدًا. وقد اختبروا ذلك على نموذج صغير ولكنه قوي يسمى Qwen2.5-0.5B، والذي يحتوي على 24 طبقة و4 خبراء في كل طبقة. إليكم كيف تعمل هذه المكونات الثلاثة، مشروحة ببعض الاستعارات من الحياة اليومية.

1. المسار المجمد (FrozenPath): المرساة الثابتة

تخيل أنك تحاول تعليم مجموعة من الفنانين أساليب رسم جديدة. إذا تركتهم ينطلقون بحرية دون أي توجيه، فقد ينسون كيفية رسم خط مستقيم أو كيفية خلط الألوان الأساسية. قد يبدأون في رسم أشياء غير مفهومة.

المسار المجمد (FrozenPath) يشبه فنانًا ماهرًا يقف في زاوية الغرفة، ثابتًا تمامًا في الزمن. هذا الفنان الماهر لا يغير أسلوبه في الرسم أبدًا. أثناء التدريب، يُسمح للفنانين الجدد ("الخبراء القابلين للتدريب") بالرسم، لكن لوحتهم النهائية هي مزيج من عملهم الخاص وعمل الماستر (الخبير الأصلي) الذي لا يتغير. وجدت الورقة أن هذه النسخة "المجمدة" ضرورية للغاية؛ فهي تعمل كشبكة أمان.

في اختباراتهم، عندما أزالوا هذه المرساة المجمدة، لم يكتفِ النموذج بالتراجع قليلاً، بل انهار تمامًا. انفجر مقياس "الارتباك" (Perplexity) (وهو مقياس يقيس مدى ارتباك النموذج، حيث الأقل هو الأفضل) من درجة جيدة بلغت 20 إلى درجة سيئة للغاية وهي 1318. بدأ النموذج في إخراج نصوص غير مفهومة مثل "the 2|||||...". ويؤكد المؤلفون أن هذا ليس مجرد ميزة إضافية، بل هو شرط للبقاء؛ فبدونه، ينهار النظام بأكمله.

2. شظايا البيانات (Data Shard): التكليف الصارم

الآن، تخيل أن لديك أربعة خبراء في غرفة، وتريدهم أن يصبحوا مختلفين عن بعضهم البعض. إذا ألقيت كومة مختلطة من الكتب حول الطبخ، والفضاء، والتاريخ، والرياضة أمامهم جميعًا، فسوف يتعلمون جميعًا نفس الأشياء ويصبحون نسخًا مكررة.

طريقة شظايا البيانات (Data Shard) تشبه أمين مكتبة صارم يقوم بفرز الكتب قبل أن يلمسها أي شخص. يقوم أمين المكتبة بتقسيم المكتبة إلى أربع مجموعات منفصلة (شظايا). الخبير (أ) يحصل فقط على كتب الطبخ، والخبير (ب) يحصل فقط على كتب الفضاء، وهكذا. هم لا يرون المجموعات الأخرى أبدًا. ولأنهم يقرأون قصصًا مختلفة تمامًا، تبدأ عقولهم طبيعيًا في التفكير بشكل مختلف.

أثبتت الورقة أن هذا هو الشيء الوحيد الذي يجعل الخبراء مختلفين. فعندما اختبروا نسخة يمكن فيها للخبراء قراءة أي كتاب (التوجيه العشوائي)، أصبح الخبراء نسخًا متطابقة مرة أخرى، مع درجة تشابه بلغت 1.00 (مما يعني أنهم متطابقون تمامًا). ولكن باستخدام طريقة "شظايا البيانات"، انخفضت نسبة التشابه إلى 0.85، مما أثبت أنهم طوروا شخصيات فريدة خاصة بهم. ومن المثير للاهتمام أن هذه الطريقة لم تجعل النموذج أكثر ذكاءً في الأساسيات (بقيت درجة PPL كما هي)، لكنها كانت السبب الوحيد في توقف الخبراء عن كونهم نسخًا مكررة.

3. الحلقة المزدوجة (Dual-Loop): الفحص الذاتي

أخيرًا، تخيل خبيرًا تم تكليفه بمجموعة محددة من الكتب. يقرأ فصلًا، يفكر فيه، ثم يعيد قراءته فورًا للتأكد من أنه فهمه حقًا. هذه هي الحلقة المزدوجة (Dual-Loop).

بدلاً من تمرير المعلومات مرة واحدة فقط، يقوم الخبير بتمرير البيانات عبر دماغه مرتين متتاليتين. إنه يشبه دورة التصحيح الذاتي. وجدت الورقة أن هذا يعطي دفعة صغيرة ولكنها مفيدة. فقد حسن درجة النموذج بنحو نقطتين (خفض الارتباك من 22 إلى 20) وعزز اختبار الاستنتاج المسمى HellaSwag بنسبة 2%. ومع ذلك، وجدوا أيضًا حدًا: القيام بذلك ثلاث مرات (حلقة ثلاثية) لم يساعد كثيرًا أكثر مما فعلته الحلقتان. بدا أن الحلقتين هما النقطة المثالية التي تحصل فيها على الفائدة دون إضاعة الوقت.

النتائج: فريق يعمل بالفعل

عندما جمع الباحثون الأجزاء الثلاثة معًا، كانت النتائج مبهرة. حقق النظام الكامل (المسمى Configuration E) درجة ارتباك (Perplexity) بلغت 20، وهي أفضل بكثير من النموذج "الكثيف" (dense) القياسي الذي بلغ 143. كان الخبراء متميزين (ليسوا نسخًا مكررة)، ولم ينسَ النموذج كيفية التحدث، وكان بإمكانه الإجابة على الأسئلة بشكل صحيح.

على سبيل المثال، عند سؤاله "عاصمة فرنسا هي"، أجاب النظام الكامل بشكل صحيح: "باريس. تأسست عام 787 م من قبل شارلمان..." (ملاحظة: التاريخ التاريخي في المثال هو جزء من مخرجات النموذج، والتي تستخدمها الورقة لإظهار قدرته على استرجاع الحقائق، حتى لو كان التاريخ نفسه قابلًا للنقاش تاريخيًا في الواقع).

في المقابل، النسخة التي تفتقر إلى "المسار المجمد" (Configuration C) فشلت تمامًا وأنتجت كلامًا غير مفهوم. أما النسخة التي تفتقر إلى "شظايا البيانات" (Configuration I)، فقد أنتجت جملًا صحيحة ولكن الخبراء كانوا متطابقين بنسبة 100%، مما يعني أن القوة "المنتشرة" (sparse) الخاصة بالنموذج كانت تُهدر.

لماذا يهم هذا المستقبل؟

تشير الورقة إلى أن هذا النظام مثالي للشركات التي ترغب في مواصلة تدريب ذكائها الاصطناعي على موضوعات جديدة ومحددة (مثل الوثائق القانونية أو السجلات الطبية) دون الحاجة إلى نموذج معلم ضخم لمراقبتها. إنه حل "خالٍ من التقطير" (distillation-free) و"خالٍ من الخسارة المساعدة" (auxiliary-loss-free)، مما يعني أنه لا يحتاج إلى رياضيات معقدة إضافية أو نماذج مرجعية ضخمة ليعمل.

من الناحية العملية، أظهر الباحثون أن هذا النموذج يمكنه العمل على أجهزة كمبيوتر متوسطة الحجم. فالخبير الواحد الذي يعمل على بطاقة رسومات قياسية (مثل RTX 4080S) يحتاج فقط إلى 3.5 جيجابايت من ذاكرة الفيديو (VRAM). وهذا صغير بما يكفي للعمل على العديد من أجهزة الكمبيوتر المحمولة المخصصة للاستهلاك أو الأجهزة الطرفية. وصل النظام إلى "المستوى الرابع" من النضج الهندسي، مما يعني أنه جاهز للاستخدام في العالم الحقيقي، رغم أن المؤلفين يشيرون إلى أن توسيع نطاق هذا النظام لنماذج أكبر بكثير (مثل 7 مليارات بارامتر) سيتطلب المزيد من الاختبار.

باخت المثال، تثبت الورقة أنه من خلال تجميد مرساة الأمان، وتقسيم مواد التعلم بصرامة، والسماح للخبراء بمراجعة عملهم مرتين، يمكنك بناء فريق من المتخصصين في الذكاء الاصطناعي يتميزون بالفرادة والذكاء ولا ينسون كيفية التحدث.