🤖 machine learning

Self-Distillation Enables Continual Learning

تقدم هذه الورقة البحثية "الضبط الدقيق بالتقطير الذاتي" (SDFT)، وهي طريقة تستفيد من التعلم في السياق لتوليد إشارات تدريب سياساتية من عروض الخبراء، مما يمكّن النماذج التأسيسية من اكتساب مهارات جديدة باستمرار مع تقليل النسيان الكارثي بشكل كبير مقارنة بالضبط الدقيق الخاضع للإشراف التقليدي.

المؤلفون الأصليون: Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal

نُشر 2026-08-10

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً يمكن فيه لشخصيتك المفضلة في ألعاب الفيديو أن تتعلم مستوى جديداً في كل مرة تلعب فيها، وتصبح أفضل في الأشياء الجديدة دون أن تنسى كيفية القفز فوق العقبات القديمة. هذا هو حلم "التعلم المستمر" في الذكاء الاصطناعي. في الوقت الحالي، معظم نماذج الذكاء الاصطناعي تشبه التماثيل الثابتة؛ فبمجرد بنائها وإصدارها، لا يمكنها حقاً تعلم أشياء جديدة دون تدمير الأشياء القديمة التي عرفتها. إذا حاولت تعليم النموذج مهارة جديدة، فغالباً ما يعاني من "النسيان الكارثي"، حيث ينسى فجأة كل ما كان يجيد فعله سابقاً. التحدي الكبير أمام العلماء هو اكتشاف كيفية السمام للأنظمة العصبية الرقمية هذه بالاستمرار في النمو وتعلم حيل جديدة، تماماً كما يفعل البشر، دون أن تفقد شخصيتها أو قدراتها الأصلية.

الورقة البحثية التي ستطالعها الآن تعالج هذه المشكلة عبر تقديم طريقة ذكية جديدة تسمى "ضبط الصقل عبر التقطير الذاتي" (SDFT). فكر في الأمر كطريقة لتعليم الذكاء الاصطناعي باستخدام نسخة "معلم" من نفسه. فبدلاً من مجرد حفظ الإجابات من كتاب مدرسي (وهو ما يؤدي غالباً إلى النسيان)، ينظر الذكاء الاصطناعي إلى مثال لكيفية أداء مهمة ما، ويتخيل نفسه خبيراً قد رأى للتو ذلك المثال، ثم يحاول تعليم نسخة "الطالب" من نفسه كيفية القيام بذلك. هذه العملية، التي تسمى "التعلم في السياسة" (on-policy learning)، تسمح للذكاء الاصطناعي بتعلم مهارات جديدة مع الحفاظ على مهاراته القديمة آمنة. وقد وجد الباحثون أن هذه الطريقة تعمل بشكل أفضل بكثير من الطريقة القياسية لتدريب الذكاء الاصطناعي، مما يسمح لنموذج واحد بتعلم مهارات متعددة جديدة بمرور الوقت دون تراجع.

المشكلة: الطالب كثير النسيان

تخيل أنك طالب بارع في الرياضيات. في أحد الأيام، يعطيك معلمك مجموعة من المسائل التدريبية لمادة جديدة، مثل الكيمياء. تدرس بجد، لكن طريقتك في الدراسة هي مجرد نسخ الإجابات من نهاية الكتاب دون فهم الخطوات حقاً. عندما تخضع لاختبار في الكيمياء، تؤدي بشكل جيد. ولكن عندما تحاول حل مسألة رياضية في اليوم التالي، تدرك أنك نسيت كيفية حل الجبر الأساسي! هذا ما يحدث لمعظم نماذج الذكاء الاصطناعي اليوم.

الطريقة القياسية لتعليم الذكاء الاصطناي أشياء جديدة تسمى "الضبط الدقيق الخاضع للإشراف" (SFT). إنها تشبه قيام الطالب بمجرد حفظ الإجابات "الصحيحة" من مجموعة بيانات لتقديمات الخبراء. المشكلة هي أن هذه الطريقة هي "خارج السياسة" (off-policy)، مما يعني أن الذكاء الاصطناعي يتعلم من بيانات لم يولدها بنفسه. الأمر يشبه دراسة خريطة لمدينة لم تزرها من قبل. عندما تحاول فعلياً السير في الشوارع (حل مشكلة جديدة)، تضل الطريق، وفي أثناء ضلالك، تنسى كيفية التنقل في حيك الخاص. والنتيجة هي "النسيان الكارثي"، حيث يفقد الذكاء الاصطناعي ذكاءه العام لتعلم خدعة جديدة محددة.

الحل: لعبة المعلم والطالب

ابتكر مؤلفو هذه الورقة، إيدان شينفيلد وفريقه، طريقة أذكى للتعلم تسمى "ضبط الصقل عبر التقطير الذاتي" (SDFT). بدلاً من مجرد نسخ الإجابات، يستخدمون لعبة "المعلم والطالب" حيث يلعب نفس نموذج الذكاء الاصطناعي كلا الدورين.

إليك كيف تعمل هذه الخدعة السحرية:

الإعداد: لديك مطالبة (سؤال) وعرض توضيحي (مثال لإجابة جيدة).
المعلم: ينظر نموذج الذكاء الاصطناعي إلى السؤال و المثال. ولأنه نموذج ذكي، فإنه يستخدم قدرته على "التعلم داخل السياق" لفهم المثال وتوليد إجابة مثالية بمستوى الخبراء. هذه هي نسخة "المعلم" من النموذج.
الطالب: ينظر نفس نموذج الذكاء الاصطناعي إلى السؤال فقط (بدون المثال) ويحاول توليد إجابة بمفرده. هذا هو "الطالب".
الدرس: يحاول الطالب مطابقة إجابة المعلم. ولكن الفرق الجوههري هنا هو: الطالب يتعلم من محاولاته الخاصة، وليس مجرد نسخ قائمة ثابتة. إنه يولد مساره الخاص، ويرى أين أخطأ مقارنة بالمعلم، ثم يصحح نفسه.

هذا هو التعلم "في السياسة" (on-policy). يتعلم الذكاء الاصطناعي من المسار الذي يسلكه بالفعل، تماماً مثل الإنسان الذي يتعلم ركوب الدراجة من خلال السقوط والنهوض مجدداً، بدلاً من مجرد قراءة دليل تعليمات.

ماذا وجدوا: التعلم دون فقدان

اختبر الباحثون هذه الفكرة بطريقتين رئيسيتين: تعليم الذكاء الاصطناعي مهارات جديدة (مثل استخدام الأدوات أو الإجابة على أسئلة علمية) وتعليمه حقائق جديدة (مثل أخبار عن أحداث وقعت بعد تدريب الذكاء الاصطناعي الأصلي).

1. اختبار "لا تنسَ"
في تجربة صعبة، قاموا بتدريب نموذج واحد على ثلاث مهارات مختلفة بالتتابع: استخدام الأدوات، الإجابة على الأسئلة العلمية، والاستنتاج الطبي.

الطريقة القديمة (SFT): بمجرد أن بدأ النموذج في تعلم المهارة الثانية، انهل أداؤه في المهارة الأولى. وبحلول الوقت الذي تعلم فيه المهارة الثالثة، كان قد نسي المهارة الأولى والثانية. لقد كانت دورة من التعلم والنسيان.
الطريقة الجديدة (SDFT): تعلم النموذج المهارة الثانية، ثم الثالثة، واستمر في التحسن في المهارة الأولى. لم يتعلم فحسب، بل راكم المعرفة. تظهر الورقة أن SDFT تسمح لنموذج واحد بتكديس مهارات متعددة بمرور الوقت دون انخفاض في الأداء.

2. اختبار "الفهم الحقيقي"
عند تعليم الذكاء الاصطناعي حقائق جديدة (مثل تفاصيل عن زلزال عام 2025 حدث بعد تاريخ انقطاع بيانات تدريبه)، علمت الطريقة القياسية (SFT) النموذج حفظ إجابات محددة. إذا طرحت سؤالاً مختلفاً قليلاً، فإنه يرتبك.
أما SDFT، فقد ساعدت النموذج على فهم الحقائق فعلياً. فعند سؤاله عن أسئلة مخادعة لا تتطابق مباشرة مع النص الذي حفظه، حصلت طريقة SDFT على الإجابات الصحيحة بنسبة تقتر العربية إلى 100%، بينما عانت الطريقة القياسية. وهذا يشير إلى أن SDFT تساعد الذكاء الاصطناعي على بناء قاعدة معرفية داخلية حقيقية، وليس مجرد دليل مرجعي.

3. إنقاذ "الاستنتاج"
أحد أروع النتائج كان حول الذكاء الاصطناعي الجيد في "التفكير" (الاستنتاج خطوة بخطوة). أحياناً، عندما تدرب هذه النماذج باستخدام إجابات قصيرة وبسيطة (لأن البيانات تحتوي على ذلك فقط)، فإنها تتوقف عن التفكير وتعطي إجابات قصيرة فقط. إنها تفقد "سلسلة أفكارها".
وجد الباحثون أن SDFT أنقذت الموقف. حتى عندما كانت بيانات التدريب تحتوي فقط على إجابات قصيرة، حافظت طريقة SDFT على مهارات الاستنتاج لدى النموذج. استمر النموذج في تقديم تفسيرات طويلة ومتأنية لأن النموذج كان يتعلم من "معلم" يفهم القصد من الإجابة، وليس مجرد الكلمات.

لماذا الحجم مهم

اكتشفت الورقة أيضاً أن هذه الحيلة تعمل بشكل أفضل مع "الأدمغة" الأكبر. لقد اختبروا نماذج بأحجام مختلفة (3 مليارات، 7 مليارات، و14 مليار بارامتر).

النموذج الصغير (3B) لم يكن ذكياً بما يكفي ليعمل كمعلم جيد؛ فلم يستطع فهم الأمثلة جيداً، لذا لم تساعد هذه الطريقة كثيراً.
النموذج المتوسط (7B) شهد تحسناً كبيراً.
النموذج الكبير (14B) حقق أكبر قفزة، متفوقاً على الطريقة القياسية بفارق كبير.

يشير هذا إلى أنه كلما أصبحت نماذج الذكاء الاصطناعي أكبر وأفضل في "التعلم داخل السياق" (فهم الأمثلة فورياً)، ستصبح طريقة التعلم الذاتي هذه أكثر قوة.

العقبة والمستقبل

بالطبع، هناك بعض التحفظات. هذه الطريقة ليست مجانية؛ فبسبب ضرورة قيام الذكاء الاصطناعي بتوليد إجاباته الخاصة للتعلم منها، فإنها تستهلك طاقة حوسبة تبلغ حوالي 2.5 ضعف الطريقة القياسية، وتستغرق وقتاً أطول بـ 4 مرات. ومع ذلك، يجادل المؤلفون بأن هذا قد يوفر الوقت في المدى الطويل لأنك لن تضطر إلى القيام بجولات متعددة من التدريب لإصلاح مشكلة النسيان.

أيضاً، تعتمد الطريقة على كون الذكاء الاصطناعي ذكياً بما يكفي لفهم الأمثلة في المقام الأول. فإذا كان النموذج صغيراً جداً أو ليس ذكياً بما يكفي، فلن يكون "المعلم" جيداً، ولن تنجح الدرس.

في النهاية، تشير هذه الورقة إلى مسار واعد للمستقبل. فمن خلال السماح لنماذج الذكاء الاصطناعي بتعليم نفسها باستخدام نسخها "الأكثر حكمة" كمرشد لها، قد نتمكن أخيراً من بناء ذكاء اصطناعي لا يتعلم لمرة واحدة فحسب، بل يستمر في التعلم والنمو والتحسن طوال حياته، تماماً كما نفعل نحن.

ملخص تقني: التقطير الذاتي يُمكّن التعلم المستمر

بيان المشكلة

تواجه النماذج التأسيسية حاليًا قيدًا جوهريًا: فهي تظل ثابتة بعد النشر. وبينما يمكنها تكييف سلوكها وقت الاستدلال عبر التلقين (Prompting) أو الاسترجاع، إلا أنها لا تُحدّث معلماتها (Parameters) لاكتساب مهارات جديدة أو استيعاب معرفة جديدة. التحدي الجوهري هو التعلم المستمر (Continual Learning) — أي تمكين النماذج من التعلم والتحسن بمرور الوقت دون تدهور القدرات الحالية.

تعتمد النهج الحالية للتعلم من عروض الخبراء التوضيحية (Expert Demonstrations)، وهي البديل الرئيسي لوظائف المكافأة الصريحة، على الضبط الدقيق الخاضع للإشراف (SFT). ومع ذلك، فإن الـ SFT هو بطبيعته خارج السياسة (Off-policy)، حيث يتم التدريب على توزيع بيانات ثابت وغير متصل (Offline). يؤدي هذا إلى النسيان الكارثي (Catastrophic Forgetting)، حيث يتسبب التكيف مع مهام جديدة في تراجع شديد في القدرات العامة السابقة. وفي المقابل، أظهر التعلم داخل السياسة (On-policy learning) (التدريب على مسارات يولدها النموذج نفسه) قدرة على تقليل النسيان وتحسين التعميم، ولكنه يتطلب عادةً وظائف مكافأة صريحة (تعلم تعزيزي)، والتي غالبًا ما تكون غير متوفرة في البيئات الواقعية.

السؤال المركزي الذي تعالجه هذه الدراسة هو: كيف يمكننا الحصول على فوائد التعلم داخل السياسة عندما تتوفر فقط عروض الخبراء التوضيحية؟

المنهجية: الضبط الدقيق بالتقطير الذاتي (SDFT)

يقترح المؤلفون الضبط الدقيق بالتقطير الذاتي (SDFT)، وهو أسلوب يُمكّن التعلم داخل السياسة مباشرة من العروض التوضيحية عبر الاستفادة من قدرات التعلم داخل السياق (In-Context Learning - ICL) للنماذج الضخمة سابقة التدريب.

الآلية الجوهرية

يستخدم SDFT نموذجًا واحدًا في دورين متميزين أثناء التدريب:

المعلم (Teacher): النموذج المشروط بكل من مدخل المهمة ( $x$ ) وعرض الخبير التوضيحي ( $c$ ). وهذا يخلق توزيعًا مدركًا للعرض التوضيحي $Q = \pi(\cdot|x, c)$ . هيكل التلقين يشجع النموذج على فهم القصد وراء العرض التوضيحي بدلاً من النسخ الحرفي.
الطالب (Student): النموذج الأساسي المشروط بمدخل المهمة ( $x$ ) فقط، مما ينتج التوزيع $P = \pi(\cdot|x)$ .

هدف التدريب

يتم تدريب الطالب لمطابقة سلوك المعلم على المسارات التي يولدها الطالب نفسه (داخل السياسة). يقلل الهدف من تباعد كولباك - ليبلر (KL divergence) العكسي بين توزيعات الطالب والمعلم:
$\mathcal{L}(\theta) = D_{KL} (\pi_\theta(\cdot|x) \parallel \pi(\cdot|x, c)) = \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} \left[ \log \frac{\pi_\theta(y|x)}{\pi(y|x, c)} \right]$

التفسير النظري

يفسر البحث SDFT من خلال منظورين:

التقطير (Distillation): إطار عمل (طالب-معلم) حيث يكون المعلم نسخة "أكثر حكمة" ومدركة للعرض التوضيحي من الطالب.
التعلم التعزيزي العكسي (Inverse Reinforcement Learning - IRL): يثبت المؤلفون رياضيًا أن SDFT يكافئ تعظيم وظيفة مكافأة ضمنية. من خلال افتراض أن السياسة المشروطة بالعرض التوضيحي تقرب من السياسة المثلى ( $\pi^* \approx \pi(\cdot|x, c)$ )، فإن نسبة اللوغاريتم بين توزيعات المعلم والطالب تعمل كإشارة مكافأة ذاتية. وهذا يسمح للنموذج بإجراء تحديثات داخل السياسة دون الحاجة لوظيفة مكافأة صريحة.

التنفيذ العملي

توصيف المعلم (Teacher Parameterization): عادة ما تكون معلمات المعلم عبارة عن متوسط متحرك أسي (EMA) لمعلمات الطالب.
دالة الخسارة: بينما يقترح الاشتقاق النظري تباعد KL العكسي، وجد المؤلفون أن KL الأمامي (Forward KL) على مستوى اللوجيت (Logit level) يحقق أداءً عمليًا أفضل.
تقدير التدرج (Gradient Estimation): يتم تفكيك الخسارة إلى خسارة على مستوى الرمز (Token-level loss)، مع معاملة توزيع المعلم كقيمة ثابتة أثناء حساب التدرج.

المساهمات الرئيسية

إطار عمل مبتكر: تقديم SDFT، وهو أسلوب بسيط لتحويل عروض الخبراء التوضيحية إلى إشارات تعلم داخل السياسة دون الحاجة لاستنتاج مكافأة صريحة.
التكافؤ النظري: إثبات أن التقطير الذاتي من العروض التوضيحية يكافئ رياضيًا تعظيم وظيفة مكافأة ضمنية مستمدة من قدرات التعلم داخل السياق الخاصة بالنموذج.
التحقق من فرضية ICL: تقديم أدلة تجريبية على أن النماذج المشروطة بالعروض التوضيحية تعمل كمعلمين عالي الجودة (تنتج مخرجات مثالية) مع البقاء قريبين من السياسة الأساسية (تقليل الانحراف)، مما يلبي متطلبات تنظيم منطقة الثقة (Trust-region regularization).
المتانة تجاه محدودية البيانات: إثبات أن SDFT يمكنه تدريب نماذج الاستدلال بفعالية حتى عندما تفتقر بيانات الإشراف إلى مسارات "سلسلة الأفكام" (Chain-of-Thought) الصريحة، مما يمنع "انهيار الاستدلال" الذي يحدث غالبًا مع الـ SFT القياسي على البيانات التي تحتوي على الإجابات فقط.

النتائج التجريبية

قيم المؤلفون SDFT في إعدادين: تعلم المهارات (اكتساب مهام جديدة) واكتساب المعرفة (دمج معلومات واقعية جديدة).

1. تعلم المهارات (التعلم المتسلسل)

المهام: الأسئلة والأجوبة العلمية، استخدام الأدوات، والاستدلال الطبي.
النتائج:
- النسيان الكارثي: في تجارب التدريب المتسلسل (تعلم ثلاث مهارات تلو الأخرى)، مكن SDFT نموذجًا واحدًا من تراكم المهارات دون تراجع في الأداء على المهام السابقة. في المقابل، أظهر الـ SFT تداخلاً شديدًا، حيث تسبب تعلم مهمة جديدة في تدهور سريع للمهارات المتعلمة سابقًا.
- التعميم: حقق SDFT دقة أعلى في المهام الجديدة مقارنة بـ SFT، مما يشير إلى تعميم أفضل داخل التوزيع.
- كفاءة باريتو (Pareto Efficiency): حقق SDFT باستمرار توازنات متفوقة بين دقة المهمة الجديدة والحفاظ على القدرات السابقة مقارنة بالنماذج المرجعية (SFT, DFT, و Re-invoke).

2. اكتساب المعرفة

الإعداد: دمج معرفة واقعية حول الكوارث الطبيعية لعام 2025 (ما بعد تاريخ انقطاع التدريب) في نموذج.
النتائج:
- تفوق SDFT بشكل كبير على SFT والتدريب المسبق المستمر (CPT) في كل من الدقة الصارمة والأسئلة غير المباشرة (خارج التوزيع).
- حقق SDFT دقة تقترب من الكمال في الأسئلة غير المباشرة، مما يشير إلى أن المعرفة الجديدة قد دُمجت بشكل صحيح في الذاكرة الداخلية للنموذج بدلاً من مجرد حفظها كأنماط إجابة محددة.

3. التوسع وحجم النموذج

الاعتماد على ICL: يرتبط نجاح SDFT ارتباطًا وثيقًا بحجم النموذج. النماذج الأصغر (مثل 3B) ذات التعلم داخل السياق الضعيف فشلت في تقديم إشارات معلم ذات معنى، وأدت أداءً أسوأ من SFT. أما النماذج الأكبر (7B, 14B) فقد أظهرت تحسنًا مطردًا، حيث حقق نموذج 14B فجوة قدرها 6.9 نقطة عن SFT.

4. نماذج الاستدلال

الإشراف بالإجابات فقط: عند ضبط نموذج استدلال (Olmo-3-7B-Think) على بيانات تحتوي فقط على الإجابات النهائية (بدون سلسلة أفكار)، تسبب الـ SFT القياسي في انهيار عمق الاستدلال (استجابات أقصر) وقلل من الدقة. حافظ SDFT على سلوك "سلسلة الأفكار" الطويلة للنموذيد مع تحسين الدقة.

الأهمية والادعاءات

يزعم البحث أن SDFT يضع التقطير داخل السياسة كمسار عملي للتعلم المستمر من العروض التوضيحية.

التغلب على قيد "خارج السياسة": يوضح العمل أن فوائد التعلم داخل السياسة (تقليل النسيان، تحسين التعميم) يمكن تحقيقها حتى بدون وظائف مكافأة صريحة، بشرما إذا امتلك النموذج قدرات كافية في التعلم داخل السياق.
الجدوى العملية: رغم أن SDFT يتطلب تكلفة حوسبية أعلى (حوالي 2.5 ضعف العمليات الحسابية FLOPs و4 أضعاف وقت التنفيذ مقارنة بـ Sft بسبب عمليات التوليد داخل السياسة)، إلا أن المؤلفين يجادلون بأن هذا يتم تعويضه من خلال إلغاء مراحل التدريب متعددة الخطوات (مثل SFT متبوعًا بـ Re-invoke) المطلوبة في الطرق الأخرى للحد من النسيان.
تكامل مع التعلم التعزيزي (RL): يضع المؤلفون SDFT ليس كبديل للتعلم التعزيزي داخل السياسة، بل كنمط مكمل. يمكن أن يعمل كبداية فعالة لعملية الضبط الدقيق اللاحقة القائمة على المكافأة.

يخلص البحث إلى أن SDFT يُمكّن النماذج التأسيسية من الاستمرار في التعلم والتحسن بمرور الوقت، مما يقربها من القدرة البشرية على تراكم المعرفة وصقل المهارات طوال فترة الحياة.