🤖 machine learning

Curriculum Learning for Safety Alignment

تقترح هذه الورقة "الكفاءة المرحلية" (Staged-Competence)، وهو إطار عمل للتعلم المنهجي ينظم بيانات التفضيل حسب درجة الصعوبة ويقوم بتحديث النموذج المرجعي تدريجياً لتحسين متانة التحسين المباشر للتفضيلات (DPO) تجاه البيانات خارج النطاق ومقاومة الاختراق لأغراض السلامة بشكل كبير، مع الحفاظ على القدرات العامة.

المؤلفون الأصليون: Sandeep Kumar, Virginia Smith, Chhavi Yadav

نُشر 2026-05-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Sandeep Kumar, Virginia Smith, Chhavi Yadav

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "التعلم المنهجي لسلامة الذكاء الاصطناعي" (Curriculum Learning for Safety Alignment) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبيرة: تعليم الذكاء الاصطناعي أن يكون آمناً أمر هش

تخيل أنك تقوم بتدريب روبوت ذكي جداً ليكون مساعداً مفيداً. تريد منه أن يكون لطيفاً ومتعاوناً، ولكنك تريد أيضاً التأكد من أنه لن يوافق أبداً على القيام بشيء خطير، مثل صنع قنبلة أو سرقة سيارة.

في الوقت الحالي، الطريقة القياسية لتعليم هذا (والتي تسمى DPO) تشبه إلقاء مجموعة من الأمثلة "الجيدة مقابل السيئة" على الروبوت دفعة واحدة وبترتيب عشوائي.

العيب: تجادل الورقة البحثية بأن هذه الطريقة "هشة". إنها تشبه تعليم طالب القيادة عن طريق رميه في حركة مرور كثيفة فوراً. قد يتعلم قواعد تلك الزحمة المرورية المحددة، ولكن إذا أخذته إلى مدينة أخرى (موقف جديد) أو حاول شخص ما خداعه بسؤال غريب ("هجوم كسر الحماية" أو Jailbreak)، فغالباً ما يصطدم. هو لم يتعلم "مفهوم" السلامة حقاً؛ بل قام فقط بحفظ الأمثلة المحددة التي رآها.

الحل: "منهج الكفاءة المتدرجة"

يقترح المؤلفون طريقة جديدة تسمى Staged-Competence (الكفاءة المتدرجة). فكر في هذا كالانتقال من كومة فوضوية من البطاقات التعليمية إلى منهج دراسي منظم وخطوة بخطوة.

هم يستخدمون مفهوم التعلم المنهجي (Curriculum Learning)، وهو فكرة وجوب تعلم الأشياء من السهل إلى الصعب.

إليك كيف يعمل نظامهم، مقسماً إلى ثلاث خطوات بسيطة:

1. تصحيح الواجب المنزلي (تسجيل درجة الصعوبة)

قبل أن يبدأ الروبوت التدريب، يقوم النظام بفحص كل مثال من أمثلة السلوك "الجيد مقابل السيئ".

الطريقة القديمة: اختيار الأمثلة عشوائياً.
الطريقة الجديدة: يسأل النظام: "ما مدى صعوبة هذا المثال بالنسبة للروبوت في هذه اللحظة؟"
- إذا كان الروبوت يعرف الإجابة بسهولة، فهذا مثال سهل.
- إذا كان الروبوت مرتبكاً أو من المحتمل أن يخطئ، فهذا مثال صعب.
- تشبيه: تخيل معلماً يصحح مجموعة من المسائل الرياضية. هو لا يوزعها عشوائياً، بل يصنفها: "إليك بعض مسائل 1+1 (سهل)، ثم ضرب رقمين (متوسط)، وأخيراً التفاضل والتكامل (صعب)".

2. المدرسة ذات المراحل الثلاث (التدريب المرحلي)

بدلاً من محاولة تعلم كل شيء في وقت واحد، يتم تقسيم التدريب إلى ثلاث مراحل (حاويات).

المرحلة 1: يرى الروبوت فقط الأمثلة "السهلة". يتدرب عليها حتى يتقنها.
المرحلة 2: يصبح الروبوت الآن "كفؤاً" بما يكفي للتعامل مع الصعوبة "المتوسطة". يتعلم هذه الأمثلة، بناءً على ما تعلمه في المرحلة الأولى.
المرحلة 3: أخيراً، يتصدى للأمثلة "الصعبة".

السر الخفي: بين هذه المراحل، يقوم النظام بتحديث "المعلم الداخلي" للروبوت (النموذج المرجعي).

تشبيه: تخيل مدرباً. في الأسبوع الأول، يعلمك المدرب كيفية الإمساك بالمضرب. بمجرد أن تتقن ذلك، لا يستمر المدرب في تعليمك كيفية الإمساك بالمضرب؛ بل يحدث توقعاته ويبدأ في تعليمك كيفية التأرجح. الروبوت "يكبر" مع انتقاله عبر المراحل، لذا لا يضيع وقته في إعادة تعلم الأساسيات التي يعرفها بالفعل.

3. أخذ العينات الذكي (القائم على الكفاءة)

حتى داخل مرحلة واحدة، لا يرى الروبوت الأمثلة بترتيب عشوائي. بل يحصل على مزيج مما يمكنه التعامل معه مع تحديات أصعب قليلاً، وتزداد الصعوبة تدريجياً.

تشبيه: فكر في لعبة فيديو. أنت لا تبدأ بالوحش النهائي. تبدأ بالدرس التعليمي، ثم المستوى الأول، ثم المستوى الثاني. ومع تحسن مستواك، تفتح اللعبة تلقائياً مستويات أصعب. هذا البحث يفعل ذلك من أجل سلامة الذكاء الاصطناعي.

ماذا وجدوا؟ (النتائج)

اختبر المؤلفون هذه الطريقة على ثلاثة أنواع مختلفة من نماذج الذكاء الاصطنا_ي. وإليك ما حدث:

سلامة أقوى: كانت الروبوتات التي تدربت بهذا "المنهج" أفضل بكثير في مقاومة هجمات "كسر الحماية" (الحيل المستخدمة لجعل الذكاء الاصطناعي يقول أشياء سيئة). كانت أفضل بنسبة 20% في تجاهل هذه الحيل مقارنة بالطريقة القياسية.
قدرة أفضل على التعميم: عندما سُئلت عن أشياء لم ترها من قبل (خارج نطاق التوزيع - Out-of-Distribution)، كانت أقل عرضة بنسبة 16% لتقديم إجابة ضارة.
فهم أعمق: التدريب القياسي غالباً ما يعلم الذكاء الاصطناعي قول "لا" في الجملة الأولى فقط، ثم قد يخطئ لاحقاً. هذه الطريقة الجديدة تعلم الذكاء الاصطناعي البقاء آمناً طوال المحادثة، مثل حارس يظل يقظاً طوال الوقت، وليس فقط عند الباب.
كفاءة البيانات: وجدوا أن استخدام هذه الطريقة مع 25% أقل من البيانات لا يزال ينتج نتائج جيدة مثل الطريقة القياسية التي تستخدم 100% من البيانات. إنه يشبه الحصول على تعليم أفضل باستخدام كتب مدرسية أقل.
عدم فقدان الذكاء: والأهم من ذلك، جعل الذكاء الاصطناعي أكثر أماناً لم يجعله غبياً. ظل بإمكانه الإجابة على الأسئلة العادية بنفس كفاءة السابق.

مكافأة "البيانات المنقحة"

تذكر الورقة البحثية أيضاً اكتشافاً جانبياً. مجموعتا البيانات العامتان الكبيرتان اللتان استخدماهما لتدريب هذه النماذج كانتا في الواقع غير دقيقتين.

أحياناً، كانت الإجابة "الآمنة" هي في الواقع خطيرة.
وأحياناً، كانت الإجابة "غير الآمنة" هي في الواقع مفيدة.
تشبيه: كان الأمر يشبه وجود خطأ في نموذج إجابات المعلم.
قام المؤلفون بتنظيف هذه المجموعات، وإصلاح الأخطاء، وتوفير نسخة جديدة وأنظف للجميع.

الملخص

تجادل الورقة البحثية بأنه لجعل الذكاء الاصطناعي آمناً حقاً وقوياً، لا ينبغي لنا مجرد إلقاء البيانات عليه بشكل عشوائي. بدلاً من ذلك، يجب تعليمه مثل الطالب البشري: ابدأ بالأساسيات، ابنِ الكفاءة، وزد الصعوبة تدريجياً. هذا النهج (الكفاءة المتدرجة) يجعل الذكاء الاصطناعي أكثر أماناً، وأكثر مقاومة للحيل، وأكثر كفاءة في التدريب، دون جعله أقل فائدة.

ملخص تقني: التعلم المنهجي (Curriculum Learning) لمحاذاة السلامة

بيان المشكلة

أصبح تحسين التفضيلات المباشر (DPO) نهجاً قياسياً لمحاذاة سلامة النماذج اللغوية الكبيرة (LLMs) من خلال التعلم من أزواج التفضيلات البشرية دون الحاجة إلى نموذج مكافأة منفصل. ومع ذلك، تشير الأبحاث السابقة إلى أن DPO القياسي يتسم بالهشاشة، حيث يظهر ضعفاً في التعميم على المطالبات خارج التوزيع (OOD) ويفشل في مقاومة هجمات "كسر الحماية" (jailbreaking) البسيطة. علاوة على ذلك، غالباً ما تتركز محاذاة السلامة في DPO القياسي في الرموز (tokens) القليلة الأولى من الاستجابة فقط، مما يترك الرموز اللاحقة عرضة للاختراق. وبينما حقق التعلم المنهجي (ترتيب الأمثلة من السهل إلى الصعب) نجاحاً في تحسين التقارب والمتانة في مجالات أخرى مثل الترجمة الآلية والمحاذاة العامة، فإن إمكاناته في معالجة الهشاشة المحددة لمحاذاة السلامة القائمة على DPO لا تزال غير مستكشفة إلى حد كبير.

المنهجية: الكفاءة المرحلية (Staged-Competence)

يقترح المؤلفون إطار عمل الكفاءة المرحلية (Staged-Competence)، وهو إطار قائم على التعلم المنهجي مصمم لتحسين متانة محاذاة السلامة القائمة على DPO. تتكون الطريقة من مرحلتين أساسيتين:

المرحلة 1: تسجيل الصعوبة (هامش محاذاة التفضيل)

على عكس النهج السابقة التي تعتمد على الاستدلالات الثابتة أو التسجيل المحلي القائم على المطالبة، تُعرف "الكفاءة المرحلية" الصعوبة بطريقة تعتمد على النموذج.

الآلية: لكل مطالبة $x_i$ ، يقوم النموذج الأساسي غير المحاذي بتوليد استجابة صفرية (zero-shot) $\hat{y}_i$ .
التسجيل: يحسب المؤلفون تضمينات (embeddings) الاستجابة صفرية المحتوى، والاستجابة الآمنة (المختارة) $y^+_i$ ، والاستجابة غير الآمنة (المرفوضة) $y^-_i$ . ويحددون هامش محاذاة التفضيل ( $m_i$ ):
$m_i = \cos(e_{\hat{y}_i}, e_{y^+_i}) - \cos(e_{\hat{y}_i}, e_{y^-_i})$
الترتيب: يشير الهامش الموجب الكبير إلى أن النموذج يميز بالفعل بين السلوك الآمن وغير الآمن (مثال سهل)، بينما يشير الهامش الصغير أو السالب إلى عدم المحاذاة (مثال صعب). يتم ترتيب مجموعة البيانات عالمياً بناءً على هذا الهامش لإنشاء منهج تعليمي من السهل إلى الصعب.

المرحلة 2: التدريب المنهجي

تجمع خوارزمية التدريب بين تحديثات النموذج المرجعي المرحلية مع أخذ العينات القائم على الكفاءة لضمان تقدم تدريجي دقيق من السهل إلى الصعب داخل كل مرحلة وعبرها.

التقسيم (Staging): يتم تقسيم مجموعة البيانات المرتبة إلى $K$ من الحاويات (على سبيل المثال، $K=3$ ) ذات الصعوبة المتزايدة.
تحديثات المرجع: بين المراحل، يتم تحديث السياسة المرجعية ( $\pi^{(k+1)}_{ref} = \pi^{(k)}$ ). يسمح هذا للسياسة في المرحلة التالية بالتركيز على استيعاب حاوية الصعوبة الحالية بدلاً من إعادة تعلم المفاهيم المكتسبة سابقاً.
أخذ العينات القائم على الكفاءة: داخل كل مرحلة، تحدد دالة الكفاءة $c(t)$ (بناءً على جدول زمني ذي جذر تربيعي) عتبة الصعوبة. فقط الأمثلة التي تكون صعوبتها $d_i \leq c(t)$ مؤهلة لأخذ العينات في الدفعة الصغيرة (mini-batch) عند الخطوة $t$ . يضمن هذا تقديم الأمثلة الأكثر صعوبة بمعدل أبطأ تدريجياً، مما يسمح للنموذج بترسيخ التعلم.

المساهمات الرئيسية

إطار عمل الكفاءة المرحلية: أول دراسة منهجية تطبق التعلم المنهجي على محاذاة السلامة القائمة على DPO، مع تقديم ترتيب صعوبة عالمي يعتمد على النموذج وخوارزمية تدريب هجينة.
مجموعة بيانات Cleaned-PKU-HH-SafeRLHF: حدد المؤلفون عدم اتساق واسع النطاق في مجموعات بيانات السلامة الشهيرة (PKU-SafeRLHF و HH-RLHF)، حيث غالباً ما تكون الاستجابات "المختارة" غير آمنة والاستجابات "المرفوضة" آمنة. لقد قدموا مجموعة بيانات مدمجة ومنقحة تمت تصفيتها بواسطة حكم GPT-4o-mini لضمان تسميات تفضيل عالية الجودة للتدريب.
التحليل والمقارنة (Ablation): تقييم منهجي لخيارات تصميم المنهج (الترتيب، أخذ العينات، تحديثات المرجع) عبر ثلاث عائلات من النماذج (LLaMA-3، Qwen3، Yi-1.5).

النتائج التجريبية

أُجريت التجارب عبر ثلاث عائلات من النماذج (LLaMA-3-8B، Qwen3-8B، Yi-1.5-9B) باستخدام مجموعة البيانات المنقحة.

المتانة تجاه OOD والهجمات: قللت "الكفاءة المرحلية" من معدلات الاستجابة الضارة خارج التوزيع (OOD) بمتوسط 16% ومعدلات نجاح هجمات كسر الحماية بنسبة 20% مقارنة بـ DPO القياسي، مع الحفاظ على القدرات العامة (MMLU، HellaSwag) والحفاظ على مستويات قريبة من الصفر في حالات الرفض المفرط (over-refusal).
عمق المحاذاة: أظهر تحليل كبت الرموز (per-token suppression) أن "الكفاءة المرحلية" تحقق تقريباً 3 أضعاف هامش فصل المكافأة وتحافظ على كبت السلامة طوال الاستجابة، وليس فقط في الرموز الأولية. يرتبط هذا العمق في المحاذاة بتحسن المقاومة لهجمات كسر الحماية القائمة على التعبئة المسبقة (prefill-based).
كفاءة البيانات: طابقت "الكفاءة المرحلية" أداء السلامة لـ DPO القياسي المدرب على 100% من البيانات باستخدام 75% فقط من بيانات التدريب.
التوسع (Scaling): اتسعت ميزة السلامة لـ "الكفاءة المرحلية" على DPO القياسي بشكل رتيب مع زيادة حجم النموذج. وبينما تدهور أداء DPO القياسي بشكل كبير مع زيادة حجم النموذج (من 1.7B إلى 8B بارامتر)، حافظت "الكفاءة المرحلية" على أداء سلامة ثابت عبر مختلف المقاييس.

الأهمية والادعاءات

يزعم البحث أن "الكفاءة المرحلية" تثبت أن التعلم المنهجي هو رافعة ذات مغزى وغير مستغلة كفاية لمحاذاة السلامة. من خلال تنظيم بيانات التفضيل حسب الصعوبة وتحديث النموذج المرجعي تدريجياً، تنتج الطريقة ميزات سلامة أكثر متانة وتعمماً بشكل أفضل في سيناريوهات OOD والهجمات العدائية.

يؤكد المؤلفون أن نهجهم محايد تجاه خسارة تحسين السياسة الأساسية، مما يعني أنه يمكن توسيعه ليشمل متغيرات أخرى من DPO ومجالات محاذاة تتجاوز السلامة. ويخلصون إلى أنه بينما يتسم DPO القياسي بالهشاشة، فإن التعلم المهيكل من السهل إلى الصعب يمكن أن يعزز بشكل كبير متانة وكفاءة البيانات لمحاذاة السلامة دون التضحية بالقدرات العامة للنموذج.