ملخص تقني: متوافق ولكن هش: تعزيز متانة سلامة النماذج اللغوية الكبيرة عبر التحسين من الدرجة صفر

1. بيان المشكلة

تخضع النماذج اللغوية الكبيرة (LLMs) لمرحلة محاذاة السلامة (مثل RLHF أو DPO أو SFT) لقمع المخرجات الضارة مع الحفاظ على الفائدة. ومع ذلك، تشير النتائج الأخيرة إلى أن هذه المحاذاة غالبًا ما تكون هشة. توضح الورقة أن الاضطرابات الخفيفة التي تلي عملية المحاذاة — مثل ضجيج المعلمات (parameter noise)، أو ضجيج التنشيط (activation noise)، أو التكميم (quantization) — يمكن أن تؤدي بشكل كبير إلى تدهور سلوكيات السلامة، مما يتسبب في عودة النماذج المحاذية إلى مخرجات غير آمنة أو غير متوافقة.

تركز النهج الحالية للتعامل مع المتانة بشكل أساسي على تنقية البيانات، أو أهداف المحاذاة المعدلة، أو تحديد المعلمات الحرجة للسلامة. تتطلب هذه الأساليب تعديلات خاصة بالمشكلة على بيانات التدريب أو مكونات النموذج الداخلية. ومن الأهمية بمكان أن دور المُحسِّن الأساسي (base optimizer) نفسه في تشكيل الهندسة المحلية لحد السلامة لا يزال غير مستكشف إلى حد كبير. وتفترض الورقة أن محاذاة السلامة قد تكون مشفرة بواسطة حدود "حادة" أو مفرطة في التخصيص (overfitted) في فضاء المعلمات، مما يجعلها عرضة للانحرافات الصغيرة. تتطلب المحاذاة القوية مشهد سلامة محليًا أكثر سلاسة، وهي خاصية يمكن التأثير عليها من خلال خوارزمية التحسين المستخدمة.

2. المنهجية

تقترح الورقة إطار عمل تحسين هجين يستفيد من التحسين من الدرجة صفر (Zeroth-Order - ZO) ك مرحلة صقل تلي عملية المحاذاة. تتكون المنهجية من ثلاثة مكونات:

أ. خط معالجة هجين (FO–ZO)

بدلاً من استبدال محاذاة الدرجة الأولى (First-Order - FO) القياسية بـ ZO (الذي يعد مكلفًا حوسبيًا وأبطأ في التقارب)، تقترح المؤلفة خط معالجة من مرحلتين:

1. المرحلة الأولى (محاذاة سلامة FO): تُستخدم عملية التحسين القائمة على التدرج (مثل SGD) بكفاءة للوص0 إلى حل محاذٍ جيدًا ($\theta_{fo}$).
2. المرحلة الثانية (صقل المتانة عبر ZO): يتم تطبيق عدد قليل من خطوات ZO على $\theta_{fo}$ لصقل المتانة المحلية. تقوم ZO بتقدير التدرجات عن طريق تقييم دالة الخسارة عند معلمات مضطربة ($\theta \pm \beta v$)، مما يؤدي فعليًا إلى تحسين هدف سلس محليًا. تشجع هذه العملية النموذج على إيجاد "أدنى مستويات مسطحة" (flatter minima)، وهي أكثر متانة نظريًا تجاه الاضطرابات.

ب. التبرير النظري

تقدم الورقة تحليلًا نظريًا لتبرير هذا التصميم:

• التقارب: بينما تعد ZO إجراء تحسين صالح، إلا أن قيود حجم الخطوة (stepsize) فيها أكثر تقييدًا من FO بسبب التباين وانحياز التنعيم. لذلك، فإن استخدام ZO لعملية المحاذاة بأكملية يعد غير فعال. ومع ذلك، فإن تطبيق بضع خطوات ZO بعد تقارب FO يكفي لتحسين المتانة.
• تحسين المتانة: تثبت الورقة أنه حتى إذا كان نموذج FO المحاذي قد تقارب بالفعل ($\nabla f(\theta_{fo}) = 0$)، فإن خطوة صقل واحدة باستخدام ZO يمكن أن تقلل من "فجوة متانة الاضطراب" (الزيادة في الخسارة تحت تأثير الاضطراب). وذلك لأن ZO تعمل مباشرة على تحسين الهدف المتوسط للمحيط، مما يؤدي إلى تنعيم المشهد المحلي دون الحاجة لإعادة التدريب من البداية.

ج. حساسية المتانة على مستوى الطبقات

لتحسين كفاءة صقل ZO، تقدم المؤلفة استراتيجية اختيار موجهة بالحساسية. بدلاً من تحديث جميع المعلمات، يقومون بتحديد "الطبقات الحرجة للمتانة":

• درجة الحساسية ($S^{(\ell)}$): لكل طبقة $\ell$، يتم حساب درجة من خلال قياس الزيادة في الخسارة عند اضطراب تلك الطبقة تحديدًا (ضجيج عشوائي) أو تكميمها.
• التحديث المستهدف: يتم اختيار أفضل $m$ من الطبقات ذات درجات الحساسية الأعلى. خلال مرحلة صقل ZO، يتم حجب اتجاهات الاضطراب خارج هذه الطبقات المختارة، مما يركز الموارد الحوسبية على الطبقات المسؤلة بشكل أكبر عن تدهور السلامة تحت تأثير الاضطراب.

3. المساهمات الرئيسية

تدعي الورقة المساهمات التالية:

1. أول دراسة من منظور المُحسِّن: هي أول عمل يدرس متانة محاذاة السلامة ضد اضطرابات المعلمات والتنشيط بشكل شامل من خلال عدسة التحسين من الدرجة صفر.
2. إطار عمل هجين (FO–ZO): اقتراح إطار عمل هجين يدمج مُحسّنات FO و ZO، مما يجمع بين فعالية المحاذاة لـ FO ومزايا المتانة لـ ZO.
3. الكفاءة والفعالية: تقديم أدلة نظرية وتجريبية تظهر أن قدرًا صغيرًا من صقل ZO الذي يلي المحاذاة يحسن بشكل كبير من متانة السلامة مع تكلفة حوسبية معتدلة.
4. الاختيار على مستوى الطبقة: طريقة مبتكرة لتقدير حساسية المتانة على مستوى الطبقة باستخدام التقييمات القائمة على الاضطراب، مما يتيح صقلاً مستهدفًا يتفوق على درجات الأهمية القائمة على التقليم القياسية (مثل SNIP أو WANDA).

4. النتائج التجريبية

أُجريت التجارب على نماذج Llama-3-8B-Instruct و Qwen2-7B-Instruct باستخدام مجموعة بيانات CB-Safety.

• هشاشة المحاذاة القياسية: تؤكد الجداول (Table 1) أن النماذج المحاذية قياسيًا تعاني من زيادات كبيرة في معدل نجاح الهجوم (ASR) تحت ظروف التكميم (W4A4) وضجيج التنشيط، مما يؤكد مشكلة الهشاشة.
• فعالية الصقل:
  • محاذاة FO: تقلل من ASR بشكل كبير مقارنة بالنموذج الأصلي.
  • صقل ZO: عند تطبيقه بعد محاذاة FO، يعمل صقل ZO على تقليل ASR بشكل أكبر عبر مختلف الاضطرابات (التكميم، ضجيج الأوزان، ضجيج التنشيط) مع الحفاظ على الفائدة (تظل درجات PPL و lm-eval مستقرة).
  • المقارنة: استبدال آخر 10 خطوات من تدريب FO بـ 10 خطوات من صقل ZO يؤدي باستمرار إلى ASR أقل من الاستمرار في تدريب FO، رغم استخدام نفس عدد خطوات التحسين.
• اختيار الطبقات: يتفوق اختيار الطبقات "المدرك للمتانة" المقترح على SNIP و WANDA في تحديد الطبقات الحرجة للمتانة، لا سيما تحت ضجيج التنشيط والتكميم.
• الكفاءة: تضيف مرحلة صقل ZO حوالي 13.3% فقط إلى إجمالي وقت التدريب وتستخدم حوالي 32% من ذروة ذاكرة GPU المطلوبة لتدريب FO، حيث أنها تتجنب الانتشار العكسي (backpropagation).

5. الأهمية والادعاءات

تضع الورقة نفسها كخطوة متواضعة ولكن مهمة نحو سلامة أكثر مرونة للنماذج اللغوية الكبيرة. وتجادل بأن محاذاة السلامة لا تتعلق فقط بالبيانات أو دالة الهدف، بل أيضًا بـ الهندسة المحلية للمعلمات المتعلمة، والتي يشكلها المُحسِّن.

• الجدة: من خلال تحويل التركف إلى المُحسِّن، تقدم الورقة آلية جديدة (صقل ZO) تتماشى بشكل مستقل مع تنقية البيانات أو إعادة تصميم الأهداف.
• الواقعية: يضمن النهج الهجين الحفاظ على الفائدة العالية لمحاذاة FO القياسية مع إضافة "صقل للمتانة" خفيف الوزن.
• القيود والعمل المستقبلي: يقر المؤلفون بأن اختيارهم الحالي على مستوى الطبقة يمكن توسيعه ليشمل نسبًا أكثر دقة (على مستوى الوحدة، أو العصبون، أو المعلمة) في العمل المستقبلي. هم لا يدعون حل جميع مشكلات السلامة، بل يعالجون تحديدًا ضعف النماذج المحاذية تجاه اضطرابات ما بعد التدريب.

باخت fact، توضح الورقة أن التحسين من الدرجة صفر، عندما يُستخدم كأداة صقل مستهدفة، يمكنه تنعيم مشهد السلامة للنماذج اللغوية الكبيرة، مما يجعلها أكثر مقاومة للضجيج والحوسبة التي لا مفر منها أثناء النشر في العالم الحقيقي.