Closing the Distribution Gap in Adversarial Training for LLMs

إليك ملخص تقني مفصل لورقة البحث بعنوان "سد فجوة التوزيع في التدريب الخصمي للنماذج اللغوية الكبيرة (LLMs)".

1. بيان المشكلة

تعاني طرق التدريب الخصمي (Adversarial Training - AT) الحالية للنماذج اللغوية الكبيرة من قصور جوهري: فهي تقلل من المخاطر المتينة التجريبية (empirical robust risk) عبر مجموعة بيانات ثابتة ومحدودة، لكنها تفشل في تقريب المخاطر المتينة للمجتمع (population robust risk) بشكل كافٍ.

• فجوة التوزيع: تعالج خوارزميات التدريب الخصمي القياسية بفعالية الاضطرابات الخاصة بالنموذج (أخطاء التحسين ضمن نطاق محلي)، لكنها تهمل إخفاقات التعميم الخاصة بالبيانات.
• العرض: النماذج التي يتم تدريبها باستخدام التدريب الخصمي القياسي تظل غالباً عرضة للتلاعبات اللغوية الطبيعية البسيطة التي تقع خارج توزيع التدريب مباشرة، مثل:
  • إعادة كتابة المطالبات (prompts) بصيغة الماضي.
  • ترجمة المطالبات إلى لغات قليلة الموارد.
  • إعادة صياغة الطلبات بطرق لم تكن موجودة صراحة في مجموعة التدريب.
• السبب الجذري: بيانات التدريب ($D$) هي تقريب سيئ لتوزيع البيانات الحقيقي الأساسي ($q$). وبناءً على ذلك، تفشل النماذج في التعميم على المدخلات الصالحة والطبيعية التي تحفز الاستجابات الضارة ولكن لم تُشاهد أثناء التدريب.

2. المنهجية: التدريب الخصمي التوزيعي (DAT)

يقترح المؤلفون التدريب الخصمي التوزيعي (Distributional Adversarial Training - DAT)، وهو إطار عمل مصمم لسد الفجوة بين المخاطر المتينة التجريبية والمجتمعية من خلال الاستفادة من نماذج الانتشار اللغوية (Diffusion LLMs) كبدائل توليدية.

المكونات الأساسية

1. البديل التوليدي (Diffusion LLMs):

   • على عكس النماذج التوليدية ذاتية الانحدار (autoregressive) التي تتعلم $q(y|x)$ (مشروطة بالمدخل)، تقوم نماذج الانتشار اللغوية بنمذجة التوزيع المشترك $q(x, y)$.
   • يسمح هذا للنموذج بحل المشكلة العكسية: أخذ عينات من مطالبات $x$ متنوعة مشروطة باستجابة ضارة معينة $y$ (أي أخذ عينات من $q(x|y_{harm})$).
   • تقوم هذه العملية بتوليد أمثلة خصمية خاصة بالبيانات تستثير استجابات ضارة بشكل طبيعي، مما يغطي دعم التوزيع الحقيقي بدلاً من مجرد الآثار الاصطناعية الخاصة بالنموذج.

2. هدف تدريب ذو مرحلتين:
   يجمع DAT بين أخذ العينات التوليدي والتحسين الخصمي المستمر:

   • الحلقة الخارجية (تقريب التوزيع): تستخدم نموذج الانتشار اللغوي لأخذ عينات من مطالبات $x$ متنوعة وعالية الاحتمالية مشروطة بأهداف ضارة $y$. هذا يوسع مجموعة التدريب لتقريب مخاطر المجتمع بشكل أفضل.
   • الحلقة الداخلية (التحسين الخصمي): تطبق التدريب الخصمي المستمر (Continuous Adversarial Training - CAT) على هذه العينات المولدة. يتضمن ذلك تعظيم الخسارة عبر اضطرابات مستمرة $\delta$ في مساحة التضمين (embedding space) لإيجاد السيناريو الأسوأ لكل عينة.
   • التنظيم (Regularization): يتم إضافة حد تباعد كيه إل (KL-divergence) إلى دالة الخسارة لمنع انهيار النموذج والحفاظ على المنفعة العامة (المساعدة/helpfulness) على البيانات السليمة.

الصيغة الرياضية

تقلل دالة الهدف من الخسارة المتوقدة للأسوأ عبر توزيع الانتشار:
$$L_{DAT} = \mathbb{E}_{y \sim D_{harm}, x \sim p_{diff}(x|y)} \left[ \max_{\delta \in \Delta} L_{adv}(x + \delta, y, y_{refusal}) \right] + \lambda_{KL} L_{KL}$$

3. المساهمات الرئيسية

1. صياغة فجوة المتانة: تميزت الورقة بين الاضطرابات الخاصة بالنموذج (مثل هجمات GCG المحسنة) وإخفاقات التعميم الخاصة بالبيانات (الاختلافات اللغوية الطبيعية). وتجادل بأن التدريب الخصمي الحالي يفشل لأنه يتجاهل الأخيرة.
2. إطار عمل تدريبي مبتكر (DAT): قدمت طريقة تجمع بين أخذ العينات التوليدية من نماذج الانتشار اللغوية والتحسين الخصمي المستمر.
3. التبرير النظري: تقدم الورقة نظرية (حد دقة البديل - Surrogate Fidelity Bound) تثبت أنه إذا كان البديل الانتشاري يقرب بدقة التوزيع الشرطي $q(x|y)$، فإن الفجوة بين المخاطر المتينة التجريبية والمجتمعية تكون محدودة.
4. التفوق التجريبي: أظهرت أن DAT يتفوق بشكل كبير على أفضل الأساليب المرجعية (baselines) في المتانة في الحالة الأسوأ مع الحفاظ على منفعة النموذج.

4. النتائج التجريبية

قام المؤلفون بتقييم DAT على نموذجي Llama3-8B و Qwen2.5-14B ضد مجموعة من الهجمات تشمل GCG، وPAIR، وBoN، والهجمات المباشرة، وInpainting Diffusion (هجوم خاص بالبيانات).

• المتانة (معدل نجاح الهجوم - ASR):

  • هجوم Inpainting: فشلت الدفاعات القياسية (CAT، LAT، Circuit Breakers) فشلاً ذريعاً ضد هجمات Inpainting (بمعدل ASR > 77%). قلل DAT هذا المعدل إلى 32% (Llama3) و 14% (Qwen2.5).
  • متانة أفضل-من-الكل (BoA): حقق DAT أدنى معدل BoA ASR (36% لـ Llama3، و18% لـ Qwen2.5)، متفوقاً بشكل كبير على أفضل طريقة تالية (MixAT-GCG التي سجلت 77% و75% على التوالي).
  • التعميم: نجح DAT في الدفاع ضد كل من الهجمات الخاصة بالنموذج (GCG) والهجمات الخاصة بالبيانات (Inpainting، تغيير الزمن، تغيير اللغة).

• المنفعة (المساعدة والقدرات):

  • حافظ DAT على درجات منفعة تنافسية في اختبارات XSTest (المساعدة)، وMMLU، وARC.
  • حقق جبهة باريتو (Pareto frontier) متفوقة، حيث قدم متانة أعلى لنفس مستوى الامتثال مقارنة بالطرق المرجعية.

• دراسات الاستئصال (Ablation Studies):

  • الانتشار فقط مقابل DAT: أدى استخدام أخذ عينات الانتشار وحده إلى تحسين المتانة ضد Inpainting ولكنه فشل ضد GCG. كان الجمع بينه وبين التدريب الخصمي المستمر (DAT) ضرورياً لتحقيق المتانة الكاملة.
  • كمية العينات: أدى زيادة عدد عينات الانتشار الفريدة لكل سلوك إلى تحسين المتانة خطياً، مما يؤكد الادعاء النظري بأن تحسين تقريب التوزيع يقلل المخاطر.
  • خصوصية البيانات: الفشل في تحسين المتانة عند التدريب على عينات منخفضة الاحتمالية (سيئة التوليد) أثبت أن جودة ودقة التوزيع للبيانات المولدة أمر بالغ الأهمية.

5. الأهمية

يمثل هذا العمل تحولاً جذرياً في أبحاث سلامة النماذج اللغوية الكبيرة:

• من التحسين إلى التوزيع: ينقل التركيز من مجرد التحسين ضد خوارزميات هجوم محددة (الحلقة الداخلية) إلى ضمان تغطية بيانات التدريب للتوزيع الحقيقي للتهديدات المحتملة (الحلقة الخارجية).
• حل مشكلة "الهجوم البسيط": يعالج الضعف المستمر للنماذج اللغوية الكبيرة تجاه الاختلافات اللغوية البسيطة (مثل تغيير الزمن أو الترجمة) التي تغفلها الدفاعات الحالية.
• القابلية للتوسع: من خلال استخدام نماذج الانتشار اللغوية لتوليد بيانات التدريب، توفر الطريقة وسيلة قابلة للتوسع لتقريب مخاطر المجتمع دون الحاجة إلى مجموعات بيانات ضخمة ومنسقة يدوياً لكل تنوع ممكن للهجوم.

في الختام، يوفر DAT حلاً مدعوماً نظرياً ومثبتاً تجريبياً لفجوة التعميم في التدريب الخصمي، مما يعزز بشكل كبير موثوقية النماذج اللغوية الكبيرة ضد طيف واسع من التهديدات الخصمية.