Stable-GFlowNet: Toward Diverse and Robust LLM Red-Teaming via Contrastive Trajectory Balance

إليك ملخص تقني مفصل لورقة البحث بعنوان: "Stable-GFlowNet: نحو اختبار اختراق (Red-Teaming) متنوع وقوي لنماذج اللغات الكبيرة عبر توازن المسارات التبايني".

1. بيان المشكلة

يهدف اختبار الاختراق (Red-teaming) لنماذج اللغات الكبيرة (LLM) إلى اكتشاف الثغرات (المخرجات السامة أو الضارة) بشكل استباقي قبل النشر. وبينما يمكن لطرق التعلم المعزز (RL) إيجاد هجمات ذات مكافأة عالية، إلا أنها تعاني من انهيار النمط (mode collapse)، مما يؤدي إلى توليد أنماط هجوم متكررة وضيقة. وفي المقابل، توفر شبكات التدفق التوليدية (GFNs) إطار عمل لمطابقة التوزيع، مما يتيح نظرياً اكتشاف مسارات متنوعة وعالية المكافأة. ومع ذلك، فإن تطبيق الـ GFNs على اختبار اختراق نماذج اللغات الكبيرة يواجه تحديين حرجين:

1. عدم استقرار التدريب: تتطلب أهداف GFN القياسية (مثل توازن المسار - TB) تقدير دالة تقسيم عالمية ($Z$). وفي الفضاء المتقطع عالي الأبعاد لنماذج اللغات الكبيرة، يكون تقدير $Z$ غير مستقر عددياً، مما يؤدي إلى ضعف التقارب وانهيار النمط.
2. المكافآت الضوضائية: توفر مصنفات السمية إشارات كثيفة ولكنها ضوضائية. فهي غالباً ما تمنح مكافآت غير صفرية للنصوص غير المفهومة أو النصوص الخارجة عن التوزيع (OOD)، مما يتسبب في قيام النموذج بـ "اختراق" المكافأة عبر توليد نصوص غير منطقية بدلاً من هجمات سلسة ومتنوعة.

2. المنهجية: Stable-GFlowNet (S-GFN)

يقترح المؤلفون Stable-GFlowNet (S-GFN)، وهو إطار عمل يلغي الحاجة إلى التقدير الصريح لدالة التقسيم ويقوم بتصفية المكافآت الضوضائية لضمان تدريب مستقر ومتنوع. يتكون خط الإنتاج من ثلاثة مكونات أساسية:

أ. توازن المسار التبايني (CTB)

لمعالجة عدم الاستقرار في تقدير $Z$، يستبدل S-GFN هدف مطابقة التدفق المطلق بـ هدف مقارنة زوجي.

• الآلية: بدلاً من تقليل الخطأ بين تدفق السياسة والمكافأة بالنسبة لـ $Z$، يقوم CTB بتقليل الفرق المربع بين نسبة احتمالات السياسة ونسبة المكافآت لأزواج من المسارات $(y_1, y_2)$:
  $$L_{CTB} = \left( \log \frac{\pi_\theta(y_1)}{\pi_\theta(y_2)} - \log \frac{R(y_1)}{R(y_2)} \right)^2$$
• الضمان النظري: يثبت المؤلفون أن السياسة المثلى لـ CTB هي نفسها سياسة توازن المسار القياسي ($\pi_\theta(y) \propto R(y)$).
• تقليل التباين: من خلال استخدام عينة كمرجع لأخرى (على غرار طريقة Reinforce Leave-One-Out)، يقلل CTB ضمنياً من تباين التدرج دون الحاجة إلى شبكة مرجعية خارجية أو تقدير $Z$.

ب. تقليم التدرج الضوضائي (NGP)

للتخفيف من خطر تضخيم الضوضاء في المكافآت المتأصل في المقارنات الزوجية، يقدم S-GFN مرشحاً يعتمد على البروز (Saliency).

• الآلية: يتم حساب التدرجات فقط لأزواج المسارات التي يتجاوز فيها الفرق المطلق في لوغاريتم المكافآت العتبة $\sigma$:
  $$L_{NGP} = \mathbb{I}(|\log R(y_1) - \log R(y_2)| > \sigma) \cdot L_{CTB}$$
• الأثر: يمنع هذا المحسن من التحديث بناءً على فروق المكافآت غير الجوهرية الناتجة عن عشوائية نموذج اللغة الضحية أو مصنف السمية، مما يؤدي فعلياً إلى تقليم التدرجات الضوضائية.

ج. مثبت سلاسة Min-K (MKS)

لمنع النموذج من التقارب نحو الحد الأدنى المحلي للنصوص غير المفهومة (التي غالباً ما تحصل على درجات سمية زائفة)، يستخدم S-GFN قيد السلاسة.

• الآلية: بدلاً من عقوبة تباعد KL العالمية (التي قد تفرط في التخصيص للنموذج المرجعي)، يحسب MKS إحصائية Min-K: متوسط لوغاريتم احتمالية أقل $k$ من الرموز (tokens) في تسلسل مولد تحت نموذج مرجعي.
• العقوبة الصارمة: إذا انخفضت درجة Min-K عن العتبة $T_{mks}$، يتم قص المكافأة إلى صفر (أو قيمة سالبة كبيرة).
  $$R_{MKS}(y) = \mathbb{I}(M_k(y) \ge T_{mks}) \cdot R(y)$$
• الفائدة: يضمن ذلك أن المطالبات السلسة والمتماسكة لغوياً فقط هي التي تُعتبر ذات مكافأة عالية، مما يسمح للنموذج باستكشاف فضاء أوسع من الهجمات الصالحة دون توليد هراء.

3. المساهمات الرئيسية

1. إطار عمل Stable-GFN: إطار عمل جديد لاختبار الاختراق يلغي الحاجة إلى تقدير دالة التقسيم ($Z$)، مما يحل السبب الرئيسي لعدم استقرار التدريب في GFNs لنماذج اللغات الكبيرة.
2. توازن المسار التبايني (CTB): دالة هدف جديدة تحقق نفس توزيع التوزيع المثالي لـ TB ولكن بتباين أقل بكثير واستقرار تدريب أعلى.
3. القوة تجاه الضوضاء: معالجة تكامل NGP و MKS لتحديات اختبار الاختراق الفريدة (مصنفات ضوضائية ومكافآت النصوص غير المفهومة)، مما يمنع انهيار النمط واختراق المكافأة.
4. الشمولية: يوضح البحث أن CTB و NGP فعالان ليس فقط في اختبار الاختراق ولكن أيضاً في مهام مطابقة التوزيع الأخرى مثل توليد الجزيئات والملاحة في الشبكات الفائقة.

4. النتائج التجريبية

قيم المؤلفون S-GFN مقابل خطوط الأساس بما في ذلك PPO و Jailbreak R1 و Rainbow Teaming و GFN القياسي (TB) عبر مختلف النماذج الضحية (Qwen, Llama, Gemma) وإعدادات الدفاع.

• التنوع (الهجمات الفريدة): ولد S-GFN 134 مطالبة هجوم فريدة، وهو تحسن هائل مقارنة بأساس GFN القياسي (17) و PPO (3). لقد أنتج حوالي 7 أضعاف الهجمات الفريدة مقارنة بأساس GFN.
• معدل نجاح الهجوم (ASR): حافظ S-GFN على معدل نجاح عالٍ بلغ ~92.5%، وهو مماثل لأفضل الخطوط الأساسية (GFN: 93.7%، PPO: 91.7%)، مما يثبت أن التنوع لم يأتِ على حساب الفعالية.
• قابلية نقل الهجوم عبر النماذج: عندما تم ضبط النماذج الضحية أمنياً باستخدام هجمات من S-GFN، أصبحت أكثر قوة ضد الهجمات من الطرق الأخرى (انخفض ASR إلى ما يقرب من 0% لهجمات GFN). وعلى العكس من ذلك، ظلت هجمات S-GFN فعالة ضد النماذج التي تم ضبطها باستخدام طرق أخرى، مما يدل على تعميم فائق.
• هجمات النقل: نجح S-GFN في نقل الهجمات إلى نماذج ضحية غير مرئية (مثل Gemma3, Llama3.2)، متفوقاً على الطرق الأخرى في كل من ASR والتنوع في سيناريوهات النقل.
• الكفاءة: رغم عمليات المقارنة الزوجية من رتبة $O(N^2)$، فإن التكلفة الحسابية ضئيلة لأن هذه عمليات قياسية؛ وتظل تكلفة الانتشار العكسي الفعلية $O(N)$، مما يجعل S-GFN فعالاً تقريباً مثل GFN القياسي.

5. الأهمية

تمثل هذه الورقة تقدماً كبيراً في أبحاث سلامة نماذج اللغات الكبيرة. فمن خلال حل مشكلة عدم استقرار تدريب GFNs، فإنها تتيح الاكتشاف المنهجي لهجمات متنوعة وعالية التأثير التي تفوتها طرق التعلم المعزز التقليدية بسبب انهيار النمط.

• بالنسبة للسلامة: توفر أداة أكثر قوة لاختبار الاختراق، مما يسمح للمطورين بتحديد طيف أوسع من ناقلات الهجوم قبل النشر.
• بالنسبة للدفاع: تؤدي الهجمات المتنوعة التي يولدها S-GFN إلى نماذج مضبوطة أمنياً أكثر صموداً أمام مجموعة أوسع من الهجمات المستقبلية.
• بالنسبة لتعلم الآلة: يوفر "توازن المسار التبايني" المقترح حلاً قابلاً للتعميم لمطابقة التوزيع في البيئات عالية الأبعاد والضوضائية، مما يوسع نطاق تطبيق GFNs إلى مجالات مثل اكتشاف الأدوية وعلوم المواد.

باختملام، نجح Stable-GFlowNet في سد الفجوة بين التنوع النظري لـ GFNs والاستقرار العملي المطلوب لاختبار اختراق نماذج اللغات الكبيرة في العالم الحقيقي، مما وضع معياراً جديداً لتوليد مطالبات عدائية متنوعة وفعالة.