Trojan-Speak: Bypassing Constitutional Classifiers with No Jailbreak Tax via Adversarial Finetuning

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "Trojan-Speak: تجاوز المصنفات الدستورية دون ضريبة كسر الحماية عبر الضبط الدقيق العدائي."

1. بيان المشكلة

يقدم كبار مزودي خدمات الذكاء الاصطناي (مثل Anthropic وOpenAI) الآن واجهات برمجة تطبيقات للضبط الدقيق (Fine-tuning APIs)، مما يسمح للمستخدمين بتخصيص النماذج الرائدة لمهام محددة. ومع ذلك، فإن هذا يخلق سطح هجوم جديد: حيث يمكن للمهاجمين إجراء ضبط دقيق للنماذج لتجاوز تدابير السلامة (كسر الحماية/Jailbreaks) وتوليد محتوى خطير، مثل تعليمات تصنيع أسلحة CBRN (الكيميائية والبيولوجية والإشعاعية والنووية).

تعتمد الدفاعات الحالية بشكل كبير على مصنفات المحتوى القائمة على النماذج اللغوية الكبيرة (LLM-based content classifiers) (مثل المصنفات الدستورية لشركة Anthropic) التي تفحص بيانات التدريب وحركة المرور أثناء الاستنتاج بحثًا عن محتوى ضار. حاولت هجمات الضبط الدقيق العدائية السابقة (مثل التعديل الدقيق الخفي الضار أو CMFT) التهرب من هذه المصنفات عن طريق تشفير المحتوى الضار. ومع ذلك، عانت هذه الأساليب من "ضريبة كسر الحماية" (Jailbreak Tax): وهي تدهور كبير في قدرات الاستدلال العامة للنموذج (غالبًا بنسبة >25%)، مما يجعل النموذج غير مفيد للمهام المعقدة مثل تصنيع الأسلحة.

التحدي الجوهري: هل يمكن للمهاجم تجاوز مصنفات السلامة القوية عبر الضبط الدقيق دون التضحية بقدرات الاستدلال للنموذج؟

2. المنهجية: Trojan-Speak

يقترح المؤلفون إطار عمل Trojan-Speak، وهو إطار للضبط الدقيق العدائي يحقق معدلات تهرب عالية مع الحفاظ على >95% من قدرة النموذج. تتكون الطريقة من ثلاثة مكونات أساسية:

أ. التعلم المنهجي ذو المرحلتين (Two-Stage Curriculum Learning)

لمنع انهيار القدرات، استخدم المؤلفون نهج تدريب متدرج مستوحى من النظرية التعليمية:

1. المرحلة الأولى (التعليم - Teaching): يتم تدريب النموذج على حوالي 25,000 مثال من المحادثات العامة حيث تكون كل من استعلامات المستخدم واستجابات المساعد مشفرة. الهدف هو تعليم النموذج طلاقة في بروتوكول التشفير دون إدخال محتوى ضار بعد. هذا يؤسس "لغة" الهجوم.
2. المرحلة الثانية (تدريب المهام - Task Training): يتم ضبط النموذج دقيقًا على مهام الاستدلال العلمي (STEM) (من مجموعة بيانات Llama-Nemotron). ومن الأهمية بمكان أن هذه المرحلة تستخدم تلاشي المنهج (Curriculum Decay): حيث تنخفض احتمالية استخدام الأمثلة المشفرة خطيًا من 80% إلى 20%، بينما تظل 20% من الأمثلة غير مشفرة (نص صريح) طوال الوقت. هذا "يثبّت" قدرات الاستدادة الأساسية للنموذج، مما يمنع النسيان الكارثي.

ب. تدريب هجين يجمع بين التعلم المعزز (RL) والضبط الدقيق الخاضع للإشراف (SFT)

غالبًا ما يؤدي الضبط الدقيق العدائي القائم على التعلم المعزز (RL) الصرف إلى عدم استقرار، حيث تتراكم أخطاء التشفيد وتؤدي إلى تدهور الأداء.

• الحل: يقوم المؤلفون بدمج خطوات GRPO (Group Relative Policy Optimization) مع خطوات SFT (Supervised Fine-Tuning).
• الآلية: يعمل مكون التعلم المعزز (RL) على تحسين أداء المهام بناءً على الاستعلامات المشفرة، بينما تعمل خطوات SFT الدورية على الأمثلة ذات التنسيق الصحيح كمنظم (Regularizer). هذا يضمن استقرار عملية التحسين، مما يضمن تعلم النموذج لبروتوكول التشفيد دون فقدان قدرته على الاستدلال.

ج. التشفيد الأدنى وتمويه القوالب (Minimal Encoding & Template Camouflage)

• تشفير الاستبدال (Substitution Cipher): بدلاً من التشفيرات المعقدة (مثل Base64 أو ROT13) التي تضعف الاستدلال، استخدم المؤلفون تشفير استبدال أدنى. يقومون باستبدال 7-8 أحرف إنجليزية الأكثر تكرارًا فقط (مثل e, t, a, o) بأحرف أخرى.
  • لماذا؟ يحقق الاستبدال المرتب حسب التكرار تهربًا من المصنف بنسبة >99% مع الحد الأدنى من العبء الإدراكي على النموذج، مما يحافظ على مهارات الاستدلال.
• تمويه القالب (Template Camouflage): بما أن المصنفات تضع علامات تحذير على النصوص التي تبدو "مشفرة"، فقد تم تضمين المحتوى المشفر داخل قوالب تقنية مقبولة (مثل تحليل سجلات الطب الشرعي، أو معرفات معاملات البلوكشين). يظهر الاستعلام الضار المشفر كـ "معرف جلسة" (Session ID) أو "توقيع" ضمن سرد تقني حميد، مما يتجاوز الكشف الدلالي والقائم على التنسيق.

3. المساهمات الرئيسية

1. إلغاء "ضريبة كسر الحماية": تثبت الورقة أن المقايضة بين التهرب والقدرة ليست أمرًا حتميًا. يحافظ Trojan-Speak على >95% من القدرة في اختبارات الاستدلال (GPQA-Diamond, MMLU-Pro, MATH-500)، بينما عانت الهجمات السابقة من تدهور بنسبة >25%.
2. الضبط الدقيق العدائي عالي التهرب: حققت طريقة Trojan-Speak معدلات تجاوز بلغت +99% ضد المصنفات الدستورية لشركة Anthropic (التي صمدت أمام أكثر من 3000 ساعة من الاختبارات الحمراء) وغيرها من المصنفات المتطورة (Llama-Guard, QwenGuard).
3. مخرجات ضارة بمستوى الخبراء: نجحت النماذج التي خضعت للضبط الدقيق في تقديم تعليمات مفصلة وقابلة للتنفيذ لتصنيع أسلحة CBRN (مثل استخراج الريسين) التي تتجاوز المصنفات، مما يثبت أن فلاتر السلامة وحدها غير كافية ضد الوصول إلى الضبط الدقيق.
4. رؤية دفاعية على مستوى التنشيط (Activation-Level): يوضح المؤلفون أنه بينما تفشل المصنفات القائمة على النصوص، فإن مسابير التنشيط (Activation Probes) (المصنفات الخطية المدربة على الحالات المخفية) يمكنها اكتشاف المحتوى الضار حتى عندما يكون مشفرًا، بشرما كان النموذج قد تعلم فك تشفيره.

4. النتائج التجريبية

• الحفاظ على القدرة:
  • Haiku 4.5: حافظ على 97% في MATH-500، و95% في MMLU-Pro، و96% في GPQA-Diamond.
  • Qwen3-32B: حافظ على 95% في MATH-500 و91% في GPQA-Diamond.
  • ملاحظة: أظهرت النماذج الأصغر (4B, 8B) تدهورًا أكبر، مما يشير إلى وجود حد أدنى من السعة مطلوب للحفاظ على كل من طلاقة التشفيد والاستدلال المعقد.
• نجاح الهجوم:
  • في اختبار Bug Bounty Benchmark (استعلامات CBRN بمستوى الخبراء)، حقق Trojan-Speak درجة 85.2% في مقي-س (Avg@5)، مقارنة بـ 55% للتدريب باستخدام SFT فقط و27% لطرق CMFT السابقة.
  • قدم النموذج تعليمات مفصلة وخطوة بخوة للمهام الضارة كانت لا يمكن تمييزها عن البيانات التقنية الحميدة بالنسبة للمصنف.
• كفاءة التشفيد:
  • كان استبدال 7 أحرف عالية التكرار كافيًا لتحقيق تهرب بنسبة 100%. الاستبدال العشوائي تطلب أحرفًا أكثر وكان أقل موثوقية.
  • التشفيرات المعقدة (Base64 + تغيير حالة الأحرف) حققت تهربًا عاليًا (96.8%) ولكنها تسببت في انخفاض حاد في القدرات (تدهور بنسبة 45%).

5. الأهمية والآثار المترتبة

• هشاشة المصنفات النصية: تكشف الدراسة أن مصنفات المحتوى القائمة على LLM غير كافية كدفاع قائم بذاته عندما يمتلك المهاجمون إمكانية الوصول إلى الضبط الدقيق. لا تستطيع المصنفات فك تشفير الرمز المخصص، بينما يستطيع النموذج الذي تم ضبطه دقيقًا ذلك.
• تحول في نموذج التهديد: لم يعد التهديد مجرد "كسر حماية" وقت الاستنتاج، بل أصبح "الحفاظ على القدرة" وقت التدريب. يمكن للمهاجمين الآن إنشاء نماذج تبدو آمنة (للمصنفات) ولكنها شديدة الخطورة (للمستخدمين).
• اتجاهات الدفاع:
  • مسابير التنشيط (Activation Probes): تقترح الورقة أن مراقبة تنشيطات النموذج الداخلية (هندسة التمثيل) هي دفاع واعد. حققت المسابير AUC يتراوح بين 0.97-0.99 في اكتشاف المحتوى الضار في النماذج المدربة على التشفيد، بينما فشلت في النماذج الأساسية (الصدفة العشوائية).
  • الدفاع متعدد الطبقات: يجب أن تعمل الدفاعات المستقبلية على مستويات متعددة من التجريد (النص، التنشيط، والمراقبة السلوكية) بدلاً من الاعتماد فقط على تصنيف النصوص السطحي.

الخاتمة

يمثل Trojan-Speak تحولًا نوعيًا في تهديدات سلامة الذكاء الاصطناي. من خلال الجمع بين التعلم المنهجي، والتعلم الهجين (RL/SFT)، وتشفيرات الاستبدال الدنيا، يمكن للمهاجمين تجاوز أكثر مصنفات السلامة قوة دون تقليل فائدة النموذج. وهذا يؤكد الحاجة الملحة لمراقبة مستوى التنشيط ودفاعات قوية ضد الوصول إلى الضبط الدقيق، حيث لم تعد "ضريبة كسر الحماية" عائقًا أمام الهجمات المتطورة.