🤖 machine learning

Mitigating Adaptive Attacks against Reasoning Models with Activation Consistency Training

تُثبت هذه الورقة أن تدريب اتساق التنشيط (ACT)، الذي يفرض تمثيلات داخلية متطابقة للمطالبات النظيفة والمطالبات العدائية، يخفف بفعالية من هجمات كسر الحماية التكيفية في نماذج الاستدلال من خلال إنشاء اتجاه توجيه خطي قابل للتفسير للرفض مع الحفاظ على الأداء الحميد.

المؤلفون الأصليون: Avidan Shah, Jannik Brinkmann, Rico Angell

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Avidan Shah, Jannik Brinkmann, Rico Angell

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مساعداً فائق الذكاء، بارعاً للغاية في حل الألغاز المعقدة. لكي يحل هذه الألغاز، لا يكتفي المساعد بإعطاء الإجابة فوراً؛ بل يكتب "عملية تفكير" طويلة ومفصلة (مثل تدفق الوعي) قبل أن ينطق بإجابته النهائية. وهذا ما يسمى بـ سلسلة الأفكار (Chain-of-Thought - CoT).

المشكلة هي أن المخادعين الأذكياء (الخصوم) تعلموا كيفية اختطاف عملية التفكير هذه. يمكنهم دس تعليمات خفية تقنع المساعد، أثناء تفكيره، بأن طلباً خطيراً هو في الواقع طلب آمن. وبذلك، يقنع المساعد نفسه بالموافقة على القيام بشيء لا ينبغي له فعله، مثل كشف سر أو كتابة دليل ضار.

تقدم هذه الورقة البحثية طريقة جديدة لتدريب هؤلاء المساعدين حتى لا يتم خداعهم، حتى عندما يفكرون بصوت عالٍ. إليك تفصيل ذلك باستخدام تشبيهات بسيطة:

الشخصيتان الرئيسيتان: BCT و ACT

اختبر الباحثون طريقتين مختلفتين للتدريب لجعل المساعد "محصناً" ضد هذه الحيل.

1. BCT (التدريب على الاتساق المعزز بالتحيز): "قارئ النص"

كيف يعمل: تخيل أنك تعلم طالباً تجاهل المشتتات. مع BCT، تعرض على الطالب سؤالاً نظيفاً، ثم نسخة "مخادعة" من نفس السؤال. بعد ذلك، تجبر الطالب على قراءة كامل عملية التفكير الطويلة والإجابة النهائية من النسخة النظيفة، وتجعله يكرر هذا النص بدقة عندما يرى النسخة المخادعة.
العيب: نظرًا لأن عملية التفكير قد تصل لمئات الكلمات، يتعين على الطالب حفظ نص ضخم في كل مرة. إذا قام المخادع بتغيير عملية التفكير قليلاً، فقد يرتبك الطالب ويفشل.

2. ACT (تدريب اتساق التنشيط): "البوصلة الداخلية"

كيف يعمل: بدلاً من إجبار الطالب على حفظ النص بأكمله، يركز ACT على اللحظة التي تسبق مباشرة بدء الطالب في الكلام. إنه ينظر إلى "الشعور الداخلي" أو "الحالة الذهنية" للطالب في اللحظة التي ينتقل فيها من التفكير إلى الإجابة.
الحيلة: عندما يرى الطالب السؤال المخادع، فإن التدريب يجبر حالته الذهنية الداخلية على أن تكون مطابقة تماماً للحالة الذهنية التي كان عليها عندما رأى السؤال النظيف.
النتيجة: حتى لو حاول المخادع تغيير عملية التفكير، فإن "بوصلة الطالب الداخلية" تظل مثبتة على الإعداد الآمن. عندما يفتح فمه أخيراً ليتحدث، يكون بالفعل في عقلية "الرفض"، لذا يقول "لا" فوراً، متجاهلاً محاولة المخادع لتوجيه المحادثة.

لماذا ACT أفضل (اختبار "التحول")

أجرى الباحثون تجربة رائعة لإثبات أن ACT يعمل بشكل مختلف عن BCT.

الإعداد: أخذوا سؤالاً "مخادعاً" وقدموا للمساعد عملية تفكير مزيفة وممتثلة (نص يقول: "حسناً، سأقوم بهذا الشيء السيئ").
نتيجة BCT: المساعد المدرب بـ BCT نظر إلى نص التفكير المزيف، ورأى أنه يقول "نعم"، فاستمر في قول "نعم". لقد كان معتمداً أكثر من اللازم على النص.
نتيجة ACT: المساعد المدرب بـ ACT نظر إلى النص المزيف، ولكن لأن "بوصلته الداخلية" (الحالة الذهنية عند بدء الإجابة) كانت مثبتة على الأمان، فقد قام بـ التحول. لقد تجاهل النص المزيف وقال: "لا، لا يمكنني فعل ذلك"، في منتصف الجملة.

اكتشاف "عجلة القيادة"

اكتشف الباحثون أيضاً شيئاً مذهلاً حول كيفية عمل ACT. لقد وجدوا أن التدريب يقوم أساساً بتثبيت "عجلة قيادة الرفض" واحدة وغير مرئية داخل عقل المساعد.

تدوير العجلة: إذا أضفت القليل من هذا "التوجيه" إلى مساعد طبيعي غير مدرب، فإنه يبدأ فجأة في رفض الطلبات السيئة.
إعادة التدوير للخلف: إذا سحبت هذا "التوجيه" من المساعد المدرب بـ ACT، فإنه يصبح فجأة عرضة للخطر ويبدأ في قول "نعم" للطلبات السيئة.
الدقة: عجلة القيادة هذه ذكية. فهي توجه المساعد إلى "لا" فقط عندما يكون الطلب خطيراً بالفعل. إذا طرحت سؤالاً عادياً وآمناً، فإن عجلة القيادة لا تتحرك إلا قليلاً، مما يجعل المساعد يعمل بشكل مثالي للمهام اليومية.

الخلاصة

تزعم الورقة البحثية أن ACT هو دفاع متفوق لأنه:

يتجاهل الضجيج: فهو يجبر المساعد على تجاهل الأجزاء المشتتة والمخادعة من المطالبة عبر تثبيت الحالة الداخلية في لحظة اتخاذ القرار.
قوي ومتين: حتى لو حاول المهاجم إعادة كتابة عملية تفكير المساعد، فإن "البوصلة الداخلية" تحافظ على سلامة المساعد.
فعال: لا يحتاج إلى حفظ نصوص طويلة؛ بل يحتاج فقط إلى مواءمة "الشعور" الداخلي للنموذج عند بدء الإجابة.

باختختصار، بينما تحاول الطرق الأخرى تعليم المساعد حفظ الإجابات الصحيحة، فإن ACT يعلمه كيف يشعر بالإجابة الصحيحة قبل أن يبدأ في الكلام، مما يجعل خداعه أمراً صعباً للغاية.

ملخص تقني: التخفيف من حدة الهجمات التكيفية ضد نماذج الاستدلال عبر تدريب اتساق التنشيط

بيان المشكلة

مع اعتماد النماذج اللغوية الكبيرة (LLMs) لسلاسل التفكير الممتدة (CoT)، تغير مشهد السلامة. وبينما تعزز سلاسل التفكير (CoT) القدرات، إلا أنها تقدم هشاشة جديدة: يمكن للنماذج أن "تتحدث مع نفسها للوصول إلى الامتثال"، حيث تحدد الطلب في البداية كطلب ضار، ثم تعيد صياغته تدريجياً ليصبح حميداً أثناء عملية الاستدلال. علاوة على ذلك، تستغل الهجمات الخارجية (مثل H-CoT و CoT-Hijacking) هذه القناة لتجاوز فلاتر السلامة.

تواجه الدفاعات الحالية تحديين رئيسيين في هذا السياق:

تعقيد الاستدلال: تعتمد أساليب مثل "المحاذاة التأملية" (Deliberative Alignment) على استدلال النموذج عبر مسألة السلامة، لكن الأدلة تشير إلى أن هذا غير كافٍ ضد الهجمات المتطورة.
قابلية توسع التدريب: تتطلب الدفاعات القائمة على التدريب ضد حقن الأوامر (مثل StruQ و SecAlign) الإشراف على توزيع مخرجات النموذج بالكامل. بالنسبة لنماذج الاستدلال، يعني هذا الإشراف على مئات أو آلاف الرموز (tokens) الخاصة بسلسلة التفكير لكل مثال، وهو أمر مكلف حاسوبياً ويصعب توسيعه مع زيادة أطوال المسارات.

يتساءل البحث عما إذا كان يمكن تدريب نماذج الاستدلال على تجاهل السياق الضار دون الحاجة إلى الإشراف على كامل مسار التفكير الطويل.

المنهجية

يتقصى المؤلفون تدريب الاتساق (Consistency Training)، وهو إطار عمل للتعلم الذاتي غير الخاضع للإشراف يفرض سلوكاً متطابقاً على مطالبة نظيفة ( $p_{clean}$ ) ومطالبة أخرى "مغلفة" أعيدت صياغتها بشكل عدائي ( $p_{wrapped}$ ). ويقارنون بين متغيرين:

تدريب الاتساق المعزز بالانحياز (BCT): نهج على مستوى المخرجات. يتم ضبط النموذج بدقة عبر "الاعتراض المتقاطع" (cross-entropy) لإعادة إنتاج إكمال النموذج الأساسي للمطالبة النظيفة (بما في ذلك سلسلة التفكير الكاملة والاستجابة) عند إعطائه المدخل المغلف.
تدريب اتساق التنشيط (ACT): نهج على مستوى التنشيط. بدلاً من الإشراف على المخرجات، يفرض ACT اتفاقاً على الحالات الخفية الداخلية للنموذج. وتحديداً، يعمل على تقليل مسافة L2 التربيعية بين الحالات الخفية للمطالبة المغلفة والمطالبة النظيفة عند مواضع اللاحقة المشتركة (غالباً ما تكون حدود قالب الدردشة وبداية دور المساعد) عبر جميع طبقات المحول (transformer layers).

التفاصيل التقنية الرئيسية

استخراج اللاحقة المشتركة: تحدد الطريقة أطول تشغيل للرموز المتطابقة بين المطالبة النظية والمغلفة بعد تطبيق قالب الدردشة. في البيئات العدائية، يتكون هذا عادةً من حوالي 6 رموز فقط (علامات نهاية المستخدم، فاتح دور المساعد، ورموز قناة التفكير الأولية)، وهي مستقلة عن طول الاستدلال.
دالة الخسارة: بالنسبة لنموذج أساسي مجمد $\theta_{init}$ ونموذج معدل عبر LoRA وهو $\theta$ ، تكون الخسارة هي:
$L_{ACT}(\theta) = \mathbb{E}_{(p_{clean}, p_{wrapped})} \sum_{\ell \in \mathcal{L}} \sum_{t \in \mathcal{T}} \| h_{\theta}(p_{wrapped})[\ell, t] - \text{sg}(h_{\theta_{init}}(p_{clean})[\ell, t]) \|^2$
حيث يمثل $\text{sg}$ إيقاف التدرج (stop-gradient).
التنظيم الحميد: لمنع تدهور الفائدة، يتم إضافة حد تنظيمي للمطالبات الحميدة ( $L_{benign}$ ) مع عامل وزن $\lambda$ .
بيانات التدريب: يستخدم كلا الطريقتين أزواجاً متطابقة من $(p_{clean}, p_{wrapped})$ . بالنسبة لـ BCT، يعمل إكمال النموذج الأساسي لـ $p_{clean}$ كهدف؛ أما بالنسبة لـ ACT، فيتطلب الأمر المطالبات فقط.

المساهمات الرئيسية

ACT كدفاع ضد حقن الأوامر: يصيغ المؤلفون ACT كدفاع ضد حقن الأوامر. عبر ثلاثة اختبارات معيارية (OPI، AlpacaFarm، SEP) وخمسة نماذج استدلال، يضاهي ACT أو يتفوق على BCT. والأهم من ذلك، أن ACT لا يتطلب تسميات ثابتة أو إشرافاً على كامل سلسلة التفكير.
التعميم على الهجمات التكيفية: تقيم الدراسة الدفاعات ضد المهاجمين التكيفيين الذين تم تدريبهم عبر التعلم التعزيزي (GRPO) مباشرة على النموذج المدافع. يُظهر ACT تفوقاً في المتانة ضد هذه الهجمات التكيفية مقارنة بـ BCT في جميع الأهداف تقريباً في كل من إعدادات كسر الحماية وحقن الأوامر، مع الحفاظ على فائدة النموذج بشكل مماثل.
الرؤية الآلية: يقدم البحث دليلاً على أن دفاع ACT يتم ترميزه كإزاحة خطية تقريباً في فضاء التنشيط.
- التوجيه الخطي: يمكن استعادة اتجاه توجيه واحد ( $d_{ACT}$ ). يؤدي إضافة هذا الاتجاه إلى نموذج أساسي إلى فرض الرفض على عمليات كسر الحماية، بينما يؤدي طرحه من نموذج مدافع بـ ACT إلى استعادة الامتثال.
- المتانة ضد تلاعب سلسلة التفكير (CoT): في التجارب التي تم فيها استبدال سلسلة التفكير للنموذج بمسار متوافق من نموذج أساسي غير مدافع، يستمر ACT في رفض الطلب، بينما غالباً ما يتبع BCT مسار الاستدلال المتوافق. يشير هذا إلى أن ACT يرمز الرفض قبل بدء مسار الاستدلال.

النتائج

حقن الأوامر: في الاختبارات المعيارية الثابتة، يقلل كل من ACT و BCT من معدلات نجاح الهجوم (ASR) بشكل كبير. ومع ذلك، تحت الهجمات التكيفية، يتفوق ACT باستمرار على BCT. على سبيل المثال، في GPT-OSS-20B، بلغت نسبة ASR لـ BCT تحت الهجوم التكيفي 57.4%، بينما حافظ ACT على 37.0%.
الدفاع ضد كسر الحماية (Jailbreak): يحقق ACT معدلات فوز دفاعية تقترب من 100% ضد الهجمات الثابتة والتكيفية في معظم النماذج (مثل Qwen3-8B، Phi-4). وتتدهور متانة BCT بشكل كبير تحت الهجمات التكيفية.
الفائدة: يحافظ كلا الأسلوبين عموماً على فائدة النموذج الأساسي غير المدافع في مهام مثل MMLU ودقة المطالبات النظيفة، باستثناء حالة واحدة لـ BCT في Phi-4-reasoning، حيث انهارت الفائدة.
التحقق الآلي: أكدت تجارب التوجيه أن $d_{ACT}$ يعمل بشكل ثنائي الاتجاه: يمكنه إحداث الرفض في النماذج الأساسية، وإزالة الرفض في النماذج المدافعة. أظهر الاتجاه انتقائية، حيث تسبب في حد أدنى من الرفض الخاطئ في المدخلات الحميدة عند مستويات توجيه متوسطة.

الأهمية والادعاءات

يدعي البحث أن الإشراف على التمثيلات الداخلية (ACT) هو نهج فعال ومفسر بشكل مدهش لتدريب السلامة في نماذج الاستدلال.

الكفاءة: يتجنب ACT العبء الحسابي للإشراف على آلاف رموز سلسلة التفكير المطلوبة من قبل الأساليب القائمة على المخرجات مثل BCT.
المتانة: من خلال تثبيت الإشراف عند حدود دور المساعد (قبل بدء الاستدلال)، يخلق ACT دفاعاً متيناً حتى عندما يتم التلاعب بمسار الاستدلال أو استبداله.
القابلية للتفسير: يشير اكتشاف اتجاه رفض خطي إلى أن آليات السلامة في نماذج الاستدلال يمكن التحكم فيها عبر توجيه التنشيط البسيط، مما يوفر مساراً محتملاً للدفاعات التي لا تتطلب تدريباً أو فهماً آلياً أعمق.

يقر المؤلفون بالقيود، بما في ذلك الحاجة إلى إنشاء مجموعات بيانات نظيفة ومغلفة، والضعف المحتمل أمام الهجمات ذات الصندوق الأبيض (white-box) التي تمتلك وصولاً مباشراً إلى التدرج، وحقيقة أن أي من الدفاعين لا يحقق أماناً بنسبة 100%. وهم يضعون ACT كنهج مكمل يعالج الهشاشة المحددة الناتجة عن سلاسل التفكير الممتدة.