🤖 AI

Beyond a Single Direction: Chain-of-Thought Disrupts Simple Steering of Refusal

تكشف هذه الورقة أنه في نماذج الاستدلال الضخمة، يتم ترميز آليات الرفض بشكل مشترك في كل من تنشيطات التدفق المتبقي ومسارات سلسلة الأفك، مما يجعل التوجيه عبر التنشيط البسيط أقل فعالية ما لم يتم التلاعب بعملية الاستدلال نفسها أيضًا.

المؤلفون الأصليون: Kia-Jüng Yang, Dominik Meier, Jiachen Zhao, Terry Ruas, Bela Gipp

نُشر 2026-05-27✓ Author reviewed ⓘ

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kia-Jüng Yang, Dominik Meier, Jiachen Zhao, Terry Ruas, Bela Gipp

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة كبير (مثل الذكاء الاصطناعي في هذه الورقة البحثية) كأنه أمين مكتبة ذكي جداً، ولكنه عنيد قليلاً. عندما تسأله سؤالاً، لا يلقي بالإجابة فوراً؛ بل يذهب أولاً إلى غرفة خلفية ليفكر في الأمر، ويدون ملاحظات على دفتر ملاحظات (هذا هو سلسلة الأفكو أو Chain-of-Thought، واختصاراً CoT). وفقط بعد أن ينتهي من تدوين ملاحظاته، يخرج ليعطيك الإجابة النهائية.

لفترة طويلة، اعتقد الباحثون أنه يمكنهم التحكم في سلوك أمين المكتبة هذا ببساطة عن طريق "تعديل" دماغه (الذاكرة الداخلية للكمبيوتر) في اللحظة التي تسأله فيها. كانوا يعتقدون أن هناك "مفتاح رفض" واحداً محدداً في دماغ أمين المكتبة؛ فإذا ضغطوا على هذا المفتاح، سيقول أمين المكتبة "لا" للطلبات السيئة، وإذا سحبوه، سيقول "نعم".

الاكتشاف الكبير:
وجدت هذه الورقة البحثية أنه بالنسبة لنماذج "الاستدلال" الحديثة (أمناء المكتبة الأذكياء الذين يكتبون ملاحظات أولاً)، فإن ذلك المفتاح المنفرد لا يعمل بمفرده. فالرفض ليس موجوداً في الدماغ فحسب، بل هو مكتوب أيضاً على دفتر الملاحظات.

إليك تفصيل تجاربهم باستخدام تشبيهات بسيطة:

1. "تعديل الدماغ" وحده (المفتاح الضعيف)

حاول الباحثون الضغط على "مفتاح الرفض" في دماغ أمين المكتبة مع إجباره على استخدام ملاحظاته الأصلية.

النتيجة: نجح الأمر بنسبة 39% فقط تقريباً.
التشبيه: تخيل أنك تحاول إقناع شخص عنيد بتغيير رأيه عبر الهمس في أذنه، لكنه لا يزال يقرأ نصاً يقول له "لا تفعل ذلك". النص (الملاحظات) يقاوم همسك؛ فالملاحظات تعزز الرفض بنشاط.

2. سحب الملاحظات (بدون سلسلة الأفكو - No CoT)

بعد ذلك، جربوا نفس تعديل الدماغ ولكن أخبروا أمين المكتبة: "لا تكتب أي ملاحظات هذه المرة، فقط أعطني الإجابة".

النتيجة: قفزت نسبة النجاح إلى 70%.
التشبيه: بدون الملاحظات التي تجادل ضدهم، كان من السهل إقناع أمين المكتبة. أثبت هذا أن الملاحظات نفسها كانت تقوم بالكثير من العمل للحفاظ على استمرار الرفض.

3. ترك أمين المكتبة يعيد كتابة الملاحظات (إعادة التوليد - Regeneration)

أخيراً، طبقوا تعديل الدماغ وسمحوا لأمين المكتبة بكتابة ملاحظات جديدة تماماً بناءً على تلك العقلية الجديدة.

النتيجة: ارتفعت نسبة النجاح بشكل هائل لتصل إلى 94%.
التشبيه: هذا يشبه الهمس بالفكرة الجديدة في أذن أمين المكتبة بينما يقوم بكتابة ملاحظاته. فهو يكتب ملاحظات تقول: "حسناً، هذه فكرة جيدة"، ومن ثم يعطيك الإجابة بكل ثقة. الآن، يعمل الدماغ والملاحظات معاً لقول "نعم".

4. "الملاحظة الشبحية" (الاستمرارية - Persistence)

الجزء الأكثر إثارة للاهتمام: أخذوا ملاحظات الـ "نعم" من التجربة السابقة، وتخلصوا من تعديل الدماغ، ثم أعطوا أمين المكتبة تلك الملاحظات الجديدة ليقرأها فقط.

النتيجة: ظل أمين المكتبة يقول "نعم" حوالي 48% من المرات.
التشبيه: حتى بدون الهمس في الأذن، حملت الملاحظات بحد ذاتها إشارة "نعم" الكافية لإقناع أمين المكتبة بالامتثال. الملاحظات لها قوتها الخاصة.

الخلاصة الأساسية

في نماذج الذكاء الاصطناعي القديمة، كان بإمكانك منعهم من القيام بأشياء سيئة بمجرد قلب مفتاح في أدمغتهم. ولكن في هذه النماذج الذكية الجديدة التي "تفكر" قبل أن تتحدث، فإن الرفض هو نظام مكون من جزأين:

الدماغ: حالة الذاكرة الداخلية.
الملاحظات: سلسلة الأفكو (الاستدلال).

إذا حاولت إصلاح الدماغ فقط، فستقاوم الملاحظات وتُبقي الرفض حياً. وإذا أصلحت الملاحظات فقط، فقد يظل الدماغ يقاوم. لكي تغير عقلية الذكاء الاصطناعي حقاً، يجب عليك تغيير كلا الحالة الداخلية وعملية الاستدلال.

لماذا يهم هذا بالنسبة للسلامة:
تشير الورقة البحثية إلى أنه إذا أراد شخص ما خداع نماذج الذكاء الاصطنا هذه للقيام بأشياء سيئة (عملية اختراق أو "Jailbreak")، فقد لا يحتاج إلى اختراق الدماغ مباشرة؛ بل قد يحتاج فقط إلى خداع الذكاء الاصطناعي لكتابة "ملاحظات سيئة" (مسار استدلال يبرر الفعل السيئ)، وسوف يتبع الذكاء الاصطناعي تلك الملاحظات حتى لو كان دماغه يحاول قول "لا". وعلى العكس، لحماية هذه النماذج، لا يمكنك الاكتفاء بمراقبة الدماغ؛ بل يجب عليك مراقبة ما يكتبه الذكاء الاصطناعي أثناء تفكيره.

ملخص تقني: ما وراء الاتجاه الواحد: سلسلة الأفكاء (CoT) تعطل التوجيه البسيط للرفض

بيان المشكلة

تنتج نماذج الاستدلال الكبيرة (LRMs)، مثل DeepSeek-R1 وGPT-o1، آثار استدلال وسيطة لـ "سلسلة الأفكار" (Chain-of-Thought - CoT) قبل إنتاج المخرجات النهائية. وبينما أثبت "توجيه التنشيط" (activation steering) أنه آلية فعالة للتحكم في الرفض في النماذج اللغوية الكبيرة (LLMs) القياسية الموجهة بالتعليمات عبر "اتجاه رفض" واحد في التدفق المتبقي (residual stream)، لا يزال من غير الواضح كيف تعمل هذه الآلية في نماذج الاستدلال الكبيرة (LRMs). وتحديداً، من غير المعروف ما إذا كانت إشارة الرفض في نماذج LRMs مشفرة فقط في تنشيطات التدفق المتبقي عند توكنات القالب (مثل: نهاية التعليمات EOI أو نهاية التفكير EOT)، أم أن أثر سلسلة الأفكاء (CoT) المتولدة يلعب دوراً سببياً نشطاً في الوساطة في الرفض. ويشير الفهم الحالي إلى أن معاملة سلسلة الأفكاء كوسط سلبي قد يكون غير كافٍ لفهم أو التحكم في سلوكيات السلامة في نماذج الاستدلال.

المنهجية

يتقصى المؤلفون آلية الرفض في نموذج DeepSeek-R1-Distill-Llama-8B باستخدام توجيه التنشيط. يتضمن إطار العمل التجريبي المكونات التالية:

مجموعة البيانات: تُستخدم مجموعة تدريب مكونة من 100 تعليمات ضارة (من ADVBENCH، MALICIOUSINSTRUCT، TDC2023، HARMBENCH) و100 تعليمات غير ضارة (من Alpaca) لحساب اتجاه الرفض. وتُستخدم مجموعة اختبار مستبعدة مكونة من 100 تعليمات ضارة من JAILBREAKBENCH للتقييم. يتم رفض جميع العينات في البداية من قبل النموذج تحت التوجيه القياسي (خط أساس الامتثال 0%).
استخراج اتجاه الرفض: باستخدام نهج "فرق المتوسطات" (difference-in-means)، يستخرج المؤلفون متجه اتجاه الرفض ( $r^{(l)}$ ) من تنشيطات التدفق المتبقي عند موضع التوكن النهائي سواء لتوكن نهاية التعليمات (EOI) أو نهاية التفكير (EOT). يمثل هذا المتجه الفرق بين متوسط تنشيطات التعليمات الضارة المرفوضة والتعليمات غير الضارة الممتثلة.
توجيه التنشيط: يتم توجيه النموذج عن طريق إضافة متجه اتجاه الرف_ المستخرج (مع إشارة سالبة لتحفيز الامتثال) إلى تنشيطات التدفق المتبقي في طبقات محددة.
الظروف التجريبية: تعزل الدراسة الدور السببي لسلسلة الأفكاء (CoT) من خلال مقارنة أربعة سيناريوهات تدخل متميزة:
1. سلسلة أفكاء ثابتة (Fixed CoT): يُطبق التوجيه بينما تظل سلسلة الأفكاء الأصلية للنموذج ثابتة (منع إعادة التوليد).
2. بدون سلسلة أفكاء (No CoT): يُطبق التوجيه مع قمع توليد سلسلة الأفكاء بالكامل.
3. سلسلة أفكاء مُعاد توليدها (Regenerated CoT): يُطبق التوجيه، مما يسمح للنموذذ بإعادة توليد كل من سلسلة الأفكاء والإجابة النهائية بحرية.
4. تبديل سلسلة الأفكاء (الاستمرارية - CoT Swapping): يُزال التوجيه وقت الاستنتاج، ولكن يُجبر النموذج على استخدام سلسلة أفكاء تم توليدها سابقاً تحت ظروف التوجيه.

النتائج الرئيسية

تكشف التجارب أن الرفض في نماذج LRMs لا يتم التوسط فيه عبر فضاء فرعي أحادي الاتجاه فحسب، بل يتم تشفيره بشكل مشترك في تنشيطات التدفق المتبقي وأثر سلسلة الأفكاء (CoT).

فعالية محدودة لتوجيه سلسلة الأفكاء الثابتة: عندما يُطبق التوجيه مع سلسلة أفكاء ثابتة، ترتفع معدلات الامتثال إلى 39% فقط (توجيه EOI) و43% (توجيه EOT). وهذا أقل بكثير من الامتثال شبه الكامل الذي يُلاحظ غالباً في النماذج اللغوية القياسية تحت توجيه مماثل، مما يشير إلى أن سلسلة الأفكاء الثابتة تقاوم إشارة التوجيه بنشاط.
التعزيز النشط بواسطة سلسلة الأفكاء: يؤدي قمع سلسلة الأفكاء بالكامل مع تطبيق التوجيه إلى زيادة الامتثال إلى 70%. وهذا يشير إلى أن سلسلة الأفكاء الأصلية تعزز إشارة الرفض بنشاط، مما يعارض جزئياً التدخل على مستوى التنشيط.
فعالية عالية مع إعادة التوليد: عندما يُسمح للنموذج بإعادة توليد سلسلة الأفكاء تحت التوجيه، يقفز الامتثال إلى 94%. وهذا يشير إلى أن إشارة التوجيه تنحاز عملية توليد سلسلة الأفكاء، والتي بدورها تقود إلى المخرج النهائي الممتثل.
الاستمرارية المستقلة لإشارات سلسلة الأفكاء: عندما يُزال التوجيه ولكن تُعاد استخدام سلسلة أفكاء (ممتثلة) تم توجيهها سابقاً، يحافظ النموذج على معدل امتثال قدره 48%. وهذا يثبت أن سلسلة الأفكاء نفسها تحمل إشارة امتثال جزئية تستمر بشكل مستقل عن توجيه التنشيط، وهي قادرة على إعادة بناء حالة الرفض أو الحفاظ على الامتثال.

المساهمات الرئيسية

تحديد آلية الإشارة المزدوجة: تثبت الورقة أن الرفض في نماذج استدلال CoT يتم التوسط فيه عبر آلية إشارة مزدوجة تتضمن كل من تنشيطات التدفق المتبقي وأثر سلسلة الأفكاء (CoT). يوفر التوجيه وحده امتثالاً محدوداً (39-43%)، بينما يؤدي الجمع بين التوجيه وسلسلة أفكاء ممتثلة إلى امتثال عالٍ (94%).
الدور النشط لسلسلة الأفكاء (CoT): يقدم المؤلفون دليلاً مباشراً على أن سلسلة الأفكاء ليست وسطاً سلبياً بل وسيطاً نشطاً. يمكن لسلسلة الأفكاء أن تعارض بنشاط التدخلات القائمة على التنشيط (مما يقلل الامتثال من 70% إلى 39% عند وجودها) ويمكنها أيضاً الحفاظ على إشارات الرفض/الامتثال أو إعادة بنائها بشكل مستقل.
المتانة وسطح الهجوم: تشير النتائج إلى أن نماذج LRMs أكثر متانة ضد التدخلات على مستوى التنشيط وحدها مقارنة بالنماذج اللغوية القياسية بسبب هذا التشفير المشترك. ومع ذلك، فإن هذا يكشف أيضاً عن سلسلة الأفكاء (CoT) كسطح بديل محتمل للهجمات العدائية، حيث يمكن للتلاعب بمسار الاستدلال أن يتجاوز آليات الرفض.

الأهمية والادعاءات

تدعي الورقة أنها تسد فجوة حرجة في فهم آليات السلامة في نماذج LRMs. على عكس النماذج اللغوية القياسية حيث يُوصف الرفض بأنه آلية منخفضة الأبعاد تتوسطها إشارة واحدة، فإن الرفض في نماذج LRMs موزع عبر التنشيطات ومسار الاستدلال.

يجادل المؤلفون بأن هذا التنشيط المشترك يجعل نماذج LRMs أكثر مقاومة للتدخلات البسيطة على مستوى التنشيط (مثل التوجيه عند توكنات EOI/EOT)، ولكنه في الوقت نفسه يقدم سلسلة الأفكاء (CoT) كضعف جديد. ويقترحون أن آليات الدفاع الفعالة لنماذج LRMs قد تتطلب اكتشاف إشارات الرفض في التنشيطات مع مراقبة أو قمع سلسلة الأفكاء في الوقت نفسه لمنع استغلالها لتجاوز أو إعادة بناء إشارات الامتثال.

تحافظ الورقة على التواضع فيما يتعلق بنطاقها، مشيرة إلى أن التجارب أُجريت على نموذج واحد (DeepSeek-R1-Distill-Llama-8B) وأن "الموثوقية" السببية لسلسلة الأفكاء المولدة لسلوكها النهائي لم يتم التحقق منها بالكامل. يركز العمل على عزل المساهمات الميكانيكية لسلسلة الأفكاء والتنشيطات في حالة الرفض بدلاً من اقتراح بنيات دفاعية جديدة أو تعميم النتائج على جميع النماذج المملوكة لجهات أخرى.