🤖 machine learning

Minimizing Collateral Damage in Activation Steering

تقدم هذه الورقة إطاراً منهجياً لتقليل الأضرار الجانبية في توجيه التنشيط من خلال صياغته كمسألة تحسين مقيدة تأخذ في الاعتبار التكاليف غير الموحدة للاضطرابات عبر اتجاهات الميزات باستخدام مصفوفة العزم الثاني التجريبية للتنشيطات.

المؤلفون الأصليون: Tam Nguyen, Tu Anh Nguyen, Sina Alemohammad, Richard G. Baraniuk

نُشر 2026-05-05

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tam Nguyen, Tu Anh Nguyen, Sina Alemohammad, Richard G. Baraniuk

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: توجيه روبوت عملاق

تخيل أن النموذج اللغوي الكبير (LLM) هو روبوت ضخم ومعقد للغاية تعلم كيف يتحدث ويفكر. أحياناً، نريد تعديل سلوكه دون إعادة بناء الروبوت بالكامل. على سبيل المثال، قد نريده أن يكون أكثر صدقاً، أو أقل سمية، أو أكثر مرحاً.

لقد طور العلماء تقنية تسمى "توجيه التنشيط" (Activation Steering). فكر في هذا كأنه "جهاز تحكم عن بعد" يدفع أفكار الروبوت الداخلية (تنشيطاته) في اتجاه معين لتغيير مخرجاته.

المشكلة: تأثير "الجرافة"

تجادل الورقة البحثية بأن الطريقة التي يستخدم بها الناس جهاز التحكم هذا حالياً تشبه قيادة جرافة.

كيف تعمل الآن: أنت توجه الجرافة نحو هدف محدد (مثل "كن أكثر صدقاً") ثم تدفع.
الضرر: بينما تصيب الهدف، تقوم الجرافة أيضاً بسحق كل شيء آخر في طريقها. في عقل الروبوت، هذا يعني أنك بينما تجعله أكثر صدقاً، فإنك تجعله بالخطأ أسوأ في الرياضيات، أو أقل إبداعاً، أو أكثر ارتباكاً.
لماذا؟ تفترض الطرق الحالية أن عقل الروبوت متماثل تماماً (مثل كرة ملساء). يعتقدون أن الدفع في أي اتجاه يكلف نفس القدر من الطاقة. لكن عقل الروبوت في الواقع متعرج وغير مستوٍ (مثل سلسلة جبال). الدفع في اتجاه ما قد يجعلك تنزلق في وادٍ آمن، بينما الدفع في اتجاه آخر قد يسقطك من فوق منحدر.

يسمي المؤلفون هذا الضرر غير المقصود بـ "الأضرار الجانبية" (Collateral Damage).

الحل: COAST (نظام الملاحة عبر GPS)

يقترح المؤلفون طريقة جديدة تسمى COAST (تقليل الأضرار الجانبية لتوجيه التنشيط).

بدلاً من مجرد دفع الروبوت في خط مستقيم، يعمل COAST مثل نظام ملاحة ذكي (GPS) يعرف التضاريس.

رسم الخرائط التضاريسية: قبل التوجيه، يقوم COAST برسم خريطة لعقل الروبوت (باستخدام بيانات حول كيفية تفكير الروبوت عادةً) ليرى أي الاتجاهات "آمنة" وأيها "خطيرة".
إيجاد المسار الآمن: إذا كنت تريد دفع الروبوت نحو "الصدق"، فإن COAST لا يدفعه مباشرة هناك. بل يحسب المنحنى المحدد الذي يوصلك إلى "الصدق" مع الالتفاف حول الوديان الآمنة وتجنب المنحدرات.
الهدف: تحقيق التغيير المطلوب (التوجيه) مع إحداث أقل قدر ممكن من الضرر لمهارات الروبوت الأخرى (مثل الرياضيات أو الكتابة).

تشبيه إبداعي: رحلة التنزه

تخيل أنك تتنزه في جزيرة ضخمة مليئة بالتلال (عقل الروبوت).

الهدف: تريد الوصول إلى مخيم محدد يسمى "الصدق" (الاتجاه المستهدف).
الطريقة القديمة (ActAdd/التوجيه القياسي): أنت فقط توجه بوصلتك نحو "الصدق" وتمشي في خط مستقيم. إذا كان الطريق يمر فوق منحدر صخري شديد الانحدار، فقد تسقط وتكسر ساقك (مما يضر بقدرة النموذج على حل الرياضيات).
طريقة COAST: لديك خريطة طبوغرافية. أنت تعلم أن المشي مباشرة نحو "الصدق" سيعبر وادياً خطيراً. لذا، يقودك COAST عبر مسار متعرج يلتف حول الوادي. ستصل في النهاية إلى "الصدق"، لكنك لن تكسر ساقك، ولن تفقد حقيبة ظهرك (مهارات النموذج الأخرى).

كيف أثبتوا نجاح الأمر

اختبر الباحثون هذه الطريقة على عدة نماذج ذكاء اصطناعي مختلفة (مثل Llama و Qwen). طلبوا من النماذج القيام بشيئين في آن واحد:

الاختراق (Jailbreak): محاولة جعل النموذج يقول شيئاً يرفض قوله عادةً (لاختبار قوة التوجيه).
البقاء ذكياً: الاستمرار في الإجابة على الأسئلة العادية بشكل صحيح (لاختبار ما إذا كان النموذج قد تعطل).

النتائج:

الطرق القديمة: عندما جعلوا النموذج يقول الشيء "المحظور"، أصبح النموذج أسوأ بكثير في الإجابة على الأسئلة العادية. لقد كانت مقايضة: حصلت على تغيير السلوك، لكنك فقدت الذكاء.
COAST: نجح في جعل النموذج يقول الشيء "المحظور" دون أن يجعله غبياً. لقد حافظ على ذكاء النموذج مع تغيير سلوكه في نفس الوقت.

الخلاًصة

تزعم الورقة أنه من خلال التعامل مع عقل الذكاء الاصطناعي كمنظر طبيعي معقد وغير مستوٍ بدلاً من مجرد كرة ملساء بسيطة، يمكننا "توجيهه" بدقة أكبر بكثير. يسمح لنا COAST بإصلاح السلوكيات السيئة أو إضافة سمات جديدة دون كسر الأشياء الجيدة التي كان يقوم بها الذكاء الاصطناعي بالفعل. إنه يحول "الدفع" العشوئي إلى "وخزة" دقيقة.

ملخص تقني: تقليل الأضرار الجانبية في توجيه التنشيط

1. تعريف المشكلة

توجيه التنشيط (Activation steering) هو تقنية للتحكم في سلوك النماذج اللغوية الكبيرة (LLMs) من خلال التدخل في التمثيلات الداخلية لمواءمة تنشيطات النموذج مع اتجاه سمة مستهدفة محددة (مثل زيادة الصدق أو كبح السمية). ورغم فعاليتها، فإن الطرق القياسية مثل ActAdd (إضافة المتجهات) والتوجيه الحافظ للنمط (مثل Slerp، أو التوجيه الزاوي) غالبًا ما تعاني من "الأضرار الجانبية".

تُعرَّف الأضرار الجانبية بأنها التغييرات غير المقصودة في مواءمة التنشيطات على طول اتجاهات السمات غير المستهدفة. يجادل البحث بأن الطرق الحالية تفترض ضمنيًا تساوي الخصائص (isotropy) للسمات غير المستهدفة — أي أنها تعامل أي إزاحة في أي اتجاه على أنها متساوية في التكلفة. ومع ذلك، فإن فضاءات تمثيل النماذج اللغوية الكبيرة هي بطبيعتها غير متساوية الخصائص (anisotropic)؛ حيث تكون السمات متشابكة، ويمكن لإزاحة التنشيطات في اتجاهات معينة أن تعطل سمات متعددة مرتبطة بها في آن واحد، مما يؤدي إلى تدهور الأداء في مهام غير ذات صلة (مثل الاستدلال أو الدقة الواقعية).

المشكلة الجوهرية تكمن في المقايضة بين نجاح التوجيه (تحقيق التغيير السلوكي المنشود) والحفاظ على أداء النموذج اللاحق. الطرق الحالية إما تضحي بالأداء لتحقيق نجاح عالٍ في التوجيه، أو تفشل في التوجيه بفعالية للحفاظ على الأداء.

2. المنهجية: COAST

يقترح المؤلفون إطار عمل COAST (تقليل الأضرار الجانبية في توجيه التنشيط)، وهو إطار عمل مبني على أسس علمية يصيغ التوجيه كمسألة تحسين مقيدة.

2.1 الصياغة الرياضية

الهدف هو إيجيد متجه تنشيط جديد $x$ يحقق ميزانية مواءمة ثابتة (جيب تمام مستهدف $\alpha$ مع اتجاه التوجيه $d$ ) مع تقليل مربع التغيير المتوقع في المواءمة مع السمات غير المستهدفة.

تقلل دالة الهدف من الضرر الجانبي $J(x)$ :
$\min_{x \in \mathcal{M}} (x - h)^\top \Sigma (x - h)$
حيث:

$h$ هو التنشيط الأصلي.
$\mathcal{M}$ هي المجموعة الممكنة المحددة بالحفاظ على النمط ( $\|x\|=1$ ) وميزانية المواءمة ( $d^\top x = \alpha$ ).
$\Sigma$ هي مصفوفة وزن الأضرار الجانبية، والتي تمثل العزم الثاني التجريبي للتنشيطات ( $\Sigma = \mathbb{E}[hh^\top]$ ).

على عكس الطرق المتساوية التي تستخدم مصفوفة الوحدة (التي تعاقب جميع الاتجاهات بالتساوي)، يستخدم COAST المصفوفة $\Sigma$ لترميز الهندسة غير متساوية الخصائص (anisotropic geometry) لفضاء التمثيل. يتم معاقبة الاتجاهات ذات التباين العالي أو التنشيط المشترك المتكرر بشكل أكبر، مما يوجه عملية التحسين بعيدًا عن مجموعات السمات "الحساسة".

2.2 خوارزمية التحسين

تشكل المجموعة الممكنة $\mathcal{M}$ كرة من النوع $(p-2)$ -sphere (أي "خط عرض" على الكرة الوحدة). تحل COAST مسألة التحسين باستخدام الاشتقاق المتدرج ريمان (Riemannian gradient descent):

التهيئة: تبدأ الخوارزمية عند الإسقاط الإقليدي لـ $h$ على المتشعب $\mathcal{M}$ .
حساب التدرج: تقوم بحساب التدرج الريماني عن طريق إسقاط التدرج الإقليدي ( $2\Sigma(x-h)$ ) على الفضاء المماسي لـ $\mathcal{M}$ .
تحديث المسار الجيوديسي: تقوم الخوارزمية بتحديث التنشيط عبر التحرك على طول المسار الجيوديسي (الدائرة العظمى) المحدد بواسطة الخريطة الأسية على الكرة، مما يضمن الالتزام الصارم بميزانية المواءمة في كل خطوة.

2.3 الخصائص النظرية

التعميم: تعمم COAST طريقة Slerp (الاستيفاء الخطي الكروي) بشكل صارم. في السيناريوهات التي تكون فيها الأضرار الجانبية متساوية الخصائص (على سبيل المثال، عندما تكون السمات متعامدة مع الهدف أو موزعة بانتظام)، تتحول COAST إلى حل Slerp ذي الصيغة المغلقة.
التقارب: يثبت البحث أن تدفق التدرج الريماني المستمر في الزمن يتقارب إلى نقطة استقرار واحدة. علاوة على ذلك، باستخدام التهيئة الهندسية المحددة، يتقارب التدفق إلى الحد الأدنى العالمي لدالة هدف الضرر الجانبي.
الكفاءة: الطريقة "جاهزة للاستخدام" (plug-and-play)، حيث تضيف حدًا أدنى من العبء الإضافي على الاستدلال (0.9%–4.0% في التجارب) وتتطلب خطوة جيوديسية واحدة فقط في الممارسة العملية.

3. المساهمات الرئيسية

صياغة الضرر الجانبي: يقدم البحث تعريفًا رياضيًا للضرر الجانبي كإزاحة غير مقصودة في المواءمة، ويربطه مباشرة بمصفوفة العزم الثاني التجريبية للتنشيطات.
التوجيه المدرك لعدم تساوي الخصائص: يقدم إطار عمل يأخذ في الاعتبار صراحةً الهندسة غير متساوية الخصائص لتمثيلات النماذج اللغوية الكبيرة، متجاوزًا الافتراضات المتساوية التي سادت في الأعمال السابقة.
خوارزمية COAST: خوارزمية تحسين مبتكرة تجد التنشيط الموجه "الأكثر أمانًا" على كرة ميزانية المواءمة، مما يقلل من الاضطراب في السمات غير المستهدفة.
الضمانات النظرية: إثباتات للتقارب العالمي نحو الحل الأمثل للتوجيه تحت ظروف عامة غير متساوية الخصائص.
التحقق التجريبي: تجارب واسعة تثبت تفوق COAST على الخطوط المرجعية (مثل ActAdd، والتوجيه الزاوي، وSlerp) في تحقيق التوازن بين نجاح التوجيه والحفاظ على الأداء.

4. النتائج التجريبية

قيم المؤلفون COAST على أربعة نماذج لغوية ضخمة مضبوطة بالتعليمات (Llama-3.2-3B, Llama-3.1-8B, Qwen2.5-14B, Gemma-2-9B) باستخدام مجموعة tinyBenchmarks وHarmBench لتقييم السلامة.

تخفيف حدة المقايضة: بينما أظهر ActAdd مقايضة حادة (نجاح عالٍ في التوجيه ولكن مع انخفاض كبير في الدقة) وعانى التوجيه الزاوي في تحقيق معدلات نجاح عالية، حققت COAST باستمرار معدلات نجاح هجوم (ASR) عالية (فعالية التوجيه) مع الحفاظ على دقة المهام مقارنة بالنماذج غير الموجهة.
المكاسب الكمية:
- حققت COAST تحسنًا يصل إلى 30% في معدل نجاح الهجوم (ASR) مقارنة بالتوجيه الزاوي.
- أظهرت تحسنًا يصل إلى 20% في الدقة مقارنة بـ ActAdd عند مستويات ASR متساوية.
- في نماذج محددة (Gemma-2-9B, Llama-3.2-3B)، حسنت COAST كلاً من ASR ودقة المهام في آن واحد مقارنة بـ Slerp.
الضرر الجانبي كمؤشر: أثبتت الدراسة تجريبيًا أن مقياس الضرر الجانبي المقترح هو مؤشر موثوق لتدهور الأداء، حيث أظهر ارتباطًا سلبيًا قويًا (معامل بيرسون $r < -0.9$ ) بين الضرر الجانبي ودقة النموذج عبر ستة اختبارات مرجعية.
التكلفة الحسابية: تسببت COAST في عبء إضافي طفيف على الاستدلال (انخفاض بنسبة 0.9%–4.0% في عدد الرموز/الثانية)، مما يؤكد ملاءمتها للنشر في الوقت الفعلي.

5. الأهمية والادعاءات

يضع البحث COAST كتحول من سؤال "هل يمكننا التوجيه؟" إلى "هل يمكننا التوجيه بمسؤولية؟". ومن خلال تقليل الضرر الجانبي صراحةً، تمكن الطريقة من إجراء تغييرات سلوكية مستهدفة دون التضحية بالكفاءات غير ذات الصلة.

يدعي المؤلفون أن COAST توفر أساسًا لـ تدخلات التنشيط المسؤولة، والتي تتميز بـ:

أهداف صريحة: يتم صياغة التوجيه كمسألة تحسين ذات دالة تكلفة واضحة.
قيود شفافة: ميزانية المواءمة هي معلمة يحددها المستخدم وتتميز بقابلية التفسير.
آثار جانبية يمكن التنبؤ بها: من خلال نمذجة هندسة فضاء التمثيل، تقلل الطريقة من خطر الانحراف السلوكي غير المقصود أو تدهور القدرات.

يشير العمل إلى أن النشر المستقبلي لضوابط التوجيه لأغراض المواءمة، أو التخصيص، أو مراقبة المحتوى، يمكن أن يكون أكثر موثوقية وأمانًا، بشرًا ما يتم احترام الطبيعة غير متساوية الخصائص لتمثيلات النموذج الداخلية أثناء التدخل. ويؤكد المؤلفون أنه بينما يعد التوجيه أداة قوية، يجب تقييمه عبر مهام متنوعة مع تقديم تقارير شفافة عن الآثار الجانبية لمنع سوء الاستخدام.