💬 NLP

Guiding Giants: Lightweight Controllers for Weighted Activation Steering in LLMs

تقدم هذه الورقة "Guiding Giants"، وهو متحكم خفيف الوزن وقابل للتدريب يقوم ديناميكياً بتعديل توجيه التنشيط الخاص بكل طبقة بناءً على محتوى المدخلات، وذلك لكبح السلوكيات الضارة للنماذج اللغوية الكبيرة بكفاءة وتكيف أثناء وقت الاستدلال دون تغيير معلمات النموذج الأصلية.

المؤلفون الأصليون: Amr Hegazy, Mostafa Elhoushi, Amr Alanwar

نُشر 2026-03-17

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amr Hegazy, Mostafa Elhoushi, Amr Alanwar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك خادماً عبقرياً، واسع المعرفة بشكل مذهل (وهو النموذج اللغوي الكبير أو LLM)، يمكنه الإجابة على أي سؤال، أو كتابة الشعر، أو حل المسائل الرياضية. ومع ذلك، فإن هذا الخادم لديه عيب: أحياناً، إذا سألته سؤالاً مخادعاً أو خطيراً، فقد يوافق بالخطأ على القيام بشيء ضار، مثل كتابة خبر زائف أو تقديم تعليمات لارتكاب جريمة.

تقليدياً، لإصلاح ذلك، سيكون عليك إرسال الخادم للعودة إلى المدرسة لعدة أشهر من الضبط الدقيق (Fine-tuning). ستقوم بإعادة تدريبه من الصفر ليكون "أكثر أماناً". لكن هذا مكلف، وبطيء، ويجعلهم أحياناً ينسون كيفية القيام بمهامهم الأخرى جيداً (مثل كتابة نكتة مضحكة).

تحاول طرق أخرى إصلاح ذلك أثناء عمل الخادم، لكنها تشبه استخدام مطرقة ثقيلة: فهي تطبق نفس التصحيح العنيف على كل جملة، بغض النظر عما إذا كانت خطيرة حقاً أم لا. وهذا غالباً ما يجعل الخادم خائفاً جداً من الإجابة على أي أسئلة، حتى غير الضارة منها.

الحل: "شرطي المرور الذكي" (WAS)

يقدم هذا البحث طريقة جديدة تسمى توجيه التنشيط الموزون (Weighted Activation Steering - WAS). فكر في الأمر كتوظيف شرطي مرور خفيف الوزن وذكي للغاية يقف بجانب الخادم أثناء عمله.

إليك كيف يعمل شرطي المرور، باستخدام تشبيهات بسيطة:

1. "اتجاه الرفض" (الخريطة)

أولاً، يحدد الباحثون بالضبط كيف يبدو "قول لا" في عقل الخادم. إنهم ينشئون خريطة (تسمى متجه التوجيه) تشير إلى اتجاه "الرفض".

التشبيه: تخيل أن عقل الخادم مدينة ضخمة. "اتجاه الرفض" هو شارع محدد يؤدي إلى منطقة الـ "لا".

2. "شرطي المرور" (المتحكم)

بدلاً من إجبار الخادم على السير في شارع الـ "لا" هذا لكل سؤال، يقوم شرطي المرور بمراقبة أفكار الخادم في الوقت الفعلي.

الملاحظة: ينظر الشرطي إلى أفكار الخادم الداخلية (التنشيطات) أثناء معالجته لسؤال ما.
القرار:
- إذا كان السؤال ضاراً (مثلاً: "كيف يمكنني اختراق بنك؟")، يرى الشرطي الخطر ويقول: "حسناً، نحتاج إلى دفع الخادم بقوة نحو شارع الـ 'لا'!"
- إذا كان السؤال غير ضار (مثلاً: "ما هي حالة الطقس؟")، يرى الشرطي أنه آمن ويقول: "لا داعة للدفع. دع الخادم يسير بشكل طبيعي".

3. الجزء "الموزون" (الضبط الدقيق)

هذا هو السر في هذا البحث. شرطي المرور لا يدفع الخادم فحسب؛ بل يدفع بشكل مختلف اعتماداً على أي جزء من الدماغ يكون نشطاً.

التشبيه: تخيل أن عقل الخادم يحتوي على أقسام مختلفة (طبقات). بعض الأقسام تتعامل مع القواعد الأساسية، والبعض الآخر يتعامل مع المنطق المعقد، والبعض الآخر يتعامل مع قواعد السلامة.
يتعلم شرطي المرور أنه بالنسبة لأسئلة الاختراق، يحتاج إلى الدفع بقوة في "قسم المنطق". ولكن بالنسبة لأسئلة المضايقة، قد يحتاج إلى الدفع بقوة أكبر في "قسم التعاطف".
هذا يسمى توجيه التنشيط الموزون. إنه يشبه الجراح الذي يستخدم مشرطاً بدلاً من المطرقة الثقيلة. إنه يطبق القدر المناسب من الضغط على المكان الصحيح تماماً، تاركاً بقية عقل الخادم حراً للقيام بعمله.

لماذا هذا أفضل؟

سريع ورخيص: لا تحتاج إلى إعادة تدريب الخادم. أنت فقط تضيف هذا الشرطي الصغير الذكي (برنامج كمبيوتر صغير) يعمل بجانبه.
ذكي: يعرف الفرق بين الطلب الخطير والطلب الطبيعي. إنه لا يجعل الخادم يرفض الإجابة على "ما هو 2+2؟" لمجرد أنه يحاول أن يكون آمناً.
فعال: في اختبارات هذا البحث، جعلت هذه الطريقة النماذج ترفض الطلبات الضارة بنسبة 93% من المرات (مقارنة بـ 32% فقط للنموذج الأصلي)، بينما ظلت مفيدة بنفس القدر للأسئلة العادية.

النتيجة

يظهر البحث أنه باستخدام شرطي المرور الذكي هذا، يمكننا توجيه نماذج الذكاء الاصطتي الملحمية هذه لتكون آمنة دون كسرها. إنه يشبه إعطاء الذكاء الاصطناعي "نظارات سلامة" تلون الرؤية فقط عندما يرى شيئاً خطيراً، بدلاً من طلاء العالم بأكمله باللون الأسود.

باختصار: بدلاً من إعادة بناء الذكاء الاصطناعي ليكون آمناً، نحن فقط نعطيه مساعداً صغيراً وذكياً يعرف بالضبط متى وكيف يقول "لا" للأفكار السيئة، بينما يسمح له بقول "نعم" للأفكار الجيدة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Guiding Giants: Lightweight Controllers for Weighted Activation Steering in LLMs".

1. بيان المشكلة

تتعرض النماذج اللغوية الكبيرة (LLMs) عرضة لتوليد محتوى ضار، أو منحاز، أو سام. تواجه استراتيجيات التخفيف من حدة السلامة الحالية قيودًا كبيرة:

الضبط الدقيق (SFT/RLHF): تستهلك موارد ضخمة، وتخاطر بحدوث "النسيان الكارثي" (تدهور القدرات العامة)، وتتطلب إعادة تدريب لمواجهة متطلبات سلامة جديدة.
التوجيه الحالي في وقت الاستدلال (Inference-Time Steering): الطرق مثل (Activation Addition - ActAdd) أو التوجيه الثابت غالبًا ما تطبق تدخلات موحدة عبر جميع الطبقات. يؤدي هذا الافتقار إلى التكيف إلى مقايضة: التدخلات القوية تسبب رفضًا للمطالبات الحميدة (الإفراط في الرفض)، بينما التدخلات الضعيفة تفشل في إيقاف المخرجات الضارة.
الفجوة: هناك حاجة إلى آلية خفيفة الوزن وتكيفية يمكنها ضبط قوة وموقع (على مستوى الطبقة) تدخلات السلامة ديناميكيًا بناءً على مطالبات الإدخال المحددة، دون تغيير أوزان النموذج الأساسي.

2. المنهجية: توجيه التنشيط الموزون (Weighted Activation Steering - WAS)

يقترح المؤلفون توجيه التنشيط الموزون (WAS)، وهو آلية تحكم في وقت الاستدلال تستخدم شبكة تحكم خفيفة الوزن وقابلة للتدريب لتعديل متجه "اتجاه الرفض" المحسوب مسبقًا.

المكونات الأساسية

متجه التوجيه المحسوب مسبقًا ( $d_{steer}$ ):
- يتم حساب متجه ثابت يمثل "اتجاه الرفض" عن طريق مباينة متوسط تمثيلات (embeddings) الرموز المتعلقة بالرفض (مثل "لا أستطيع"، "أعتذر") والرموز المتعلقة بالإجابة (مثل "بالتأكيد"، "إليك") من مصفوفة تمثيل المخرجات الخاصة بالنموذج.
- الصيغة: $d_{steer} = \frac{\bar{e}_{refuse} - \bar{e}_{answer}}{||\bar{e}_{refuse} - \bar{e}_{answer}||_2}$ .
شبكة التحكم خفيفة الوزن ( $f_c$ ):
- عبارة عن مدرج متعدد الطبقات (MLP) صغير يعمل على التنشيطات الوسيطة للنموذج المجمد.
- المدخلات: الحالات المخفية المجمعة ( $h_l$ ) من الثلث الأخير من طبقات النموذج عند الرمز النهائي للمطالبة.
- المخرجات:
  - مقدار قياسي عالمي ( $s$ ): يحدد الكثافة الإجمالية للتدخل.
  - متجه من الأوزان الخاصة بكل طبقة ( $w$ ): يحدد مقدار تطبيق التدخل على كل طبقة محددة.
التعديل الديناميكي:
- أثناء الاستدلال، تراقب شبكة التحكم تنشيطات المطالبة وتتنبأ بـ $(s, w)$ .
- رقعة التوجيه (steering patch) المطبقة على الحالة المخفية في الطبقة $l$ هي:
  $\Delta h_{l} = s \cdot w_l \cdot \alpha_{global} \cdot d_{steer}$
- حيث $\alpha_{global}$ هو معلم فائق (hyperparameter) ثابت يتحكم في المقياس الإجمالي للتأثير.
- تصبح الحالة المخفية النهائية هي $h'_l = h_l + \Delta h_l$ .

إجراء التدريب

البيانات: يستخدم مطالبات ضارة (من مجموعة "المرفوضة" في Anthropic's HH-RLHF) ومطالبات حميدة (من مجموعة بيانات Alpaca).
الهدف: تدريب تمييزي باستخدام متوسط مربع الخطأ (MSE).
- الهدف للمطالبات الضارة: $s \approx 1.0$ .
- الهدف للمطالبات الحميدة: $s \approx 0.0$ .
التعلم الضمني: على الرغم من أن دالة الخسارة تشرف صراحة فقط على القياس السلمي $s$ ، إلا أن الاشتقاقات (gradients) تتدفق عبر طبقة مخفية مشتركة إلى رأس أوزان الطبقات ( $w_{logits}$ ). وهذا يجبر الشبكة على تعلم تمثيلات داخلية متميزة للمدخلات الضارة مقابل الحميدة، مما يولد بدورها أوزان طبقات غير موحدة ومنظمة ( $w$ ) دون إشراف صريح لكل طبقة.

3. المساهمات الرئيسية

بنية مبتكرة: تقديم متحكم قابل للتدريب يتنبأ بكل من عامل القياس العالمي والأوزان الخاصة بكل طبقة، مما يسمح بتوجيه دقيق وتكيفي.
الكفاءة: لا تتطلب الطريقة إعادة ضبط دقيق لأوزان النموذج الأساسي. شبكة التحكم هي MLP صغيرة جدًا، مما يضيف عبئًا ضئيلًا للغاية على وقت الاستدلال مقارنة بالنموذج الأساسي.
التكيف: على عكس طرق التوجيه الثابتة، يقوم WAS بتعديل قوة التدخل ديناميكيًا بناءً على أنماط تنشيط المطالبة المحددة، مما يمنع الإفراط في الرفض في المهام الحميدة.
مفتوح المصدر: التنفيذ متاح للعموم، مما يعزز إمكانية إعادة الإنتاج.

4. النتائج التجريبية

قيم المؤلفون WAS على نماذج Llama-3.1-8B، و Llama-3.2-1B، و Mistral-7B، مقارنة بالنماذج المرجعية (Base, CAST, ACT, ITI).

أداء السلامة (معدلات الرفض)

ToxicChat: حقق WAS نسبة رفض بلغت 93.0% على Llama-3.1-8B، متفوقًا بشكل كبير على النموذج الأساسي (Base) بنسبة 32.0%، و CAST بنسبة 46.0%، و ITI بنسبة 49.6%.
AdvBench: وصل WAS إلى نسبة رفض بلغت 98.8% على Llama-3.1-8B.
مطالبات الاختراق (Jailbreak): حقق WAS نسبة رفض بلغت 78.9%، متفوقًا على معظم النماذج المرجعية.
الاتساق: قدم WAS باستمرار أعلى معدلات رفض أو أعلى المعدلات تقريبًا عبر جميع النماذج والمعايير.

الحفاظ على المنفعة (القدرات العامة)

AlpacaEval: حافظ WAS على معدل فوز قدره ~49.8% مقابل النموذج الأساسي (وهو غير مختلف إحصائيًا عن 50%)، مما يثبت أنه لا يقلل من الفاعلية في المهام الحميدة.
المعايير الأكاديمية: تأثير ضئيل على MMLU، و HellaSwag، و GSM8K. على سبيل المثال، انخفض MMLU قليلاً من 63.0% إلى 60.8%.

تحليل الكفاءة

زمن الاستجابة (Latency): يوفر WAS مقايضة متفوقة بين السلامة والسرعة. فهو أسرع بكثير من ITI (الذي لديه عبء تشغيل عالٍ) بينما يوفر معدلات رفض أعلى بكثير من CAST (الذي يتميز بالسرعة ولكنه أقل فعالية).

دراسات الاستبعاد (Ablation Studies)

أوزان الطبقات: أدى إزالة أوزان الطبقات المتعلمة (باستخدام أوزان موحدة) إلى انخفاض بنسبة ~21% في معدلات رفض ToxicChat، مما يثبت أن التكيف الخاص بالطبقة أمر بالغ الأهمية.
اختيار الطبقة: أظهر التوجيه المطبق على طبقات "الوسط + المتأخرة" أداءً يقارب أداء التطبيق على جميع الطبقات، مما يؤكد أن ميزات الرفض تتركز في الطبقات العميقة.
المعلمات الفائقة: تم العثور على $\alpha_{global}$ أمثل بقيمة 2.0 لتحقيق التوازن بين السلامة والمنفعة؛ القيم الأعلى أدت إلى الإفراط في الرفض.

5. الأهمية والخاتمة

تثبت ورقة Guiding Giants أن توجيه التنشيط الموزون هو بديل فعال ومنخفض التكلفة للضبط الدقيق لسلامة النماذج اللغوية الكبيرة.

الرؤية العلمية: تكشف الدراسة أن ميزات السلامة ليست موزعة بشكل موحد؛ حيث يتعلم المتحكم استهداف "نقاط ساخنة" محددة (مثل الطبقات 8، 14-16، 24) اعتمادًا على نوع الضرر (مثل المضايقة مقابل التضليل).
الأثر العملي: يوفر WAS "طبقة سلامة" قابلة للنشر يمكن إلحاقها بالنماذج المجمدة الحالية لتحسين السلامة فورًا دون إعادة تدريب، مما يجعله مثاليًا لبيئات الإنتاج حيث يجب أن تظل أوزان النموذج ثابتة.
القيود: تعتمد الطريقة على جودة متجه التوجيه المحسوب مسبقًا وتوزيع بيانات التدريب. قد تواجه صعوبة مع فئات الضرر الجديدة غير المرئية أو الهجمات العدائية المتطورة المصممة لخداع أنماط تنشيط المتحكم.

باخت صصار، يسد WAS الفجوة بين جمود التوجيه الثابت وتكلفة الضبط الدقيق، مقدمًا حلاً ديناميكيًا، وقابلًا للتفسير، وفعالًا لمواءمة النماذج اللغوية الكبيرة مع قيود السلامة.