💻 computer science

Contextual Linear Activation Steering of Language Models

تقدم هذه الورقة البحثية "توجيه التنشيط الخطي السياقي" (CLAS)، وهو أسلوب يعمل على تكييف قوة التوجيه ديناميكيًا مع سياق المدخلات، متفوقًا بذلك على توجيه التنشيط الخطي القياسي ومطابقًا أو متجاوزًا أداء كل من ReFT وLoRA عبر العديد من المعايير وعائلات النماذج مع بيانات مصنفة محدودة.

المؤلفون الأصليون: Brandon Hsu, Daniel Beaglehole, Adityanarayanan Radhakrishnan, Mikhail Belkin

نُشر 2026-04-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Brandon Hsu, Daniel Beaglehole, Adityanarayanan Radhakrishnan, Mikhail Belkin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغوي كبير (LLM) كأنه أوركسترا ضخمة وموهوبة للغاية. في كل مرة تعزف فيها نوتة (تولد كلمة)، فإنها تتبع نوتة موسيقية معقدة مكتوبة من خلال تدريبها. أحياناً، تريد من الأوركسترا أن تعزف أسلوباً معيناً — ربما نسخة "جاز" من مسألة رياضية، أو نسخة "حزينة" من مقال إخباري.

الطريقة القديمة: مقبض الصوت الثابت
في السابق، استخدم الباحثون تقنية تسمى التوجيه التنشيطي الخطي (LAS). تخيل هذا وكأنه مقبض صوت واحد وثابت لأوركسترا بأكملها. إذا أردت أن يبدو الموسيقى "أكثر جاز"، فإنك ترفع المقبض بمقدار محدد.

المشكلة: هذا المقبض "أعمى عن السياق". فهو يرفع مستوى الصوت بنفس الطريقة سواء كانت الأوركسترا تعزف تهويدة ناعمة أو أغنية روك صاخبة.
- إذا كانت الأغنية صاخبة بالفعل، فإن رفع المقبض يجعلها صاخبة بشكل مزعج (إفراط في التوجيه).
- إذا كانت الأغنية هادئة، فإن نفس درجة الرفع قد لا تكون كافية لسماع موسيقى الجاز (نقص في التوجيه).
- لإيجاد الإعداد المثالي، عليك اختبار المقبض يدوياً آلاف المرات، وهذا أمر بطيء ومكلف.

الطريقة الجديدة: القائد الذكي (CLAS)
يقدم البحث تقنية التوجيه التنشيطي الخطي السياقي (CLAS). بدلاً من مقبض صوت واحد غبي، يمنح CLAS الأوركسترا قائداً ذكياً يستمع إلى الموسيقى في الوقت الفعلي.

إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. متجه الاستشعار (آذان القائد)

في الطريقة القديمة، كان قوة التوجيه رقماً ثابتاً (مثل إعداد صوت ثابت). في CLAS، يتعلم النظام "متجه استشعار".

التشبيه: تخيل أن القائد لديه آذان خاصة تستمع إلى النوتة التي تُعزف حالياً ومزاج الغرفة.
كيف يعمل: ينظر النظام إلى الحالة الحالية للنموذج (السياق) ويسأل: "كم يحتاج هذا اللحظة تحديداً من التوجيه؟"
النتيجة: إذا كان النموذج يتصرف بالفعل مثل "عازف جاز"، فإن القائد يطبق دفعة بسيطة. وإذا كان النموذج يتصرف مثل "عازف كلاسيكي"، فإن القائد يطبق دفعة قوية. تتغير قوة التوجيه ديناميكياً، ثانية بثانية.

2. متجه التوجيه (النوتة الموسيقية)

لا يزال البحث يستخدم نفس "الاتجاه" لتوجيه النموذج (اتجاه "الجاز").

التشبيه: هذه هي النوتة الموسيقية التي تخبر الأوركسترا بما يجب عزفه. يستخدم البحث طريقة تسمى آلة الميزات المتكررة (RFM) لإيجاد هذا الاتجاه.
الابتكار: البحث لا يجد الاتجاه فحسب؛ بل يكتشف مدى قوة الدفع في ذلك الاتجاه بناءً على ما يحدث الآن.

3. عملية التدريب (البروفة)

كيف يعلمون هذا القائد؟

الطريقة القديمة (LAS): عليك توليد آلاف الأغاني، والاستماع إليها، وتخمين أي إعداد لمقبض الصوت كان الأفضل يدوياً. الأمر يشبه ضبط الراديو عبر تدوير القرص ذهاباً وإياباً حتى يختفي التشويش.
الطريقة الجديدة (CLAS): تعطي القائد مجموعة صغيرة من الأمثلة (مطالبات وإجابات مرغوبة). يتعلم القائد تعديل مستوى الصوت تلقائياً لتقليل الأخطاء، تماماً مثل طالب يتعلم العزف على آلة موسيقية من خلال الاستماع إلى معلمه. هذا أسرع بكثير ويتطلب بيانات أقل.

ماذا وجدوا؟

اختبر الباحثون هذا "القائد الذكي" على 11 مهمة مختلفة (مثل حل المسائل الرياضية، ترجمة اللغات، أو كتابة الأكواد البرمجية) باستخدام أربعة نماذج مختلفة.

أداء أفضل: تفوق CLAS باستمرار على طريقة "المقبض الثابت" القديمة. كان أكثر دقة ولم يتسبب في تعطل النموذج عند تغير السياق.
التفوق على العمالقة: طابق أو حتى تفوق على طرق أكثر تعقيداً مثل LoRA و ReFT (والتي تشبه إعادة كتابة النوتة الموسيقية للأوركسترا بالكامل لكل أغنية جديدة). حقق CLAS ذلك بتغييرات أقل بكثير في النموذج.
السرعة: نظرًا لأنه لا يحتاج إلى التخمين والتجربة آلاف المرات، فإن CLAS أسرع بكثير في الإعداد.
القابلية للتفسير: "الاتجاه" الذي يتعلمه النموذج لا يزال واضحاً ومفهوماً (على عكس بعض الطرق التي تعمل كصندوق أسود). لا يزال بإمكانك رؤية المفهوم الذي يميل إليه النموذج.

الخلاصة

CLAS يشبه الترقية من راديو يدوي ذو حجم صوت ثابت إلى نظام صوتي ذكي ومتكيف. هو لا يدفع النموذج في اتجاه فحسب، بل يدفعه بالقدر المناسب تماماً اعتماداً على ما يفعله النموذج حالياً. وهذا يجعله وسيلة قوية، سريعة، وموثوقة لتعليم نماذج الذكاء الاصطنا Artificial Intelligence سلوكيات جديدة دون الحاجة إلى كميات هائلة من البيانات أو قدرات حوسبة مكلفة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Contextual Linear Activation Steering of Language Models" (CLAS).

1. بيان المشكلة

تمتلك النماذج اللغوية الكبيرة (LLMs) قدرات كامنة (مثل الاستنتاج، التحكم في المشاعر، أو رفض السلامة) يمكن استحثاثها عبر التوجيه الخطي للتنشيط (Linear Activation Steering - LAS). يعتمد LAS على "فرضية التمثيل الخطي"، التي تفترض أن المفاهيم الدلالية تُمثل كاتجاهات خطية ثابتة في فضاء تنشيط النموذج. ومن خلال إضافة متجه توجيه مُقاس ( $\alpha d$ ) إلى تنشيطات النموذج الداخلية، يمكن تعديل السلوك.

ومع ذلك، تعاني طرق LAS الحالية من قصورين حرجين:

الاستقلال عن السياق: تطبق الطرق الحالية معاملًا قياسيًا ثابتًا ( $\alpha$ ) بشكل موحد عبر جميع الرموز (tokens) والمطالبات (prompts). وهذا يتجاهل دقة سياق المدخلات، مما يؤدي إلى جودة توجيه غير متسقة (توجيه ناقص أو توجيه مفرط) اعتمادًا على المطالبة.
عدم كفاءة الضبط: يتطلب اختيار معامل $\alpha$ الثابت الأمثل عمليات بحث شبكي (grid searches) مكلفة تتضمن مقيمين بشريين أو نماذج لغوية كبيرة لكل مهمة جديدة، مما يجعل هذا النهج هشًا ويصعب توسيع نطاقه.

2. المنهجية: التوجيه الخطي السياقي للتنشيط (CLAS)

يقترح المؤلفون CLAS، وهو أسلوب يستبدل المعامل القياسي الثابت بـ معامل توجيه مُتعلم ومعتمد على السياق.

الآلية الجوهرية

بدلاً من $\tilde{h}_{\ell,t} = h_{\ell,t} + \alpha d_\ell$ ، يقوم CLAS بحساب معامل ديناميكي بناءً على التنشيط الحالي ومتجه استشعار مُتعلم:
$\tilde{h}_{\ell,t} = h_{\ell,t} + (c_\ell \cdot [h_{\ell,t}, 1]) d_\ell$
حيث أن:

$h_{\ell,t}$ هو التنشيط عند الكتلة $\ell$ والرمز $t$ .
$d_\ell$ هو متجه التوجيه (الاتجاه) المستخرج من مسبار (probe).
$c_\ell \in \mathbb{R}^{k+1}$ هو متجه استشعار مُتعلم خاص بالكتلة $\ell$ .
$[h_{\ell,t}, 1]$ هو دمج التنشيط مع حد انحياز ثابت.
المصطلح $(c_\ell \cdot [h_{\ell,t}, 1])$ يعمل كمعامل التوجيه الديناميكي $\alpha_{\ell,t}$ .

عملية التدريب ذات المرحلتين

يفصل CLAS بين استخراج اتجاه التوجيه وبين ضبط قوة التوجيه:

استخراج متجه التوجيه (الاتجاه):
- يستخدم مجموعة بيانات من أزواج (المطالبة-تسمية المفهوم).
- يدرب مسبار تنشيط (Activation Probe) عند كل كتلة من كتل المحول (transformer block) باستخدام آلات الميزات المتكررة (Recursive Feature Machines - RFM). تقوم RFM بحساب حاصل الضرب الخارجي لمتوسط التدرج (AGOP) بشكل تكراري لتعلم الميزات ذات الصلة بالمهمة، مما يتفوق على المسبارات الخطية القياسية.
- متجه التوجيه $d_\ell$ هو المتجه الذاتي الرئيسي لمصفوفة AGOP النهائية، والموجه ليرتبط إيجابيًا مع تسميات المفاهيم.
- ملاحظة: هذه الخطوة خالية من الانتشار العكسي (backpropagation-free) وسريعة.
تعلم متجه الاستشعار (القوة):
- يستخدم مجموعة بيانات صغيرة من أزواج (المطالبة-الإكمال) (حيث تفتقر المطالبة إلى تعليمات المهمة المحددة، لكن الإكمال يُظهر السلوك المطلوب).
- يتم تجميد جميع معاملات النموذج اللغوي الكبير (LLM) وتعلّم متجهات الاستشعار $\{c_\ell\}$ فقط عن طريق تقليل خسارة التنبؤ بالرمز التالي (next-token prediction loss) القياسية.
- يسمح هذا للنموذج بتعلم متى و مقدار التوجيه بناءً على سياق المدخلات دون الحاجة لتوليد وتقييم المخرجات.

3. المساهمات الرئيسية

التوجيه المعتمد على السياق: يقدم آلية لضبط قوة التوجيه ديناميكيًا بناءً على سياق المدخلات، مما يحل مشكلة هشاشة طرق المعامل الثابت.
كفاءة الضبط: يلغي الحاجة إلى عمليات البحث الشبكي المكلفة والمقيمين الخارجيين. يقوم CLAS بالضبط عبر خسارة التنبؤ بالرمز التالي القياسية، وهي أسرع بكثير وأكثر قابلية للتوسع.
بنية مفككة: يفصل بين اكتشاف "الماهية" (اتجاه التوجيه عبر مسبارات RFM) وبين "المقدار" (متجهات الاستشعار عبر الضبط الدقيق)، مما يحافظ على قابلية تفسير اتجاهات التوجيه.

الحفاظ على القابلية للتفسير: على عكس طرق الضبط الدقيق الفعال للمعلمات (PEFT) التي تتعلم مصفوفات منخفضة الرتبة غامضة، يحتفظ CLAS باتجاهات المسبار الخطي، مما يسمح بمراقبة دقيقة للمفاهيم.

4. النتائج التجريبية

قيم المؤلفون CLAS في 11 مهمة توجيه متنوعة (مثل الاستنتاج خطوة بخطوة، الترجمة متعددة اللغات، مقاومة الاختراق، وتحول المشاعر) عبر 4 عائلات من النماذج (Qwen2.5-7B, Llama-3.1-70B/8B, Llama-3.2-1B).

مقاييس الأداء:

مقابل LAS القياسي: يتفوق CLAS باستمرار على LAS القياسي (ثابت $\alpha$ ) في جميع أزواج (النموذج-المهمة) تقريبًا، وغالبًا بفوارق كبيرة.
مقابل PEFT (مثل LoRA و Reft): يضاهي CLAS أو يتفوق على LoRA و Reft (Rank-1) في حالات البيانات المحدودة.
- السرعة: CLAS أسرع بكثير في الضبط من LAS (الذي يتطلب بحثًا شبكيًا) ويماثل أو يتفوق في السرعة على LoRA و Reft.
- المتانة: في اختبارات التداخل (التوجيه لمهمة واحدة وتقييم المهام الأخرى)، يسبب CLism حدًا أدنى من التدهور للقدرات الأخرى مقارلة بالانخفاضات الكبيرة التي غالبًا ما تُلاحظ مع LoRA و Reft.
مراقبة المفهوم: عند استخدامه كمسبارات خطية للكشف عن المفاهيم، حققت الاتجاهات المشتقة من RFM المستخدمة في CLAS دقة أعلى بكثير (متوسط ~96-97%) مقارنة بالاتجاهات التي تعلمتها LoRA و Reft (متوسط ~68-74%). وهذا يؤكد أن اتجاهات CLAS أكثر توافقًا دلاليًا مع المفاهيم المستهدفة.

نتائج محددة:

في مهمة JailbreakBench، كان CLAS هو الطريقة الوحيدة التي نجحت في تحفيز سلوك "مناهضة الرفض" عبر جميع النماذج، بينما فشلت LoRA و Reft تمامًا.
حقق CLAS أعلى متوسط دقة في 10/11 مهمة لمعظم النماذج.

5. الأهمية والخاتمة

تثبت الورقة أن التوجيه الخطي للتنشيط يمكن توسيعه وجعله قويًا من خلال الانتقال من المعاملات الثابتة إلى المعاملات المتعلمة والمعتمدة على السياق.

القابلية للتوسع: من خلال إزالة الحاجة إلى الضبط لكل مطالبة أو عمليات البحث الشبكي، يجعل CLAS توجيه التنشيط خيارًا قابلًا للتطبيق في النشر الواقعي حيث تختلف المدخلات ديناميكيًا.
القابلية للتفسير: يسد الفجوة بين التفسير الميكانيكي (المسبارات) والأداء الخاص بالضبط الدقيق. تظل متجهات التوجيه اتجاهات خطية قابلة للتفسير، على عكس أوزان LoRA/Reft الغامضة.
التعميم: تثبت الطريقة أن اتجاهات التوجيه الحالية يمكن جعلها أكثر فعالية بشكل كبير بمجرد تعديلها بمعاملات تعتمد على السياق، مما يقدم نموذجًا جديدًا للتحكم في سلوك LLM دون الحاجة إلى ضبط دقيق كامل.

باختصار، يقدم CLAS بديلًا قابلاً للتوسع، ومفسرًا، ودقيقًا لكل من التوجيه التقليدي للتنشيط والضبط الدقيق الفعال للمعلمات، لا سيما في السيناريوهات ذات البيانات المصنفة المحدودة.