💬 NLP

Fine-Grained Activation Steering: Steering Less, Achieving More

تقدم هذه الورقة البحثية AUSteer، وهي طريقة لتوجيه التنشيط دقيقة التفاصيل تعمل على تحسين كفاءة ودقة تعديل سلوك النماذج اللغوية الكبيرة من خلال تحديد وتوجيه الوحدات الذرية المفيدة فقط (الأبعاد الفردية) بدلاً من تنشيطات الكتل الخشنة، مما يحقق نتائج متفوقة بعدد أقل من التدخلات.

المؤلفون الأصليون: Zijian Feng, Tianjiao Li, Zixiao Zhu, Hanzhang Zhou, Junlang Qian, Li Zhang, Jia Jim Deryl Chua, Lee Onn Mak, Gee Wah Ng, Kezhi Mao

نُشر 2026-02-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zijian Feng, Tianjiao Li, Zixiao Zhu, Hanzhang Zhou, Junlang Qian, Li Zhang, Jia Jim Deryl Chua, Lee Onn Mak, Gee Wah Ng, Kezhi Mao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة ضخم (LLM) كأنه أوركسترا ضخمة وصاخبة. في كل مرة يجيب فيها النموذج على سؤال، يعزف آلاف الموسيقيين (الأعصاب) على آلاتهم في وقت واحد. في الماضي، كان الباحثون الذين يحاولون تغيير سلوك النموذج يمسكون بقسم الكمان بأكمله أو قسم النحاسات بالكامل ويطلبون منهم جميعاً العزف بصوت أعلى أو أخفض في آن واحد. هذا ما يسميه البحث "التوجيه على مستوى الكتلة" (Block-Level Steering).

يجادل مؤلفو هذا البحث، المنشور في مؤتمر ICLR 2026، بأن هذا النهج خشن للغاية. فمجرد كون قسم الكمان يعزف لا يعني أن كل عازف كمان يعزف النوتة الصحيحة. البعض يعزف اللحن (مفيد)، والبعض الآخر يعزف ضجيج الخلفية (غير ذي صلة)، والبعض الآخر يعزف بالفعل أغنية خاطئة (ضار). عندما تطلب من القسم بأكمله "العزف بصوت أعلى"، فإنك تضخم الأخطاء مع الموسيقى الجيدة عن طريق الخطأ.

إليك حل البحث، مشروحاً ببساه:

1. المشكلة: "الكتلة" فوضوية للغاية

اكتشف الباحثون أنه داخل هذه "الكتل" في النموذج، يوجد الكثير من عدم التجانس (Heterogeneity) (إشارات مختلطة).

الطريقة القديمة: إذا كنت تريد أن يكون النموذج أكثر صدقاً، فقد تقوم بتعديل كتلة "الانتباه" (Attention) بأكملها. لكن هذه الكتلة تحتوي على آلاف الأبعاد. بعضها يساعد على الصدق، لكن البعض الآخر قد يجعل النموذج أكثر ثقة في الكذب. من خلال تعديل الكتلة بأكملها، أنت "توجه بشكل أقل فعالية" لأنك تسحب الأجزاء السيئة مع الأجزاء الجيدة.
التشبيه: تخيل أنك تحاول إصلاح تسرب في منزل عن طريق قطع المياه عن الحي بأكمعه. ستوقف التسرب، لكنك ستوقف الماء عن الجميع أيضاً. هذا غير فعال ويتسبب في ضرر غير ضروري.

2. الحل: "الوحدات الذرية" (الموسيقيون الأفراد)

يقترح البحث تقسيم الأوركسترا إلى مستوى الموسيقي الفردي. يسمون هذه الوحدات "الوحدات الذرية" (Atomic Units - AUs).

بد instead من توجيه "قسم الكمان" بأكمله، هم ينظرون إلى عازف كمان واحد محدد (بُعد واحد فقط من البيانات).
وجدوا أن بعض الموسيقيين الأفراد عباقرة في عزف النوتات الصحيحة لمهمة معينة، بينما الآخرون سيئون جداً في ذلك.
الرؤية: إذا قمت بتعديل الموسيقيين المحددون الذين يجيدون المهمة فقط، فستحصل على أداء أفضل بكثير مما لو حاولت إصلاح القسم بأكمله. هذا هو شعارهم الأساسي: "توجيه أقل، إنجاز أكثر".

3. الطريقة: AUSteer (المايسترو الذكي)

لجعل هذا يعمل، ابتكروا طريقة جديدة تسمى AUSteer. وهي تعمل مثل مايسترو ذكي جداً يعرف بالضبط أي موسيقيين يجب أن يطلب منهم العزف بصوت أعلى. يقوم الأمران الرئيسيان بـ:

الخطوة 1: إيجاد النجوم (التحديد الموضعي - Localization)
تستخدم الطريقة مقياساً يسمى "زخم التنشيط" (Activation Momentum). تخيل أن النموذج يجيب على سؤال. يعرض الباحثون له إجابة "جيدة" وإجابة "سيئة". يراقبون الموسيقيين الأفراد (AUs) ليروا من يعزف بصوت أعلى باستمرار للإجابة الجيدة وبصوت أخفض للإجابة السيئة.
- إذا كان الموسيقي يعزف دائماً النوتة الصحيحة للإجابة الصحيحة، فيتم تمييزه كـ "نجم".
- إذا كان الموسيقي يعزف بشكل عشوائي أو يجعل الإجابة أسوأ، يتم تجاهله.
- يسمح هذا باختيار أفضل 100 "موسيقي" مفيد من بين الآلاف، بدلاً من محاولة التحكم فيهم جميعاً.
الخطوة 2: ضبط مستوى الصوت (التوجيه التكيفي - Adaptive Steering)
بمجرد معرفة من يجب إصلاحه، يحددون مقدار الإصلاح.
- هم لا يضيفون مجرد زيادة ثابتة في الصوت. بدلاً من ذلك، يقومون بتغيير حجم الصوت بناءً على مدى قوة عزف الموسيقي بالفعل. إذا كان الموسيقي يعزف بهدوء بالفعل، فإنه يحصل على دفعة أكبر؛ وإذا كان يعزف بصوت عالٍ، فإنه يحصل على دفعة أصغر.
- كما أنهم يمنحون "قوة" أكبر للموسيقيين الأكثر أهمية وقوة أقل لأقل أهمية.

4. النتائج: ضجيج أقل، موسيقى أفضل

اختبر البحث هذه الطريقة على عدة نماذج ذكاء اصطنا-ي مختلفة (مثل LLaMA و Gemma و Qwen) ومهام متنوعة (الرياضيات، الاستنتاج، وتوليد نصوص آمنة).

النتيجة: تفوق AUSteer باستمرار على الأساليب الرائدة الحالية.
الكفاءة: بينما حاولت الأساليب الأخرى تعديل آلاف الأبعاد (مثل رفع صوت الأوركسترا بأكملها)، قام AUSteer غالباً بتعديل أقل من 100 بُعد محدد فقط.
الدليل: من خلال توجيه أشياء أقل، حققوا في الواقع نتائج أفضل. لقد أثبتوا أن محاولة التحكم في كل شيء غالباً ما تأتي بنتائج عكسية لأنك تضخم "الضجيج" (الأجزاء الضارة أو غير ذات الصلة) عن طريق الخطأ.

الملخص

يدعي البحث أن أفضل طريقة لتوجيه الذكاء الاصطناعي ليست بالصراخ على المجموعة بأكملها، بل بالهمس بتعليمات محددة لعدد قليل من الأفراد القادرين فعلياً على أداء المهمة بشكل صحيح. من خلال تحديد وتعديل "الوحدات الذرية" الأكثر فائدة فقط وتجاهل البقية، يمكننا جعل الذكاء الاصطناعي أكثر ذكاءً، وأماناً، ودقة بجهد أقل بكثير.

الخلاصة الرئيسية: لست بحاجة لتحريك الجبل بأكمله لتغيير معالم الأرض؛ فأحياناً، تحريك بعض الصخور المحددة فقط يكفي لإعادة توجيه النهر.

ملخص تقني: التوجيه الدقيق للتنشيط (AUSteer)

1. بيان المشكلة

برز توجيه التنشيط (Activation steering) كنموذج فعال من حيث التكلفة لتعديل سلوكيات النماذج اللغوية الكبيرة (LLMs) دون الحاجة إلى تدريب إضافي. ومع ذلك، فإن الأساليب الحالية تعمل في الغالب على مستوى الكتلة (block level)، حيث تتدخل في تنشيطات مجمعة من آليات الانتباه متعدد الرؤوس (MHA)، أو الشبكات الأمامية (FFN)، أو المسارات المتبقية (residual streams).

يحدد المؤلفون خللاً جوهرياً في هذا النهج: تنشيطات مستوى الكتلة هي بطبيعتها غير متجانسة. يحتوي متجه تنشيط الكتلة الواحد على مئات أو آلاف الأبعاد، كل منها يتوافق مع ميزة (feature) متميزة. بعض الأبعاد تتحكم في توزيعات الرموز المفيدة، بينما يتحكم البعض الآخر في رموز غير ذات صلة أو حتى ضارة. بناءً على ذلك، فإن التوجيه على مستوى الكتلة يكون:

خشناً للغاية: حيث يعامل الكتلة ككيان واحد، مما يمنع الاستهداف الدقيق.
غير فعال: فهو يضخم الإشارات المفيدة والضارة في آن واحد، مما يؤدي غالباً إلى تدهور الأداء.
متطفلاً بشكل مفرط: حيث يعدل العديد من الأبعاد غير الضرورية، مما يزيد من بصمة التدخل.

يفترض البحث أن "التوجيه الأقل يحقق الأكثر" من خلال الانتقال من التدخلات على مستوى الكتلة إلى التدخلات على مستوى الوحدة الذرية (AU) الدقيقة.

2. المنهجية: AUSteer

يقوم الأسلوب المقترح، AUSteer، بتفكيك تنشيطات الكتلة إلى وحدات ذرية (AUs). تُعرف الوحدة الذرية بأنها بُعد واحد من تنشيط الكتلة، وهو ما يتوافق مع عمود (أو شريحة) محدد من مصفوفة أوزان الكتلة. إن توجيه تنشيط مستوى الوحدة الذرية يعادل توجيه الوحدة الذرية المرتبطة بها.

يتكون AUSteer من مكونين أساسيين:

أ. تحديد موقع الوحدة الذرية عبر زخم التنشيط (Activation Momentum)

لتحديد الوحدات الذرية ذات الصلة بالمهمة دون تدريب، يقترح المؤلفون زخم التنشيط.

العينات التباينية: تستخدم الطريقة أزواجاً من العينات الإيجابية (صحيحة/عالية الجودة) والسلبية (خاطئة/منخفضة الجودة).
حساب الزخم: لكل وحدة ذرية $i$ وزوج عينات $j$ ، يتم حساب زخم التنشيط $m_i^j$ كفرق بين التنشيط في العينة الإيجابية ( $x_{i, pos}^j$ ) والعينة السلبية ( $x_{i, neg}^j$ ).
$m_i^j = x_{i, pos}^j - x_{i, neg}^j$
الدرجة التمييزية: تقوم الطريقة بعدّ حالات الزخم الإيجابي والسلبي عبر جميع الأزواج لتحديد ما إذا كانت الوحدة الذرية تعزز أو تثبط المخرجات المطلوبة باستمرار. تُعرف الدرجة التمييزية $s_i$ بأنها الحد الأقصى لنسبة التعزيز أو التثبيط المتسق:
$s_i = \max(r_{pos}^i, r_{neg}^i)$
حيث تمثل $r_{pos}^i$ و $r_{neg}^i$ نسب الأزواج التي يكون فيها الزخم إيجابياً أو سلبياً، على التوالي.
الاختيار: يتم ترتيب الوحدات الذرية عالمياً حسب درجاتها التمييزية، ويتم اختيار أفضل $k$ من الوحدات للتدخل.

ب. التوجيه التكيفي

بمجرد تحديد الوحدات الذرية التمييزية، يطبق AUSteer توجيهاً تكيفياً لضمان المتانة عبر المدخلات والوحدات الذرية المتنوعة.

التكيف مع المدخلات: بدلاً من إضافة متجه ثابت، تقوم الطريقة بتغيير حجم التنشيط الحالي: $\hat{x}_i = x_i + \gamma_i x_i$ . وهذا يحافظ على إشارة واتجاه التنشيط الأصلي مع التكيف مع مقداره.
التكيف مع الوحدة الذرية: يتم تفصيل قوة التوجيه $\gamma_i$ لتناسب القدرة التمييزية لكل وحدة ذرية.
$\gamma_i = \begin{cases} \alpha \cdot r_{pos}^i & \text{إذا كان } r_{pos}^i > r_{neg}^i \\ -\alpha \cdot r_{neg}^i & \text{وإلا} \end{cases}$
هنا، $\alpha$ هو عامل قوة التوجيه العالمي. يتم تطبيق توجيه أقوى على الوحدات الذرية ذات الدرجات التمييزية الأعلى.

3. المساهمات الرئيسية

التحليل النظري والتجريبي لعدم التجانس: يوضح المؤلفون أن تنشيطات مستوى الكتلة غير متجانسة لأن الوحدات الذرية المختلفة تحكم توزيعات رموز مخرجات متميزة. إن توجيه وحدة ذرية واحدة يزيح مخرجات النموذج نحو التوزيع الخاص بتلك الوحدة، بينما يخلط التوجيه على مستوى الكتلة بين التوزيعات المفيدة والضارة.
إطار عمل AUSteer: طريقة مبتكرة لتحديد مواقع الوحدات الذرية التمييزية باستخدام زخم التنشيط وتطبيق توجيه تكيفي خاص بالمدخلات.
الكفاءة والدقة: يحقق الأسلوب أداءً فائقاً من خلال التدخل في عدد أقل بكثير من التنشيطات (100 كحد أقصى) مقارنة بالأساليب الرائدة (SOTA) التي تعدل الآلاف.

4. النتائج التجريبية

تم تقييم AUSteer على نماذج لغوية كبيرة متعددة (LLaMA2-7B-Chat, Gemma2-9B-it, Qwen3-8B, ونماذج أكبر) عبر ثلاث فئات من المهام:

الاستدلال المنطقي (Commonsense Reasoning): BoolQ, COPA, WinoGrande.
حل المسائل الرياضية (Math Problem Solving): SVAMP, MAWPS.
التوليد مفتوح النهاية (Open-Ended Generation): إزالة السمية (RealToxicPrompts) والمواءمة (BPO).

النتائج الرئيسية:

الأداء: تفوق AUSteer باستمرار على النماذج المرجعية (SOTA) مثل (ITI, CAA, SADI, STA) في جميع المهام. على سبيل المثال، في LLaMA2-7B-Chat، حقق AUSteer-FFN متوسط دقة بلغ 61.34% في مهام الاستدلال/الرياضيات، متفوقاً على SADI (59.49%) مع توجيه $\le 100$ تنشيط مقابل آلاف التنشيطات في SADI.
جودة التوليد: في التوليد مفتوح النهاية، حسن AUSteer معدلات إزالة السمية بنسبة 2-3% عن SADI، وزاد من معدلات الفوز للسلوكيات المفضلة بشرياً بنسبة 4.5% إلى 8.5%.
القابلية للتوسع: ظل الأسلوب فعالاً في النماذج الأكبر (تصل إلى 70 مليار معلمة) وفي البنى المختلفة (بما في ذلك نماذج MoE المتباعدة).
دراسات الاستئصال (Ablation Studies): أدى حذف تحديد موقع زخم التنشيط أو التوجيه التكيفي إلى انخفاض كبير في الأداء، مما يؤكد ضرورة كلا المكونين.
الكفاءة: تطلب AUSteef عبئاً حسابياً أقل وبصمة تدخل أصغر من النماذج المرجعية، مع أوقات استنتاج مماثلة للنماذج الأصلية.

5. الأهمية والادعاءات

يدعي البحث أن نموذج التدخل التقليدي على مستوى الكتلة محدود بشكل أساسي بسبب عدم تجانس مساحات التنشيط. ومن خلال تفكيك التدخلات إلى مستوى الوحدة الذرية (AU)، يثبت AUSteer أن التوجيه الدقيق والانتقائي أكثر فعالية من التدخلات الواسعة والخشنة.

تكمن الأهمية الجوهرية في مبدأ "التوجيه الأقل، تحقيق الأكثر". فقد أظهر المؤلفون أن:

ليست كل الأبعاد في الكتلة مفيدة؛ فالكثير منها محايد أو ضار.
تحديد وتوجيه الوحدات الذرية الأكثر تمييزاً فقط (باستخدام زخم التنشيط) يحقق دقة أعلى.
التوسع التكيفي بناءً على المدخلات وأهمية الوحدة الذرية يمنع تشويه الإشارات المفيدة.

يوفر العمل تبريراً نظرياً لسبب تفوق التدخلات المستهدفة على التدخلات الشاملة، ويقدم إطار عمل عملياً خالياً من التدريب يقلل بشكل كبير من العبء الحسابي وبصمة التدخل المطلوبة للتحكم في سلوكيات النماذج اللغوية الكبيرة.