📊 statistics

Painless Activation Steering: An Automated, Lightweight Approach for Post-Training Large Language Models

تقدم هذه الورقة البحثية "توجيه التنشيط غير المؤلم" (Painless Activation Steering - PAS)، وهو أسلوب مؤتمت بالكامل وخفيف الوزن يقوم ببناء ناقلات التنشيط من مجموعات البيانات المصنفة دون تدخل بشري لتوجيه النماذج اللغوية الكبيرة بفعالية نحو السلوكيات المرغوبة، متفوقاً على التقنيات الحالية في القدرة على التحكم والكفاءة مع إظهار فعالية محددة للمهام الموجهة نحو السلوك.

المؤلفون الأصليون: Sasha Cui, Zhongren Chen

نُشر 2026-05-18✓ Author reviewed ⓘ

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sasha Cui, Zhongren Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتاً ذكياً جداً ومطلعاً (نموذج لغوي كبير) قد تعلم بالفعل الكثير من الإنترنت. أحياناً، ترغب في تعديل شخصيته أو طريقة إجابته على أنواع معينة من الأسئلة دون الحاجة إلى إعادة بناء دماغه بالكامل من الصفر.

تقدم هذه الورقة البحثية طريقة تسمى التوجيه التنشيطي غير المؤلم (Painless Activation Steering - PAS). فكر في الأمر كأنه "جهاز تحكم عن بعد" أو "مقبض تحكم في مستوى الصوت" لأفكار الروبوت الداخلية، بدلاً من إجراء جراحة ثقيلة لتغيير دماغه.

إليك تفصيل لكيفية عملها، باستخدام تشبيهات بسيطة:

1. المشكلة: الطرق القديمة كانت صعبة للغاية

في السابق، إذا أردت تغيير سلوك الروبوت، كان أمامك خياران رئيسيان:

"جراحة الدماغ" (تحديث الأوزان - Weight Updates): تقوم بإعادة تدريب الروبوت على بيانات جديدة. هذا يشبه إرسال الروبوت للعودة إلى المدرسة لسنوات. إنه أمر مكلف، ويستغرق وقتاً طويلاً، ولا يمكنك التراجع عنه بسهولة إذا لم تعجبك النتائج.
"البرمجة النصية" (هندسة الأوامر - Prompt Engineering): تحاول خداع الروبوت عبر كتابة تعليمات محددة جداً في الدردشة. هذا يشبه محاولة جعل كلب عنيد يجلس عبر الصراخ بأوامر محددة. ينجح الأمر أحياناً، لكن الروبوت غالباً ما يتجاهلك أو يصاب بالارتباك.

كانت هناك فكرة ثالثة تسمى "التوجيه التنشيطي" (Activation Steering)، وهي تشبه توجيه دفة أفكار الروبوت الداخلية بلطف أثناء تفكيره. لكن النسخ القديمة من هذه الطريقة كانت تعتمد على البشر. كان عليك توظيف أشخاص لكتابة أمثلة "جيدة" و"سيئة" مثالية ليتعلم منها الروبوت، وهو أمر بطيء وممل.

2. الحل: جهاز التحكم عن بعد "ذاتي التصحيح"

ابتكر المؤلفون تقنية PAS، وهي مؤتمتة بالكامل. لا تحتاج إلى بشر لكتابة الأوامر. بدلاً من ذلك، تستخدم الأخطاء الخاصة بالروبوت لتعليمه نفسه.

التشبيه: الطالب الذي يراجع واجباته المدرسية
تخيل طالباً يؤدي اختباراً تجريبياً.

الخطأ: الطالب يخطئ في سؤال ما.
الدرس: بدلاً من مجرد الانتقال للسؤال التالي، ينظر الطالب إلى الإجابة الخاطئة التي اختارها ويقارنها بالإجابة الصحيحة.
الدفعة (النغزة): ينشئ الطالب "دفعة ذهنية" ليتذكر: "في المرة القادمة، لا تختر الإجابة الخاطئة؛ بل اختر الإجابة الصحيحة".

كيف تفعل PAS ذلك:

تقوم بتشغيل الروبوت على مجموعة من الأسئلة.
تفصل الأسئلة التي أجاب عليها الروبوت بشكل صحيح عن تلك التي أجاب عليها بشكل خاطئ.
تحسب الفرق في "نشاط دماغ" الروبوت (التنشيطات العصبية) بين الإجابات الصحيحة والإجابات الخاطئة.
تنشئ متجه توجيه (نغزة رياضية) صغيراً وغير مرئي بناءً على ذلك الفرق.
عندما يجيب الروبوت على سؤال جديد لاحقاً، يتم حقن هذه النغزة في دماغه لدفعه نحو السلوك "الصحيح".

3. ما تفعله (وما لا تفعله) فعلياً

اختبر المؤلفون هذه الطريقة على ثلاثة روبوتات و18 مهمة مختلفة. إليك النتائج:

هي رائعة لـ "السلوك" (الشخصية):
إذا كنت تريد أن يكون الروبوت أقل انحيازاً، أو أكثر أخلاقية، أو أقل "تملقاً" (أي مجرد الموافقة عليك لتكون لطيفاً)، فإن PAS تعمل ببراعة.
- التشبيه: إنها تشبه وضع مرشح (فلتر) على الكاميرا يجعل الألوان أكثر حيوية. لقد غيرت "انحياز" الروبوت بنسبة 10% تقريباً و"توافق" (Alignment) (مدى التزامه بقواعد السلامة) بنسبة تقرب من 35%.
- النسخة "الاستبطانية" (Introspective): النسخة الأفضل (وتسمى iPAS) هي التي تنظر فقط إلى أخطاء الروبوت. إنها تشبه طالباً يدرس فقط الأسئلة التي أخطأ فيها؛ وقد كان هذا هو الأفضل أداءً.
هي سيئة لـ "الذكاء" (قدرات الدماغ):
إذا كنت تريد جعل الروبوت أفضل في الرياضيات، أو الألغاز المنطقية، أو الاستنتاج المعقد، فإن PAS لا تساعد.
- التشبيه: لا يمكنك جعل الآلة الحاسبة أسرع أو أذكى بمجرد الضغط على أزرارها. إذا كان الروبوت لا يعرف الإجابة على لغز منطقي صعب، فإن توجيه أفكاره الداخلية لن يمنحه سحرياً المعرفة التي يفتقر إليها.

4. لماذا يعد هذا أمراً هاماً؟

رخيصة وسريعة: تستغرق العملية برمتها حوالي 100 ثانية. إنها مثل ضغطة زر مقارنة بالأيام التي يستغرقها إعادة تدريب النموذج.
صغيرة جداً: "النغزة" (متجه التوجيه) صغيرة للغاية (أقل من 10 كيلوبايت). يمكنك تخزين الآلاف منها على هاتف، بينما الروبوت المعاد تدريبه بالكامل يكون ضخماً (جيجابايت).
قابلة للعكس: يمكنك تشغيل النغزة وإيقافها فوراً. إذا كنت تريد الروبوت أن يكون "أخلاقياً" أثناء الدردشة، فتشغل النغمة. إذا كنت تريده أن يكون "محايداً" أثناء مهمة برمجة، فتوقف عنها.
تعمل فوق أشياء أخرى: يمكنك استخدام هذه النغمة حتى لو كان الروبوت قد تم تدريبه بالفعل (SFT) أو يستخدم "التعلم داخل السياق" (القراءة من الأمثلة في الدردشة). فهي تضيف طبقة إضافية من التحسين فوق تلك الأساليب.

5. العقبة (الجانب السلبي)

تحذر الورقة البحثية من أنه إذا دفعت "النغزة" بقوة كبيرة (قوة مفرطة)، فقد يبدأ الروبوت في نسيان أشياء أخرى أو ارتكاب أخطاء غريبة. ولكن إذا حافظت على قوة النغزة معتدلة (حوالي إعداد 1)، فإنها تعمل بشكل جيد دون التسبب في "النسيان الكارثي" (فقدان مهاراته الأخرى).

باختصار:
PAS هي أداة خفيفة الوزن ومؤتمتة تسمح لك بتعديل شخصية الروبوت وعادات السلامة لديه من خلال تعليمه من أخطائه الخاصة. إنها تشبه إعطاء الروبوت نظارات تساعده على رؤية المسار الأخلاقي أو الاجتماعي "الصحيح"، لكنها لن تساعده على تعلم حقائق جديدة أو حل مسائل رياضية أصعب.

ملخص تقني: التوجيه غير المؤلم للتنشيط (PAS)

بيان المشكلة

تعتمد الطرق الحالية لتعديل سلوكيات النماذج اللغوية الكبيرة (LMs) بعد مرحلة التدريب على التحديثات القائمة على الأوزان (مثل التعلم التعزيزي، أو الضبط الدقيق الخاضع للإشراف) أو الهندسة القائمة على المطالبات (مثل التعلم في السياق). وتعد الطرق القائمة على الأوزان مكلفة حوسبياً وبطيئة، بينما يمكن أن تكون الطرق القائمة على المطالبات هشة وصعبة التحكم.

يوفر "توجيه التنشيط" (Activation Steering - AS) بديلاً خفيف الوزن أثناء الاستدلال عبر حقن متجهات توجيه في تنشيطات العصبونات الداخلية. ومع ذلك، تعاني أساليب توجيه التنشيط الحالية من قيود كبيرة في القابلية للتوسع والأتمتة؛ فهي تتطلب عادةً:

تدخلاً بشرياً: بناء يدوي لأزواج المطالبات الإيجابية والسلبية أو تسمية مجهدة للميزات المتفرقة (مثل استخدام المشفرات التلقائية المتفرقة - Sparse Autoencoders).
نقص القدرة على التكيف: أزواج المطالبات الثابتة لا يمكنها التكيف مع نقاط الضعف الفريدة لكل نموذج.
عدم العملية: الاعتماد على البيانات المصنوعة يدوياً يقيد توجيه التنشيط في سيناريوهات محدودة، مما يمنع تطبيقه على أي مجموعة بيانات مصنفة عشوائياً.

يتساءل البحث عما إذا كان هناك أسلوب لتوجيه التنشيط يكون مستقلاً عن البشر ومتكيفاً مع أي نموذج وأي مجموعة واسعة من المهام المصنفة.

المنهجية: التوجيه غير المؤلم للتنشيط (PAS)

يقدم المؤلفون التوجيه غير المؤلم للتنشيط (PAS)، وهو عائلة كاملة مؤتمتة من الأساليب التي تحول أي مجموعة بيانات مصنفة إلى متجهات توجيه دون الحاجة لبناء مطالبات، أو تسمية ميزات، أو تدخل بشري.

خط الإنتاج الأساسي

يعمل خط إنتاج PAS كما يلي:

تقسيم البيانات: يتم تشغيل النموذج الخام ( $M$ ) على الجزء التدريبي من مجموعة البيانات. تُقسم المهام تلقائياً إلى مجموعات "أجابت بشكل صحيح" و"أجابت بشكل خاطئ" بناءً على أداء النموذج.
بناء المطالبات: بدلاً من المطالبات اليدوية، يبني الأسلوب مجموعات مطالبات إيجابية ( $P^+$ $P^{+}$ ) وسلبية ( $P^-$ $P^{-}$ ) تلقائياً من مخرجات النموذج نفسه:
- PAS-Full MCQ: يستخدم أسئلة الاختيار من متعدد كاملة حيث تشكل الإجابات الصحيحة $P^+$ والإجابات الخاطئة $P^-$ .
- التوجيه الاستبطاني (iPAS): يصمم المطالبات لتناسب نقاط ضعف النموذج المحددة.
  - iPAS-All: يستخدم الإجابة التي اختارها النموذج للمهام الصحيحة كـ $P^+$ والمهام الخاطئة كـ $P^-$ .
  - iPAS-Wrong-Only (iPA-wo): يقتصر على المهام التي تمت الإجابة عليها بشكل خاطئ. تستخدم $P^+$ الإجابة الصحيحة (الحقيقية)، وتستخدم $P^-$ اختيار النموذج الخاطئ. هذا يجبر النموذج على التعلم من أخطائه المحددة.
بناء المتجه: يتم حساب متجه التوجيه $a^*$ كمتوسط فرق التنشيط بين $P^+$ و $P^-$ عند طبقة مختارة $\ell$ وموقع مستهدف $st$ (مثل المجرى المتبقي - residual stream).
الاستدلال: أثناء الاستدلال، يتم حقن المتجه في تنشيطات النموذج: $a^\ell(st) \leftarrow a^\ell(st) + \lambda \cdot a^*$ ، حيث $\lambda$ هي قوة التوجيه.

الخيارات التقنية الرئيسية

الأتمتة: عملية PAS بأكملها، من تقسيم البيانات إلى استخراج المتجهات، مؤتمتة بالكامل، مما يلغي الحاجة لنماذج لغوية خارجية أو مُسمّين بشريين.
المعلمات الفائقة (Hyperparameters): يبحث الأسلوب عن الطبقات المثلى للتدخل وقوى التوجح في مجموعة تقسيم التحقق.
التوصيات الافتراضية: يوصي المؤلفون بحقن المتجهات في الطبقات الوسطى من المحول (على سبيل المثال، الطبقة 14 في نموذج مكون من 32 طبقة) واستخدام المجرى المتبقي (residual stream) كهدف. وقد وُجد أن قوة التوجيه المتوسطة ( $\lambda \approx 1$ ) هي المثلى.

المساهمات الرئيسية

خط إنتاج مؤتمت بالكامل: يلغي PAS الحاجة لوجود العنصر البشري في بناء متجهات التوجيه، مما يجعل توجيه التنشيط قابلاً للتوسع لأي مجموعة بيانات مصنفة.
النسخ الاستبطانية: تقديم نسخ iPAS، وخاصة iPASwo، التي تستفيد من أخطاء النموذج نفسه لبناء متجهات التوجيه، بشكل مشابه للتعلم القائم على الخطأ في مجالات الاستدلال والرؤية.
التوصيف المنهجي: تقدم الورقة تقييماً شاملاً لتوجيه التنشيط عبر ثلاثة نماذج مفتوحة الأوزان (Llama3.1-8B-Instruct، وDeepSeek-R1-Distill-8B، وNous-Hermes-2) و18 مهمة متنوعة.

النتائج التجريبية

1. الفعالية في مهام السلوك مقابل مهام الذكاء

مهام السلوك: يحسن PAS بانتظام الأداء في المهام الموجهة نحو السلوك، بما في ذلك الانحياز (10 مهام فرعية)، الأخلاق (3 مهام)، والمواءمة (مهمتان).
- المكاسب: حققت النسخة الاستبطانية (iPAS) أقوى التأثيرات، حيث حسنت الدقة بنسبة 10.1% في الانحياز، و5.2% في الأخلاق، و34.8% في المواءمة.
- المقارنة: تفوقت متغيرات PAS عموماً على خط الأساس CAA (إضافة التنشيط التبايني).
مهام الذكاء: لا يقدم PAS فائدة تذكر أو معدومة في المهام الموجهة نحو الذكاء (OpenBookQA، وARC Challenge، وLSAT) حيث يتم اختبار المعرفة والاستدلال. في بعض الحالات، كانت المكاسب ضئيلة أو غير متسقة عبر النماذج.
- الاستنتاج: PAS فعال للضبط اللاحق للسلوك، لكنه ليس بديلاً للتدريب القائم على الأوزان في المهام كثيفة الاستدلال.

2. المتانة والنسيان الكارثي

النسيان: يتجنب PAS عادةً النسيان الكارثي. في معظم المهام، كان التدهور في الأداء على أبعاد التحكم (مقاساً عبر MMLU) ضئيلاً.
الاستثناءات: لوحظت انخفاضات كبيرة في مهام "المداهنة" (Sycophancy) و"TruthfulQA"، ولكن أظهر تحليل إضافي أن هذه الانخفاضات كانت ناتجة عن قوى التوجيه المفرطة. عندما تم حصر القوة في نطاق متوسط (0–5)، انخفض التأثير الكارثي بشكل كبير.

3. التكامل مع ICL و SFT

ICL (التعلم في السياق): يكمل PAS التعلم في السياق. وبينما لا يتفوق PAS وحده باستمرار على ICL، فإن تطبيق PAS فوق نموذج ICL يحقق مكاسب إضافية (مثلاً، +16.1% إلى +18.1% في المواءمة).
SFT (الضبط الدقيق الخاضع للإشراف): في اختبار TruthfulQA، تفوق PAS على SFT وحده. والجدير بالذكر أن تطبيق PAS على نموذج أساسي حقق أداءً لا يختلف إحصائياً عن تطبيق كل من SFT و PAS معاً، مما يشير إلى أنه بمجرد تطبيق PAS، لا يوفر SFT أي فائدة إضافية لهذه المهمة المحددة.

4. الكفاءة والتخزين

السرعة: يكتمل خط إنتاج PAS بالكامل في حوالي 100 ثانية، مقارنة بساعات أو أيام لعملية التعلم التعزيزي (RL).
التخزين: متجهات التوجيه أكثر كفاءة في التخزين بمقدار 5,000 مرة على الأقل من أوزان النموذج المدربة لاحقاً (مثلاً، أقل من 10 كيلوبايت مقابل ~50 ميجابايت لـ adapter نموذج 7B).

الأهمية والادعاءات

تضع الورقة PAS كصيغة عملية، مستقلة عن البشر، وصديقة للأتمتة لمرحلة ما بعد التدريب. تكمن أهميته في:

دمقرطة التحكم: جعل توجيه التنشيط متاحاً للتخصيص الشخصي غير الموجه للذكاء دون الحاجة لحوسبة مكلفة أو هندسة يدوية.
تحديد الحدود: توثيق أين ينجح (المواءلة السلوكية، تقليل الانحياز) وأين يفشل (الاستدلال، المعرفة الواقعية) توجيه التوجيه المستقبلي بعيداً عن المسارات غير المثمرة.
التكيف النمطي: تقديم آلية خفيفة الوزن وعند الطلب لتوجيه النماذج نحو سلوكيات محددة دون تغيير الأوزان بشكل دائم، مما يسمح للمستخدمين بتخزين وتبديل متجهات توجيه متعددة للتكيف حسب الحالة.

يرى المؤلفون أن PAS ليس بديلاً لجميع طرق ما بعد التدريب، بل هو أساس واعد للتحكم السريع والمرن والنمطي للنماذج اللغوية، خاصة للمهام المتعلقة بالمواءلة السلوكية والسلامة.