Prompt-Activation Duality: Improving Activation Steering via Attention-Level Interventions

ملخص تقني: ثنائية التنشيط والتحفيز (Prompt–Activation Duality)

المشماكلة: تلوث ذاكرة الـ KV-cache في التوجيه متعدد الدورات
أثبت توجيه التنشيط (Activation steering)، وهو تقنية تعمل على حقن اتجاهات سلوكية في التمثيلات الداخلية للنموذج اللغوي أثناء الاستدلال، فاعليته في عمليات التوليد أحادية الدور. ومع ذلك، تحدد هذه الورقة نمط فشل حرج عند تطبيقه على الحوارات متعددة الدورات ذات الحالة المستمرة (stateful): تلوث ذاكرة الـ KV-cache.

يقوم التوجيه القياسي عبر المجرى المتبقي (residual-stream steering) بإضافة متجه اضطراب ثابت إلى الحالات الخفية للنموذج عند كل خطوة فك تشفير. وفي عملية التوليد ذاتية الانحدار (autoregressive generation)، تُخزن هذه الحالات الموجهة في ذاكرة المفتاح والقيمة (KV cache) ويُعاد استخدامها بواسطة طبقات الانتباه اللاحقة. توضح الورقة أن هذا يخلق تأثيراً تراكمياً للتدهور: حيث تُكتب اضطرابات التوجيه المحلية بشكل متكرر في الذاكرة المخبأة ويتم الانتباه إليها من قبل الرموز (tokens) المستقبلية. وعلى مدار دورات متعددة، يؤدي هذا إلى انهيار حاد في التماسك (مثل التكرار، أو عدم الترابط، أو المحتوى الخارج عن الموضوع)، حتى عندما يكون التعبير عن السمة الأولية قوياً. وتجادل الورقة بأنه بينما يظل التحكم القائم على التحفيز (prompt-based control) مستقراً لأنه يتبع المسارات التي تدرب النموذج على دمجها، فإن الحقن المباشر في المجرى المتبقي يتجاوز هذه المسارات، مما يتسبب في فقدان النموذج للقدرة على توليد نص متماسك عبر آفاق زمنية طويلة.

المنهجية: آلية "دلتا الانتباه المقطوع والمبواب" (GCAD)
لمعالجة ذلك، يقترح المؤلفون آلية Gated Cropped Attention-Delta (GCAD)، وهي تدخل في وقت الاستدلال ينقل إشارة التوجيه من المجرى المتبقي إلى آلية الانتباه. تعتمد الطريقة على تفكيك متجه الشخصية (persona vector)، والذي يكشف أن إشارة التوجيه هي مزيج من إشارات السمات التي يتوسطها التحفيز (prompt-mediated) وضجيج يعتمد على الاستجابة. تقوم GCAD بعزل إشارة السمة من خلال ثلاثة مبادئ تصميمية محددة:

1. استخراج مستوى الانتباه (P1): بدلاً من استخراج اتجاهات التوجيه من مخرجات المجرى المتبقي لما بعد طبقة MLP، تقوم GCAD باستخراجها من مخرجات الانتباه الذاتي (self-attention output). ويفترض المؤلفون أن مسار الانتباه هو القناة الرئيسية التي تؤثر من خلالها المطالبات النظامية (system prompts) على التوليد، مما يجعلها حاملاً أكثر دقة لإشارات السمات مقارنة بمسار MLP.
2. الإشارة المقطوعة (P2): يقوم الانتباه القياسي بجمع المساهمات من جميع رموز المصدر (المطالبة النظامية + مدخل المستخدم + الرموز المولدة سابقاً). تقوم GCAD بـ "قطع" (crop) هذا الجمع أثناء الاستخراج ليشمل فقط مواضع رموز المطالبة النظامية. ومن خلال استبعاد المساهمات من رموز الاستجابة المولدة، تمنع الطريقة إشارة التوجيه من التلوث بالحقائق التي تحاول التحكم فيها، مما يتجنب تراكم الحالات المضطربة في ذاكرة الـ KV cache.
3. البوابات على مستوى الرمز (P3): بدلاً من تطبيق معامل توجيه ثابت على كل رمز، تستخدم GCAD بوابة تعتمد على الرمز. تحسب هذه البوابة مدى التوافق بين استعلام (query) الرمز الحالي ومتوسط مفتاح (key) المطالبة النظامية. يتم تركيز التوجيه على الرموز ذات التوافق العالي مع المطالبة (حيث يحتاج النموذج طبيعياً إلى التوجيه) وتخفيفه على الرموز التي تتوافق بالفعل مع الشخصية. وهذا يحاكي نمط الإسقاط المتناثر الملاحظ في التحفيز الطبيعي، حيث تحمل رموز دلالية محددة فقط إشارة السمة، بدلاً من إزاحة جميع التمثيلات بشكل موحد.

المساهمات الرئيسية

• تحديد نمط الفشل: عزلت الورقة تلوث ذاكرة الـ KV-cache كسبب رئيسي لتدهور التماسك في توجيه التنشيط متعدد الدورات، مفرقة بينه وبين مجرد قيود طول السياق.
• إطار عمل GCAD: تقديم طريقة توجيه تعمل عند مستوى الانتباه، وتقطع الإشارات لتقتصر على المطالبة النظامية، وتطبق بوابات على مستوى الرمز.
• التحقق التجريبي: تجارب مكثفة على 15 سمة شخصية (بما في ذلك السمات المتوافقة مع RLHF، والمعارضة لـ RLHF، والمحايدة) عبر نماذج Qwen2.5-7B و Llama-3.1-8B.

النتائج
أظهرت التجارب على اختبار مرجعي لحوار مكون من 10 دورات أن GCAD تتفوق بشكل كبير على توجيه المجرى المتبتي القياسي:

• الحفاظ على التماسك: في متوسط الـ 15 سمة، قللت GCAD من انحراف التماسك (التغير من الدور 1 إلى الدور 10) من −18.6 (التوجيه القياسي) إلى −1.9. وفي المقابل، غالباً ما يتسبب التوجيه القياسي في هبوط درجات التماسك إلى ما يقرب من الصفر بحلول الدور 5 أو 10 لسمات مثل "غير مهذب" أو "فكاهي".
• استقرار السمة: تحافظ GCAD على التعبير عن السمة أو تحسنه عبر الآفاق الطويلة. حيث ارتفع التعبير عن السمة في الدور العاشر من 78.0 (القياسي) إلى 93.1 (GCAD)، مع ارتفاع متوسط درجة التعبير عن السمة من 81.5 إلى 91.8.
• دراسات الاستئصال (Ablation Studies): أدى حذف أي من مكوني القطع (P2) أو البوابات (P3) إلى عودة تدهور التماسك أو عدم استقرار التعبير عن السمة، مما يؤكد ضرورة كلا الآليتين لمنع التراكم المعتمد على الاستجابة ولمطابقة التناثر في التحفيز الطبيعي.

الأهمية
تدعي الورقة أن توجيه التنشيط يصبح أكثر موثوقية عندما تتبع التدخلات المسارات الحسابية التي يتوسطها التحفيز والتي يستخدمها النماذج بالفعل للتحكم في السلوك. ومن خلال مواءمة موقع التدخل (مخرج الانتباه) ومصدر الإشارة (مساهمات المطالبة النظامية) مع المعالجة الأصلية للنموذج للتعليمات، تحقق GCAD "ثنائية التحفيز والتنشيد". يسم_ح هذا النهج بالتحكم الدقيق في سلوك النموذج دون التضحية بالتماسك طويل الأمد المطلوب لتطبيقات الحوار العملي متعدد الدورات. ويشير العمل إلى أن هندسة التمثيل المستقبلية يجب أن تعطي الأولوية للتدخلات التي تحترم الحالة ذاتية الانحدار والمسارات المحددة التي تؤثر من خلالها المطالبات على التوليد.