🤖 machine learning

Activation Steering for Synthetic Data Generation: The Role of Diversity in Downstream Safety Detection

تُثبت هذه الورقة أنه بينما يمكن لتوجيه التنشيط (Activation Steering) توليد بيانات اصطناعية فعالة لتحسين كشف السلامة في المهام اللاحقة، إلا أن فائدته تظل مقيدة بنطاق ضيق حيث يجب موازنة قوة التوجيه بعناية للحفاظ على تنوع الاستجابة جنباً إلى جنب مع اتساق المفهوم والتماسك.

المؤلفون الأصليون: Vijeta Deshpande, Tootiya Giyahchi, Veena Padmanabhan, Leman Akoglu, Anna Rumshisky

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Vijeta Deshpande, Tootiya Giyahchi, Veena Padmanabhan, Leman Akoglu, Anna Rumshisky

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم حارس أمن (كاشف سلامة) كيفية رصد نوع معين من السلوك السيئ، مثل غش طالب في اختبار. المشكلة هي أنه في مدرسة جيدة السلوك، يكون الغش نادرًا جدًا لدرجة أن الحارس لا يراه أبدًا ولا يمكنه تعلم ما يبحث عنه. أنت بحاجة إلى أمثلة على الغش لتدريب الحارس، لكن لا يمكنك مجرد الانتظار حتى يحدث ذلك بشكل طبيعي.

تستكشف هذه الورقة حيلة ذكية تسمى "توجيه التنشيط" (Activation Steering) لإنشاء تلك الأمثلة "الخائنة" اصطناعيًا حتى يتمكن الحارس من التعلم.

إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:

1. المشكلة: معضلة "الجريمة النادرة"

تحتاج نماذج السلامة (الحراس) إلى رؤية أمثلة لأشياء سيئة (مثل السمية، أو الكذب، أو التملق) لتتعلم كيفية كشفها. ولكن نظرًا لأننا دربنا الذكاء الاصطناي ليكون مهذبًا وصادقًا، فإن الأمثلة السيئة نادرة للغاية. الأمر يشبه محاولة تدريب كاشف لأسماك القرش في مسبح تم تنقيته لإزالة جميع أسماك القرش. أنت بحاجة إلى تصنيع بعض أسماك القرش المزيفة لتدريب الكاشف، ولكن يجب أن تبدو حقيقية بما يكفي لتكون مفيدة.

2. الأداة: "توجيه التنشيط" (جهاز التحكم عن بعد)

بدلاً من محاولة خداع الذكاء الاصطناعي بطلب مخادع (مثل طلب "تقمص دور شرير")، يستخدم الباحثون "توجيه التنشيط".

التشبيه: تخيل أن عقل الذكاء الاصطناعي هو أوركسترا ضخمة. عادةً، يقوم المايسترو (المطالب/Prompt) بإخبار الموسيقيين بما يجب عزفه. "توجيه التنشيط" يشبه فنيًا يقوم سرًا بتمرير مغناطيس صغير تحت منصة المايسترو. هذا المغناطيس لا يغير النوتة الموسيقية؛ بل يكتفي بدفع الآلات قليلًا لتخرج عن النغمة لتلعب نوتة "شريرة" محددة.
الهدف: استخدام هذه الدفعة لإجبار الذكاء الاصطناعي على توليد أمثلة لسلوك سيئ (مثل الكذب أو الفظاظة) حتى نتمكن من جمعها وتدريب كاشف السلامة الخاص بنا.

3. الاكتشاف: "منطقة غولديلوكسز" (المنطقة المثالية)

وجد الباحثون أن رفع قوة "الدفعة" (قوة التوجيه) عاليًا جدًا يخلق مشكلة جديدة. لقد اكتشفوا ثلاثة أشياء يجب موازنتها، مثل كرسي ذي ثلاثة أرجل:

النجاح (عامل "الشرير"): هل يتصرف الذكاء الاصطناعي حقًا مثل الشخصية السيئة التي نريدها؟ (نعم، إذا دفعت بقوة كافية).
التماسك (عامل "القصة"): هل لا يزال الذكاء الاصطناعي منطقيًا، أم يبدأ في الهذيان؟ (لا، إذا دفعت بقوة كبيرة، تنهار القصة).
التنوع (عامل "التنوع"): هذا هو أكبر اكتشاف جديد للورقة. إذا دفعت الذكاء الاصطناعي بقوة كبيرة، فإنه يتوقف عن كونه مبدعًا. يبدأ في تكرار نفس الجمل القليلة مرارًا وتكرارًا، مثل الأسطوانة المشروخة.
- التشبيه: إذا طلبت من كاتب أن يكتب "قصة مخيفة"، وضغطت عليه كثيرًا، فقد يكتب 100 قصة تقول جميعها: "الوحش هنا. الوحش هنا. الوحش هنا". إنها مخيفة (نجاح)، وهي جمل (تماسك)، لكنها جميعًا متشابهة (تنوع منخفض).

النتيجة: وجد الباحثون أن الدفعات الأقوى تجعل الذكاء الاصطناٍ أقل تنوعًا. يصبح مثل "لاعب يعزف لحنًا واحدًا فقط".

4. التحول المفاجئ: الأصغر هو الأفضل أحيانًا

عادةً، في مجال الذكاء الاصطناعي، تكون النماذج الأكبر أكثر ذكاءً. لكن هنا، وجد الباحثون أن النموذج الأصغر (7 مليار معلمة - 7B parameters) كان في الواقع أفضل في توليد هذه "الأمثلة السيئة" من النموذج الأكبر (32 مليار معلمة - 32B parameters).

التشبيه: فكر في النموذج الكبير كجنرال عسكري مدرب بدقة وصارم. عندما تعطيه دفعة ليكون "سيئًا"، يصاب بالارتباك وينهار. أما النموذج الأصغر فهو مثل فنان شارع بارع؛ فهو أكثر مرونة ويمكنه التكيف مع الدور "السيئ" دون أن يفقد توازنه.

5. الحل: وصفة "المتوسط التوافقي"

اختبر الباحثون هذه الأمثلة المولدة عن طريق تدريب كاشف سلامة عليها. ووجدوا أن:

إذا كانت الأمثلة "سيئة" فقط (نجاح عالٍ) ولكنها متكررة (تنوع منخفض)، فإن كاشف السلامة لم يتعلم جيدًا.
إذا كانت الأمثلة "سيئة"، ومنطقية، ومتنوعة، فإن كاشف السلامة أصبح ممتازًا.

الخلاصة العملية:
للحصول على أفضل بيانات تدريب، لا ينبغي أن تبحث فقط عن "مدى سوء المخرجات؟". أنت بحاجة إلى وصفة توازن بين النجاح + التماسك + التنوع.
يقترح المؤلفون صيغة رياضية بسيطة ("المتوسط التوافقي") تجمع بين هذه الدرجات الثلاث. إذا كانت هذه الدرجة المشتركة عالية، فأنت تعلم أنك وجدت "منطقة غولديلوكسز" حيث يؤدي الذكاء الاصطناعي دوره، ويحافظ على المنطق، ويظل ممتعًا ومبتكرًا.

الملخص

تقول الورقة: توجيه التنشيط هو أداة قوية لإنشاء بيانات "سلوك سيئ" مزيفة لتدريب حراس السلامة، ولكن فقط إذا لم تضغط بقوة كبيرة. إذا ضغطت بقوة، يصبح الذكاء الاصطناعي متكررًا ومملًا. النقطة المثالية هي دفعة معتدلة تحافظ على تنوع وتماسك الذكاء الاصطناعي. ومن المثير للاهتمام أن نموذج الذكاء الاصطناضي الأصغر والأكثر مرونة غالبًا ما يؤدي هذه المهمة بشكل أفضل من النماذج الضخمة.

ملخص تقني: توجيه التنشيط لتوليد البيانات الاصطناعية

بيان المشكلة
تتطلب نماذج اكتشاف السلامة للنماذج اللغوية الكبيرة (LLMs) أمثلة متنوعة وعالية الجودة للمخرجات التي تنتهك مبادئ المساعدة، وعدم الضرر، والأمانة (HHH) لتعميم فعال. ومع ذلك، مع خضوع النماذج لمواءمة السلامة عبر الضبط الدقيق الخاضع للإشراف (SFT) والتعلم المعزز من التغذية الراجعة البشرية (RLHF)، تصبح الحالات التي تنتهك مبادئ (HHH) طبيعيًا نادرة إحصائيًا. يخلق هذا الاختلال في التوازن عائقًا أمام تدريب الجيل القادم من مصنفات السلامة. وبينما يوجد كسر الحماية (jailbreaking) واختبار الاختراق (red-teaming) لتخليق مثل هذه البيانات، إلا أنها تعمل في فضاء الرموز (tokens) المنفصل ولا تستفيد من المعرفة الغنية المشفرة في الحالات الخفية عالية الأبعاد للنموذج. يوفر "توجيه التنشيط" (Activation Steering - AS) بديلًا فعالًا للبيانات عبر دفع التوليدات نحو مفاهيم مستهدفة من خلال إضافة ناقلات توجيه إلى الحالات الخفية. السؤال المركزي الذي يتم تناوله هو ما إذا كان بإمكان (AS) توليد مجموعات بيانات تدريب عالية الجودة لمصنفات السلامة اللاحقة، وهي قدرة لم تُختبر في الأدبيات السابقة.

المنهجية
يقدم المؤلفون دراسة ثنائية الأوجه تتضمن تقييمات ذاتية وخارجية عبر أربعة مفاهيم تنتهك (HHH): عدم الأمانة (RAGTruth)، السمية (RealToxicityPrompts)، الهلوسة، والتملق (CAAData).

الإعداد التجريبي:
- النماذج: OLMo-2-7B و OLMo-2-32B.
- طرق التوجيه: الإضافة التباينية للتنشيط (CAA)، و (Normalized CAA)، وآلات الميزات المتكررة (RFM)، والانحدار اللوجستي.
- الاستراتيجيات: تم استقصاء كل من التوجيه لجميع الطبقات وتوجيه الطبقة الواحدة، مع التركيز على توجيه جميع الطبقات.
- توليد البيانات: تم تقدير ناقلات التوجيه من 128 زوجًا تباينيًا لكل مفهوم. طُبقت هذه الناقلات عبر الإضافة الموزونة ( $h \leftarrow h + \lambda v$ ) لتوليد استجابات بطول 256 رمزًا (token).
- محاور التقييم:
  - التقييم الذاتي (Intrinsic): نجاح التوجيه (باستخدام LLM-as-a-Judge)، التماسك (نموذج مكافأة ArmoRM)، تنوع العينات (MTLD-MB)، وتنوع المجموعة (نسبة الضغط، وتنوع n-gram)، وطول الاستجابة.
  - التقييم الخارجي (Extrinsic): المنفعة اللاحقة المقاسة عبر ضبط مصنف سلامة Mistral-7B على البيانات الموجهة (استبدال أمثلة HHH الأصلية)، وتقييم (AUROC) الخاص به على مجموعات اختبار محجوزة.
الخيارات التصميمية: استقصت الدراسة بشكل منهجي تغيير مقياس التوجيه ( $\lambda$ )، وحجم النموذج، وطريقة التوجيه لتحليل تأثيرها على المقايضات بين المواءمة، والتماسك، والتنوع.

المساهمات الرئيسية

إطار تقييم صارم: يقدم البحث مقاييس تنوع العينة والمجموعة كأمحور حيوية للجودة كانت غائبة سابقًا عن أدبيات (AS)، جنبًا إلى جنب مع أفق توليد أطول (256 رمزًا) واختبار المنفعة المباشرة اللاحقة.
التنوع كمحور حرج: تحدد الدراسة أن زيادة قوة التوجيه تقلل باستمرار من تنوع الاستجابة، وهي ظاهرة تم التغافل عنها سابقًا في سياق (AS).
مؤشر عملي للممارسين: يقترح المؤلفون المتوسط التوافقي للنجاح، والتماسك، والتنوع كهدف استرشادي عملي لضبط المعلمات الفائقة (hyperparameters) لـ (AS)، حيث يرتبط بشكل أكثر اتساقًا مع الأداء اللاحق مقارنة بالنجاح أو التماسك وحدهما.

النتائج

النتائج الذاتية:
- انهيار التنوع: تؤدي زيادة قوة التوجيه ( $\lambda$ ) بشكل رتيب إلى تقليل تنوع العينات والمجموعات. ويعد تدهور تنوع المجموعة شديد الخطورة (ارتباطات تصل إلى -0.93).
- حجم النموذج: خلافًا للافتراضات بأن النماذج الأكبر تعطي توجيهًا أفضل، قدم نموذج OLMo-7B الأصغر نتائج توجيه أفضل باستمرار (نجاح، تماسك، وتنوع أعلى) من نموذج OLMo-32B في معظم التكوينات.
- المقايضات: التوجيه الأقوى يحسن المواءمة (النجاح) ولكنه يضعف التماسك والتنوع.
النتائج الخارجية:
- المنفعة اللاحقة: أنتجت البيانات المولدة عبر (AS) مصنفات سلامة أفضل من البيانات المولدة عبر التلقين (prompting) في 3 من أصل 4 مفاهيم (عدم الأمانة، التملق، الهلوسة). ومع ذلك، لم يكن الأداء اللاحضي العالي متكررًا، حيث حدث في حوالي 26% فقط من عمليات التشغيل.
- النطاق الضيق: تتطلب المنفعة اللاحية الناجحة توازنًا دقيقًا حيث يتم تحقيق النجاح، والتماسك، والتنوع معًا.
- المؤشر التنبئي: ارتبط المتوسط التوافقي للمحاور الثلاثة الذاتية (النجاح، التماسك، التنوع) إيجابيًا بـ (AUROC) اللاحق عبر مجموعات البيانات والطرق. كان هذا الارتباط أقوى وأكثر اتساقًا من استخدام النجاح أو التماسك بمفردهما، مما وفر إشارة تحقق موثوقة عند وقت التحقق للممارسين.

الأهمية والادعاءات
يدعي البحث أنه الأول الذي يقيم توجيه التنشيط باستخدام مقاييس مستوى المجموعة وأداء المصنف اللاحق. تكمن أهميته الأساسية في إثبات أن (AS) هو طريقة قابلة للتطبيق لتخليق بيانات تدريب للفئات النادرة لكتشاف السلامة، بشرط أن يأخذ الممارسون في الاعتبار انهيار التنوع.

يؤكد المؤلفون أن فائدة (AS) تكمن في "نطاق ضيق" حيث يتم ضبط قوة التوجيه لتحقيق النجاح، والتماسك، والتنوع في آن واحد. ويجادلون بأن المتوسط التوافقي لهذه المقايض الثلاثة يعمل كمؤشر عملي ومنخفض التكلفة لاستبدال عمليات مسح المعلمات الفائقة المكلفة. وتخلص الدراسة إلى أنه بينما يمتلك (AS) إمكانات لتحسين اكتشاف السلامة، فإن فعاليته حساسة للغاية للتكوين، وأن النموذج الأصغر (7B) غالبًا ما يتفوق على النسخة الأكبر (32B) في هذه المهمة المحددة لتوليد البيانات الاصطناعية. ويشير المؤلفون بتواضع إلى قيود تتعلق بنطاق المعلمات الفائقة المثبتة، وعائلة النماذج المحددة المستخدمة (OLMo)، واحتمالية وجود تحيز للطول في مقاييس التنوع.