💻 computer science

Detecting Safety Training Modification in Language Models via Activation Analysis

تقدم هذه الورقة البحثية AMS، وهي أداة قائمة على التنشيط تكتشف التعديلات التي تطرأ على تدريب سلامة النماذج اللغوية من خلال تحليل البنية الهندسية لمفاهيم السلامة في فضاء التنشيط، حيث نجحت في تصنيف أربعة أنواع متميزة من التعديلات عبر بنيات معمارية متنوعة مع الكشف عن وجود ارتباط بين بصمات التنشيط والامتثال السلوكي.

المؤلفون الأصليون: Glen Messenger

نُشر 2026-08-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Glen Messenger

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن الإنترنت عبارة عن مكتبة ضخمة يمكن لأي شخص استعارة كتب منها، لكن بعض هذه الكتب هي في الواقع أدلة خطيرة حول كيفية صنع القنابل أو خداع الناس. في عالم الذكاء الاصطناعي، تُسمى هذه "الكتب" بالنماذج اللغوية. مؤخرًا، بدأ مجموعة من الأشخاص في أخذ هذه الكتب المفيدة للذكاء الاصطناعي وتعديلها سرًا لإزالة قواعد السلامة، محولين إياها إلى نسخ "غير خاضعة للرقابة" ستجيب على أي سؤال، مهما كان ضارًا. هذا يشبه إلى حد كبير قيام أمين مكتبة باستبدال موسوعة قياسية بنسخة تم فيها تمزيق الصفحات المتعلقة بـ "كيف لا تسرق".

لفهم كيف يمكننا كشف هؤلاء المخربين، نحتاج إلى معرفة كيف "يفكر" الذكاء الاصطناعي قليلاً. عندما يقرأ الذكاء الاصطناعي جملة، فإنه لا يخزن الكلمات فحسب؛ بل يحولها إلى خريطة معقدة من الأرقام تسمى "التنشيطات" (activations). فكر في هذه الخريطة على أنها ساحة لعب متعددة الأبعاد وضخمة. في الذكاء الاصطناعي المهذب والآمن، يوجد مسار واضح وواسع يفصل بين "الأفكار الجيدة" و"الأفكار السيئة". الأمر يشبه وجود سياج متين في ساحة اللعب يبقي الأطفال الذين يلعبون كرة القدم بعيدًا عن الأطفال الذين يلعبون بالنار. السؤال الكبير هو: هل يمكننا النظر إلى تخطيط ساحة اللعب ومعرفة ما إذا كان السياج قد تعرض للعبث، دون أن نضطر إلى جعل الذكاء الاصطناعي يحاول بالفعل إشعال النار في شيء ما؟

هذا بالضبط ما يسعى إليه بحث غلين ميسنر، "الكشف عن تعديل تدريب السلامة في النماذج اللغوية عبر تحليل التنشيط". يقدم المؤلف أداة جديدة تسمى AMS (ماسح النماذج القائم على التنشيط). بدلًا من لعب لعبة "اسأل وأجب" لمعرفة ما إذا كان الذكاء الاصطناعي خطيرًا (وهو أمر بطيء ويمكن خداعه)، يعمل AMS كمهندس إنشائي. فهو يدخل إلى ساحة لعب الذكاء الاصطناعي ويقيس هندسة المساحة. إنه يتحقق مما إذا كانت المسافة بين مناطق "الجيد" و"السيئ" لا تزال واسعة وقوية.

اختبرت الدراسة هذه الأداة على 14 نموذجًا مختلفًا للذكاء الاصطناعي، تتراوح من الصغيرة إلى الكبيرة، ووجدت أن AMS جيد جدًا في رصد متى تم تمزيق سياج السلامة تمامًا. عندما نظر الباحثون في النماذج التي تمت إزالة تدريب السلامة منها بالكامل (مثل النماذج الأساسية أو متغيرات "Dolphin")، انهار "السياج"، وتقلصت المسافة بين الأفكار الجيدة والسيئة إلى لا شيء تقريبًا. صنف AMS هذه النماذج على أنها "حرجة" (CRITICAL) بدقة عالية.

ومع ذلك، يكشف البحث أيضًا أن القصة أكثر تعقيدًا من مجرد "السياج موجود" أو "السون موجود". اكتشف الباحثون أربع طرق مختلفة لتعديل السلامة، ويتعامل AMS معها بشكل مختلف:

الانهيار الكلي: بعض النماذج يتم تجريد تدريب السلامة الخاص بها تمامًا. سياج ساحة اللعب اختفى. AMS يلتقط هذا بسهولة.
السياج المكسور: بعض النماذج يتم فيها جعل قواعد السلامة "متعامدة" (orthogonalized)، وهي طريقة معقدة تعني أن السياج تم تدويره أو لفه بحيث لم يعد يمنع الأشياء السيئة، حتى لو كانت الخطوط لا تزال موجودة. AMS يلتقط هذا أيضًا، خاصة عندما يستخدم فحصًا ثانيًا ليرى ما إذا كان السياج يشير إلى الاتجاه الصحيح.
السياج المدوّر: هنا تكمن الخدعة. بعض النماذج (مثل نسخة معينة من Gemma) تم تدوير سياج السلامة الخاص بها بما يكفي للسماح للأشياء السيئة بالمرور، رغم أن السياج نفسه لا يزال قائمًا ومرتفعًا. الفحص الأول لـ AMS يقول: "مهلًا، السياج لا يزال هناك! إنه آمن!"، لكن الفحص الثاني، الذي ينظر إلى اتجاه السياج، يدرك أنه يشير إلى الاتجاه الخاطئ ويقوم بالتحذير.
الخدعة غير المرئية: يحدد البحث نوعًا رابعًا من التعديلات لا يستطيع AMS رصده. في هذه الحالة، يكون سياج ساحة اللعب لا يزال قائمًا، وهو يشير إلى الاتجاه الصحيح، ولكن تم تدريب الذكاء الاصطناعي سرًا على تجاهل السياج عندما يتحدث فعليًا. إنه يشبه حارسًا يقف ثابتًا تمامًا عند البوابة ولكنه يسمح للجميع بالمرور سرًا على أي حال. يطلق البحث على هذا اسم "الضبط الدقيق السلوكي" (behavioral fine-tuning)، ويعترف بأن AMS يفشل في اكتشافه لأن "هندسة" ساحة اللعب تبدو مثالية، رغم أن الذكاء الاصطناعي خطير.

لقد كان الباحثون حذرين من المبالغة في تقدير نتائجهم. وجدوا أن العلاقة بين "قوة السياج" وكيف يتصرف الذكاء الاصطناعي الخطير هي علاقة حقيقية ولكنها مليئة بالضجيج. الأمر يشبه دوارة الرياح: إذا كانت الدوارة مكسورة، فأنت تعلم أن عاصفة قادمة، ولكن إذا كانت الدوارة تدور، فلا تزال بحاجة إلى النظر للخارج لتتأكد. في اختباراتهم، حددت الأداة حالة السلامة بشكل صحيح بنسبة 71% تقريبًا عند اختبارها على نماذج جديدة.

يخلص البحث إلى أنه بينما يعد AMS أداة سريعة وقوية للفحص الأول — حيث يستغرق مسح النموذج من 10 إلى 40 ثانية فقط — فإنه لا ينبغي أن يكون الحارس الوحيد عند البوابة. وبسبب "الخدعة غير المرئية" (النوع الرابع من التعديل)، يقترح المؤلف استخدام AMS لفرز الأخطار الواضحة بسرعة، ولكن بعد ذلك المتابعة بالاختبار التقليدي (طرح أسئلة على الذكاء الاصطناعي) للإمساك بالنماذج الماكرة التي تبدو آمنة من الداخل ولكنها تتصرف بشكل خطير من الخارج. إنها طريقة جديدة وذكية لرصد التلاعب، لكنها ليست عصا سحرية تحل المشكلة برمتها.

ملخص تقني: كشف تعديل التدريب على السلامة في النماذج اللغوية عبر تحليل التنشيط

1. بيان المشكلة

أدى انتشار النماذج اللغوية ذات الأوزان المفتوحة إلى ظهور بيئة من النسخ المعدلة لغرض السلامة (مثل النماذج "غير المقيدة" أو نماذج "المجردة من القيود" - abliterated)، والمصممة لإزالة أو إضعاف حواجز الحماية. تشكل هذه النماذج مخاطر كبيرة عند نشرها في بيئات الإنتاج، سواء من خلال هجمات متعمدة على سلاسل التوريد أو النشر العرضي للأوزان المعدلة.

تعتمد طرق الكشف الحالية على الاختبار السلوكي (استجواب النماذج بطلبات ضارة). يحدد البحث ثلاثة قيود حرجة لهذا النهج:

البطء: يتطلب آلاف الاستعلامات لكل نموذج.
عدم الاكتمال: لا يمكنه تغطية كامل مساحة السلوكيات الضارة.
التملص: يمكن تدريب النماذج على رفض مطالبات الاختبارات المعيارية مع الامتثال لهجمات جديدة (الإفراط في التكيف مع الاختبارات المعيارية - benchmark overfitting).

يفترض البحث أن التدريب على السلامة يخلق بنية هندسية قابلة للقياس في مساحة تنشيط النموذج. وتحديداً، تطور النماذج المضبطة بالتعليمات (instruction-tuned) نواقل اتجاه تفصل بين المحتوى الضار والنافع بثقة عالية. إن إزالة التدريب على السلامة يعدل هذه البنية. الهدف هو الكشف عن هذه التعديلات الهيكلية دون الاعتماد على الاستعلامات السلوكية.

2. المنهجية: ماسح النماذج القائم على التنشيط (AMS)

يقدم المؤلف AMS، وهو أداة تكتشف تعديلات السلامة عبر قياس البنية الهندسية للمفاهيم ذات الصلة بالسلامة في مساحة التنشيط.

الآلية الجوهرية

يعمل AMS بناءً على فرضية أن التدريب على السلامة يخلق مجموعات (clusters) متميزة للمحتوى الضار والنافع. إزالة التدريب على السلامة تؤدي إلى انهيار أو تدوير هذه المجموعات. تقوم الأداة بالخطوات التالية:

استخراج التنشيط: استخراج الحالات المخفية (hidden states) من موضع الرمز النهائي عبر الطبقات (عادةً بعمق 40-80%).
بناء مجموعة بيانات تباينية: استخدام 16 زوجاً من المطالبات لكل مفهوم (على سبيل المثال، "كيفية صنع قنبلة" مقابل "كيفية صنع بيت للطيور") لتحديد الفئات الإيجابية (الضارة) والسلبية (النافعة).
حساب ناقل الاتجاه: حساب الفرق بين مراكز الثقل (centroids) للفئات الإيجابية والسلبية لاستخراج ناقل اتجاه ( $\hat{v}$ ).
قياس الفصل: قياس الفصل بين الفئات في الانحرافات المعيارية المجمعة ( $\sigma$ ):
$\text{separation} = \frac{\mu_+ - \mu_-}{\sigma_{\text{pooled}}}$
يشير $\sigma$ المرتفع إلى فصل قوي (سلامة سليمة)؛ ويشير $\sigma$ المنخفض إلى انهيار الفصل (إزالة السلامة).
اختيار الطبقة: إجراء مسح عبر الطبقات لاختيار الطبقة ذات أقصى قدر من الفصل.

إطار الكشف ثنائي المستويات

يستخدم AMS نهجاً ثنائي المستويات لمعالجة تواقيع التعديل المختلفة:

المستوى الأول (فحص السلامة العام): يقيس مقدار الفصل ( $\sigma$ $σ$ ) دون الحاجة إلى خط أساس.
- اجتياز (PASS): $\sigma > 3.5$ (اتجاهات سلامة سليمة).
- تحذير (WARNING): $2.0 < \sigma < 3.5$ (سلامة متدهورة).
- حرج (CRITICAL): $\sigma < 2.0$ (لم يتم اكتشاف تدريب على السلامة).
المستوى الثاني (التحقق من الهوية): يقارن بصمة تنشيط النموذج مع خط أساس نظيف معروف.
- التحقق من تشابه الاتجاه (تشابه جيب التمام $> 0.8$ ).
- التحقق من انحراف الفصل (التغير النسبي $< 20\%$ ).
- يكتشف التعديلات التي تحافظ على المقدار ولكن تدوّر اتجاه الرفض.

مفاهيم السلامة التي يتم تقييمها

تقيم الأداة ثلاثة مفاهيم محددة:

كشف المحتوى الضار: يميز بين طلبات الأسلحة/البرمجيات الخبيثة ونظائرها النافعة.
مقاومة حقن المطالبات (Prompt Injection): يميز بين محاولات الحقن والتعليمات المشروعة.
القدرة على الرفض: يميز بين الطلبات التي يجب رفضها ومهام البرمجة المقبولة.

3. المساهمات الرئيسية

يقدم البحث خمس مساهمات رئيسية:

التصنيف الآلي لتعديلات السلامة: يحدد المؤلف تصنيفاً من أربع فئات بناءً على تواقيع مساحة التنشيط:
- (i) إزالة التدريب: تؤدي إلى انهيار فصل المجموعات (مثل النماذج الأساسية، ونسخ Dolphin). يتم اكتشافها بواسطة المستوى الأول.
- (ii) التجريد من القيود عبر التعامد مع الأوزان (Weight-Orthogonalization Abliteration): يؤدي إلى انهيار الفصل وتدوير اتجاه الرفض (مثل Llama-3.1-abliterated). يتم اكتشافها بواسطة المستويين الأول والثاني.
- (iii) التجريد من القيود عبر التدوير دون الانهيار (Rotation-Without-Collapse Abliteration): يحافظ على فصل المجموعات ولكنه يدوّر اتجاه الرفض (مثل Gemma-2-9b-abliterated). يتم اكتشافها فقط بواسطة المستوى الثاني.
- (iv) الضبط الدقيق السلوكي (Behavioral Fine-Tuning): يحافظ على كل من المقدار والاتجاه ولكنه يعدل المخرجات السلوكية (مثل DarkIdol). غير قابل للكشف عبر فحص التنشيط فقط.
إطار كشف ثنائي المستويات: نظام متكامل حيث يلتقط المستوى الأول انهيار الهندسة، بينما يلتقط المستوى الثاني تدوير الاتجاه، مما يوفر دفاعاً متعدد الطبقات.
الدقة الإحصائية: يبلغ البحث عن دقة التحقق المتبادل (leave-one-out cross-validation) للقيم العتبية، وفترات الثقة (CIs) بنسبة 95% عبر طريقة Bootstrap، ويوثق انحيازاً صاعداً منهجياً في تقديرات النقطة في التشغيل الواحد، موصياً باستخدام الحدود الدنيا لـ CI لتقديم تقارير صادقة.
تحليل الارتباط السلوكي: يربط البحث بين الإشارات الهيكلية والامتثال السلوكي في 20 مطالبة من JailbreakBench، واجداً ارتباطاً سلبياً متوسطاً ( $r = -0.546$ ) مع ملاحظة وجود ضجيج وحالات فشل كبيرة.
أنماط الفشل المحددة: يحدد البحث صراحةً ويشرح فئتين من الهجمات التي يفتقدها AMS: التدوير دون الانهيار (فشل المستوى الأول) والضبط الدقيق السلوكي الذي يحافظ على الهندسة (فشل المستويين الأول والثاني).

4. النتائج التجريبية

قيم المؤلف 14 تكويناً للنماذج عبر أربع عائلات من البنى (Llama, Gemma, Qwen, Mistral) وأربع فئات من التعديلات.

دقة الكشف: حقق التحقق المتبادل (LOOCV) للقيم العتبية دقة 71% (10/14 نموذجاً). لم تكن حالات التصنيف الخاطئ الأربعة عشوائية بل تطابقت مع أنماط الفشل الآلية المحددة في التصنيف.
عدم اليقين الإحصائي: كشف تحليل Bootstrap عن فترات ثقة واسعة (متوسط عرض 3.4 $\sigma$ ). كانت 62% من الخلايا تتداخل مع عتبة الاجتياز (PASS)، مما يشير إلى أن قيم $\sigma$ في التشغيل الواحد غالباً ما تكون غير مؤكدة إحصائياً بالقرب من الحدود.
الارتباط السلوكي: تنبأت الإشارة الهيكلية ( $\sigma$ على المحتوى الضار) بالامتثال السلوكي بمعامل ارتباط بيرسون قدره $r = -0.546$ ( $p=0.043$ ). ومع ذلك، كان ارتباط سبيرمان للرتب ضعيفاً وغير معتد به إحصائياً ( $\rho = -0.423, p=0.13$ ).
السلبيات الكاذبة (False Negatives):
- Gemma-2-9b-abliterated: اجتاز المستوى الأول ( $\sigma=4.54$ ) لكنه فشل في المستوى الثاني (انخفض تشابه الاتجاه). أكد هذا توقيع "التدوير دون الانهيار".
- DarkIdol: اجتاز كلاً من المستوى الأول والثاني ( $\sigma=5.45$ ، تم الحفاظ على الاتجاه) ولكنه أظهر امتثالاً سلوكياً بنسبة 97%. أكد هذا النقطة العمياء لـ "الضبط الدقيق السلوكي".
موثوقية الملصقات: حدد AMS بشكل صحيح نموذج Mistral-7B-Instruct-v0.3 كحالة حرجة ( $\sigma=1.39$ ) رغم تصنيفه كنموذج مضبوط بالتعليمات، مما يثبت أن الإشارات الهيكلية قد تكون أكثر موثوقية من ملصقات البيانات الوصفية.

5. الأهمية والقيود

الأهمية:
يثبت البحث أن التدريب على السلامة يترك بصمة هيكلية قابلة للقياس في مساحة التنشيط يمكن مسحها في 10-40 ثانية (مقابل ساعات للاختبار السلوكي). كما يقدم تفسيراً آلياً لسبب إنتاج تقنيات "إزالة القيود" المختلفة لتواقيع مختلفة، متجاوزاً الاختبار السلوكي "الصندوق الأسود" إلى التحقق الهيكلي. ويؤكد أن الهندسة التنشيطية هي متنبئ قوي، وإن لم يكن مثالياً، للسلوك المتعلق بالسلامة.

الادعاءات المتواضعة والقيود:
المؤلف صريح بشأن قيود نهجه:

ليس بوابة مستقلة: AMS ليس كافياً لاعتماد السلامة. يمثل نمط الفشل من الفئة (iv) (الضبط الدقيق السلوكي الذي يحافظ على الهندسة) نقطة عمياء جوهرية للفحص القائم على التنشيط فقط.
دور تكميلي: صُمم AMS كأداة فرز هيكلية سريعة ليتم اقترانها بالتحقق السلوكي. النماذج التي تجتاز AMS يجب أن تخضع أيضاً للاختبار السلوكي لاستبعاد تعديلات الفئة (iv).
حساسية العتبة: مشتقة العتبات (مثل 3.5 $\sigma$ ) من مجموعة الـ 14 نموذجاً المحددة وقد لا تعمم تماماً على السكان الأوسع دون مزيد من المعايرة على مجموعات بيانات مستقلة.
انحياز التشغيل الواحد: تقديرات النقطة لـ $\sigma$ متفائلة بشكل منهجي؛ ويوصي المؤلف باستخدام الحدود الدنيا لـ CI Bootstrap لاتخاذ القرارات التشغيلية.
النطاق: لا تكتشف الأداة هجمات حقن المطالبات أثناء الاستدلال، كما أنها لا تعالج قضايا السلامة خارج المفاهيم الثلاثة المختبرة (مثل التحيز أو الخداع) ما لم يتم إنشاء مجموعات بيانات تباينية جديدة.

في الختام، يقدم البحث AMS كخطوة مهمة نحو أمن سلاسل التوريد للنماذج ذات الأوزان المفتوحة، موفراً طريقة تحقق هيكلية سريعة تكمل، ولا تستبدل، عمليات الاختبار السلوكي التقليدية.