💬 NLP

Where Does Toxicity Live? Mechanistic Localization and Targeted Suppression in Language Models

تقدم هذه الورقة Meow2X وTRNE، وهما إطاران عمل لا يتطلبان إعادة التدريب يعملان على تحديد موقع السمية في طبقات MLP المبكرة لبعض النماذج اللغوية عبر تحليل التنشيط، وكبحها من خلال التوسع أثناء الاستدلال أو تعديلات طفيفة في الأوزان، مما يحقق تحسينات مستمرة في السلامة دون المساس بجودة اللغة.

المؤلفون الأصليون: Himanshu Beniwal, Mayank Singh

نُشر 2026-05-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Himanshu Beniwal, Mayank Singh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة الكبيرة: "التطبيق السيئ" في المطبخ

تخيل روبوت طباخ عملاق وذكي للغاية (نموذج لغوي كبير) يمكنه كتابة القصص، والإجابة على الأسئلة، وحل المشكلات. ولكن أحياناً، عندما تسأله سؤالاً، يبدأ فجأة في الصراخ بالإهانات، أو خطاب الكراهية، أو الأفكار الضارة.

الطرق الحالية لإصلاح ذلك تشبه محاولة تعليم الطباخ لغة جديدة من الصفر؛ حيث يتعين عليك تفكيك الروبوت بالكامل، وإعادة تدريبه لأسابوة، والأمل في ألا ينسى كيفية الطبخ. أو يمكنك وضع حارس عند الباب يتحقق من كل جملة بعد كتابتها ويحذف الجمل السيئة. هذه العملية بطيئة، ومكلفة، ولا تخبرك لماذا غضب الطباخ في المقام الأول.

الحل: العثور على "الشرارة السامة"

سأل مؤلفا هذه الورقة، هيمانشو بينيوال ومايانك سينغ، سؤالاً مختلفاً: "أين تعيش السمية بالضبط داخل دماغ الروبوت؟"

لقد اكتشفا أن السمية ليست منتشرة بالتساوي في جميع أنحاء الدماغ، بل هي مثل بعض الأسلاك المعيبة المحددة أو "عصب غاضب" واحد في غرفة معينة من المصنع. إذا وجدت تلك الغرفة وخفضت مستوى الصوت في تلك الأسلاك تحديداً، سيتوقف الروبوت عن كونه ساماً ولكنه سيظل ذكياً.

لقد بنيا أداتين للقيام بذلك دون إعادة تدريب الروبوت: Meow2X و TRNE.

الأداة الأولى: Meow2X (نهج "مقبض التحكم في الصوت")

كيف تعمل:
تخيل أن الروبوت الطباخ لديه لوحة تحكم تحتوي على 30 مقبضاً مختلفاً للتحكم في الصوت، مقبض واحد لكل "طبقة" من طبقات دماغه.

الاستماع: يطلب الباحثون من الروبوت شيئين: سؤالاً محايداً ("أنا لا أتفق معك") وسؤالاً ساماً ("أنا أكرهك").
المقارنة: ينظرون إلى مستويات الصوت (التنشيطات) في كل غرفة. ويلاحظون أنه في غرف معينة (تحديداً غرف الـ "MLP" المبكرة)، يرتفع مستوى الصوت بشكل كبير عندما يسمع الروبوت كلمات سامة، بينما يظل منخفضاً للكلمات المحايدة.
خفض المستوى: هم لا يغيرون دماغ الروبوت، بل يضعون "مقبض صوت" مؤقتاً على تلك الغرف المحددة أثناء المحادثة. عندما يبدأ الروبوت في أن يصبح ساماً، يقومون بخفض مستوى الصوت في تلك الغرفة المحددة.

التشبيه:
فكر في الأمر كأنه نظام مكبر صوت؛ إذا كان تردد معين (مثل صرخة عالية النبرة) يسبب تشوهاً في الصوت، فأنت لا تستبدل مكبر الصوت بالكامل، بل تقوم فقط بخفض مستوى "المعادل" (equalizer) لهذا التردد المحدد. ستستمر الموسيقى في العمل، لكن الصرخة ستختفي.

النتيجة:
وجدوا أنه بالنسبة لبعض النماذج (مثل Qwen)، فإن "الضجيج السام" يعيش غالأ في الغرف المبكرة من الدماغ. أما بالنسبة لنماذج أخرى، فالأمر مختلف. ومن خلال خفض مستوى الصوت في تلك الـ 5 إلى 10 غرف المحددة فقط، قللوا من السمية بشكل كبير دون أن يجعلوا الروبوت ينسى كيفية التحدث.

الأداة الثانية: TRNE (نهج "الرقعة الجراحية")

كيف تعمل:
إذا كان Meow2X يقوم بخفض مقبض الصوت، فإن TRNE يشبه جراحاً يضع رقعة صغيرة ودائمة على سلك محدد.

رسم المسار: يستخدمون تقنية خاصة لتتبع الأسلاك التي تحمل "الاتجاه السام" بدقة.
الرقعة: يقومون بإجراء تعديل رياضي صغير على الأوزان (الروابط) في تلك الغرف المحددة. هذا التعديل صغير ودقيق جداً بحيث يعمل كفلتر (مرشح).
التأثير: إذا حاول الروبوت توليد فكرة سامة، فإن هذه الرقعة تلغيها تلقائياً. وإذا حاول الروبوت توليد فكرة عادية، فإن الرقعة تتجاهلها تماماً.

التشبيه:
تخيل نهراً يتدفق نحو شلال (المخرج السام). يقوم TRNE ببناء سد صغير غير مرئي في المكان المناسب تماماً لتحويل مسار المياه السامة، بينما يسمح للمياه النظية بالتدفق مباشرة عبره.

الاكتشافات الرئيسية (لحظات الـ "آها!")

1. للسمية عنوان محدد.
السمية ليست في كل مكان. في بعض النماذج، تتركز "السلوكيات السيئة" في الطبقات القليلة الأولى من الدماغ (غرف المعالجة المبكرة). وفي نماذج أخرى، تكون في المنتصف أو في النهاية. الأمر يشبه العثور على أن رائحة الدخان في المنزل تأتي من المطبخ فقط، وليس من غرفة النوم.

2. ليس هناك نموذج واحد يناسب الجميع.
ما ينجح مع روبوت طباخ واحد (نموذج) لا ينجح مع غيره. "الغرف السامة" تختلف من نموذج لآخر، وعليك رسم خريطة لكل منها بشكل فردي.

3. مشكلة "الحارس" (مقيمي السلامة).
وجدت الورقة شيئاً مهماً جداً حول كيفية اختبار السلامة. لقد استخدموا اثنين من "الحراس" (مصنفات السلامة) للتحقق من مخرجات الروبوت:

الحارس أ (LlamaGuard): يهتم فقط بما إذا كان الروبوت يقول شيئاً كراهية صريحاً.
الحارس ب (PolyGuard): يغضب أيضاً إذا رفض الروبوت الإجابة أو تصرف بغرابة.

أحياناً، عندما قمنا بإصلاح السمية، يقول الحارس (أ): "عمل رائع!"، ولكن الحارس (ب) يقول: "انتظر، إنه الآن فظ لأنه يرفض التحدث!". وهذا يثبت أنك تحتاج إلى أكثر من قاضٍ واحد لتعرف ما إذا كان النموذج آمناً حقاً.

4. لا تكن عدوانياً للغاية.
إذا حاولت خفض مستوى الصوت كثيراً أو وضعت رقعاً على الكثير من الأسلاك، فسوف يتعطل الروبوت؛ سيتوقف عن قول أشياء منطقية ويبدأ في قول كلام غير مفهوم. وجدت الورقة أن كونك لطيفاً (خفض مستوى الصوت في بعض الغرف المحددة فقط) هو الأفضل. إذا حاولت إصلاح الكثير من الأشياء في وقت واحد، فإن "الارتباك" (perplexity) لدى الروبوت (وهو مقياس لمدى حيرته) سينفجر، وسيبدأ في التحدث بهراء.

الملخص

تظهر الورقة أننا لسنا بحاجة إلى إعادة بناء الروبوت بالكامل لإيقاف سميته. نحن فقط بحاجة إلى:

إيجاد الغرف المحددة في دماغه حيث تعيش السمية.
خفض مستوى الصوت (Meow2X) أو وضع رقع على الأسلاك (TRNE) في تلك الغرف المحددة.
التحقق باستخدام عدة حراس سلامة للتأكد من أننا لم نكسر شيئاً آخر.

هذه طريقة أسرع، وأرخص، وأكثر شفافية لجعل الذكاء الاصطناعي أكثر أماناً، لأنها تخبرنا بالضبط أين تكمن المشكلة وتصلحها جراحياً.

ملخص تقني: أين تسكن السمية؟

بيان المشكلة

تنتج النماذج اللغوية الكبيرة (LLMs) محتوى سامًا أو كراهية أو محتوى ضارًا بشكل متكرر، مما يشكل عائقًا كبيرًا أمام النشر في العالم الحقيقي. تتطلب استراتيجيات التخفيف الحالية، مثل الضبط الدقيق للتعليمات (instruction tuning)، والتعلم المعزز من التعليقات البشرية (RLHF)، والضبط الدقيق الخصمي (adversarial fine-tuning)، عادةً إعادة تدريب مكلفة أو تظهر قدرة محدودة على الانتقال إلى المدخلات خارج التوزيع (out-of-distribution). علاوة على ذلك، تعتمد الطرق الحالية غالبًا على تصفية مستوى المخرجات أو التخميد العام دون تقديم رؤية ميكانيكية حول أين تنشأ السمية داخليًا ضمن بنية النموذج. هناك نقص في الخوارزميات البسيطة القائمة على البيانات والتي يمكنها تحديد الطبقات المحددة التي ترتبط بالسمية وتثبيطها بشكل منهجي مع تتبع جودة المخرجات.

المنهجية

يقترح المؤلفون إطارين عمل متكاملين لا يتطلبان إعادة تدريب، وهما Meow2X و TRNE، صُمما لتحديد وتثبيط المكونات العصبية السامة من خلال تدخلات وقت الاستدلال (inference-time interventions). يعمل كلا الطريقتين بناءً على الرؤية القائلة بأن السلوك السام تحكمه نسبة صغيرة من طبقات وعصبونات محددة.

1. Meow2X: الاستكشاف الميكانيكي للسمية على مستوى الأوزان

Meow2X هو إطار عمل يعمل في وقت الاستدلال مع تجميد المعلمات، يحدد الطبقات السامة عبر فروق التنشيط ويقوم بتثبيطها عبر القياس (scaling).

كشف الطبقة السامة: تقوم الطريقة بحساب ناقلات متوسط التنشيط ( $\mu^\ell_t$ و $\mu^\ell_n$ ) للمطالبات السامة والمحايدة عبر الطبقات. وتحسب فرق التنشيط $\Delta^\ell = \mu^\ell_t - \mu^\ell_n$ وتخصص درجة سمية $S_\ell = \|\Delta^\ell\|_1$ .
مساهمة العصبون: تقوم الطريقة أيضًا بتحليل تركيز السمية داخل الطبقة من خلال تحديد "العصبونات السامة" (تلك التي تتجاوز المئوية التسعين من فرق التنشيط) وحساب نسبة المساهمة.
استراتيجيات التخفيف: بمجرد اختيار الطبقات السامة (عبر Top-k أو عتبة ديناميكية)، يطبق الإطار ثلاث استراتيجيات في وقت الاستدلال دون تعديل الأوزان:
- إلغاء التنشيط (Deactivation): يقوم بتقليل مخرجات الطبقة بشكل موحد بمعامل $\alpha = 1 - s$ .
- التخميد (Dampening): يطبق معامل قياس متوسط $\alpha = 1 - s/2$ .
- القياس التكيفي (Adaptive Scaling): يربط معامل القياس بمساهمة الطبقة المحددة في السمية، مما يؤدي إلى تثبيط الطبقات ذات المساهمة العالية بشكل أكثر عدوانية.

2. TRNE: تقليل السمية عبر تحرير العصبونات

يوفر TRNE تصحيحًا مستمرًا عبر تعديلات طفيفة في الأوزان من الرتبة الواحدة (rank-one weight edits)، مسترشدًا بالتوطين التبايني للتدرج (contrastive gradient localization).

توطين التدرج التبايني: تقوم الطريقة بعمل backpropagation عبر الإنتروبيا السالبة للمخرجات ( $-L_{ent}(x)$ ) لالتقاط معايير التدرج. يتم تحديد الطبقات حيث تستثير المدخلات السامة تدرجات أقوى بكثير من المدخلات المحايدة كأقاليم سامة.
جمع تنشيط ما قبل الإسقاط: تلتقط التنشيطات المدخلة عند موضع الرمز الأخير لإسقاطات المخرجات (attention $o\_proj$ و $down\_proj$ ) لتحديد "اتجاه السمية" ( $\delta = \mu_T - \mu_N$ ).
تحديث الوزن من الرتبة الواحدة: يتم تحديث مصفوفة الوزن باستخدام الصيغة:
$W_{new} = W - \alpha \times \frac{\delta \otimes \mu_T}{\|\mu_T\|^2 + \epsilon}$
هذا يخلق "كاشفًا" ( $\mu_T$ ) و"تصحيحًا" ( $\delta$ ). عندما تشبه المدخلات المستقبلية النمط السام، تقوم المصفوفة تلقائيًا بطرح اتجاه السمية. التحديث مقيد بالمعيار (norm-constrained) لمنع الانحراف المفرط في المعلمات.

المساهمات الرئيسية

أطر كشف مبدئية: تقديم Meow2X و TRNE، اللذين يستخدما فروق التنشيط ومعايير التدرج التبايني للكشف عن الترميز المحدد للسمية في النماذج اللغوية.
تقييم محكوم: تقييم شامل عبر 90 تكوينًا لخمسة نماذج لغوية كبيرة (Llama-3.2-3B, Gemma-2-2B, Qwen2.5-1.5B, Phi-2, TinyLlama-1.1B)، ومجموعتي بيانات (Real Toxicity Prompts, ParaDetox)، وثلاثة نطاقات للمكونات (MLP، Attention، وكلاهما).
مسار مستقل عن النموذج: نهج لتطهير السمية يحافظ على قدرة نمذجة اللغة من خلال القياس العكسي في وقت الاستدلال (Meow2X) أو تحرير الأوزان المقيد بالمعيار (TRNE)، مما يتجنب الحاجة إلى التدرج المنحدر (gradient descent) أو إعادة التدريب.

النتائج واللقى

استخدم التقييم أدوات تقييم سلامة مزدوجة (Llama-Guard-3-8B و PolyGuard-Qwen) ومقاييس الـ perplexity لتقييم السلامة والطلاقة.

توطين السمية: السمية ليست موزعة بشكل موحد. في نماذج مثل Qwen2.5، يتم ترميز السمية بشكل غير متناسب في طبقات MLP المبكرة (الطبقات 1-5). ومع ذلك، يختلف هذا باختلاف البنية؛ ففي Llama-3.2-3B، تنتقل السمية إلى الطبقات المتأخرة، وفي Gemma-2B، تكون أكثر تركيزًا في وحدات الانتباه (attention modules) للطبقات المتأخرة.
فعالية التدخلات:
- Meow2X: قلل القياس في وقت الاستدداء باستمرار من السمية. الاستراتيجيات المتحفظة (التخميد والقياس التكيفي) حافظت على جودة اللغة (تغيرات منخفضة في perplexity)، بينما تسبب إلغاء التنشيط العدواني للطبقات الحرجة بنيويًا في انهيار كارثي للنموذج (على سبيل المثال، انفجار الـ perplexity من ~13 إلى ~135).
- TRNE: أدى تحرير طبقات MLP باستمرار إلى تقليل السمية (على سبيل المثال، تقليل بنسبة 6.4 نقطة مئوية في درجات PolyGuard لـ TinyLlama). ومع ذلك، فإن تحرير طبقات الانتباه وحدها أدى أحيانًا إلى زيادة السمية المكتشفة، مما يشير إلى أن طبقات الانتباه قد تساهم في المعالجة السياقية حيث يؤدي الاضطراب إلى أنماط رفض تُصنف على أنها سامة.
هشاشة تحرير الأوزان: أدت المعلمات الفائقة العدوانية (قوة تحرير عالية أو تحرير عدد كبير من الطبقات) إلى انهيار النموذج. يوصي المؤلفون بالإعدادات المتحفظة (قوة التحرير 1-5، وتحرير 3-5 طبقات).
تفاوت المقيمين: النتيجة الحاسمة هي أن مقيمي السلامة يقيسون سلوكيات مختلفة جوهريًا. يركز LlamaGuard على المحتوى الضار الصريح، بينما يعاقب PolyGuard سلوكيات الرفض. وبناءً على ذلك، فإن الطرق التي تبدو ناجحة تحت مقيم واحد قد تفشل تحت آخر، مما يسلط الضوء على الحاجة إلى تقييم متعدد المقيمين.

الأهمية والادعاءات

يدعي البحث أنه يسد الفجوة بين التفسير الميكانيكي والتطهير العملي. ومن خلال إثبات أن السمية موطنة في مسارات عصبية محددة بدلاً من كونها خاصية عالمية للنموذج، يجادل المؤلفون بأن التدخلات المستهدفة على مستوى الطبقات يمكن أن تحقق تقليلًا كبيرًا للسمية دون الحاجة إلى إعادة تدريب شاملة للنموذج.

يؤكد العمل على أن التطهير الفعال يتطلب:

التحرير المدرك للمكونات: إدراك أن السمية تسكن بشكل مختلف عبر البنيات (MLP مقابل Attention، والطبقات المبكرة مقابل المتأخرة).
المعلمات الفائقة المتحفظة: تجنب التدخلات العدوانية التي تضر بتماسك النموذج.
التقييم المتعدد: استخدام مصنفات سلامة متنوعة لتجنب الاستنتاجات المضللة بناءً على مقياس واحد.

يضع المؤلفون عملهم كخطوة نحو نماذج لغوية أكثر أمانًا وشفافية من خلال الكشف عن الآليات الداخلية للسمية بدلاً من مجرد قمع المخرجات السطحية. وهم يقرون بالقيود، مشيرين إلى أن نهجهم المعتمد على الاستدلال فقط لا يلتقط التطهير الذي يمكن تحقيقه من خلال الضبط الدقيق، وأن تقييمهم يعتمد على مصنفات آلية بدلاً من الحكم البشري.