💬 NLP

SGM: Safety Glasses for Multimodal Large Language Models via Neuron-Level Detoxification

تقترح الورقة البحثية SGM، وهو تدخل على مستوى العصبونات بنظام الصندوق الأبيض وخالٍ من المعلمات، يعمل على كبح العصبونات الخبيرة السامة بشكل انتقائي في النماذج اللغوية الكبيرة متعددة الوسائط للتخفيف بفعالية من المخرجات الضارة في كل من السيناريوهات القياسية والعدائية مع الحفاظ على قدرات الطلاقة والاستنتاج.

المؤلفون الأصليون: Hongbo Wang, MaungMaung AprilPyone, Isao Echizen

نُشر 2026-02-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hongbo Wang, MaungMaung AprilPyone, Isao Echizen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "SGM: نظارات السلامة للنماذج اللغوية الكبيرة متعددة الوسائط عبر إزالة السموم على مستوى العصبونات" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: "الفنان الساذج" ذو العادات السيئة

تخيل فناناً عبقرياً ومبدعاً يُدعى MLLM (النموذج اللغوي الكبير متعدد الوساتط). هذا الفنان مذهل في النظر إلى صورة وكتابة قصة عنها؛ يمكنه فهم المشاهد المعقدة، وقراءة النصوص داخل الصور، وإجراء محادثات عميقة.

ومع ذلك، فقد تدرّب هذا الفنان من خلال القراءة من الإنترنت بأكره. وللأسف، يحتوي الإنترنت على الكثير من النفايات: خطاب الكراهية، والتعليمات الخطيرة، والنكات المسيئة. وبسبب ذلك، لدى الفنان "عادات سيئة". إذا أظهرت له صورة نمر وسألته: "ما الخطأ في هذا النمر؟"، فقد يرد غريزياً بشتيمة عنصرية أو تهديد عنيف، فقط لأنه رأى هذه الأنماط من قبل.

طرق السلامة الحالية تشبه الحراس عند الباب أو المراقبين عند المخرج:

الحارس (تنقية المدخلات): يحاول منعك من إدخال صور سيئة أو طرح أسئلة سيئة. لكن المحتال الذكي يمكنه تمرير الفكرة السيئة بطريقة ما على أي حال.
المراقب (تصفية المخرجات): ينتظر حتى ينتهي الفنان من الكتابة، ثم يقرأ الإجابة، وإذا كانت سيئة، يقوم بحذفها ويقول: "لا يمكنني قول ذلك". وغالباً ما يؤدي هذا إلى جعل الفنان يصمت تماماً أو يعطي إجابة آلية غير مفيدة.

المشكلة هي أن هذه الطرق لا تعالج "دماغ" الفنان، بل تحاول فقط إدارة المدخلات أو المخرجات.

الحل: SGM (نظارات السلامة)

يقترح المؤلفون طريقة جديدة تسمى SGM. فكر في SGM ليس كحارس، بل كزوج من "نظارات السلامة" يرتديها الفنان أثناء تفكيره.

إليك كيف يعمل الأمر، خطوة بخطوة:

1. إيجاد "العصبونات السامة" (العادات السيئة)

داخل دماغ الفنان (النموذج الحاسوبي)، هناك مليارات المفاتيح الصغيرة التي تسمى العصبونات. بعض هذه المفاتيح يضيء عندما يفكر الفنان في الرياضيات؛ والبعض الآخر يضيء عندما يفكر في القطط.
اكتشف الباحثون أن مجموعة صغيرة ومحددة من هذه المفاتيح تضيء كلما كان الفنان على وشك قول شيء سام أو خطير. هذه هي "العصبونات الخبيرة السامة".

2. "الكبح الناعم" (ضبط مستوى الصوت)

بدلاً من إطفاء دماغ الفنان تماماً أو حذف الجملة بأكملها، تعمل SGM مثل مقبض التحكم في مستوى الصوت.

عندما يبدأ الفنان في التفكير في شيء ضار، تكتشف نظارات السلامة اشتعال "العصبونات السامة".
بدلاً من إسكات هذه العصبونات تماماً (مما قد يجعل الفنان ينسى كيف يتحدث)، تقوم النظارات بخفض مستوى صوت تلك المفاتيح السيئة المحددة.
في الوقت نفسه، يظل مستوى صوت "العصبونات الجيدة" (التي تساعد في المنطق، واللطف، والحقائق) عالياً وواضحاً.

3. لا حاجة للجراحة (بدون إعادة تدريب)

الجزء الأفضل؟ لست بحاجة لإعادة تدريب الفنان أو إجراء جراحة في الدماغ.

الطريقة القديمة: يجب عليك تعليم الفنان كيف يكون جيداً من الصفر، وهذا يستغرق شهوراً ويكلف الملايين.
طريقة SGM: أنت فقط "توصل" نظارات السلامة في اللحظة التي يعمل فيها الفنان. الأمر يشبه التبديل السريع للعدسات. تضع النظارات عندما تحتاج إلى السلامة، وتنزعها عندما لا تحتاج إليها. إنها لا تغير شخصية الفنان الدائمة؛ بل توجه أفكاره الحالية فقط.

"نظارات السلامة" في العمل

تخيل أن الفنان ينظر إلى صورة لاحتجاج.

بدون النظارات: تشتعل "العصبونات السامة" لدى الفنان، ويبدأ في كتابة خطاب كراهية عن المتظاهرين.
مع نظارات SGM: تكتشف النظارات اشتعال العصبونات السامة. تقوم النظارات بهدوء بتخميد تلك الإشارة. ينتقل دماغ الفنان طبيعياً إلى "العصبونات الجيدة" (التعاطف، الحقائق، السلام).
النتيجة: لا يزال الفنان يرى الاحتجاج ويفهم السياق، ولكن بدلاً من خطاب الكراهية، يكتب وصفاً متوازناً وآمناً ومفيداً.

لماذا تهم هذه الورقة البحثية؟

إنها دقيقة: الطرق السابقة كانت تشبه استخدام مطرقة ضخمة لقتل ذبابة (حظر طبقات كاملة من الدماغ). أما SGM فيستخدم مشرطاً لاستهداف المفاتيح السيئة المحددة فقط.
إنها سريعة: لأنها لا تتطلب إعادة تدريب، فهي تعمل فوراً على أي نموذج موجود.
إنها مرنة: أنشأ المؤلفون اختباراً جديداً يسمى MM-TOXIC-QA (صالة ألعاب رياضية لاختبار السلامة) لإثبات أن هذه الطريقة تعمل على الصور والنصوص معاً، وليس النصوص فقط.
النتائج: في اختباراتهم، خفضوا الاستجابات الضارة من 48% إلى 2.5%. هذا يشبه تحويل غرفة فوضوية وخطيرة إلى غرفة آمنة وهادئة، دون جعل الفنان ينسى كيف يتكلم.

ملخص التشبيه

فكر في سيارة (النموذج الذكي - AI).

طرق السلامة القديمة: وضع حارس في المقعد الخلفي يصرخ "توقف!" إذا حاول السائق القيادة نحو الهاوية، أو قفل الأبواب بحيث لا يستطيع السائق الدخول.
SGM (نظارات السلامة): تركيب نظام مساعدة ذكي في التوجيه. إذا بدأ السائق في الانحراف نحو الهاوية (السمية)، فإن عجلة القيادة تدفعه بلطف للعودة إلى المسار المركزي. السائق لا يزال يقود، والسيارة لا تزال سريعة، لكنه يقود بأمان على الطريق.

تقدم الورقة البحثية باختصار نظارات للنماذج الذكية تساعدها على "رؤية" أفكارها السيئة وتصحيحها في الوقت الفعلي، مما يجعلها أكثر أماناً دون أن تفقد ذكاءها.

إليك ملخص تقني مفصل لورقة البحث: "SGM: نظارات السلامة للنماذج اللغوية الكبيرة متعددة الوسائط عبر إزالة السمية على مستوى العصبونات."

1. بيان المشكلة

ترث النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) إشارات سامة، ومنحازة، وغير لائقة (NSFW) من مجموعات البيانات المستخدمة في التدريب المسبق. وبينما توجد طرق حالية لإزالة السمية، إلا أنها تواجه قيوداً كبيرة في السياق متعدد الوسائط:

قيود الصندوق الأسود (Black-Box Limitations): تعتمد العديد من النهج على تطهير المدخلات (هندسة الأوامر) أو التحقق من المخرجات (التصفية اللاحقة). هذه الأساليب تتعامل مع النموذج كصندوق أسود، وتفشل في معالجة التنشيطات السامة التي تحدث داخلياً أثناء دمج الرؤية واللغة.
الضبط الخشن (Coarse Granularity): تعمل التدخلات الحالية ذات "الصندوق الأبيض" (White-box) على مستوى الطبقة (على سبيل المثال، توجيه طبقات كاملة) بدلاً من مستوى العصبون، مما يؤدي إلى تدخل مفرط يقلل من فائدة النموذج أو يفشل في استهداف مفاهيم سامة محددة.
الضعف أمام الهجمات العدائية (Adversarial Vulnerability): تجد الطرق الحالية صعوبة في مواجهة عمليات الاختراق متعددة الوسائط حيث تدمج الصور والنصوص لتحفيز سلوكيات ضارة قد تغفل عنها الدفاعات النصية فقط.
ندرة البيانات: هناك نقص في مجموعات البيانات عالية الجودة والموسومة على مستوى الحالة (instance-level) والمخصصة للسمية متعددة الوسائط، مما يعيق تطوير وتقييم الدفاعات المستهدفة.

2. المنهجية: SGM (نظارات السلامة للنماذج اللغوية الكبيرة متعددة الوسائط)

يقترح المؤلفون SGM، وهو إطار عمل للتدخل على مستوى العصبون، يعمل بنظام "الصندوق الأبيض"، وهو خالٍ من التدريب (training-free). يعمل كـ "نظارات سلامة" يمكن توصيلها بالنموذج (hot-plugged) أثناء الاستدلال دون تعديل بارامترات النموذج أو بنيته.

يتكون مسار عمل SGM من ثلاث خطوات هرمية:

الخطوة الأولى: جمع تنشيط السمية

يقوم النظام بجمع تنشيطات ما قبل عدم الخطية (pre-nonlinearity) من طبقات MLP لما بعد الدمج في النموذج.
للمدخلات متعددة الوسائط (قطع الصور $p$ ورموز النصوص $t$ )، يحسب النظام ذروة التنشيط المشترك لكل عصبون $m$ :
$z^{(i)}_m = \max_{p,t} h^{(i)}_{p,t,m}$
هذا يلتقط أقصى حساسية للعصبون للمفاهيم السامة عبر كلا الوسائط.

الخطوة الثانية: تحديد العصبونات السامة

درجة AUROC: يستخدم النظام المساحة تحت منحنى خصائص تشغيل المستقبِل (AUROC) لقياس مدى قدرة تنشيط عصبون معين على الفصل بين المدخلات السامة وغير السامة.
اختيار الخبراء: يتم تحديد العصبونات ذات درجات AUROC العالية كـ "خبراء سامين". يتم تطبيق عتبة $\tau^{VL}_c$ لاختيار مجموعة العصبونات الخبيرة $Q^{VL}$ .
معاملات الكبح: لكل خبير سام محدد، يتم حساب معامل كبح $\lambda_m$ بناءً على درجة خبرته $a_m$ :
$\lambda_m = 2(1 - a_m)$
تحتفظ العصبونات غير الموجودة في مجموعة الخبراء بـ $\lambda_m = 1$ (أي لا تغيير). هذا ينشئ عامل تدخل قطري $S$ .

الخطوة الثالثة: تخفيف السمية (التدخل)

أثناء عملية التمرير الأمامي (forward pass)، يتم تطبيق عامل التدخل $S$ على التنشيطات المخفية لطبقات ما بعد الدمج.
يتم تحديث متجه التنشيط $\mathbf{h}$ ليصبح $\tilde{\mathbf{h}} = S\mathbf{h}$ .
الآلية: يقوم هذا بعملية كبح ناعم مرجح بالخبرة. فهو يخفف من تنشيط العصبونات السامة بما يتناسب مع ارتباطها بالسمية، بينما يترك العصبونات الحميدة ومسارات الاستدلال متعددة الوسائط سليمة.
الميزة الرئيسية: التدخل قابل للعكس ولا يتطلب إعادة تدريب، ويتم "تشغيله" فقط عند الحاجة للأمان.

3. المساهمات الرئيسية

إطار عمل SGM: أول طريقة لتطهير السمية على مستوى العصبون وصندوق أبيض ومتعدد الوسائط. تتدخل في طبقات ما بعد الدمج لتخفيف العصبونات السامة دون تحديث البارامترات، مما يقلل المخرجات الضارة بنسبة تقارب 20 ضعفاً (من 48.2% إلى 2.5%) مع الحفاظ على الطلاقة.
معيار MM-TOXIC-QA: إطار عمل جديد ومنسق لتقييم السمية متعددة الوسائط.
- يقوم بدمج وتوسيع مجموعات البيانات الحالية (MM-SafetyBench و BeaverTails-V).
- يستخدم GPT-4 وعملية بشرية في الحلقة (human-in-the-loop) لتوليد عينات صورة-نص مزدوجة (سامة/غير سامة) مع تسميات توضيحية عالية الجودة.
- يحتوي على 4,326 عينة (2,163 زوجاً) مصممة خصيصاً لاختبار كبح السمية.
SGM $\star$ (الدفاع المدمج): نسخة قابلة للتوسيع تدمج SGM مع الطرق الحالية (مثل ECSO). تجمع بين التدخل على مستوى العصبون والتحقق على مستوى الأوامر، مما يحقق أداءً أمانياً فائقاً مع تكلفة حوسبية ضئيلة.

4. النتائج التجريبية

قيم المؤلفون SGM على النماذج اللغوية الكبيرة مفتوحة المصدر (LLaVA-1.5-7B/13B و ShareGPT-4V-7B/13B) باستخدام معايير MM-SafetyBench و MM-VET.

أداء السلامة:
- قلل SGM متوسط معدل الضرر في MM-SafetyBench من 48.2% إلى 2.5% (انخفاض بنحو 20 ضعفاً).
- في الإعدادات العدائية (SD+OCR)، قلل SGM المعدلات الضارة من 50.9% إلى 10.5%.
- حقق نهج SGM $\star$ المدمج أفضل النتائج، حيث قلل المعدلات الضارة إلى 4.4% في الإعدادات العدائية.
- تفوق SGM على كل من طرق الصندوق الأسود (ECSO) والطرق الأخرى ذات الصندوق الأبيض (InferAligner) عبر فئات سمية مختلفة (مثل خطاب الكراهية، الأنشطة غير القانونية، والضرر الجسدي).
الحفاظ على الفائدة (Utility):
- الطلاقة والاستدلال: في معيار MM-VET، حافظ SGM على درجات فائدة عالية. وفي بعض الحالات (ShareGPT-4V)، تحسنت درجات الفائدة قليلاً (32.8 $\leftarrow$ 33.0).
- التقييم البشري: أكد المقيمون البشريون أن استجابات SGM ظلت طليقة وطبيعية، متجنبة "الرفض المفرط" أو الإجابات المبتورة الشائعة في طرق إزالة السمية الأخرى.
القدرة على التعميم:
- أظهر SGM فعالية متسقة عبر أحجام نماذج مختلفة (7B مقابل 13B) وبنيات متنوعة (متغيرات LLaVA).
- الطريقة قابلة للنقل ولا تعتمد على خصوصيات نموذج معين.

5. الأهمية والأثر

القابلية للتفسير: على عكس فلاتر الصندوق الأسود، يوفر SGM رؤية شفافة لـ أي العصبونات تقود السلوك السام، مما يقدم آلية قابلة للتتبع للتحكم في السلامة.
الكفاءة: كونه طريقة غير معلمية وخالية من التدريب، يضيف SGM عبئاً حوسبياً ضئيلاً، مما يجعله مناسباً للنشر في الوقت الفعلي.
السلامة متعددة الوسائط: يعالج فجوة حرجة من خلال استهداف طبقات دمج الرؤية واللغة تحديداً، حيث يتم تضخيم أو استيعات المفاهيم السامة، بدلاً من مجرد معالجة المدخلات أو المخرجات.
التوجه المستقبلي: تضع هذه الورقة معياراً جديداً للتقييم الأمني متعدد الوسائط (MM-TOXIC-QA) وتقترح نهجاً نموذجياً (SGM $\star$ ) يمكن دمجه مع استراتيجيات سلامة أخرى لبناء بنيات دفاعية قوية ومتعددة الطبقات.

القيود: تركز الدراسة الحالية على طبقات MLP؛ وتوسيع النطاق ليشمل آليات الانتباه (attention mechanisms) هو عمل مستقبلي. بالإضافة إلى ذلك، تقتصر دراسة القابلية للنقل حالياً على متغيرات LLaVA، كما يركز المعيار بشكل أساسي على السمية الصريحة بدلاً من انتهاكات السياسات الضمنية.