TraceRouter: Robust Safety for Large Foundation Models via Path-Level Intervention

ملخص تقني: TraceRouter

بيان المشكلة
لا تزال النماذج التأسيسية الضخمة (LFMs)، بما في ذلك نماذج الانتشار (DMs)، والنماذج اللغوية الكبيرة (LLMs)، والنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)، عرضة للتلاعب العدائي رغم قدراتها المتقدمة. تعتمد التدخلات الأمنية الحالية بشكل أساسي على "فرضية الموضعية" (locality hypothesis)، التي تفترض أن الدلالات الضارة مشفرة في عصبونات معزولة أو سمات محددة. وبناءً على ذلك، تحاول الدفاعات الحالية كبح هذه المكونات الموضعية. ومع ذلك، يرى المؤلفون أن الدلالات الضارة في النماذج التأسيسية الضخمة هي بطبيعتها موزعة وتنتشر عبر دوائر معقدة عابرة للطبقات. لذا، فإن التدخلات الموضعية هشة؛ فهي غالبًا ما تفشل في منع "التسرب الدلالي" (semantic leakage) تحت التأثير العدائي، وتؤدي دون قصد إلى تدهور المنفعة العامة للنموذج من خلال تعطيل العصبونات متعددة المعاني (polysemantic neurons) التي تؤدي وظائف حميدة.

المنهجية: TraceRouter
لمعالجة هذه القيود، يقترح المؤلفون TraceRouter، وهو إطار عمل عالمي يعتمد على مبدأ "الاكتشاف-التتبع-القطع" (Discover-Trace-Disconnect) ويعمل على مستوى المسار بدلاً من مستوى العصبون. يتكون إطار العمل من ثلاث مراحل متميزة:

1. تحديد المصدر الحساس (الاكتشاف - Discover):

   • كشف طبقة البداية: يقوم النظام بتحليل تباين الانتباه لتحديد "طبقة البداية الحساسة" ($l^*$)، والتي تُعرف بأنها الطبقة الأولى التي يحفز فيها المحفز الحساس انتباهاً كبيراً من المعدِّلات الحساسة نحو الكيانات المستهدفة، بما يميزها عن الاضطرابات السياقية الخلفية.
   • فك تشابك السمات: يتم استخدام "المُشفّر التلقائي المتناثر من النوع Top-K" (Top-K Sparse Autoencoder - SAE) لتفكيك التنشيطات العصبية الكثيفة عند طبقة البداية إلى سمات قابلة للتفسير.
   • اختيار العصبونات: من خلال حساب درجة التنشيط التفاضلي ($\Delta WFS$) بين العينات الحساسة وغير الحساسة، تعزل الطريقة عصبونات حساسة محددة يتم تحفيزها حصرياً بواسطة المفاهيم غير المشروعة.

2. تتبع المسار الدلالي السببي (التتبع - Trace):

   • الإسقاط العكسي: يتم إسقاط السمات المتناثرة المحددة مرة أخرى في الفضاء الكامن الكثيف لطبقة البداءة لتحديد العصبونات المصدر.
   • تدخل التصفير (Zero-Out): يقوم النظام بإجراء تدخل "التصفير" على هذه العصبونات المصدر في النموذج الأساسي لمراقبة التأثيرات اللاحقة.
   • درجة تأثير السمة (FIS): يتم حساب مقياس سببي، وهو FIS، للعصبونات اللاحقة. يجمع هذا المقياس بين تكرار التنشيط، وحجم المتوسط الشرطي، والفرق المطلق في التنشيط الناتج عن تدخل التصفير. تشير قيم FIS العالية إلى العصبونات الحرجة سببياً في انتشار الدلالات الضارة.

3. الكبح الانتقائي على مستوى المسار (القطع - Disconnect):

   • تفكيك المسار: لأي طبقة لاحقة، يتم تفكيك متجه التنشيط إلى مكونين: المسار الحساس ($Z_P$) والمسارات الحسابية المتعامدة ($Z_{\neg P}$) المرتبطة بالمنفعة العامة.
   • القطع السببي: يتم تطبيق عامل كبح ($\lambda$) بشكل انتقائي على مكون المسار الحساس ($Z_P$) مع ترك المسارات المتعامدة ($Z_{\neg P}$) سليمة. هذا يؤدي إلى قطع التدفق السببي للمعلومات الضارة مادياً دون تعطيل التفكير التأسيسي أو القدرات التوليدية للنموذج.

المساهمات الرئيسية

• اقتراح إطار العمل: تقديم TraceRouter، وهو إطار عمل للتدخل على مستوى المسار، يعمل على أتمتة تحديد وحظر حلقات المعلومات الضارة عبر بنيات نماذج متنوعة (DMs, LLMs, MLLMs).
• التكامل الميكانيكي: دمج المُشفّرات التلقائية المتناثرة (SAEs) مع درجات تأثير السمات (FIS) لتحقيق فك تشابك دقيق ورسم خرائط سببية لتدفقات المنطق الداخلي على مستوى التوجيه.
• التحقق التجريبي: إثبات نجاح الطريقة عبر عدة اختبارات معيارية، حيث تعزز المتانة ضد الهجمات العدائية بشكل كبير مع الحفاظ بدقة على المنفعة العامة، مما يتحدى فعالية فرضية الموضعية.

النتائج التجريبية

• نماذج الانتشار (DMs): في نموذج Stable Diffusion 1.4، حقق TraceRouter معدل نجاح دفاعي (DSR) بنسبة 99.2% ضد التعري (I2P nudity) و93.6% ضد العنف. كما أظهر متانة فائقة ضد الهجمات العدائية (P4D وRing-A-Bell)، متفوقاً على النماذج المرجعية المتطورة مثل ESD وUCE وSNCE. والأهم من ذلك، حافظ على دقة توليد عالية، محققاً أفضل درجات CLIP Score (31.27) وFID (16.24) بين جميع الطرق المختبرة.
• النماذج اللغوية الكبيرة (LLMs): في نماذج LLaMA3-8B وMistral-7B، حقق TraceRouter متوسط معدلات DSR بلغت 99.6% و98.8% على التوالي ضد مختلف هجمات الاختراق (بما في ذلك GCG وAutoDAN والهجمات القائمة على الأنماط). والجدير بالذكر أنه رفع مستوى سلامة نموذج Mistral-7B الضعيف من خط أساس قدره 6.6% إلى 98.8%.
• النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs): تفوقت الطريقة باستمرار على الدفاعات المتطورة (SOTA) في نماذج LLaVA-1.5 وMiniGPT-4، محققة معدلات سلامة تقترب من الكمال (مثلاً 99.60% على LLaVA-1.5) مع تحييد المخاطر عبر الوسائط بفعالية.
• الدراسة الاستقصائية والتحليل:
  • المسار مقابل العصبون: أكدت التجارب أن التدخل على مستوى المسار يتفوق بشكل كبير على كبح مستوى العصبون، مما يؤكد أن الدلالات الضارة تعتمد على دوائر موزعة بدلاً من عقد معزولة.
  • التحقق السببي: أظهرت تجارب "تضخيم المسار" أن تعزيز المسارات المحددة اصطناعياً زاد من التوليد الضار، بينما أدى الكبح إلى تقليله بشكل حاد، مما يؤكد الطبيعة السببية للدوائر المحددة.
  • الحفاظ على المنفعة: أظهرت تقييمات المنفعة على Global-MMLU-Lite وMM-Bench انخفاضاً طفيفاً جداً في الأداء (على سبيل المثال، -0.8% لـ LLaMA3-8B)، مما يؤكد أن التدخل انتقائي للغاية ولا يسبب نسياناً كارثياً.

الأهمية والادعاءات
يزعم البحث أن TraceRouter يقدم تحولاً جوهرياً في التدخل الأمني من خلال الانتقال من الكبح الموضعي إلى التنظيم الدقيق على مستوى المسار والمستقل عن البنية المعمارية. ويؤكد المؤلفون أن هذا النهج يقطع مادياً الانتشار السببي للدلالات الضارة مع ترك مسارات الحوسبة المتعامدة سليمة. وهذا يحل التوتر بين السلامة والأداء، مما يوفر حلاً تقنياً قوياً وقابلاً للتفسير وفعالاً لبناء نماذج تأسيسية صناعية أكثر أماناً دون المساس بقدراتها في التفكير العام أو التوليد. ويؤكد هذا العمل أن الفعالية في السلامة تتطلب استهداف البنية الطوبولوجية لتدفق الدلالات بدلاً من التنشيطات المعزولة.