ملخص تقني: المشفرات التلقائية المتفرقة المنظمة بالرسم البياني لتوجيه سلامة النماذج اللغوية الكبيرة

1. بيان المشكلة

تمتلك النماذج اللغوية الكبيرة (LLMs) قدرات قوية، لكنها تظل عرضة للمطالبات العدائية وعمليات كسر الحماية (jailbreaks) التي تستحث توليد محتوى ضار. يجب أن توازن آليات السلامة الفعالة بين متطلبات متضاربة: حظر المخرجات الضارة بشكل موثوق مع الحفاظ على الفائدة في الاستعلامات الحميدة والمزدوجة الاستخدام.

تواجه الدفاعات الحالية قيودًا كبيرة:

• الحواجز الواقية ذات الصندوق الأسود (مثل تصفية المطالبات، أو مصنفات المخرجات) تعمل خارج الحوسبة الداخلية للنموذج، مما يجعلها هشة تحت تأثير تحولات التوزيع وتفتقر إلى المتانة التكيفية.
• الأساليب القائمة على المكونات الداخلية (مثل إضافة التنشيطات، أو اتجاهات الرفض) تتدخل مباشرة في التمثيلات الخفية. ومع ذلك، فإن العديد من هذه النهج، بما في ذلك المشفرات التلقائية المتفرقة (SAEs) القياسية، تعامل الميزات الكامنة كعناصر مستقلة. هذا الافتراض بالاستقلالية لا يتناسب جيدًا مع سلوكيات السلامة عالية المستوى مثل الرفض والامتثال الضار، والتي تشير الدراسات الحديثة إلى أنها تعتمد على هياكل موزعة وغير خطية في فضاء التنشيط، وليس على محاور دلالية معزولة.

المشكلة الجوهرية التي يتم معالجتها هي أن المشفرات التلقائية المتفرقة القياسية قد تفتت المفاهيم الأمنية المتماسكة عبر ميزات ضعيفة المحاذاة، مما يقلل من استقرار وفعالية اتجاهات التوجيه المستمدة منها.

2. المنهجية

يقترح المؤلفون المشفرات التلقائية المتفرقة المنظمة بالرسم البياني (GSAE)، وهو إطار عمل يتعلم اتجاهات توجيه سلامة أكثر سلاسة وتماسكًا هيكليًا من خلال دمج طوبولوجيا التنشيط المشترك للنيورونات. تتكون الطريقة من ثلاث مراحل:

2.1 التدريب المنظم بالرسم البياني (GSAE)

يوسع المؤلفون هدف SAE القياسي بإضافة عقوبة نعومة لابتلاسيان (Laplacian smoothness penalty) على رسم بياني للتنشيط المشترك للنيورونات.

• بناء الرسم البياني: يتم إنشاء رسم بياني غير موجه $G=(V, E)$ حيث تمثل العقد النيورونات في طبقة مستهدفة. تُحدد أوزان الحواف من خلال تشابه جيب التمام (cosine similarity) المتوفر بعد العتبة لملفات تعريف تنشيط النيورونات عبر مجموعة محتفظ بها من المطالبات المصنفة أمنيًا.
• دالة الهدف: تجمع دالة خسارة التدريب بين خطأ إعادة البناء، والتفرق ($L_1$)، وخسارة التصنيف الخاضعة للإشراف (عبر مسبار خطي)، وعنصر تنظيم الرسم البياني الجديد:
  $$L_{GSAE} = \|h - \hat{h}\|^2_2 + \lambda_{spar}\|z\|_1 + \lambda_{sup}L_{cls} + \lambda_{graph} \sum_{j=1}^k (W^{(d)}_{\cdot, j})^\top L W^{(d)}_{\cdot, j}$$
  هنا، $L$ هو لابتلاسيان متماثل ومعاير للرسم البياني للتنشيط المشترك. يعاقب حد الرسم البياني اتجاهات فك التشفير التي تتغير بشكل حاد عبر النيورونات شديدة التنشيط المشترك، مما يوجه القاموس نحو الأنماط الذاتية (eigenmodes) منخفضة التردد التي تحترم الهيكل الموزع للأنماط ذات الصلة بالسلامة.

2.2 بناء بنك التوجيه

ليست كل الميزات المتعلمة مناسبة للتوجيه. يقوم المؤلفون ببناء "بنك توجيه" منسق عن طريق تسجيل اتجاهات فك التشفير مقابل ثلاثة معايير مستقلة:

1. التماسك الهيكلي ($s_{coh}$): يقيس نعومة الاتجاه على رسم البياني للنيورونات (طاقة ديريكليه منخفضة).
2. الأهمية التنبؤية ($s_{rel}$): مقدار المعامل في المسبار الخطي المدرب للتنبؤ بتصنيفات السلامة.
3. فعالية التدخل ($s_{eff}$): التغيير الفعلي في سلوك النموذج (تقليل الضرر مقابل الرفض المفرط) عند تطبيق الاتجاه.

يتم تسجيل الاتجاهات باستخدام المتوسط الهندسي الموزون لهذه المقاييس. ويتم الاحتفاظ فقط بالاتجاهات التي تؤدي أداءً جيدًا في المعايير الثلاثة في البنك النهائي.

2.3 التوجيه وقت التشغيل باستخدام متحكم ثنائي البوابة

لمنع تدهور الأداء الحميد، يستخدم GSAE خط أنابيب توجيه انتقائي مع بوابتين:

• بوابة المدخلات: تقيم درجة خطر مستوى المطالبة قبل التوليد. إذا كان الخطر مرتفعًا، فإنها تطلق رفضًا فوريًا؛ وإذا كان منخفضًا، يستمر التوليد دون توجيه.
• بوابة الاستمرار: تراقب خطر مستوى الرمز (token) أثناء التوليد. تقوم بتنشيط التوجيه فقط عندما يرتفع الخطر فوق عتبة عالية، وتوقفه فقط عندما ينخفض الخطر تحت عتبة منخفضة (باستخدام التلاكؤ/hysteresis لمنع التبديل غير المستقر).
• التدخل: عند التنشيط، يطبق المتحكم إزاحة تصحيحية للحالات الخفية عن طريق طرح مجموع مرجح لاتجاهات بنك التوجيه، موازية بمدى محاذاتها مع الحالة الخفية الحالية.

3. المساهمات الرئيسية

1. هدف GSAE: تقديم هدف SAE منظم بالرسم البياني يفرض النعومة على رسم بياني للتنشيط المشترك للنيورونات، مما يعالج محدودية افتراضات الاستقلالية في SAEs القياسية.
2. خط أنابيب التوجيه الانتقائي: تطوير طريقة بناء بنك متعددة المعايير (التماسك، الأهمية، الفعالية) مقترنة بمتحكم وقت التشغيل ثنائي البوابة (المدخلات والاستمرار) لضمان التدخل الانتقائي.
3. العزل التجريبي: دراسات استئصال محكومة توضح أن تنظيم الرسم البياني يحسن تحديدًا جودة اتجاهات التدخل المستمدة من SAE، بشكل متميز عن فوائد بوابة التنزيل أو بناء البنك.

4. النتائج التجريبية

تم تقييم الطريقة أساسًا على Llama-3-8B-base، مع التحقق من صحة النموذج عبر نماذج أخرى مثل Mistral 7B و Qwen 2.5 14B و Phi-4 15B.

• أداء السلامة: على JailbreakBench، أدى استبدال SAE قياسي بـ GSAE (في خط أنابيب متطابق آخر) إلى تحسين درجة الرفض الانتقائي ($\Delta s = HRR - SRR$) بمقدار 20.1 نقطة (من 58.8% إلى 78.9%). لوحظت مكاسب مماثلة على HarmBench (+16.8 نقطة) و XSTest.
• المقارنة بالأساليب المرجعية: تفوق GSAE على أساليب توجيه التنشيط (مثل CAA و SafeSwitch) وعلى الحواجز الواقية ذات الصندوق الأسود (مثل Llama Guard للمدخلات والمخرجات) مع الحفاظ على إنتاجية مماثلة أو أفضل.
• الحفاظ على الفائدة: حافظت الطريقة على أداء المهام الحميدة، مع انخفاض طفيف في متوسط النقاط (4.2 نقطة) في معايير الفائدة (TriviaQA, GSM8K, TruthfulQA) مقارلة بالأساس غير الموجه.
• التعميم: انتقلت مكاسب الأداء عبر بنيات نماذج مختلفة (Mistral, Qwen, Phi).
• المتانة: ظل GSAE قويًا تحت هجمات كسر الحماية ذات الصندوق الأسود (AutoDAN, TAP) والرمادي (GCG). ومع ذلك، تحت اختبار جهد للنموذج مدرك للتوجيه (حيث يمتلك المهاجم وصولًا إلى ناقلات البنك وعتبات البوابة)، تدهورت المتانة، حيث انخفض معدل الرفض الضار (HRR) إلى 51.9%.
• تحليل الآلية: أشارت المجسات التشخيصية إلى أن GSAE ينشط مسارات رفض صريحة بدلاً من مجرد إزاحة الحالات الخفية نحو منطقة تبدو حميدة (إزاحة المركز الآمن).

5. الأهمية والادعاءات

يزعم البحث أن التنظيم بالرسم البياني هو انحياز استقرائي حاسم لتعلم اتجاهات توجيه السلامة من SAEs. النتيجة الأساسية هي أن سلوكيات السلامة في النماذج اللغوية الكبيرة موزعة وغير خطية؛ وإن فرض النعومة الهيكلية على النيورونات ذات التنشيط المشترك يمنع تفتت مفاهيم السلامة، مما يؤدي إلى اتجاهات تدخل أكثر فعالية.

يؤكد المؤلفون أن مساهمتهم محكومة ووظيفية: فقد قاموا بعزل التحسن المحدد الناتج عن حد الرسم البياني تحت خط أنابيب تنزيل متطابق. هم لا يدعون اكتشاف الدائرة الميكانيكية الكاملة للرفض، بل أن الاتجاهات المنظمة بالرسم البياني توفر أساسًا متفوقًا للتوجيه الانتقائي.

يسلط العمل الضوء على مقايضة عملية للنشر: يوفر متحكم البوابتين الكامل دقة على مستوى الرمز بتكلفة زمن انتقال (latency) متواضعة، بينما يحتفظ متغير البوابة الواحدة (المدخلات فقط) بمعظم مكاسب السلامة مع تكلفة تشغيل أقل. يقر المؤلفون بالقيود، مشيرين إلى أن الطريقة تتطلب الوصول إلى الحالات الخفية (النماذج ذات الأوزان المفتوحة)، وتعتمد على رسم بياني ثابت للتنشيط المشترك قد لا يتكيف مع تحولات التوزيع، وهي عرضة للهجمات ذات الصندوق الأبيض التي تكشف عن تفاصيل التوجيه الداخلية.