Symmetry Defeats Auditing

ملخص تقني: التماثل يهزم التدقيق

بيان المشكلة
تتناول الورقة البحثية ثغرة "محولات الاستبطان" (Introspection Adapters - IA)، وهي تقنية اقترحها شينوي وآخرون [9] تهدف إلى اكتشاف الضبط الدقيق الخبيث في النماذج اللغوية الكبيرة (LLMs). يعتمد نموذج (IA) على محول (LoRA) محدد تم تدريبه عبر "تحسين التفضيل المباشر" (DPO) لاستحضار التعبيرات اللفظية للسلوكيات المزروعة (مثل قيام النموذج بالتقليل من مخاطر تسرب الغاز). يكمن مكمن القلق الجوهري في أن المهاجم يمكنه تهريب تخصص خبيث داخل النموذج، وسيفشل (IA) في اكتشافه. يوضح المؤلفون أن آلية الكشف هذه هشة جوهرياً بسبب التماثلات الرياضية المتأصلة في بنيات النماذج اللغوية الكبيرة.

المنهجية
يقترح المؤلفون هجوماً حيث يقوم المهاجم، الذي يسيطر على أوزان النموذج قبل نشر محول المدقق (IA)، بتطبيق تحويل خطي يحافظ على السلوك على أوزان النموذج الداخلية. هذا التحويل يجعل محول المدقق اللاحق غير فعال. يستغل الهجوم نوعين محددين من التماثل الموجود في بنيات المحولات (Transformer):

1. تماثل الانتباه $W_V/W_O$: في آليات "الانتباه متعدد الرؤوس مع استعلامات مجمعة" (Grouped-query attention) المستخدمة في نماذج Llama وQwen، تتضمن مخرجات آلية الانتباه مصفوفة القيمة ($W_V$) ومصفوفة الإسقاط الخارجي ($W_O$). يوضح المؤلفون أنه لأي مصفوفة قابلة للعكس $G$، فإن التحويل $W_V \to W_V G$ و $W_O \to G^{-1} W_O$ يترك مخرجات النموذج دون تغيير. إذا طبق المهاجم هذا التحويل على النموذج الأساسي، فإن أي محول (LoRA) يتم تثبيته لاحقاً (مثل IA) سيتم ضربه فعلياً في $G^{-1}$ من جهة اليمين. هذا يغير التأثير الوظيفي للمحول، مما يحيد قدرته على اكتشاف السلوك الخبيث. يقوم المهاجم بأخذ عينات من مصفوفات متعامدة (Haar-random orthogonal matrices) لكل فضاء قيمة في رأس الانتباه لإجراء هذا التحويل.

2. تماثل التبديل في MLP: تُظهر كتل "المدرك متعدد الطبقات" (MLP) في نماذج مثل Llama وQwen3 تماثلاً في التبديل. من خلال تطبيق مصفوفة تبديل $P$ على أوزان الإسقاط البوابي والعلوي ($W_{gate}, W_{up}$) ومعكوسها $P^{-1}$ على وزن الإسقاط السفلي ($W_{down}$)، تظل مخرجات الطبقة متطابقة. إذا قام المهاجم بتبديل هذه الأوزان قبل تثبيت (IA)، فإن محولات (LoRA) الخاصة بـ (IA) ستتحول فعلياً (على سبيل المثال، $C_{gate} \to C_{gate}P^{-1}$)، مما يجعلها خاملة وظيفياً فيما يتعلق باكتشاف السلوك الخبيث المحدد.

الهجوم غير مكلف حاسوبياً، حيث يتطلب حوالي 5 دقائق من وقت المعالج (CPU) لنسخة نموذج بحجم 70 مليار معلمة.

المساهمات الرئيسية

• إثبات الضعف: تقدم الورقة أول عرض ملموس لكيفية تجاوز "محولات الاستبطان" (IAs) تماماً عن طريق تطبيق تماثلات بسيطة تحافظ على السلوك على أوزان النموذج.
• متغيرات الهجوم: حدد المؤلفون ونفذوا ناقلين مختلفين للهجوم: هجوم "تماثل الانتباه $W_V/W_O$" وهجوم "تبديل MLP".
• القدرة على التعميم: يجادل المؤلفون بأن هذه الفئة من هجمات التماثل لا تقتصر على (IAs) فحسب، بل من المرجح أن تهزم أي أداة تدقيق تعتمد على فحص الحالات الداخلية للنموذج أو إسقاطات فضاء الأوزان (مثل Safe LoRA [6])، بشرط وصول المهاجم إلى أوزان النموذج بين مرحلة المعايرة والنشر.

النتائج
قيم المؤلفون الهجوم على سبعة نماذج ضبط دقيق خبيثة منشورة من عمل شينوي وآخرون [9] باستخدام نموذج أساسي Llama-3.3-70B-Instruct.

• التملص من الكشف: في جميع الحالات السبع، أدى أفضل هجوم متاح إلى خفض معدل اكتشاف (IA) من خط الأساس البالغ 100% إلى 0-20%.
• الحفاظ على السلوك: من الضروري ملاحظة أن السلوك الخبيث للنماذج التي خضعت للضبط الدقيق ظل سليماً وقابلاً للملاحظة؛ الهجوم أثر فقط على قدرة المدقق على اكتشافه.
• كفاءة الهجوم: كان هجوم "تبديل MLP" وحده كافياً لهزيمة (IA) لثلاثة من المحولات. أما بالنسبة للبقية، فقد كان من الضروري الجمع بين هجوم MLP وهجوم "تماثل الانتباه $W_V/W_O$".
• التكلفة: استغرقت عملية الهجوم بأكملها حوالي ساعة واحدة على جهازي NVIDIA A100 وكلف حوالي 3 دولارات من موارد الحوسبة.

الأهمية والادعاءات
تدعي الورقة أن القدرة على التحكم في أوزان النموذج تقوض بشكل أساسي فعالية أدوات التدقيق القائمة على فضاء الأوزان. ويخلص المؤلفون إلى أنه إذا تمكن المهاجم من الوصول إلى النموذج في أي نقطة بين معايرة مسبار المدقق ونشر المسبار، فيمكنه هزيمة التدقيق هيكلياً عن طريق نقل "مؤشرات الخلايا العصبية" (neuron indices) التي يعتمد عليها المدقق.

يصرح المؤلفون صراحةً أن مساهمتهم ليست اكتشاف التماثلات نفسها (فهي معايير قياسية في التفسير الآلي [3])، بل هي ملاحظة أن مدققات (IA) القائمة على (LoRA) ليست ثابتة تجاه هذه التماثلات وأن هذا عدم الثبات يمكن استغلاله "بسهولة ورخص". ويحذرون من أن العديد من تقنيات التدقيق الحالية قد تكون "غير فعالة إلى حد كبير" في سيناريوهات النشر الواقعية حيث يسيطر المهاجم على الأوزان. لا تقترح الورقة أدوات تدقيق جديدة أو طرق تدريب مستقبلية (مثل IAs المقاومة للتماثل) كحلول فورية، مشيرة إلى هذه كتوجهات للعمل المستقبلي.