ملخص تقني: كشف المطالبات العدائية القائمة على التحسين عبر تغيرات الإنتروبيا المتتالية

1. بيان المشكلة

لا تزال النماذج اللغوية الكبيرة (LLMs) عرضة لـ اللاحقات العدائية القائمة على التحسين (optimization-based adversarial suffixes). وخلافًا للاختراقات التي يصيغها البشر، يتم إنشاء هذه الهجمات (مثل GCG وAutoDAN وAdvPrompter) تلقائيًا لإجبار النماذج المتوافقة على انتهاك سياسات السلامة مع الحفاظ على سلاسة عالية.

تواجه الدفاعات الحالية عائقين رئيسيين:

1. الكواشف الإحصائية (القائمة على الارتياب/Perplexity): تفترض الطرق التي تعتمد على الارتياب العالمي (PP) أو الارتياب النافذي (WPP) أن الرموز (tokens) العدائية غير مرجحة إحصائيًا أو تفتقر إلى السلاسة. ومع ذلك، فإن الهجمات الحديثة تعمل صراحةً على تحسين الارتياب المنخفض والطبيعية، مما يجعل الارتياب العالمي (PP) ضمن نطاق المطالبات الحميدة، وهو ما يجعل هذه الكواشف غير فعالة.
2. مصنفات السلامة (نماذج الحراسة): توفر نماذج مثل LLaMA Guard قدرة قوية على الكشف الدلالي، لكنها تفرض تأخيرًا (latency) كبيرًا، وحملًا على الذاكرة، وتعقيدًا في الخدمة. علاوة على ذلك، فهي تعمل على مستوى المطالبة ككل ولا يمكنها تحديد الموقع الدقيق لـ بداية اللاحقة العدائية داخل تدفق المدخلات.

التحدي الجوهري هو كشف وتحديد موقع هذه اللاحقات السلسة والقائمة على التحسين في الوقت الفعلي دون الاعتماد على عتبات ارتياب ثابتة أو نماذج مساعدة مكلفة.

2. المنهجية: CPD Online

يقترح المؤلفون CPD Online، وهو كاشف خفيف الوزن ولا يتطلب تدريبًا، يقوم بصياغة كشف اللاحقة العدائية كمسألة كشف نقطة التغير عبر الإنترنت (online change-point detection - CPD) على تدفق إنتروبيا الرمز التالي (next-token entropy) المتتالي.

الآلية الجوهرية

تعمل الطريقة بناءً على ملاحظة مفادها أنه بينما تشترك مدخلات المستخدم الحميدة في توزيع إنتروبيا مشابه للمطالبة النظامية (system prompt)، فإن اللاحقات العدائية القائمة على التحسين تسبب إزاحة مستمرة في تدفق إنتروبيا الرموز، حتى عندما يظل الارتياب العالمي غير ملحوظ.

يتكون خط أنابيب الكشف من ثلاث خطوات:

1. تقدير الخط المرجعي المتين:
   • تُستخدم المطالبة النظامية الثابتة لإنشاء خط مرجعي للإنتروبيا خاص بنشر النموذج.
   • يتم حساب الوسيط ($\hat{\mu}_0$) والانحراف المطلق عن الوسيط ($\hat{\sigma}_0$) لإنتروبيا رموز المطالبة النظامية لتحديد الموقع والمقياس المتينين.
2. التقييس (Standardization):
   • يتم تقييس إنتروبيا رموز المستخدم ($H^{usr}_t$) مقابل الخط المرجعي: $Z_t = (H^{usr}_t - \hat{\mu}_0) / \hat{\sigma}_0$.
   • في الظروف الحميدة، يتذبذب $Z_t$ بالقرب من الصفر. أما اللاحقة العدائية فتسبب إزاحة موجبة مستمرة في متوسط $Z_t$.
3. اختبار Page CUSUM أحادي الجانب:
   • يتم تطبيق إحصائية Page CUSUM أحادية الجانب ($W^+_t$) على التدفق المقيس لكشف إزاحات المتوسط المستمرة:
     W^+_t = \max\{0, W^+_{t-1} + Z_t - k\}$}
     حيث $k \ge 0$ هو معامل "الارتخاء" (الإعداد القياسي $k=0$).
   • يتم إطلاق إنذار عند زمن التوقف $\tau$ عندما يتجاوز $W^+_t$ العتبة $h$.
   • التحديد الموقعي (Localization): يتم تقدير بداية اللاحقة ($\hat{\nu}$) عبر التتبع إلى الخلف إلى آخر نقطة إعادة ضبط حيث كانت $W^+_t = 0$ قبل الإنذار.

الخصائص التشغيلية

• مستقل عن النموذج (Model-Agnostic): يتطلب فقط الوصول إلى احتمالات الرمز التالي (أو الـ logits) من النموذج الأساسي.
• لا يتطلب تدريبًا: لا يتطلب أي تدريب إضافي أو شبكات مساعدة.
• يعمل عبر الإنترنت وبأعباء منخفضة: يعمل بالتتابع أثناء عملية التمرير الأمامي (forward pass) بتعقيد $O(1)$ لكل رمز وبصمة ذاكرة ضئيلة.
• بوابة هجينة: يمكن أن يعمل كبوابة خفيفة الوزن لتصفية حركة المرور الحميدة قبل استدعاء مصنفات السلامة المكلفة مثل LLaMA Guard.

3. المساهمات الرئيسية

1. الصياغة: يصيغ البحث كشف اللاحقة العدائية كمسألة كشف نقطة التغير عبر الإنترنت على تدفقات إنتروبيا الرمز، موضحًا أن إزاحات الإنتروبيا هي إشارة أكثر متانة من الارتياب الثابت للهجمات السلسة.
2. الخوارزمية: تجسيد CPD Online ككاشف Page-CUSUM أحادي الجانب باستخدام إحصائيات MAD المستندة إلى المطالبة النظامية. إنه خفيف الوزن، ولا يتطلب تدريبًا، ويستخدم كميات متاحة في عمليات التمرير الأمامي القياسية.
3. الأداء التجريبي: في اختبار معياري يضم 1,012 هجمة قائمة على التحسين (عبر GCG وAutoDAN وAdvPrompter وBEAST وAutoDAN-HGA) و1,012 مطالبة حميدة متطابقة في الارتياب، يتفوق CPD Online باستمرار على أقوى نماذج الارتياب النافذي (WPP) عبر ستة نماذج دردشة مفتوحة الأوزان (LLaMA-2, Vicuna, Qwen2.5).
4. التحديد الموقعي: على عكس WPP، الذي غالبًا ما يطلق تنبيهات على نوافذ تمتد عبر حدود اللاحقة، يركز CPD نسبة 79.6% من تنبيهاته داخل اللاحقة العدائية، مما يوفر تحديدًا دقيقًا على مستوى الرمز.
5. الكفاءة: عند استخدامه كبوابة لـ LLaMA Guard، يقلل CPD من استدعاءات الحراسة بنسبة 17–22% (تصل إلى 42.2% في اختبارات الضغط عالية الحجم) مع الحفاظ على جودة الكشف.

4. النتائج التجريبية

أُجري التقييم على ستة نماذج لغوية كبيرة (LLaMA-2-7B/13B, Vicuna-7B/13B, Qwen2.5-7B/14B) باستخدام معيار مطابق للارتياب ($\alpha=1$) حيث تم أخذ عينات من المطالبات الحميدة لتطابق توزيع الارتياب للهجمات المحسنة للسلاسة.

• دقة الكشف (F1): حقق CPD Online أعلى درجات F1 في جميع النماذج الستة.
  • مثال (LLaMA-2-7B): حقق CPD درجة F1 0.82 و AUROC 0.88، مقارنة بأفضل نموذج أساسي WPP (وهو WPP15) الذي حقق F1 0.74 و AUROC 0.77. أما الارتياب العالمي (PP) فقد كان أداؤه قريبًا من الصدفة العشوائية (AUROC ~0.46).
• دقة التحديد الموقعي:
  • أطلق CPD تنبيهات داخل اللاحقة بنسبة 79.6% من الوقت.
  • أطلقت نماذج WPP الأساسية تنبيهات داخل اللاحقة بنسبة 17–46% فقط، مع وجود "تلطيخ حدودي" (boundary smearing) كبير (تنبيهات في فئة before+in) وتسرب عالٍ إلى المناطق الحميدة (in-benign).
• المتانة تجاه تغيرات الارتياب: في اختبارات الضغط حيث تم نقل المطالبات الحميدة إلى ارتفاع في الارتياب ($\alpha=2, 3$)، حافظ CPD على أدائه أو حسنه، بينما تدهور أداء WPP بشكل كبير (انخفض AUROC من 0.81 إلى 0.67 عند $\alpha=3$).
• البوابة الهجينة: في سيناريو نشر يتضمن 17,297 مطالبة (معظمها حميدة)، قللت بوابة CPD من استدعاءات LLaMA Guard بنسبة 42.2% (لـ LG1) و 33.8% (لـ LG2) مع الحفاظ على درجة F1 الهجينة.

5. الأهمية والادعاءات

يدعي البحث أنه أول عمل يطبق كشف نقطة التغير عبر الإنترنت ضمن طلب واحد (تدفق رموز النظام + المستخدم) على مستوى الرمز لكشف وتحديد موقع اللاحقات العدائية في النماذج اللغوية الكبيرة المنشورة.

الأهمية:

• ما وراء الاستدلالات الثابتة: يثبت أن ديناميكيات الإنتروبيا المتتالية، وليس قيم الارتياب المطلقة، هي الميزة المميزة للهجمات القائمة على التحسين.
• النشر العملي: من خلال كونه لا يتطلب تدريبًا ومستقلاً عن النموذج، فإنه يقدم حلاً قابلاً للتطبيق للمراقبة في الوقت الفعلي دون التكلفة الحسابية لتشغيل نموذج حراسة (Guard) ثانٍ لكل طلب.
• الدقة: القدرة على تحديد البداية الدقيقة للهجوم تتيح استراتيجيات تخفيف مستهدفة بدلاً من الرفض الأعم للمطالبة بأكملها.

القيود المعترف بها:

• تعتمد الطريقة على احتمالات مستوى الرمز، والتي قد لا تتوفر في إعدادات واجهة برمجة التطبيقات (API) المغلقة.
• تفترض وجود مطالبة نظامية ثابتة لمعايرة الخط المرجعي؛ وقد تتطلب التغيرات القوية في توزيع حركة المرور الحميدة إعادة معايرة.
• يقتصر نموذج التهديد حاليًا على اللاحقات القائمة على التحسين المضافة إلى مطالبات المستخدم، وليس هجمات البادئة (prefix attacks) أو حقن المطالبة غير المباشر.

يخلص المؤلفون إلى أن هذا العمل يشجع على مزيد من الاستكشاف للأدوات الإحصائية المتتالية وديناميكيات عدم اليقين الداخلية كإشارات غنية لسلامة النماذج اللغوية الكبيرة.