Peak + Accumulation: A Proxy-Level Scoring Formula for Multi-Turn LLM Attack Detection

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الذروة + التراكم: صيغة تقدير على مستوى الوكيل للكشف عن هجمات النماذج اللغوية الكبيرة متعددة الأدوار."

1. بيان المشكلة

تعمل وكلاء واجهة برمجة تطبيقات (API) النماذج اللغوية الكبيرة (LLM) -وهي جدران حماية (firewalls)- كطبقة دفاع حاسمة، حيث تعترض الطلبات قبل وصولها إلى النموذج. ومع ذلك، فإنها تواجه قيداً صارماً: لا يمكنها استدعاء نموذج لغوي كبير (LLM) للتصنيف بسبب زمن الاستجابة (latency)، والتكلفة، وخطر حقن الأوامر المتكرر (recursive prompt injection). وبناءً على ذلك، تعتمد هذه الوكلاء على تقنيات حتمية مثل التعبيرات النمطية (regex) والأساليب الاستدلالية (heuristics).

بينما تم دراسة الكشف في الدور الواحد (single-turn) بشكل جيد، لا تزال هجمات حقن الأوامر متعددة الأدوار (multi-turn prompt injection) تشكل ثغرة أمنية كبيرة. توزع هذه الهجمات النوايا الخبيثة عبر عدة أدوار من المحادثة (على سبيل المثال، هجمات "Crescendo" أو أساليب كسر الحماية من نوع "Crescendo")، مستغلة الافتراض بأن كل دور يتم تقييمه بشكل مستقل.

• الفجوة: تفتقر الأعمال السابقة على مستوى الوكيل إلى صيغة محددة بالكامل وحتمية لتجميع درجات الأنماط لكل دور في درجة خطر على مستوى المحادثة دون استخدام نموذج لغوي كبير.
• الخلل في النهج الحالي: النهج البديهي باستخدام المتوسط المرجح (weighted average) لدرجات كل دور يفشل بشكل جوهري. تثبت الورقة أنه إذا كانت درجة كل دور $s$ أقل من عتبة الكشف، فإن المتوسط المرجح سيكون أيضاً $s$، بغض النظر عن عدد الأدوار. وهذا يعني أن هجوماً مستمراً مكوناً من 20 دوراً يسجل نفس درجة دور واحد مشبوه، مما يجعل النظام أعمى تجاه الاستمرارية (persistence).

2. المنهجية: تقدير الذروة + التراكم (Peak + Accumulation)

يقترح المؤلفون صيغة تقدير جديدة تعتمد على مبادئ الكشف عن تغير النقاط (CUSUM)، وتحديث الاعتقاد البايزي (Bayesian belief updating)، والتنبيه القائم على المخاطر. الفلسفة الجوهرية هي التراكم بدلاً من المتوسط: يجب أن تؤدي المزيد من الأدلة إلى زيادة درجة الخطر، لا تخفيفها.

صيغة التقدير

يتم حساب الدرجة النهائية كجمع مقيد لثلاث إشارات مضافة:
$$\text{Score} = \text{clamp}(\text{Peak} + \text{Persistence} + \text{Diversity} + \text{Bonuses}, 0, 1)$$

1. خطر الذروة ($\text{peak}$): الدرجة القصوى لأي دور منفرد. تعمل هذه كحد أدنى؛ حيث يساهم أي دور مشبوه للغاية بوزنه الكامل.
2. نسبة الاستمرارية ($\text{match\_ratio} \times \rho$):
   • $\text{match\_ratio}$: كسر الأدوار التي طابقت نمطاً معيناً.
   • $\rho$ (عامل الاستمرارية): معامل قابل للضبط (القيمة الافتراضية 0.45) يقوم بتوسيع مساهمة المطابقات المتكررة.
   • الأهمية: يسمح هذا للمحادثة التي تحتوي على العديد من الأدوار ذات المخاطر المنخفضة إلى المتوسطة بتجاوز عتبة الكشف، مما يحل مشكلة "سقف المتوسط المرجح".
3. تنوع الفئات ($\text{diversity}$): مكافأة للهجمات التي تمتد عبر فئات متميزة متعددة (مثل الجمع بين "إرباك الدور" و"بذر التعليمات")، مما يشير إلى استقصاء متعمد متعدد المتجهات.
4. المكافآت الإضافية:
   • مكافأة التصعيد ($\beta_e$): يتم تفعيلها إذا أظهرت 3 أدوار متتالية أو أكثر زيادة صارمة في درجات الخطر (لكشف أسلوب "Crescendo" في التصعيد التدريجي).
   • مكافأة إعادة العينة ($\beta_r$): يتم تفعيلها إذا كان هناك 3 رسائل مستخدم متتالية على الأقل ذات تشابه عالٍ في تماثل الثلاثيات (trigram similarity) وفق مقياس "جاردك" (Jaccard)، وذلك لكشف استراتيجيات "إعادة المحاولة" حيث يعيد المهاجم عينات الهجوم نفسه.

تفاصيل التنفيذ

• تقدير كل دور: يستخدم مكتبة من الأنماط (regex) عبر 5 فئات (بذر التعليمات، إرباك الدور، تأجيل السلطة، استقصاء التصعيد، التكرار/إعادة العينة).
• العتبة: يتم حظر المحادثة إذا كانت الدرجة النهائية $\ge \tau$ (الافتراضية 0.7).
• البنية التحتية: تم تنفيذها في Parapet، وهو جدار حماية لوكيل HTTP مفتوح المصدر بلغة Rust. يعمل في الطبقة الرابعة (Layer 4 - متعدد الأدوار) بعد طبقات الطبقة الثالثة (Layer 3 - الدور الواحد) وطبقات التطبيع (normalization).

3. المساهمات الرئيسية

1. الإثبات الرياضي للفشل: أثبت المؤلفون رسمياً "سقف المتوسط المرجح"، موضحين لماذا يعد المتوسط رياضياً غير مناسب للكشف عن الهجمات المستمرة متعددة الأدوار.
2. صيغة تقدير مبتكرة: تقديم صيغة الذروة + التراكم، التي تجمع بين ذروة الخطر، والاستمرارية، والتنوع بشكل تراكمي.
3. تقييم شامل: التقييم على 10,654 محادثة متعددة الأدوار، تشمل:
   • 588 هجوماً (579 من WildJailbreak و9 مصممة يدوياً).
   • 10,066 محادثة حميدة (من WildChat).
   • ملاحظة: يعالج هذا فجوة في مجموعات البيانات العامة، حيث لم تكن هناك مجموعة بيانات عامة سابقة لهجمات حقن الأوامر متعددة الأدوار.
4. إصدار مفتوح المصدر: تم إصدار الخوارزمية، ومكتبة الأنماط، وأداة التقييم، وسكريبتات بناء مجموعة البيانات تحت رخصة Apache 2.0.

4. النتائج التجريبية

تم تقييم الصيغة على مجموعة اختبار ثابتة بالنتائج التالية:

• الاستدعاء (Recall): 90.8% (تم اكتشاف 534/588 من الهجمات).
• معدل الإيجابيات الكاذبة (FPR): 1.20% (121/10,066 من المحادثات الحميدة).
• درجة F1: 85.9%.
• الدقة (Precision): 81.5%.

تحليل الحساسية (التحول الطوري):
كانت النتيجة الحاسمة هي سلوك معامل الاستمرارية ($\rho$).

• يحدث تحول طوري عند $\rho \approx 0.4$.
• أدى رفع $\rho$ من 0.375 إلى 0.400 إلى زيادة الاستدعاء بمقدار 12.4 نقطة مئوية (77.4% $\to$ 89.8%) مع زيادة طفيفة جداً في معدل الإيجابيات الكاذبة (0.08pp).
• يُفسر هذا رياضياً بأن الفئات ذات الوزن المنخفض (0.3) عندما تجتمع مع $\rho=0.4$ تتجاوز العتبة 0.7، مما يجعل الهجمات المستمرة ذات الوزن المنخفض قابلة للكشف فجأة.
• تم اختيار $\rho = 0.45$ كقيمة افتراضية لتعظيم F1 مع الحفاظ على هامش أمان.

5. الأهمية والقيود

الأهمية:

• دفاع حتمي: يوفر طريقة غير قائمة على النماذج اللغوية الكبيرة للكشف متعدد الأدوار، وهي ضرورية لوكلاء الحماية منخفضي زمن الاستجابة ومنخفضي التكلفة.
• حل مشكلة "نقطة العمى" تجاه الاستمرارية: ينجح في اكتشاف الهجمات التي تعتمد على التكرار والتصعيد التدريجي، والتي فاتتها طرق "المتوسط المرجح" السابقة تماماً.
• القابلية للتوسع: الصيغة منخفضة التكلفة حسابياً (تستغرق ميكروثانية لكل طلب)، ولا تتطلب وحدة معالجة رسومات (GPU)، وهي قابلة للتدقيق بالكامل.

القيود:

• النطاق: تستهدف الطريقة حقن الأوامر (كسر الحماية عبر عبارات/أنماط محددة). لا يمكنها اكتشاف هجمات "Crescendo" التي تستخدم لغة بريئة تماماً لتغيير مسار الموضوع، لأن هذا يتطلب فهماً دلالياً (semantic) لا يمكن توفيره إلا عبر نموذج لغوي كبير.
• هشاشة الأنماط: مثل جميع الأنظمة القائمة على التعبيرات النمطية (regex)، يمكن تجنبها عبر إعادة الصياغة، أو الترميز (encoding)، أو التعمية (obfuscation). تشير الورقة إلى أن تحسين قوة الأنماط هو عمل مستقبلي مكمل.
• البيانات الاصطناعية: بينما استخدم التقييم مجموعة بيانات كبيرة، فقد تم تركيب هياكل المحادثات متعددة الأدوار اصطناعياً من أوامر هجومية أحادية الدور، نظراً لعدم وجود مجموعة بيانات عامة أصلية لحقن الأوامر متعدد الأدوار.

الخاتمة

تثبت هذه الورقة أن التراكم يتفوق على المتوسط في سياق أمن تعدد الأدوار. من خلال تنفيذ صيغة "الذروة + التراكم"، يمكن لوكلاء الحماية الآن اكتشاف محاولات كسر الحماية المستمرة ومتعددة الأدوار بفعالية، مع تحقيق استدعاء عالٍ وإيجابيات كاذبة منخفضة، مما يسد فجوة حرجة في أمن البنية التحتية للنماذج اللغوية الكبيرة.