The Defense Trilemma: Why Prompt Injection Defense Wrappers Fail?

إليك ملخص تقني مفصل للورقة البحثية بعنوان "ثلاثية الدفاع: لماذا تفشل أغلفة الدفاع ضد حقن الأوامر (Prompt Injection)؟"

1. بيان المشكلة

تتناول الورقة سؤالاً جوهرياً في أمن النماذج اللغوية الكبيرة (LLM): هل يمكن لغلاف دفاعي (Wrapper Defense) أن يقضي على جميع ثغرات حقن الأوامر؟
تعمل آليات الدفاع الحالية (مصنفات المدخلات، فلاتر المخرجات، إعادة الكتابة الدستورية) عموماً كدالة $D: X \to X$ تقوم بمعالجة المدخلات مسبقاً قبل أن يراها النموذج. تهدف هذه الدفاعات عادةً إلى تحقيق خاصيتين:

1. الحفاظ على المنفعة (Utility Preservation): يجب أن تمر الأوامر الآمنة دون تغيير ($D(x) = x$ للمدخلات الآمنة $x$).
2. الاكتمال (Completeness): يجب أن تكون جميع المخرجات آمنة ($f(D(x)) < \tau$ لجميع قيم $x$).

يجادل المؤلفون بأنه تحت فرضية الاستمرارية (الأوامر المتشابهة تؤدي إلى عمليات إعادة كتابة متشابهة) وفضاء أوامر متصل، فإنه من المستح المستحيل رياضياً تحقيق كل من الحفاظ على المنفعة والاكتمال في آن واحد.

2. المنهجية

تستخدم الورقة إطاراً رياضياً صارماً يجمع بين الطبولوجيا، الهندسة المترية، والتحقق الرسمي:

• الإطار الرسمي:
  • فضاء الأوامر ($X$): مُنمذج كفضاء "هوسدورف" متصل (فضاء يتكون من قطعة واحدة).
  • انحراف المحاذاة ($f$): دالة مستمرة $f: X \to \mathbb{R}$ تقيس مدى عدم أمان الأمر.
  • المناطق: آمنة ($S_\tau = \{x | f(x) < \tau\}$)، غير آمنة ($U_\tau = \{x | f(x) > \tau\}$)، وحدودية ($B_\tau = \{x | f(x) = \tau\}$).
  • الدفاع ($D$): دالة مستمرة $D: X \to X$.
• الافتراضات:
  • الاستمرارية: التغييرات الصغيرة في المدخلات تؤدي إلى تغييرات صغيرة في المخرجات (يُستخدم انتظام "ليبتشيتز" للحدود الكمية).
  • الحفاظ على المنفعة: $D(x) = x$ لجميع $x \in S_\tau$.
• التحقق: تم التحقق من الإطار النظري بأكمله (45 ملفاً، حوالي 350 نظرية) آلياً باستخدام Lean 4 مع مكتبة Mathlib، مما يضمن خلوه من أي فجوات منطقية.
• التحقق التجريبي: تم اختبار النظرية مقابل ثلاثة نماذج لغوية (Llama-3-8B، GPT-OSS-20B، GPT-5-Mini) باستخدام فضاء سلوكي ثنائي الأبعاد (تورية الاستعلام مقابل تأطير السلطة).

3. المساهمات الرئيسية: ثلاثية الدفاع

المساهمة الجوهرية هي إثبات ثلاثية (Trilemma): لا يمكن لغلاف دفاعي مستمر ومحافظ على المنفعة أن يكون مكتملاً. يضع المؤلفون تسلسلاً هرمياً لثلاث نتائج استِحالة، كل منها تحت فرضيات أقوى تدريجياً:

أ. تثبيت الحدود (نظرية 4.1)

• المفهوم: في الفضاء المتصل، مجموعة النقاط الثابتة لدالة مستمرة هي مجموعة مغلقة. وبما أن الدفاع يجب أن يثبت جميع المدخلات الآمنة (مجموعة مفتوحة)، فإن غلق هذه المجموعة يجب أن يشمل الحدود.
• النتيجة: توجد نقطة حدودية واحدة على الأقل $z$ (حيث $f(z) = \tau$) بحيث يكون $D(z) = z$. الدفاع يجب أن يترك بعض المدخلات عند مستوى العتبة دون تغيير، مما يؤدي للفشل في معالجتها.

ب. قيد الـ $\epsilon$-المتانة (نظرية 5.1)

• المفهوم: تحت انتظام "ليبتشيتز" (حيث $f$ هي $L$-Lipschitz و $D$ هي $K$-Lipschitz)، ينتشر الفشل عند الحدود إلى جوار المنطقة.
• النتيجة: لأي نقطة $x$ بالقرب من النقطة الحدودية الثابتة $z$، لا يمكن للدفاع تقليل انحراف المحاذاة بشكل كبير. تحديداً:
  $$f(D(x)) \geq \tau - LK \cdot \text{dist}(x, z)$$
  هذا يخلق "نطاقاً" من المدخلات بالقرب من الحدود حيث يكون الدفاع مقيداً ولا يمكنه ضمان السلامة.

ج. المنطقة غير الآمنة المستمرة (نظرية 6.3)

• المفهوم: إذا ارتفع سطح المحاذاة بشكل حاد في اتجاهات معينة (تباين الخواص) بسرعة أكبر مما يمكن للدفاع خفضه، فستبقى منطقة من المدخلات غير الآمنة تماماً.
• الشرط: يتطلب ذلك شرط التعدي (Transversality condition) حيث يتجاوز التدرج الاتجاهي $G$ لسطح المحاذاة قدرة الدفاع: $G > \ell(K + 1)$ (حيث $\ell$ هو ثابت ليبتشيتز لمسار الدفاع).
• النتيجة: توجد مجموعة $S$ ذات قياس موجب حيث $f(D(x)) > \tau$. يترك الدفاع مجموعة فرعية ذات قياس موجب من المدخلات غير آمنة تماماً.

4. التوسعات النظرية الإضافية

توسع الورقة هذه النتائج لتشمل سيناريوهات أوسع، مثبتة أن الاستحالة تظل قائمة حتى عند تخفيف الافتراضات:

• البيانات المنفصلة: حتى في المجموعات المنتهية، يجب على الدفاع إما أن يكون غير مكتمل (يفشل في إصلاح بعض المدخلات غير الآمنة) أو غير متمايز (يؤدي لدمج مدخلات متمايزة، مما يدمر المعلومات/المنفعة).
• التفاعلات متعددة الأدوار: ينطبق تثبيت الحدود على كل دور في المحادثة؛ ويمكن للمهاجمين استغلال ذلك بمرور الوقت.
• الدفاعات العشوائية: إذا استخدم الدفاع العشوائية، فإن القيمة المتوقعة عند الحدود تظل $\tau$، مما يعني وجود احتمال غير صفري لتوليد مخرجات غير آمنة.
• دفاعات خط الإنتاج (Pipeline Defenses): في خطوط الإنتاج متعددة المراحل، ينمو ثابت "ليبتشيتز" الفعال أسياً مع العمق ($K^n$)، مما يوسع نطاق الفشل.

5. النتائج التجريبية

تحقق المؤلفون من نظريتهم على ثلاثة نماذج:

• Llama-3-8B: أظهر سطح محاذاة "شبه مسطح" مع أنصاف أقطار متانة كبيرة. تم استيفاء شرط الانحدار ($G > \ell(K+1)$)، مما أكد وجود مناطق غير آمنة مستمرة.
• GPT-OSS-20B: أظهر مشهداً "وعراً" مع العديد من القطع الصغيرة، بما يتوافق مع تنبؤات النظرية بشأن الهياكل الحدودية.
• GPT-5-Mini: بلغ ذروة انحراف المحاذاة 0.50. عند العتبة المختارة، كانت المنطقة غير الآمنة فارغة ($U_\tau = \emptyset$)، مما أكد صحة تنبؤ أن نظريات الاستحالة لا تنطبق (لأن النموذج آمن بطبيعته عند تلك العتبة).

6. الأهمية والآثار الهندسية

تنقل الورقة نموذج الدفاع عن النماذج اللغوية الكبيرة من الإزالة إلى الإدارة.

• "لا يوجد غداء مجاني" للأغلفة: تثبت الورقة أنه لا يمكن لأي غلاف مستمر أن يكون "حلاً سحرياً" لحقن الأوامر دون التضحية بالمنفعة أو إدخال انقطاعات.
• توصيات التصميم:
  1. الحدود الضحلة (Shallow Boundaries): ضبط العتبة $\tau$ بحيث يكون السلوك عند الحدود حميداً (مثل الرفض المهذب بدلاً من الامتثال الضار).
  2. الأسطح الناعمة (Smooth Surfaces): تقليل ثابت "ليبتشيتز" $L$ لتضييق المنطقة غير الآمنة المستمرة، حتى لو أدى ذلك لنشر الثغرات على مساحة أوسع.
  3. تقليل الأبعاد (Dimensionality Reduction): تقييد واجهة الأوامر (معاملات API، طول السياق) لتقليل الأبعاد $d$، مما يجعل الفضاء قابلاً للسيطرة.
  4. المراقبة (Monitoring): بدلاً من محاولة إزالة الحدود، يتم نشر مراقبة وقت التشغيل للكشف عن اقتراب المدخلات من الحدود.

الخاتمة

تؤسس الورقة لـ ثلاثية دفاع أساسية: الاستمرارية، الحفاظ على المنفعة، والاكتمال لا يمكن أن يتواجدوا معاً. وبينما لا يعني هذا جعل الدفاع عبثاً، إلا أنه يملي أن استراتيجيات الدفاع الفعالة يجب أن تتجاوز مجرد الأغلفة المستمرة البسيطة وتتبنى المحاذاة أثناء التدريب، أو التغييرات الهيكلية، أو الفلترة غير المستمرة، أو الأنظمة التي تشمل العنصر البشري. وتبرز أهمية العمل من خلال التحقق الرسمي الصارم في Lean 4، مما يوفر أساساً رياضياً لفهم الحدود الهيكلية لسلامة النماذج اللغوية الكبيرة.