On the Geometric Limits of Transformer Defenses against Obfuscation Attacks: Latent Embedding Collapse & Performance Robustness Gap

ملخص تقني: حول الحدود الهندسية للدفاعات ضد هجمات التمويه في نماذج المحولات (Transformers)

بيان المشكلة
تشكل هجمات حقن الأوامر (Prompt-injection) مخاطر جسيمة على سلامة النماذج اللغوية الكبيرة (LLMs) من خلال تضمين تعليمات خبيثة داخل مدخلات تبدو حميدة. تعتمد الدفاعات الحالية بشكل أساسي على آليات تصنيف خاضعة للإشراف، ويتم تقييمها باستخدام مقاييس معيارية مثل الدقة (Accuracy)، والضبط (Precision)، والاستدعاء (Recall)، ومقياس F1. وبينما تلتقط هذه المقاييس بفعالية سلوك التصنيف الخاطئ الملحوظ، يرى المؤلفون أنها تقدم رؤية محدودة حول متانة التمثيلات الكامنة (Latent Representations) التي تتعلمها نماذج المحولات. هناك فجوة حرجة: قد يحقق الكاشف أداء تصنيف يقترب من المثالية، بينما يعتمد على تمثيلات كامنة هشة يمكن للمهاجمين المتكيفين استغلالها. وتحديداً، يظل من غير الواضح ما إذا كان أداء الكشف العالي يعني المتانة التمثيلية ضد التمويه التركيبي للأوامر.

المنهجية
للتحقيق في الخصائص الهندسية لدفاعات حقن الأوامر، أنشأ المؤلفون مجموعة بيانات مكونة من 10,000 مثال موزعة على أربع فئات: نظيف (Clean)، بادئة (Prefix)، لاحقة (Suffix)، ومموهة (Obfuscated). تم إنشاء الفئة المموهة باستخدام تحويلات متعددة العمليات، بما في ذلك استبدالات الرموز المتشابهة لـ Unicode (مثل استبدال الحروف اللاتينية بحروف سيريلية)، وإدراج رموز ذات عرض صفري، وضجيج علامات الترقيم/الإيموجي، والتكوينات العشوائية للتعليمات المجزأة.

استخدمت الدراسة ثلاثة بنى من نماذج المحولات (Transformers) تختلف في العمق والسعة: DistilBERT، وBERT-Base، وBERT-Medium. تم ضبط هذه النماذج بدقة لمهام التصنيف الرباعي. وبالإضافة إلى مقاييس الأداء القياسية، قدم المؤلفون مقاييس هندسية لتحليل التضمينات في الطبقة النهائية ($\phi(x)$):

1. التباين داخل الفئة ($\sigma^2_{intra}$): يقيس تشتت التضمينات داخل مَنافل (Manifold) فئة معينة.
2. المسافة بين الفئات ($D$): تقيس الفصل بين مَنافل الفئات المختلفة.
3. هامش النظافة والتمويه ($\delta$): يُعرف بأنه الحد الأدنى للمسافة الإقليدية بين أي تضمين نظيف وأي تضمين مموه ($\delta = \min \|\phi(x_c) - \phi(x_o)\|_2$).

استخدم المؤلفون تحليل المكونات الرئيسية (PCA) وتقنية t-Distributed Stochastic Neighbor Embedding (t-SNE) لتصور مَنافل التضمين وتقييم العلاقة المكانية بين الأوامر النظيفة والمموهة.

المساهمات الرئيسية
يقدم البحث ثلاث مساهمات رئيسية:

1. صياغة انهيار التضمين الكامن (Latent Embedding Collapse): يعرّف المؤلفون "انهيار التضمين الكامن" كظاهرة حيث تتداخل الأوامر المموهة متعددة العمليات جزئياً في المناطق التي تشغلها الأوامر النظيفة في الفضاء الكامن دون التسبب في تصنيفات خاطئة. ويتميز هذا بانهيار جزئي في المَنفل.
2. تقديم مقاييس هندسية: يقترح العمل مقاييس هندسية (التباين، المسافة بين الفئات، والهامش الأدنى) لقياس المتانة التمثيلية، مما يوفر إطار تقييم مكملاً لمقاييس الأداء التقليدية.
3. الإثبات التجريبي للفجوة بين الأداء والمتانة: يثبت البحث تجريبياً أن زيادة عمق أو سعة النموذج لا تعالج انهيار التضمين الكامن، مما يشير إلى أن هذه الفجوة هي ظاهرة متأصلة وليست ناتجة عن محدودية حجم النموذج.

النتائج
أسفر التقييم عن النتائج التالية:

• أداء تصنيف عالٍ: حققت جميع النماذج الثلاثة (DistilBERT، وBERT-Base، وBERT-Medium) أداء تصنيف يقترب من المثالية (الدقة، الضبط، الاستدعاء، وF1 $\approx$ 99%).
• انهيار التضمين الكامن: رغم الدقة العالية، كشف التحليل الهندسي عن عدم استقرار شديد. وُجد أن الحد الأدنى للهامش بين النظيف والمموه هو $\delta = 1.02$، مما يشير إلى أن بعض الأوامر المموهة تقع بالقرب الشديد من الأوامح النظيفة في فضاء التضمين.
• ارتفاع التباين داخل الفئة: أظهرت التضمينات المموهة تبايناً عالياً داخل الفئة ($3.33 \pm 6.23$)، مما يشير إلى أنه بينما تكون بعض المدخلات المموهة بعيدة، فإن البعض الآخر ينهار على المَنفل النظيف.
• الأدلة البصرية: أكدت تصورات PCA وt-SNE أنه بينما ظلت الأوامر البادئة واللاحقة منفصلة جيداً، أظهرت الأوامر المموهة تشتتاً مرتفعاً وتداخلاً جزئياً مع المَنفل النظيف.
• عدم فعالية التوسع: لم تؤدِ زيادة سعة النموذج (من DistilBERT إلى BERT-Medium) إلى تحسين التقارب والثقة فحسب، بل فشلت أيضاً في زيادة الهامش بين النظيف والمموه أو تقليل تباين التمويه.

الأهمية والادعاءات
يزعم البحث أن مقاييس التقييم القياسية تفشل في رصد انهيار التضمين الكامن والهشاشة الهندسية الكامنة وراء الدفاعات. ويؤكد المؤلفون أن أداء الكشف العالي لا يعني بالضرورة المتانة التمثيلية. وبناءً على ذلك، يجادلون بأن الفجوة بين الأداء والمتانة هي خاصية متأصلة في دفاعات المحولات الحالية ضد التمويه.

تكمن أهمية هذا العمل في تحديد "الفجوة بين الأداء والمتانة"، وإثبات أن الكاشف يمكن أن يكون دقيقاً للغاية ومع ذلك هشاً من الناحية الهندسية. ويخلص المؤلفون إلى أن الدفاع القوي ضد حقن الأوامر يتطلب تحليلاً للمتانة مدركاً للهندسة كعنصر مكمل ضروري للتقييم القائم على الأداء. هم لا يدعون إلى حل هذه الثغرة، بل يسعون إلى كشف قصور جوهري في كيفية تقييم الدفاعات حالياً، مما يحفز التحول نحو تحليل البنية الهندسية للتمثيلات المتعلمة.