ملخص تقني: ما وراء معدل نجاح الهجوم: قابلية مراقبة اللوجيت الزمنية لفشل سلامة النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تعتمد التقييمات الحالية لسلامة النماذج اللغوية الكبيرة (LLMs) المتوافقة بشكل أساسي على معدل نجاح الهجوم (ASR). يوفر ASR حكماً ثنائياً على مستوى النتيجة (نجاح/فشل) يتم حسابه في نهاية عملية التوليد. وبينما يبدو هذا المقياس جذاباً من الناحية التشغيلية، إلا أنه يعامل عملية فك التشفير كصندوق أسود، متجاهلاً مسار مستوى الـ "توكن" (token) الذي يوصل النموذج إلى استجابته النهائية.

تجادل الورقة بأن ASR محدود بنيوياً: إذ يمكن لهجمات مختلفة تستهدف نفس المطالبة الضارة أن تؤدي إلى استجابات نهائية متطابقة (وبالتالي تسميات ASR متطابقة) رغم اتباعها عمليات داخلية مختلفة جوهرياً. على سبيل المثال، قد يتم تفعيل الرفض ثم قمعه لفترة وجيزة، أو قد يظهر متأخراً جداً لمنع الضرر، أو قد لا يتم تفعيله على الإطلاق. ولأن ASR يدمج هذه الديناميكيات الزمنية المتميزة في رقم واحد، فإنه يفشل في التمييز بين أزواج (النموذج-الهجوم) التي تتطلب استراتيجيات دفاعية مختلفة. علاوة على ذلك، فإن الطرق الحالية لاستعادة هذه البنية الخفية (مثل مجسات الحالة المخفية - hidden-state probes) تتطلب الوصول إلى تنشيطات النموذج، وهو أمر غالباً ما يكون غير متاح في سيناريوهات التدقيق الواقعية.

المنهجية: قابلية مراقبة اللوتيت الزمنية (TLO)

يقترح المؤلفون قابلية مراقبة اللوتيت الزمنية (TLO)، وهو بروتوكول تشخيصي لا يتطلب تدريباً، يقوم بإعادة بناء الديناميكيات الزمنية لإخفاقات السلامة باستخدام اللوتيت (logits) وحدها، دون الحاجة للوصول إلى الحالات المخفية أو أوزان النموذج.

المكونات الأساسية

1. درجة هامش اللوتيت (LMS):
   تقيس TLO التوازن بين الامتثال والرفض في كل خطوة فك تشفير $t$ باستخدام معجم إنجليزي ثابت لتوكنات الامتثال ($L_{cmp}$) وتوكنات الرفض ($L_{ref}$).
   $$S_t = \mu_{cmp}(t) - \mu_{ref}(t)$$
   حيث تمثل $\mu$ متوسط درجة اللوتيت لأعلى-$k$ من التوكنات ضمن المعجم المعني. تشير $S_t$ الموجبة إلى هيمنة الامتثال، بينما تشير $S_t$ السالبة إلى هيمنة الرفض.

2. الملخصات الزمنية:
   يستخرج البروتوكول ملاحظتين رئيسيتين من مسار هامش اللوتيت $S_{0:T}$:

• ما قبل التوليد ($S_0$): هامش اللوتيت عند موضع المطالبة النهائي قبل توليد أي توكن استجابة.
• وقت التوليد ($\bar{S}$): متوسط هامش اللوتيت عبر التسلسل المولد (مع متغيرات للنوافذ المبكرة، مثل $\bar{S}_{1:5}$).
• توقيت التنشيط ($t_{cross}$): الخطوة الأولى التي يعبر فيها المسار إلى هيمنة الرفض ($S_t < 0$).

3. معايرة الموضع النسبي (RP):
   لجعل الملاحظات قابلة للمقارنة عبر النماذج والهجمات وتنسيقات المطالبات المختلفة، تقوم TLO بمعايرة إشارات اللوتيت الخام مقابل التوزيعات المرجعية.
   $$RP(M) = \frac{M_{success} - M_{harmful}}{M_{benign} - M_{harmful}}$$
   حيث تمثل $M$ متوسط المقياس (على سبيل المثال، $S_0$ أو $\bar{S}$) عبر الهجمات الناجحة، وجميع العينات الضارة، والمراجع الحميدة المصاغة بأسلوب الهجوم.

• $RP = 0$ يشير إلى سلوك مشابه للمرجع الضار.
• $RP = 1$ يشير إلى سلوك مشابه للمرجع الحميد.
• يتم الإبلاغ عن القيم خارج النطاق $[0, 1]$ كحالات انقلاب مرصودة.

4. مستوى RP (The RP-Plane):
   يتم تعيين كل حالة (نموذج-هجوم) إلى إحداثي ثنائي الأبعاد $c = (RPA, RPB)$، حيث يمثل $RPA$ موضع ما قبل التوليد المعاير، ويمثل $RPB$ موضع وقت التوليد المعاير. تقيس المسافة الإقليدية بين الحالات ($D_{RP}$) الفصل الزمني لإخفاقات السلامة.

المساهمات الرئيسية

1. إحداثيات زمنية معايرة من اللوتيت: تقدم الورقة نظام إحداثيات مستوى RP، الذي يلخص مسار LMS في مساحة ثنائية الأبعاد معايرة. هذا التصميم مكمل لـ ASR: حيث يكون الإزاحة في RP محصورة بـ $(1-ASR)$، مما يعني أنها تحمل الإشارة الأساسية في حالات منتصف الـ ASR حيث يكون ASR وحده أقل قدرة على تقديم المعلومات.
2. استعادة التفاعلات غير المرئية: تكشف TLO أن الحالات ذات الـ ASR المتطابق تقريباً تشغل مواقع متميزة في مستوى RP. تنتج عائلة الهجمات نفسها بصمات زمنية مختلفة عبر النماذج، ويتعامل نفس النموذج مع الهجمات المختلفة عبر آليات زمنية مختلفة.
3. المحاذاة مع الحالات المخفية: يتوافق مسار اللوتيت مع اتجاهات الرفض في الحالة المخفية في 10 من أصل 12 حالة نموذج-هجوم تم اختبارها، مما يؤكد أن إشارات اللوتيت القابلة للمراقبة تحمل معلومات ذات صلة بالسلامة رغم عدم وجود وصول إلى التنشيطات.
4. التدخل أثناء التوليد: قاعدة الإيقاف المبكر البسيطة المستمدة من الإشارة الزمنية (إيقاف التوليد إذا كان $t_{cross} > 5$) قللت من إجمالي ASR من 39.6% إلى 13.1% دون إحداث إنذارات كاذبة في الاستعلامات الحميدة العادية.

النتائج التجريبية

قيم المؤلفون TLO على شبكة من أربعة نماذج لغوية كبيرة متوافقة (Llama, Mistral, Qwen, Gemma) وثلاثة نماذج للهجمات (MCM, GCG, DeepInception) باستخدام 60 مطالبة ضارة لكل حالة.

• التمييز بين جيران ASR: الهجمات ذات الـ ASR المتطابق تقريباً (مثل Llama+DI بنسبة 55.0% مقابل Qwen+DI بنسبة 58.3%) تم فصلها بمسافة معايرة قدرها $D_{RP} = 0.572$. والأكثر إثارة للدهشة، أن Llama+DI (55.0%) و Mistral+GCG (56.7%) تفصل بينهما مسافة $D_{RP} = 1.014$، مما يثبت أن مستوى RP يلتقط الاختلافات الهيكلية غير المرئية لـ ASR.
• الفصل الزمني: عادة ما تؤدي عمليات الاختراق الناجحة إلى تأخير أو تجنب الانتقال إلى هيمنة الرفض، بينما أدت عمليات الاختراق الفاشلة إلى عبور هيمنة الرفض مبكراً (غالباً في أول 5 توكنات). فصل المسار النتائج بـ معامل Cohen's $d > 1.0$ ومعامل ROC-AUC يتراوح بين 0.771 و 0.784.
• المحاذاة مع الحالة المخفية: كان الارتباط بين هامش اللوتيت ($S_t$) وإسقاطات الرفض في الحالة المخفية قوياً لنموذج Llama ($|\rho| \ge 0.70$) ومتوسطاً لنموذجي Mistral و Gemma. أظهر Qwen حدوداً خاصة بالنموذج حيث انعكس الإشارة المتوقعة لبعض الهجمات، مما يسلط الض الضوء على حدود نهج المعجم الثابت لبعض البنيات.
• فعالية التدخل: تطبيق قاعدة إيقاف مبكر موحدة بناءً على $t_{cross}$ قلل من إجمالي ASR بمقدار 26.5 نقطة مئوية. كان التدخل أكثر فعالية في حالات "تحيز التوليد الصفري" (NGB) (حيث تكون هندسة RP غير معلوماتية بالتصميم)، مما يشير إلى أنه عندما تكون الإشارات الزمنية ضعيفة، تهيمن إشارة ASR الخام ويكون الإيقاف الموحد فعالاً.
• المتانة: ظلت النتائج مستقرة عبر عشوائية فك التشفير، واضطرابات المعجم، ومعايير العبور الأكثر صرامة. تطلبت الطريقة الوصول إلى كامل اللوتيت أو احتمالات اللوغاريتم للتوكنات المستهدفة؛ ولم تكن مخرجات top-$k$ القياسية (مثل $k=20$) كافية.

الأهمية والادعاءات

تضع الورقة TLO ليس كبديل لـ ASR، بل كطبقة تشخيصية ضرورية تجعل "متى وكيف" تحدث إخفاقات السلامة قابلة للمراقبة.

• فجوة المراقبة: يدعي المؤلفون أن تقييم السلامة يجب أن يبلغ عن تطور الفشل، وليس فقط وقوعه. توفر TLO أول طريقة لمراقبة هذه الديناميكيات الزمنية باستخدام اللوتيت القياسي فقط، وهي قدرة كانت مقتصرة سابقاً على من لديهم وصول إلى الحالة المخفية.
• التكامل: تم تصميم مستوى RP ليكون أكثر إفادة تماماً في الحالات التي يكون فيها ASR أقل إفادة (حالات منتصف الـ ASR). فهو يكشف عن عدم التجانس في تفاعلات النموذج-الهجوم التي تدمجها مقاييس النتيجة.
• المراقبة القابلة للتنفيذ: توضح الدراسة أن هندسة اللوتيت المعايرة يمكن أن تقود مراقبة فعالة أثناء التوليد (الإيقاف المبكر) دون ضبط خاص بكل هجوم، مما يقلل من عمليات الاختراق الناجحة بشكل كبير مع الحفاظ على صفر إنذارات كاذبة في الاستعلامات الحميدة الخالية من التنسيق.
• القيود: يشير المؤلفون صراحة إلى أن TLO هي أداة رصد وليست سببية؛ فهي تحدد "متى" تظهر أدلة السلامة ولكنها لا تحدد الدوائر العصبية الكامنة. الطريقة حالياً هي الأكثر تطبيقاً في عمليات التدقيق باللغة الإنجليزية ذات الأوزان المفتوحة، حيث تعتمد على معجم إنجليزي ثابت ووصول كامل للوتيت، وهو ما قد لا يتوفر في البيئات المقيدة بواجهات برمجة التطبيقات (API).