The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams

إليك ملخص تقني مفصل لورقة البحث بعنوان "هندسة النوايا الضارة: كشف الشذوذ بدون تدريب عبر الانحراف الزاوي في مسارات المتبقيات لنماذج اللغات الكبيرة (LLMs)."

1. بيان المشكلة

يتطلب نشر نماذج اللغات الكبيرة (LLMs) آليات قوية للكشف عن المطالبات الضارة قبل أن تولد استجابات سامة. تواجه الحلول الحالية قيوداً كبيرة:

• مرشحات فضاء المدخلات: طرق الارتياب (Perplexity) فعالة ضد اللواحق العدائية، لكنها تفشل أمام عمليات الاختراق (jailbreaks) ذات السلاسة الدلالية.
• المصنفات الخاضعة للإشراف: تتطلب نماذج مثل Llama Guard مجموعات بيانات ضخمة ومنسقة من الأزواج (ضارة/غير ضارة) وإعادة تدريب لكل نموذج، مما يجعل تكيفها مع البنى المعمارية الجديدة مكلفاً.
• هندسة التمثيل (Representation Engineering): تتطلب الطرق السابقة التي تستخرج اتجاهات سلامة خطية أمثلة ضارة أو تلاعبات محددة بمطالبات السلامة لتحديد هندسة مرجعية.

السؤال الجوهري: هل يمكن لتوزيع المطالبات الآمنة وحدها أن يحدد هندسة مرجعية يمكن من خلالها اكتشاف المطالبات الضارة بشكل ملموس، دون الحاجة إلى أي بيانات تدريب ضارة؟

2. المنهجية: LatentBiopsy

يقترح المؤلفون LatentBiopy، وهو طريقة لكشف الشذوذ تعتمد على تحليل الحالة (zero-shot) ولا تتطلب تدريباً، حيث تقوم بتحليل البنية الهندسية لتنشيطات مسار المتبقيات (residual-stream activations) في نماذج اللغات الكبيرة.

المكونات الرئيسية:

1. بناء المرجع المعياري:

   • تستخدم الطريقة مجموعة صغيرة مكونة من $N=200$ من المطالبات الآمنة والمعيارية (من Alpaca-Cleaned).
   • تستخرج متجهة تنشيط مسار المتبقيات للرمز الأخير، $f_\ell(x)$، عند طبقة مستهدفة $\ell$.
   • تقوم بحساب المكون الرئيسي الأول (PC1) لهذه التنشيطات الآمنة لتحديد اتجاه مرجعي، $c$.

2. مقياس الانحراف الزاوي ($\theta$):

   • بدلاً من المسافة الإقليدية (التي تخلط بين الاتجاه الدلالي وشدة/مقدار التنشيط)، تستخدم الطريقة المسافة الزاوية.
   • يتم حساب الانحراف $\theta(x)$ كزاوية بين تنشيط المطالبة الاختبارية والـ PC1 المرجعي:
     $$\theta(x) = \arccos\left(\frac{f_\ell(x) \cdot c}{\|f_\ell(x)\|}\right)$$
   • هذا يعزل التوجه الدلالي عن شدة المفهوم ونمو المعايير المعمارية.

3. درجة الشذوذ (Anomaly Scoring):

   • يتم مطابقة توزيع $\theta$ للمطالبات الآمنة مع توزيع غاوسي أحادي المتغير $N(\mu_0, \sigma_0^2)$.
   • درجة الشذوذ $s(x)$ هي اللوغاريتم السالب للاحتمالية (negative log-likelihood) لزاوية $\theta$ الخاصة بالمطالبة الاختبارية تحت هذا التوزيع الغاوسي.
   • عديم الاتجاه (Direction-Agnostic): الدرجة متماثلة حول $\mu_0$. فهي تكتشف الانحرافات بغض النظر عما إذا كانت المطالبات الضارة تقع "داخل" (زاوية أصغر) أو "خارج" (زاوية أكبر) الحلقة المعيارية. هذا أمر بالغ الأهمية لأن عائلات النماذج المختلفة تظهر اتجاهات حلقية متضادة.

4. الكفاءة الحسابية:

   • تضيف الطريقة عبئاً ضئيلاً جداً (<0.5 مللي ثانية لكل استعلام) يتجاوز عملية التمرير الأمامي القياسية، حيث تتطلب فقط حاصل ضرب نقطي وحساب غاوسي عددي.

3. الإعداد التجريبي

• النماذج: تم اختبار عائلتين من النماذج عبر ثلاث مراحل محاذاة (الأساسي، الضبط التعليمي، والمزال منه القدرة/Abliterated):
  • Qwen3.5-0.8B (24 طبقة، D=1024)
  • Qwen2.5-0.5B (24 طبقة، D=896)
  • النماذج المزالة القدرة (Abliterated): تمت إزالة اتجاه الرفض جراحياً عبر التعامد، مما جعل النماذج غير قادرة على إنتاج نص الرفض.
• مجموعات البيانات:
  • المعيارية: 200 مطالبة آمنة (للملاءمة) + 520 مطالبة آمنة محجوزة (للتقييم).
  • الضارة: 520 مطالبة من AdvBench.
  • العدوانية غير الضارة: 250 مطالبة من XSTest (لاختبار التمييز بين النوايا الضارة والصياغة العدوانية ولكن الآمنة).
• المقاييس: AUROC (المساحة تحت منحنى خصائص تشغيل المستقبِل) و AUPRC (المساحة تحت منحنى الدقة والنسبة المئوية المسترجعة) لثلاث مهام: ضار مقابل معياري (h/n)، ضار مقابل عدواني آمن (h/b)، وضار مقابل البقية (h/rest).

4. النتائج الرئيسية

أ. أداء كشف مرتفع

• ضار مقابل معياري: حققت LatentBiopsy AUROC $\ge$ 0.937 عبر جميع متغيرات النماذج الستة.
• ضار مقابل عدواني آمن: حققت الطريقة AUROC = 1.000 عبر جميع المتغيرات، مما مكنها من الفصل التام بين النوايا الضارة والصياغة العدوانية ولكن الآمنة.
• الكفاءة: تعمل العملية بأكملها (بما في ذلك استخراج المتبقيات وحساب الدرجة) في حوالي 22.6 مللي ثانية لكل استعلام على وحدة معالجة رسومات استهلاكية.

ب. بقاء الهندسة رغم إزالة قدرة الرفض (اكتشاف "الانفصال")

• النتيجة الحاسمة: إزالة آلية الرفض (Abliteration) لم تؤدِ إلى تدهور القدرة على كشف النوايا الضارة.
• كانت النماذج المزالة القدرة تعمل ضمن نطاق 0.002–0.005 AUROC من نظيراتها التي خضعت للضبط التعليمي.
• الاستنتاج: التمثيل الهندسي للنوايا الضارة منفصل عن الآلية اللاحقة التي تولد نص الرفض؛ فالنموذج الذي لا يستطيع الرفض لا يزال يحتفظ بإشارة كامنة وقابلة للاستغلال للنوايا الضارة.

ج. اتجاهات الحلقات المتضادة

• أظهرت عائلتا النماذج بنى هندسية متضادة عند نفس عمق الطبقة:
  • Qwen3.5-0.8B: تشغل المطالبات الضارة الحلقة الخارجية (زاوية $\theta$ أكبر، أكثر انحرافاً عن PC1).
  • Qwen2.5-0.5B: تشغل المطالبات الضارة الحلقة الداخلية (زاوية $\theta$ أصغر، أكثر توافقاً مع PC1).
• الأهمية: يثبت هذا أن عتبة الاتجاه الثابت غير موثوقة. إن قاعدة التسجيل المتماثلة وغير المرتبطة بالاتجاه التي تستخدمها LatentBiopy ضرورية للتعميم عبر البنى المعمارية المختلفة.

د. التراص الضيق للمطالبات الضارة

• تشكل المطالبات الضارة عنقوداً زاوياً ضيقاً للغاية ($\sigma_{\theta} \approx 0.03$ راديان)، وهو ما يفوق التوزيع المعياري (الذي يبلغ $\sigma_{\theta} \approx 0.27$ راديان) بمرتبة عشرية كاملة.
• يستمر هذا التراص عبر متغيرات Base و Instruct و Abliterated، مما يشير إلى أنه خاصية أساسية للترميز الدلالي للنوايا الضارة (ربما مدفوعاً بالنماذج النحوية لمجموعات البيانات مثل AdvBench).

5. المساهمات الرئيسية

1. كاشف بدون تدريب: طريقة لا تتطلب أي أمثلة ضارة للتدريب، بل تعتمد فقط على 200 مطالبة آمنة لبناء مرجع.
2. الانفصال الهندسي: إثبات تجريبي بأن تمثيل النوايا الضارة وآلية توليد الرفض هما آليتان منفصلتان؛ فإزالة قدرة الرفض (Abliteration) لا تمحو الإشارة الهندسية للنية الضارة.
3. تسجيل غير مرتبط بالاتجاه: آلية تسجيل تتكيف مع اتجاهات الحلقات المتضادة عبر عائلات النماذج المختلفة دون الحاجة لمعرفة معمارية مسبقة.
4. كفاءة البيانات: إثبات إمكانية إنشاء اتجاه مرجعي مستقر باستخدام 30-50 مطالبة آمنة فقط، حيث يصل الأداء إلى حالة التشبع قبل الوصول إلى $N=200$.

6. الأهمية والآثار المترتبة

• بنية السلامة: تتحدى هذه النتائج الفرضية القائلة بأن السلامة هي مجرد نتاج لعملية المحاذاة والضبط الدقيق. يبدو أن هندسة النوايا الضارة تتشكل أثناء مرحلة ما قبل التدريب (Pretraining).
• المتانة ضد الهجمات العدائية: المهاجم الذي يقوم بـ "إزالة قدرة" (Abliterate) النموذج لتجاوز آليات الرفض لا يمكنه مسح الدليل الهندسي للنية الضارة. يمكن للكواشف الخارجية تحديد الطبيعة الضارة للمطالبة حتى لو أُجبر النموذج على توليد استجابة.
• النشر العملي: توفر LatentBiopy طريقة خفيفة الوزن، ومستقلة عن النموذج، وعالية الدقة للمراقبة الأمنية في الوقت الفعلي دون التكلفة الحسابية لتدريب مصنفات منفصلة.
• العمل المستقبلي: يشير المؤلفون إلى الحاجة للتحقق من هذه النتائج الهندسية على بنى غير Qwen ومجموعات بيانات متنوعة (مثل JailbreakBench) للتأكد مما إذا كان "تراص" المطالبات الضارة هو انتظام دلالي عام أم نتاج لبيانات تدريب محددة.

باختاً، تثبت LatentBiopy أن النوايا الضارة تترك بصمة هندسية متميزة ومستقلة وقابلة للكشف في مسارات المتبقيات لنماذج اللغات الكبيرة، بشكل مستقل عن قدرة النموذج على الرفض أو مرحلة المحاذاة الخاصة به.