ملخص تقني: تعتيم المرآة (Clouding the Mirror)

بيان المشكلة

تتصاعد هجمات التصيد الاحتيالي في الحجم والتعقيد، حيث تجاوزت الإجمالي الربع سنوي الأخير 1.1 مليون حادثة. وبينما برزت النماذج اللغوية الكبيرة (LLMs) كأدوات واعدة للكشف عن مواقع التصيد من خلال التحليل الشامل لروابط URL، وHTML، والمحتوى المعروض، إلا أنها قدمت ثغرة أمنية حرجة جديدة: حقن الأوامر (Prompt Injection - PI).

تتمثل المشكلة الجوهرية التي يتناولها البحث في "التباين الإدراكي" (perceptual asymmetry) بين المستخدمين البشريين والنماذج اللغوية الكبيرة. فالمهاجمون، الذين يمتلكون سيطرة كاملة على مكونات موقع التصيد (روابط URL، وHTML، والسكربتات، والصور)، يمكنهم تضمين تعليمات خبيثة تكون غير مرئية للزوار البشر ولكنها قابلة للتحليل بالكامل من قبل النموذج اللغوي الكبير. هذه التعليمات المخفية يمكنها التلاعب بتقدير النموذج اللغوي لتصنيف مواقع التصيد كأنها مواقع مشروعة، أو تعطيل مسار الكشف، أو استنزاف موارد النظام. ورغم انتشار حقن الأوامر في الذكاء الاصطناعي التوليدي، إلا أن مخاطره المحددة واستراتيجيات التخفيف منه في سياق الكشف الآلي عن التصيد الاحتيالي لا تزال غير مستكشفة إلى حد كبير.

المنهجية

يستخدم البحث إطار تقييم منهجي يتكون من تصنيف مبتكر، واختبار تجريبي، والتحقق من الدفاعات.

1. تصنيف ثنائي الأبعاد

قدم المؤلفون تصنيفاً لتصنيف استراتيجيات حقن الأوامر في الكشف عن التصيد، والمعرّفة بمحورين:

• تقنيات الهجوم:
  • التقنيات الرئيسية: التذرع المشروع (الادعاء بأغراض تعليمية أو بحثية)، اختطاف الأدوار (تعيين شخصيات جديدة للنموذج)، تفعيل سياسات السلامة (فرض الرفض عبر فلاتر السلامة)، اختطاف الأدوات/الوظائف (إفساد تنسيقات المخرجات)، وتدفق المحتوى/التشتيت (إحداث حجب الخدمة أو استنزاف الرموز/Tokens).
  • التقنيات المساعدة: التشفير الخفي (الإخفاء البصري) وارتباك حدود المحلل (استغلال غموض تحليل الوسوم/Tags).
• أسطح الهجوم: المواقع المحددة التي تُدمج فيها عمليات الحقن، بما في ذلك بيانات HTML الوصفية (العنوان، وسوم meta)، والسكربتات والتعليقات، والمحتوى المرئي لـ HTML، والمحتوى غير المرئي لـ HTML (المخفي عبر CSS)، والموارد المضمنة (الصور/SVG)، وهياكل روابط URL.

2. الإعداد التجريبي

• مجموعة البيانات: تم إنشاء مجموعة بيانات محكومة مكونة من 2,000 ملف HTML، تحاكي صفحات تسجيل الدخول لأعلى 10 علامات تجارية مستهدفة (مثل Amazon، وGoogle، وMicrosoft). تضمن كل ملف رسائل حقن أوامر متنوعة عبر ثمانية مواقع إدخال متميزة.
• النماذج التي تم تقييمها: تم اختبار أربعة نماذج لغوية كبيرة ذات بنيات ومستويات أداء متفاوتة: OpenAI GPT-5، وxAI Grok 4 Fast، وMeta Llama 4 Maverick، وGoogle Gemma 3 27B.
• أوضاع الكشف:
  • الوضع القياسي (Standard): استعلام بسيط ("هل هذا موقع تصيد؟").
  • الوضع المتقدم (Advanced): مطالبات مهيكلة مع إجراءات تحليل مفصلة.
  • InjectDefuser: إطار الدفاع المقترح.

3. إطار الدفاع: InjectDefuser

يقترح المؤلفون InjectDefuser، وهو آلية دفاعية متعددة الطبقات تتكون من:

• تحصين المطالبات (Prompt Hardening): تنفيذ حدود سياقية فريدة تعتمد على معرفات UUID لفصل تعليمات النظام الموثوقة عن البيانات الخارجية غير الموثوقة، واستخدام تعليمات وصفية (meta-instructions) لمنع تنفيذ التوجيهات الموجودة في المناطق غير الموثوقة صراحةً.
• RAG القائمة على القائمة البيضاء (Allowlist RAG): نظام يستخرج أسماء العلامات التجارية من الموقع المستهدف، ويسترجع قائمة من النطاقات المشروعة من قاعدة بيانات متجهة (vector database)، ويعزز المطالبة بهذا السياق المتحقق منه لترسيخ عملية اتخاذ القرار للنموذج اللغوي.
• التحقق من المخرجات (Output Validation): تحقق صارم من استجابة النموذج اللغوي مقابل مخططات JSON محددة مسبقاً، للتحقق من الصيغة، والحقول المطلوبة، وأنواع البيانات للكشف عن التلاعب بالتنسيق.

النتائج الرئيسية

ضعف النماذج الرائدة (State-of-the-Art)

تظل أكثر النماذج تقدماً عرضة لحقن الأوامر بشكل كبير دون وجود دفاعات محددة:

• GPT-5: في الوضع "القياسي"، بلغت نسبة نجاح الهجوم (ASR) 39.9%. وحتى في الوضع "المتقدم"، ظل معرضاً لتقنيات معينة (بنسبة نجاح 10.1%).
• النماذج الأخرى: أظهر نموذج Llama 4 نسبة نجاح هجوم بلغت 84.7% في الوضع القياسي، بينما سجل Grok 4 Fast وGemma 3 نسب 65.1% و64.7% على التوالي.
• فعالية التقنية: كان "التذرع المشروع" هو التقنية الأكثر فعالية، حيث حقق نسب نجاح تصل إلى 99.8% في بعض النماذج. كما أظهر "اختطاف الأدوار" و"تفعيل سياسات السلامة" معدلات نجاح عالية اعتماداً على النموذج.

فعالية InjectDefuser

قلل إطار الدفاع المقترح من معدلات نجاح الهجوم بشكل كبير عبر جميع النماذج:

• GPT-5: انخفضت نسبة نجاح الهجوم من 39.9% إلى 0.3% (5 حالات فشل من أصل 2000).
• Grok 4 Fast: انخفضت نسبة النجاح من 65.1% إلى 26.1%.
• Llama 4: انخفضت نسبة النجاح من 84.7% إلى 61.7%.
• Gemma 3: انخفضت نسبة النجاح من 64.7% إلى 36.7%.

كان الدفاع فعالاً بشكل خاص ضد "التذرع المشروع" و"اختطاف الأدوار"، حيث خفض نسبة نجاح الهجوم لنموذج GPT-5 لهذه التقنيات إلى ما يقرب من الصفر. ومع ذلك، ظل "تدفق المحتوى" تحدياً، مع بقاء نسبة نجاح هجوم قدرها 1.0% على GPT-5، مما يشير إلى أن هجمات استنزاف الموارد أصعب في التخفيف منها بالكامل.

تقييم الروابط والأنظمة الحالية

• حقن الأوامر القائم على URL: حقق InjectDefuser نسبة نجاح 0.0% في هجمات حقن الأوامر القائمة على روابط URL في نموذج GPT-5، مما أدى إلى تحييد المحاولات التي حققت سابقاً نجاحاً بنسبة 20.0%.
• خطوط الأنابيب الحالية: عند التطبيق على أنظمة الكشف القائمة على النماذج اللغوية الكبيرة (PhishLLM، وKnowPhish، وPhishAgent)، نجحت هجمات حقن الأوامر في 2.5% إلى 25.0% من الحالات، مما يثبت أن الفشل الجزئي في المكونات يمكن أن يهدد خط الأنابيب بالكامل.

الأهمية والادعاءات

يزعم البحث أنه يقدم أول تقييم شامل لهجمات حقن الأوامر التي تستهدف تحديداً أنظمة الكشف عن التصيد الاحتيالي القائمة على النماذج اللغوية الكبيرة متعددة الوسائط. وتتمثل مساهماته الرئيسية في:

1. التصنيف: وضع فهم منهجي لكيفية استغلال "التباين الإدراكي"، وتصنيف الهجمات حسب التقنية والسطح.
2. الدليل التجريبي: إثبات أن النماذج الحالية الرائدة، بما في ذلك GPT-5، ليست قوية بطبيعتها ضد حقن الأوامر في سياقات التصيد، مما يتحدى الافتراض بأن قدرات الاستنتاج المتقدمة تعني الأمن.
3. الدفاع العملي: تقديم InjectDefuser، وهو إطار دفاعي عملي ومستقل عن الأنظمة يجمع بين هندسة المطالبات، وRAG، والتحقق من المخرجات. يوضح المؤلفون أن هذا النهج يحسن الموثوقية بشكل كبير دون الحاجة إلى إعادة تدريب النموذج.

يخلص المؤلفون إلى أنه بينما تشير نتائجهم إلى أن هذه الهجمات لم تُنشر على نطاق واسع في الواقع بعد، فإن جدوى هذه الهجمات وانخفاض تكلفتها يستوجب اتخاذ تدابير دفاعية فورية.