🤖 machine learning

Send a SCOUT First: Pre-hoc Reasoning for Adaptive Detector Allocation in Prompt-Injection Defense

تقدم الورقة البحثية SCOUT، وهو إطار عمل ديناميكي يعمل على تحسين الدفاع ضد حقن الأوامر (prompt-injection) عبر التخصيص التكيفي لكواشف متباينة وأحكام نماذج لغوية كبيرة (LLM judges) بناءً على الموثوقية والكمون المتوقع، مما يحقق انخفاضات كبيرة في معدلات نجاح الهجمات والكمون مقارنة بنهج الكاشف الواحد الثابت أو نهج الحكم الذي يعمل دائماً.

المؤلفون الأصليون: Shuhao Zhang, Jiarui Li, Qi Cao, Ruiyi Zhang, Pengtao Xie

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuhao Zhang, Jiarui Li, Qi Cao, Ruiyi Zhang, Pengtao Xie

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك رئيس أمن في مطار مزدحم. مهمتك هي إيقاف الإرهابيين (هجمات حقن الأوامر - prompt-injection attacks) الذين يحاولون اختطاف الطائات (النماذج اللغوية الكبيرة - LLMs)، مع السماح للمسافرين العاديين (الطلبات السليمة) بالمرور بسرعة.

في الماضي، حاولت فرق الأمن تجربة نهجين رئيسيين:

نهج "الماسح الخارق": تقوم بتعيين حارس أمن واحد ذكي للغاية ومكلف للغاية يفحص كل شخص بمفرده. هذا الشخص بارع في كشف الأشرار ولكنه بطيء ومكلف، مما يتسبب في طوابير طويلة.
نهج "الأداة الواحدة": تختار أداة واحدة محددة (مثل جهاز كشف المعادن) وتجبر الجميع على المرور من خلالها. هذا النهج سريع، ولكن إذا كان الإرهابي يخفي قنبلة مصنوعة من البلاستيك (نوع من الهجمات التي يغفل عنها جهاز كشف المعادن)، فسيتمكن من المرور.

المشكلة هي أن الأشرار أذكياء. إنهم يغيرون تكتيكاتهم. أحياناً يتخفون في وضح النهار؛ وأحياناً يستخدمون رموزاً معقدة. لا يوجد حارس أمن واحد أو أداة واحدة مثالية لكشف كل نوع من أنواع التهديدات.

إليك SCOUT: "الموزع الأمني الذكي"

تقدم الورقة البحثية نظاماً جديداً يسمى SCOUT. بدلاً من إجبار كل مسافر على المرور عبر نفس البوابة، يعمل SCOUT كموزع ذكي ينظر إلى كل شخص قبل أن يصل إلى البوابة ويقرر بالضبط أي فريق أمني هو الأنسب لفحصه.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. مكتبة "بصمات الأصابع"

تخيل أن لكل حارس أمن في مبناك "بصمة" لأدائه السابق.

الحارس (أ) بارع في كشف الأشخاص الذين يخفون أسلحة في أحذيتهم، لكنه سيء جداً في كشف الأشخاص الذين يخفون أشياء في أمتعتهم.
الحارس (ب) بارع في التعامل مع الأمتعة، ولكنه يغفل عن تهديدات الأحذية.
الحارس (ج) هو "الماسح الخارق" (الذكاء الاصطناعي المكلف والقوي) الذي يكشف كل شيء تقريباً، ولكنه يستغرق 10 دقائق لكل شخص.

لا يقوم SCOUT بالتخمين فحسب؛ بل يحتفظ بسجل مفصل (بصمة) لكيفية أداء كل حارس في آلاف الحالات السابقة. إنه يعرف بالضبط أي حارس هو الأكثر موثوقية لنوع معين من المسافرين.

2. "التنبؤ المسبق" (النظر قبل القفز)

عندما يصل مسافر جديد، لا يرسله SCOUT إلى حارس عشوائي. بل يسأل مساعد ذكاء اصطناعي صغير وسريع: "بناءً على مظهر هذا المسافر وما يحمله، أي الحراس نجحوا في كشف أشخاص مثل هذا في الماضي؟"

هذا هو جزء "الاستدلال المسبق" (Pre-hoc Reasoning). إنه يتنبأ بالنتيجة قبل أن تتم عملية الفحص الفعلية.

إذا بدا المسافر وكأنه "تهديد حذاء"، يرسله SCOT إلى الحارس (أ).
إذا بدا وكأنه "تهديد أمتعة"، يرسله إلى الحارس (ب).
إذا كان المسافر معقداً للغاية والحراس السريعون غير متأكدين، يرسله إلى "الماسح الخارق" (الذكاء الاصطناعي المكلف).

3. "تصويت الفريق"

غالباً ما يرسل SCOUT المسافر إلى فريق من الحراس السريعين لفحصهم جميعاً في نفس الوقت (بالتوازي).

إذا قال الحارس (أ) والحارس (ب) معاً: "هذا الشخص آمن"، يسمح SCOUT لهم بالمرور فوراً.
إذا اختلفوا أو بدا عليهم عدم التأكد، فإنه يصعد الحالة إلى "الماسح الخارق" للحصول على حكم نهائي وحاسم.

4. "مفتاح التحكم بين السرعة والأمان"

أفضل ما في الأمر هو أن مدير المطار (المشغل) لديه مفتاح تحكم واحد لضبطه.

تدوير المفتاح لليسار (أمان منخفض، سرعة عالية): يعتمد SCOUT بشكل أساسي على الحراس السريعين. سيكون النظام سريعاً للغاية، ولكن قد يتسلل بعض الأشرار.
تدوير المفتاح لليمين (أمان عالٍ، سرعة أقل): يرسل SCOUT المزيد من الأشخاص إلى "الماسح الخارق". سيكشف النظام معظم الأشرار، ولكن الطوابير ستصبح أطول.

يمكن للنظام التنبؤ بدقة بمدة طول الطابور لأي إعداد للمفتاح، مما يسمح للمدير باختيار التوازن المثالي قبل بدء اليوم حتى.

ماذا وجدوا؟

بنى الباحثون اختباراً جديداً وصعباً يسمى SCOUT-450 (مجموعة من الهجمات المعقدة والمخادعة التي فاتتها الاختبارات القديمة). اختبروا نظامهم مقابل:

استخدام الحراس السريعين فقط (فاتهم العديد من الهجمات).
استخدام "الماسح الخارق" وحده (كشف الهجمات ولكنه كان بطيئاً جداً).
SCOUT (الموزع).

النتائج:

الأمان: كشف SCOT هجمات أكثر بنسبة 46% مما لو تم استخدام "الماسح الخارق" وحده.
السرعة: كان أسرع بنسبة 40% من استخدام "الماسح الخارق" للجميع.
المرونة: إذا أضفت حارس أمن جديداً إلى الفريق، يمكن لـ SCOT تعلم استخدامه فوراً دون الحاجة إلى إعادة تدريبه من الصفر. فهو ينظر فقط إلى "بصمته" ويبدأ في استخدامه.

الخلاصة

يغير SCOUT قواعد اللعبة من "مقاس واحد يناسب الجميع" إلى "الأداة المناسبة للمهمة المناسبة". إنه يستخدم متنبئاً ذكياً وسريعاً لتحديد فريق الأمن الذي يجب استخدامه لكل طلب محدد، مما يضمن لك أفضل مستويات الأمان دون أوقات انتظار لا تطاق. إنه يشبه نظام أمن يعرف بالضبط أي قفل يجب فتحه لكل باب محدد.

ملخص تقني: SCOUT – الاستدلال المسبق لتخصيص الكواشف التكيفي

بيان المشكلة
تتسم كواشف حقن الأوامر (Prompt-injection detectors) بعدم التجانس بطبيعتها؛ حيث يتفوق كل كاشف في فئات محددة من الهجمات (مثل القواعد المعجمية، أو اختبارات الانتباه، أو المصنفات خفيفة الوزن) بينما يفشل في فئات أخرى. تعتمد أنظمة الدفاع الحالية عادةً على مسارات ثابتة، مثل كاشف واحد أو تسلسل هرمي ثابت، مما يجبر كل طلب على المرور عبر نقاط الضعف الخاصة بكاشف معين. علاوة على ذلك، فإن الدفاع الأكثر دقة، وهو "القاضي" القائم على النماذج اللغوية الكبيرة (مثل GPT-4o)، يتسبب في تأخير (latency) باهظ (حوالي 1.5 ثانية لكل طلب) مقارنة بالكواشف خفيفة الوزن (أقل من ميلي ثانية إلى عشرات الميلي ثوانٍ). التحدي الجوهري يكمن في موازنة السلامة (كشف الهجمات) مقابل المنفعة (تقليل التأخير والحفاظ على معدلات مرور البيانات السليمة) دون الالتزام بحدود كاشف واحد أو التكلفة العالية لاستخدام القاضي (LLM) بشكل مستمر.

المنهجية: إطار عمل SCOUT
يقترح المؤلفون إطار عمل SCOUT (التنبؤ بالنتائج القابل للتوسع والتحكم من أجل الفرز الواعي بعدم اليقين)، وهو إطار يعيد صياغة الدفاع كمسألة تخصيص كاشف لكل مدخل على حدة. بدلاً من التسلسل الهرمي الثابت، يقرر SCOUT ديناميكياً أي الكواشف يجب تشغيلها لكل طلب محدد، وما إذا كان ينبغي التصعيد إلى "القاضي" (LLM).

يعمل النظام من خلال ثلاثة مكونات رئيسية:

بصمات الكواشف والاسترجاع:
- يحتفظ SCOUT بمجموعة ثابتة من المدخلات "المرجعية" (Anchor-400) التي تمثل هياكل حقن متنوعة.
- لكل كاشف في المجموعة، يتم إنشاء بصمة (fingerprint) عن طريق تسجيل سلوكه (القرار، الصحة، والتأخير) على هذه المراجع.
- عند الاستنتاج، لطلب جديد $x$ ، يقوم النظام باسترجاع أفضل $K$ من المراجع الأكثر تشابهاً بناءً على هيكل الحقن (الفئة، استراتيجية الإخفاء، الناقل، الآلية) بدلاً من المحتوى الموضوعي. هذا الاسترجاع مستقل عن نوع الكاشف.
متنبئ النتيجة (الاستدلال المسبق):
- يعمل نموذج لغوي صغير (Qwen3-4B) كمتنبئ. يأخذ المتنبئ سجلات البصمات المسترجعة والعينة المستهدفة كمدخلات.
- باستخدام عملية تدريب من مرحلتين (الضبط الدقيق الخاضع للإشراف باستخدام مبررات مستخلصة من النتائج اللاحقة، يليه تحسين السياسة النسبي للمجموعات - GRPO)، يقدر المتنبئ قيمتين لكل كاشف $D$ $D$ على المدخل $x$ $x$ :
  - الصحة المتوقعة ( $pred\_corr$ ): ما إذا كان $D$ سيصنف $x$ بشكل صحيح.
  - التأخير المتوقع ( $pred\_lat$ ): المدة التي سيستغرقها التشغيل.
- يتم تدريب المتنبئ على إصدار سلسلة استدلال (سلسلة الأفكوان - Chain-of-Thought) قبل التنبؤ المهيكل، مما يحسن من دقة المعايرة.
الفرز الواعي بعدم اليقين (التوجيه):
- اختيار المجموعة الفرعية: يقوم الموجه بتصفية "المجموعة الخفيفة" من الكواشف، مع الإبقاء فقط على تلك التي تكون فيها $pred\_corr = 1$ .
- التصويت الموزون بالثقة: تعمل الكواشف المختارة بالتوازي، ويتم تجميع أصواتها باستخدام وزن ثقة يمزج بين الأدلة المحلية (الدقة على المراجع المسترجعة) والارتباطات العالمية (الدقة الإجمالية).
- بوابة التصعيد: إذا كان التصويت الموزون غير مؤكد (الاتفاق $< \tau$ )، ينظر النظام في إمكانية التصعيد إلى "القاضي" (LLM). والأهم من ذلك، يحدث التصعيد فقط إذا قدر المتنبئ أيضاً أن القاضي موثوق به لهذا المدخل المحدد.
- التحكم في التأخير: نظرًا لأن المتنبئ يقدر التأخير، يمكن للنظام التنبؤ بإجمالي وقت التنفيذ الفعلي لأي عتبة $\tau$ قبل تشغيل الطلب. يمكن للمشغلين ضبط $\تم$ \tau$ للوفاء بميزانية زمنية محددة.

المساهمات الرئيسية

إعادة صياغة الدفاع: يغير البحث النموذج من خطوط دفاع ثابتة إلى تخصيص الكاشف لكل مدخل، مما يسمح للنظام بمطابقة الكاشف مع فئة الهجوم المحددة للمدخل.
إطار عمل SCOUT: بنية مبتكرة تجمع بين البصمات السلوكية، ومتنبئ نتائج صغير، وقاعدة توجيه قابلة للتحكم. يتيح ذلك انضمام كواشف جديدة إلى المجموعة دون الحاجة لإعادة التدريب (فقط تمريرة واحدة عبر المراجع لإنشاء البصمة).
معيار SCOUT-450: معيار تقييم جديد غني بالحقن المعقدة هيكلياً والموجهة للوكلاء (خاصة فئة hidden_tricky) والتي تفتقر إليها المعايير القديمة. يتضمن 255 عينة هجوم و195 عينة سليمة.
القابلية للتحكم: يوفر النظام عتبة واحدة للمشغل ( $\tau$ ) توازن بين السلامة والتأخير، مع القدرة على التنبؤ بالتكلفة الإجمالية للوقت الفعلي مسبقاً.

النتائج
تم تقييم SCOUT على SCOUT-450 وثلاثة معايير خارجية (BIPIA, IPI, IHEval)، وأظهر تفوقاً ملحوظاً على الخطوط المرجعية:

جبهة السلامة والمنفعة: في SCOUT-450، وعند نقطة التشغيل الرئيسية ( $\tau=0.875$ )، قلل SCOUT من معدل نجاح الهجوم (ASR) بنسبة 46% ومن إجمالي زمن التأخير بنسبة 40% مقارنة بالقاضي GPT-4o الذي يعمل دائماً.
الدقة: حقق SCOC دقة بلغت 0.933، متفوقاً على أفضل كاشف منفرد (PIGuard, 0.669) وعلى القاضي الذي يعمل دائماً (GPT-4o, 0.924).
منفعة البيانات السليمة: بينما يتسبب SCOUT في انخفاض قدره 5.1 نقطة في منفعة البيانات السليمة مقارنة بالقاضي الذي يعمل دائماً (0.928 مقابل 0.979)، إلا أنه يحافظ على إنتاجية عالية مع تقليل التأخير بشكل كبير.
التعميم: ينتقل النظام إلى المعايير الخارجية (BIPIA, IPI, IHEval) دون إعادة تدريب، متكيفاً مع توزيعات الهجوم المختلفة عبر إعادة تخصيص الكواشف. على سبيل المثال، في BIPIA، قلل التأخير بمقدار 3.7 ضعف مقارنة بـ GPT-5.1 مع الحفاظ على دقة عالية.
الدراسات الاستقصائية (Ablations): تؤكد الدراسة أن المكاسب تأتي من قدرة المتنبئ على معايرة تقديرات الموثوقية (متفوقاً على المتنبئات غير القائمة على LLM مثل KNN/MLP) ومن استراتيجية التخصيص لكل مدخل (متفوقاً على تسلسلات الثقة الموحدة).

الأهمية والادعاءات
يدعي البحث أن SCOUT يقدم حلاً قابلاً للتوسع وقابلاً للتحكم للدفاع ضد حقن الأوامر.

القابلية للتوسع: يتطلب إضافة كاشف جديد فقط توليد بصمته على مجموعة المراجع؛ ولا يلزم إعادة تدريب المسترجع أو المتنبئ أو الموجه.
القابلية للتحكم: يمكن للمشغلين ضبط النظام ليتناسب مع ميزانية زمنية أو هدف سلامة محدد باستخدام العتبة الوحيدة $\tau$ ، مع القدرة على التنبؤ بالتكلفة مسبقاً.
الوعي بعدم التجانس: من خلال الإدراك بأن لا يوجد كاشف واحد قوي عالمياً، يستفيد SCOUT من نقاط القوة المتنوعة لمجموعة غير متجانسة، حيث يتم توجيه الحالات الصعبة إلى القاضي (LLM) فقط عند الضرورة وعندما يُتنبأ بموثوقية القاضي.

يقر المؤلفون بوجود قيود، مشيرين إلى أن SCOUT لا يمكنه التفوق على القدرة الجماعية لمجموعة الكواشف المتاحة، وأن فعاليته تعتمد على تغطية مجموعة المراجع للمحاور الهيكلية لتوزيع الاختبار. كما أشاروا إلى أن إطار العمل لا يدافع حالياً ضد المهاجمين المتكيفين الذين يستهدفون الموجه نفسه.