🤖 AI

The System Prompt Is the Attack Surface: How LLM Agent Configuration Shapes Security and Creates Exploitable Vulnerabilities

تُظهر هذه الورقة أن أمن وكلاء النماذج اللغوية الكبيرة يعتمد بشكل حاسم على تهيئة الأوامر النظامية، حيث تكشف أنه في حين يمكن لأوامر محددة تحقيق معدلات عالية في كشف التصيد الاحتيالي، إلا أنها غالبًا ما تخلق ثغرات هشة تجاه عكس الإشارات العدائية، مما يستلزم توازنًا بين دقة الكشف، وسهولة الاستخدام، والمتانة من خلال مقاييس مثل "Safetility" وتعزيز الأدوات الخارجية.

المؤلفون الأصليون: Ron Litvak

نُشر 2026-03-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ron Litvak

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك وظفت خادماً رقمياً فائق الذكاء والسرعة لإدارة بريدك الإلكتروني. هذا الخادم يقرأ كل رسالة واردة، ويقرر ما إذا كان من الآمن فتحها، وإذا بدا خطيراً (مثل رسائل التصيد الاحتيالي)، فإنه يحجبها. وإذا بدا آمناً، فإنه يسمح بمروره.

أنت تريد لهذا الخادم أن يكون مثالياً: ألا يسمح أبداً بمرور عملية احتيال، ولكن لا يحجب بالخطأ رسالة حقيقية من مديرك أو من مصرفك.

هذه الورقة البحثية، بعنوان "المطالبة بالنظام هي سطح الهجوم" (The System Prompt Is the Attack Surface)، تشبه اختبار جهد هائل لـ 11 خادماً مختلفاً (نماذج ذكاء اصطناعي) و10 مجموعات مختلفة من التعليمات (المطالبات/Prompts) التي يمكنك إعطاؤها لهم. وقد وجد الباحثون حقائق صادمة ومناقضة للبديهة حول كيفية عمل هؤلاء الخادمين الرقميين.

إليك القصة بكلمات بسيية:

1. "الشخصية" تهم أكثر من "الدماغ"

قد تعتقد أن أهم شيء هو أي خادم توظف (على سبيل المثال، أذكى ذكاء اصطناعي أم أرخصهم).
النتيجة: الأمر لا يهم بقدر ما تعتقد. ما يهم هو كيف تتحدث إليهم.

التشبيه: تخيل أن لديك كلب حراسة.
- إذا قلت للكلب: "كن حذراً للغاية، وانبح على كل ورقة شجر تتحرك"، فسوف يمسك بكل لص، ولكنه سينبح أيضاً على ساعي البريد، والرياح، وعائلتك. سيكون مزعجاً وغير مفيد.
- إذا قلت للكلب: "كن فعالاً، ولا تنبح إلا إذا رأيت ذئباً"، فقد يفوت ذئباً مختبئاً في الشجيرات.
- الصدمة: وجد الباحثون أن نفس نموذج الذكاء الاصطناعي يمكن أن يكون بطلاً (يحجب 99% من عمليات الاحتيال) أو كارثة (يمرر 97% من عمليات الاحتيال) بمجرد تغيير كلمات قليلة في تعليماته. "الشخصية" التي تبرمجها في الذكاء الاصطناعي هي أقوى أداة أمنية تملكها.

2. "الخدعة السحرية" التي ارتدت عليها سلباً

لجعل الخادمين أفضل، جرب الباحثون خدعة ذكية. لاحظ أن معظم المحتالين يرسلون بريداً إلكترونياً من john@gmail.com ولكنهم يضعون رابطاً لموقع مزيف مثل evil-site.com.

الاستراتيجية: أخبروا الخادمين: "إذا تطابق اسم المرسل مع رابط الموقع، فهو آمن. إذا لم يتطابقا، فهي عملية احتيال."
النتيجة: نجح هذا بشكل مذهل! لقد كشفوا جميع عمليات الاحتيال القياسية تقريباً ومنعوا حجب الرسائل الحقيقية. كان الأمر كما لو أنك أعطيت الخادم عدسة مكبرة سحرية.

3. "كود الغش" الخاص بالشرير (انعكاس الإشارة)

ولكن بعد ذلك، سأل الباحثون: ماذا لو تعلم الأشرار هذه الخدعة؟

الهجوم: أدرك المحتالون القاعدة. لذا، قاموا بتسجيل نطاق (Domain) مزيف باسم evil-site.com. وأرسلوا البريد من john@evil-site.com ووضعوا رابطاً لـ evil-site.com.
الانهيار: ولأن المرسل والرابط تطابقا، اعتقد الخادمان: "آها! القاعدة تقول إن هذا آمن!" وسمحوا بمرور عملية الاحتيال.
الدرس: من خلال تعليم الخادمين البحث عن علامة واحدة "آمنة"، فقد أعطيتهم دون قصد "كود غش". كلما كانت قاعدتك محددة، سهل على المهاجم الذكي تزييفها.

4. "الطالب المطيع" مقابل "المفرط في التفكير"

هذا هو الجزء الأكثر إرباكاً: أحياناً، يكون كونه مطيعاً جداً أمراً خطيراً.

الطالب المطيع (مثل GPT-4o-mini): هذا الذكاء الاصطناعي يتبع التعليمات بدقة. إذا قلت له "تحقق مما إذا كانت الأسماء متطابقة"، فإنه يتحقق من ذلك فقط. إذا تطابقت الأسماء، فإنه يتوقف عن التفكير. يتم خداعه بسه l من قبل محتالي "كود الغش".
المفرط في التفكير (مثل Claude Haiku): هذا الذكاء الاصطناعي مرتاب بطبيعته. حتى لو قلت له "تحقق مما إذا كانت الأسماء متطابقة"، فإنه يفكر: "مهلاً، يبدو أن هناك شيئاً غريباً في نبرة هذا البريد الإلكتروني". إنه يتجاهل قاعدتك المحددة ويستخدم "شعوره الداخلي".
- التحول: "المطيع" رائع في كشف عمليات الاحتيال العادية ولكنه سيء جداً ضد محتالي "كود الغش". أما "المفرط في التفكير" فهو أصعب في الخداع بواسطة "كود الغش"، لكنه غالباً ما يحجب رسائل حقيقية لأنه شديد الشك.

5. درجة "الأمان والفاعلية" (Safetility)

ابتكر الباحثون درجة جديدة تسمى Safetility.

التشبيه: تخيل حارس أمن يوقف 100% من اللصوص، ولكنه يوقف أيضاً 90% من الأشخاص الذين يحاولون دخول العمل. هذا الحارس تقنياً "جيد في إيقاف اللصوص"، ولكن المكتب أصبح الآن فارغاً وغير مفيد.
الدرجة: تقيس الـ Safetility مدى قدرة الحارس على إيقاف اللصوص دون إيقاف موظفي المكتب. وجدوا أن معظم الإعدادات "المثالية" كانت في الواقع عديمة الفائدة لأنها حجزت الكثير من الرسائل الحقيقية.

6. الحكم النهائي: لا يمكنك القيام بذلك بمفردك

تختتم الورقة بحقيقة قاسية: لا يمكنك إصلاح هذا بمجرد الكلمات.

المشكلة: الخادم الذكي يشبه شخصاً يقرأ رسالة. لا يمكنه رؤية التاريخ الحقيقي لموقع إلكتروني أو معرفة ما إذا كان النطاق قد تم تسجيله بالأمس مقابل 10 دولارات فقط. هو يرى النص فقط.
الحل: لإيقاف محتالي "كود الغش"، يحتاج الخادم إلى أدوات. يحتاج لأن يكون قادراً على البحث عن عمر الموقع، أو التحقق من قائمة سوداء، أو طلب المساعدة من إنسان.
الخلاصة: أفضل أمن ليس مجرد كتابة دليل تعليمات أفضل. بل يتعلق الأمر بإعطاء الذكاء الاصطناعي "صندوق أدوات" (مثل فاحص النطاقات) حتى يتمكن من التحقق من الحقيقة، بدلاً من مجرد التخمين بناءً على قاعدة واحدة.

ملخص للمستخدم العادي

إذا كنت تبني مساعد بريد إلكتروني يعمل بالذكاء الاصطناعي:

لا تكتفِ باختيار النموذج "الأذكى". اختر النموذج الذي يتبع التعليمات بدقة ولكن ليس بشكل أعمى.
لا تعطه قاعدة واحدة بسيطة (مثل "تطابق الأسماء"). سيقوم المحتالون بتزييف تلك القاعدة.
لا تعتمد على الذكاء الاصطناعي وحده. إذا كنت تريد إيقاف المحتالين المتطورين، يجب عليك ربط الذكاء الاصطناعي ببيانات من العالم الحقيقي (مثل التحقق مما إذا كان الموقع جديداً أو مزيفاً).
احذر من "الكفاءة". إذا قلت للذكاء الاصطناعي أن يكون "فعالاً" و"سريعاً"، فقد يمرر عمليات احتيال. وإذا قلت له أن يكون "حذراً"، فقد يحجب رسائل مديرك. عليك أن تجد النقطة المثالية.

الرسالة الرئيسية للورقة هي أن التعليمات التي تعطيها للذكاء الاصطناست هي الحلقة الأضعف. إذا كتبت قاعدة بسيطة للغاية، فسيجد المخترق طريقة لكسرها. الأمن لا يتعلق فقط بعقل الذكاء الاصطناعي؛ بل يتعلق بكيفية التحدث إليه وما هي الأدوات التي تمنحها له لتدعيم كلماته.

إليك ملخص تقني مفصل لورقة البحث "البرومبت النظامي هو سطح الهجوم: كيف تشكل تهيئة وكيل النماذج اللغوية الكبيرة (LLM) الأمن وتخلق ثغرات قابلة للاستغلال" للكاتب رون ليتفاك.

1. بيان المشكلة

تتناول الورقة الفجوة الأمنية الحرجة في نشر وكلاء البريد الإلكتروني المستقلين المعتمدين على النماذج اللغوية الكبيرة (LLM). وخلافاً للأنظمة الاستشارية حيث يتخذ البشر القرارات النهائية، تقوم هذه الوكلاء بفرز وتلخيص والعمل على رسائل البريد الإلكتروني بشكل مستقل. ويؤدي الفشل في هذا السياق (الخطأ السلبي) مباشرة إلى سرقة بيانات الاعتماد أو اختراق الحسابات.

المشكلة المركزية المحددة هي أن الأداء الأمني ليس خاصية متأصلة في بنية النموذج وحدها، بل يعتمد بشكل كبير على تهيئة "البرومبت النظامي" (System Prompt). يجادل المؤلفون بأن البرومبت النظامي يعمل كسطح هجوم رئيسي: يمكن لنموذج واحد أن يتحول من اكتشاف شبه مثالي لرسائل التصيد الاحتيالي إلى عمى شبه تام (معدل تجاوز بنسبة 97%) بناءً فقط على كيفية صياغة البرومبت لشخصية الوكيل (مثل "التركيز على الكفاءة" مقابل "التركيز على الأمن"). علاوة على ذلك، تفشل الاختبارات المعيارية الحالية غالباً في مراعبة المقايضة بين معدلات الكشف والتكاليف المتعلقة بالإيجابيات الكاذبة (تكلفة الاستخدام)، أو الهشاشة الهيكلية للبرومبتات المحسنة ضد الخصوم المتكيفين.

2. المنهجية: معيار PhishNChips

يقدم المؤلفون PhishNChips، وهو معيار واسع النطاق مصمم لتقييم التفاعل بين اختيار النموذج وتهيئة البرومبت بشكل منهجي.

النطاق: 220,000 تقييم مهيكل عبر 11 نموذجاً (من Google وOpenAI وAnthropic وMeta وMistral وDeepSeek وQwen) و10 استراتيجيات مختلفة للبرومبت النظامي.
مجموعة البيانات: مجموعة متوازنة من 2,000 بريد إلكتروني اصطناعي (1,000 تصيد احتيالي، 1,000 شرعي).
- التصيد الاحتيالي: تم إنتاجه باستخدام Gemini 3 Flash Preview مشروطاً بروابط خبيثة حقيقية من PhishTank وOpenPhish. تتضمن المجموعة الفرعية نوعاً محدداً من "تصيد البنية التحتية" (73 عينة) حيث يسجل المهاجم نطاقاً يطابق كل من عنوان المرسل والرابط (انعكاس الإشارة).
- الشرعي: تم إنتاجه لمحاكاة سير العمل الحقيقي، حيث يحتوي 98.4% منها على تطابق بين نطاق المرسل والنطاق الخاص بالرابط (وهو انحياز توزيعي تمت ملاحظته كقصور).
استراتيجيات البرومبت:
- 6 استراتيجيات أساسية: تتراوح من security_first (الأمن أولاً) إلى efficiency_first (الكفاءة أولاً) وhelpful (مفيد).
- 4 استراتيجيات محسنة: برومبتات قائمة على الإشارات (مثل sender_url_match) مصممة لفرض قواعد محددة مثل اتساق النطاق.
- استراتيجية التعافي: infra_aware (الوعي بالبنية التحتية)، المصممة للتعامل مع انعكاس الإشارة.
المقاييس:
- الاستدعاء (Recall): نسبة رسائل التصيد التي تم حظرها.
- معدل الإيجابيات الكاذبة (FPR): نسبة الرسائل الشرعية التي تم حظرها.
- الأمانية (Safetility): مقياس مركب مبتكر يُعرف بـ $Recall^2 \times \frac{1}{1 + (FPR/\tau)^5}$ (حيث $\tau=0.10$ ). هذا المقياس يعاقب بشدة التهئيات التي يتجاوز فيها FPR نسبة 10%، مما يعكس قابلية النشر التشغيلية.

3. المساهمات الرئيسية

التفاعل بين البرومبت والنموذج كمتغير أمني: إثبات أن تهيئة البرومبت النظامي يمكن أن يكون لها تأثير أكبر على النتائج الأمنية من اختيار النموذج نفسه. يمكن لمعدل تجاوز التصيد لنموذج واحد أن يتفاوت بمقدار 97 نقطة مئوية (من أقل من 1% إلى 97%) بناءً على البرومبت فقط.
التحسين القائم على الإشارات والهشاشة العدائية: تطوير استراتيجيات برومبت حققت استدعاءً يصل إلى 93.7% عند FPR بنسبة 3.8% في التصيد التقليدي. ومع ذلك، أظهرت أن هذه المكاسب هشة هيكلياً: عندما يستوفي المهاجمون القاعدة المتميزة (تطابق النطاق)، ينهار الاستدعاء بنسبة تصل إلى 64 نقطة مئوية.
مفارقة تحديد التعليمات: وجد أن تضييق التعليمات إلى إشارات محددة يمكن أن يقلل من قدرات النماذج القوية بالفعل. النماذج ذات التفكير الأمني الأساسي القوي (مثل Claude Haiku) شهدت انخفاض استدعائها بنسبة ~19% عند إعطائها توجيهات ضيقة قائمة على الإشارات، حيث حلت التعليمات المحددة محل تفكيرها متعدد الإشارات الأوسع.
تصنيف استعداد النماذج (Pre-Deployment Disposition Taxonomy): تحديد ثلاث فئات من النماذج بناءً على كيفية تنفيذها للتعليمات:
- المعايرة (Calibrated): تنفذ التعليمات بدقة متناسبة (مثل GPT-4o-mini، Gemini).
- المضخمة للأمان (Safety-Amplifying): تضخم تعليمات الأمن لتصبح شكوكاً شاملة، مما يسبب FPR مرتفعاً (مثل عائلة Claude، Mistral).
- المكتفية ذاتياً (Self-Sufficient): تمتلك بالفعل التفكير المطلوب؛ والتعليمات الإضافية تؤدي إلى تدهور الأداء (مثل Qwen 3).
مقياس الأمانية (Safetility): تقديم مقياس يراعي قابلية النشر، والذي يكشف أن جزءاً ضئيلاً جداً من التهئيات المختبرة هو الصالح للإنتاج تحت قيود FPR الواقعية.

4. النتائج الرئيسية

أ. قوة صياغة البرومبت

الشخصية تهم: أدت شخصية efficiency_first إلى معدل تجاوز متوسط قدره 55%، بينما خفضت شخصية security_first المعدل إلى 7% (ولكن مع FPR بنسبة 57%).
البرومبت النظامي مقابل برومبت المستخدم: في تجربة عاملية، كان للبرومبت النظامي تأثير رئيسي على الاستدعاء أكبر بحوالي 35 ضعفاً من صياغة برومبت المستخدم.

ب. التحسين القائم على الإشارات والانهيار

النجاح التقليدي: دفعت البرومبتات المحسنة (مثل sender_url_match) النماذج الضعيفة (مثل GPT-4o-mini) من استدعاء 32.8% إلى 93.7% استدعاء مع FPR منخفض.
انهيار البنية التحتية: عند الاختبار ضد تصيد البنية التحتية (حيث يتطابق نطاق المرسل والنطاق الخاص بالرابط)، فشلت هذه الاستراتيجيات المحسنة كارثياً.
- انخفض استدعاء GPT-4o-mini من 93.7% إلى 30.1%.
- أظهر تحليل ردود النماذج أن 98% من عمليات التجاوز الناجحة استشهدت صراحة بـ "اتساق النطاق" كسبب للمشروعية، مما يثبت أن النماذج كانت تنفذ تعليمات معيبة بأمانة.

ج. سقف الدفاع المقتصر على البرومبت

التحقق العدائي: حتى مع استخدام برومبت infra_aware (الذي يسمح بالتجاوزات للوصول إلى المحتوى المشبوه)، فشلت أفضل التهئيات في حظر 90% من عينات تصيد البุทธ التحتية الواقعية.
السبب: الفشل هو فشل معلوماتي وليس تعليمات. تفتقر النماذج اللغوية الكبيرة إلى الوصول إلى الحقيقة المطلقة (بيانات WHOIS، عمر النطاق، خلاصات التهديدات) للتحقق مما إذا كان النطاق المتطابق خبيثاً أم لا. فهي تهلوس بالمشروعية بناءً على "معقولية" النص.

د. استعداد النموذج وتكاليف FPR

تباين تكلفة "إصلاح" الثغرة بشكل كبير حسب النموذج. زاد برومبت infra_aware من FPR بنسبة 2.6% فقط في Gemini 2.5 Flash ولكن بنسبة 65.0% في Claude Haiku.
كان Qwen 3 هو النموذج الوحيد المحصن فعلياً ضد هجوم البنية التحتية دون الحاجة لبرومبت خاص، معتمداً على تفكيره الداخلي متعدد الإشارات.

5. الأهمية والآثار المترتبة

البرومبت هو سطح الهجوم: يجب على الفرق الأمنية التعامل مع هندسة البرومبت النظامي بنفس صرامة اختيار النموذج. إن وجود شخصية افتراضية "مساعدة" أو "فعالة" يخلق ثغرة أمنية هائلة.
لا يوجد غداء مجاني (No Free Lunch): هناك مقايضة جوهرية بين الاستدعاء التقليدي، ومعدل الإيجابيات الكاذبة، ومتانة البنية التحتية. تحسين أحدها غالباً ما يؤدي إلى تدهور الآخر.
هندسة البرومبت ليست كافية: تخلص الورقة إلى أن الدفاعات القائمة على البرومبت فقط قد وصلت إلى سقفها ضد تصيد البنية التحتية المتطور. لسد الفجوة، تحتاج وكلاء LLM إلى تعزيز الأدوات (مثل البحث عن عمر النطاق، رملة الروابط/Sandboxing، خلاصات معلومات التهديدات) لتوفير الحقيقة المطلقة التي لا يمكن للنموذج استخلاصها من النص وحده.
إرشادات النشر:
- تجنب شخصيات efficiency_first أو helpful للوكلاء ذوي المهام الأمنية الحرجة.
- مطابقة استراتيجيات البرومبت مع استعداد النموذج (على سبيل المثال، استخدم infra_aware على النماذج المعايرة مثل GPT-4o-mini، ولكن تجنب ذلك على النماذج المضخمة للأمان مثل Claude).
- اعتماد دفاع متعدد الطبقات: استخدم برومبتات قائمة على الإشارات للتصيد التقليدي، ومسارات مدعومة بالأدوات لتهديدات البنية التحتية.

باختصار، تجادل الورقة بأنه بينما يمكن لهندسة البرومبت أن تحسن أمن النماذج اللغوية الكبيرة بشكل كبير، فإنها تخلق أيضاً أسطح هجوم محددة وقابلة للاستغلال. تتطلب المتانة الحقيقية نهجاً مشترك التحسين يجمع بين اختيار النموذج، ومعايرة البرومبت، وتكامل الأدوات الخارجية.