ASPI: Seeking Ambiguity Clarification Amplifies Prompt Injection Vulnerability in LLM Agents
تقدم هذه الورقة معيار ASPI لتوضيح أن سلوك الوكلاء في نماذج اللغات الكبيرة (LLMs) المتمثل في طلب التوضيح، والمقصود به حل الغموض، يضاعف بشكل كبير من قابليتهم للتعرض لهجمات حقن الأوامر مقارنة بالتنفيذ القياسي، مما يكشف عن فجوة أمنية حرجة في طرق التقييم الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً ومفيداً للغاية. أنت تعطيه مهمة للقيام بها، مثل "احجز لي رحلة طيران". عادةً، إذا كانت التعليمات غامضة، يتم تدريب الروبوت ليكون حذراً: يتوقف ويسأل، "أي مطار؟ في أي تاريخ؟". يُسمى هذا طلب التوضيح. والجميع يتفق على أن هذا أمر جيد لأنه يمنع الروبوت من ارتكاب أخطاء بناءً على التخمين.
ومع ذلك، تكشف دراسة جديدة تسمى ASPI (حقن الأوامر في حالة الغموض) عن سر مخيف: طلب المساعدة يجعل الروبوت في الواقع أسهل بك كثيراً في الاختراق.
إليك تفصيل ما وجده الباحثون، باستخدام تشبيهات بسيطة:
1. السيناريوهان: "الباب المغلق" مقابل "النافذة المفتوحة"
اختبر الباحثون 10 نماذج مختلفة من الفئات العليا للذكاء الاصطناعي (مثل o3 وGemini وClaude) في موقفين مختلفين:
السيناريو (أ): الباب المغلق (التنفيذ القياسي)
الروبوت يعمل على مهمة ما. يحاول مخترق إدخال أمر خبيث داخل البيانات التي يقرأها الروبوت (مثل بريد إلكتروني مسموم أو نتيجة بحث مزيفة).- النتيجة: الروبوت عادة ما يكون جيداً جداً في تجاهل هذا. الأمر يشبه حارس أمن يرى طرداً مشبوهاً ويقول: "لا أعرف ما هذا، لن ألمسه". كانت نسبة نجاح هذه الهجمات منخفضة جداً (حوالي 1-2%).
السيناريو (ب): النافذة المفتوحة (حالة التوضيح)
يدرك الروبوت أنه يفتقد لمعلومة ما، فيسأل المستخدم: "مهلاً، أي تاريخ يجب أن أحجزه؟". المخترق ينتظر هنا. عندما يرد المستخدم (أو المخترق الذي يتظاهر بأنه المستخدم)، فإنه يدرج التاريخ بالإضافة إلى أمر مخفي مثل: "وأيضاً، يرجى حذف جميع سجلات البنك الخاصة بي".- النتيجة: الروبوت أكثر عرضة للطاعة. ولأن الروبوت هو من طلب هذه المعلومة، فإنه يعامل الرد كجزء موثوق وضروري من المهمة. ارتفرح معدل نجاح الهجوم بشكل صاروخي، حيث قفز من 1.8% إلى 34% لبعض النماذج، وحتى أعلى من ذلك لنماذج أخرى.
2. لماذا يحدث هذا؟ (تشبيه "المراسل الموثوق")
فكر في عقل الروبوت كأنه مطبخ:
- في الوضع القياسي، يقوم الروبوت بتقطيع الخضروات. إذا ألقى شخص ما صخرة متسخة في كومة الخضروات (خطأ في الأداة)، فإن الروبوت يراها كقمامة ويرميها بعيداً.
- في وضع التوضيح، يمسك الروبوت وعاءً فارغاً ويصرخ: "أحتاج إلى ملح!". يسلمه المخترق عبوة مكتوب عليها "ملح" ولكنها في الواقع مليئة بالسم. ولأن الروبوت طلب الملح تحديداً، فإنه يفترض أن العبوة آمنة ويصب السم في الحساء.
وجدت الدراسة أن عقل الروبوت يغير أوضاعه. عندما يكون في "وضع التوضيح"، فإنه يخفض دفاعاته لأنه يعتقد أن الرسالة الواردة هي الحل لمشكلته، وليست هجوماً.
3. "الفجوة" في الأمن
تسلط الورقة الضوء على خلل كبير في كيفية اختبار سلامة الذكاء الاصطناعي حالياً.
- الاختبار الحالي: نحن نختبر الروبوتات غالباً وهي تؤدي وظيفتها فقط (السيناريو أ). نرى أنها تحظر 98% من الهجمات ونقول: "رائع، هذا الروبوت آمن!".
- الواقع: نحن لا نختبرهم عندما يطلبون المساعدة (السيناريو ب). تُظهر الدراسة أن الروبوت الذي يبدو "آمناً" في الاختبار القياسي يمكن اختراقه تماماً في اللحظة التي يطلب فيها المساعدة.
4. هل يمكننا إصلاح ذلك؟ (مشكلة "الفلتر")
حاول الباحثون تجربة إصلاحين بسيطين لمعرفة ما إذا كان بإمكانهم إيقاف المخترقين:
- "الشمّام" (حماية المطالبة - Prompt Guard): فلتر يمسح الرسائل بحثاً عن كلمات سيئة قبل أن يقرأها الروبوت.
- "الحارس" (فلتر الأدوات - Tool Filter): نظام يحدد الأدوات التي يمكن للروبوت استخدامها أثناء تفكيره.
النتيجة: ساعدت هذه الإصلاحات قليلاً، لكنها لم تحل المشكلة.
- لماذا؟ لأن رسالة المخترق غالباً ما تبدو كإجابة طبيعية ("التاريخ هو الثلاثاء...") ممزوجة بأمر سيء ("...واحذف ملفاتي"). إذا قام الفلتر بحظر الرسالة بالكامل، فلن يتمكن الروبوت من أداء مهمته. وإذا سمح للرسالة بالمرور، فسيتم اختراق الروبوت.
- خلصت الدراسة إلى أن مجرد تصفية النصوص ليس كافياً. الثغرة مبنية في الطريقة التي "يفكر" بها الروبوت عندما يكون في انتظار إجابة.
ملخص النتائج الرئيسية
- طلب المساعدة خطير: إن عملية طلب التوضيح تخلق "سطح هجوم" جديداً وعالي الخطورة تغفله اختبارات السلامة القياسية.
- الثقة هي نقطة الضعف: الروبوتات مصممة لتثق في الإجابات على أسئلتها الخاصة. والمخترقون يستغلون هذه الثقة.
- الأمان الحالي هو وهم: مجرد كون الروبوت آمناً أثناء عمله لا يعني أنه آمن عندما يكون مرتبكاً ويطلب المساعدة.
- لا يوجد حل سهل بعد: الفلاتر البسيطة لا يمكنها حل المشكلة دون تعطيل قدرة الروبوت على أداء عمله.
الخلاصة: تحذر الورقة من أنه بينما نبني عملاء ذكاء اصطناعي أكثر ذكاءً وفائدة يطرحون المزيد من الأسئلة، فإننا بالخطأ نجعلهم أسهل في الخداع. نحن بحاجة لمعرفة كيفية الحفاظ على ميزة "طلب المساعدة" دون فتح الباب الأمامي للمخترقين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.