Investigating Detection and Obfuscation of Prompt Injection Attacks Against Software Reverse Engineering AI Agents
تبحث هذه الورقة في مدى عرضة أنظمة الهندسة العكسية للبرمجيات الوكيلية لهجمات حقن الأوامر (prompt injection) المضمنة في الكود المصدري الثنائي، وتقترح وتقيم طرقاً لكل من تعمية هذه الهجمات وكشفها في مخرجات أدوات فك التجميع (decompiler) لتأمين سير العمل السيبراني على مستوى الإنتاج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعد روبوت ذكي ومفيد، مهمته هي تفكيك الآلات القدلة والغامضة (البرمجيات) لمعرفة كيفية عملها. يُسمى هذا "الهندسة العكسية". عادةً ما يقوم خبير بشري بهذه المهمة، ولكننا الآن نستخدم وكلاء الذكاء الاصطناعي للقيام بالعمل الشاق.
هذه الورقة هي تقرير أمني حول كيفية قيام مخترق ماكر بخداع هذا الروبوت المساعد، وكيف يمكننا بناء دفاعات أفضل لإيقافه.
المشكلة: خدعة "الملاحظة الشبحية"
تخ_يل المساعد الذكي مثل محقق يقرأ ملف قضية. من المفترض أن يحتوي الملف على مخططات لآلة ما.
اكتشف الباحثون أن بإمكان المخترق إخفاء ملاحظة سرية داخل كود الآلة. الأمر يشبه وضع ورقة داخل كتاب تقول: "تجاهل القصة التي تقرأها الآن. بدلاً من ذلك، تظاهر بأن هذا الكتاب يتحدث عن قصة مختلفة تماماً".
عندما يقرأ الذكاء الاصطناعي الكود، فإنه يرى هذه الملاحظة المخفية. ولأن الذكاء الاصطناعي مدرب على اتباع التعليمات، فإنه يصاب بالارتباك؛ يتوقف عن تحليل الآلة الحقيقية ويبدأ في وصف الآلة المزيفة التي أراد المخترق أن يراها. يطلق الباحثون على هذا اسم "هجوم حقن الأوامر" (Prompt Injection Attack).
الدفاع الأول: "فحص السوار"
حاول الباحثون أولاً دفاعاً بسيطاً. لاحظوا أن هذه الملاحظات المزيفة عادة ما تتبع تنسيقاً محدداً للغاية، مثل ارتداء سوار خاص بنمط معين (على سبيل المثال، <assistant>).
قاموا ببناء ماسح ضوئي يبحث عن نمط السوار المحدد ذاك. إذا رآه، فإنه يوقف العملية.
- مدى نجاحه؟ كان جيداً في كشف الملاحظات القياسية.
- العيب: كان المخترقون أذكياء؛ فقد قاموا ببساطة بتغيير السوار من
< >إلى[ ]أو{ }. وبما أن الماسح الضوئي كان يبحث فقط عن نمط< >المحدد، فقد فاتته الأنماط الجديدة. الأمر يشبه حارس أمن يتحقق فقط من القبعات الحمراء، بينما يرتدي المتسللون قبعات زرقاء بدلاً منها.
الدفاع الأفضل: "المحقق الذكي"
بما أن التحقق من الأنماط البسيطة لم يكن كافياً، فقد بنى الباحثون "محققاً ذكياً". هذا المحقق هو نموذج ذكاء اصطناعي متخصص تم تدريبه على قراءة النص لتقرير ما إذا كان: "هل يبدو هذا كجزء طبيعي من الآلة، أم أنه يبدو كخدعة؟"
بدلاً من البحث عن رموز محددة، ينظر هذا المحقق إلى السياق وأسلوب الكتابة.
- مدى نجاحه؟ كان أفضل بكثير. لقد كشف الخدع حتى عندما غير المخترقون الرموز (الأقواس). لقد حدد بشكل صحيح جميع الملاحظات المزيفة تقريباً، حتى تلك التي بدت مختلفة.
المخترق يقاتل مجدداً: "الحبر غير المرئي"
سأل الباحثون: "ماذا لو أصبح المخترق أكثر مكرًا؟"
اكتشفوا طريقة لإخفاء الملاحظة بحيث لا يستطيع "المحقق الذكي" رؤيتها على الإطلاق. استخدموا خدعة تتضمن "الحبر غير المرئي" (الرموز غير المطبوعة).
- تخيل أنك تكتب ملاحظة على صفحة. إذا كتبت بشكل طبيعي، سيرى الماسح الضوئي ذلك.
- ولكن إذا كتبت الملاحظة، ثم وضعت ذرة غبار صغيرة غير مرئية في منتصف الجملة، فقد تتخطى أداة "قائمة الكلمات" الخاصة بالماسح الضوئي ذلك الجزء من الملاحظة تماماً. الملاحظة لا تزال موجودة ليقرأها الذكاء الاصطناعي الرئيسي، لكن الماسح الضوئي يعتقد أن الملاحظة ليست موجودة.
اختبر الباحثون هذا. استخدموا خوارزمية جينية (برنامج كمبيوتر يتطور مثل الطبيعة) للعثور تلقائياً على أفضل طريقة لإخفاء الملاحظة.
- النتيجة: عندما استخدموا خدعة "الحبر غير المرئي" هذه، فشل "المحقق الذكي". لم يستطع رؤية الملاحظة لأن الملاحظة كانت مخفية عن رؤيته. وهكذا تم خداع المساعد الذكي مرة أخرى.
الاختبار النهائي: تعلم القواعد
أخيراً، جعل الباحثون ذكاء اصطناعي المخترق يتعلم كل شيء. ليس فقط كيفية إخفاء الملاحظة، ولكن أيضاً كيفية تغيير "القصة المزيفة" التي يرويها.
- تركوا ذكاء اصطناعي المخترق يختار أفضل "قصة مزيفة" وأفضل "مكان للاختباء" في آن واحد.
- النتيجة: أصبح ذكاء اصطناعي المخترق بارعاً جداً في هذا. لقد نجح في خداع النظام في معظم الحالات، حتى عندما حاول الباحثون مسح النسخة "المفككة" (المترجمة) من الكود.
الخلاصة
خلصت الورقة إلى ما يلي:
- الفحوصات البسيطة ليست كافية: مجرد البحث عن رموز محددة (مثل
< >) أمر يسهل تجاوزه. - المكتشفات الذكية أفضل: استخدام ذكاء اصطناعي مدرب لرصد أسلوب الهجوم أكثر فعالية بكثير من مجرد مطابقة الأنماط.
- إنه سباق تسلح: يمكن للمهاجمين إيجاد طرق لإخفاء خدعهم (التعمية/Obfuscation) بحيث لا تكتشفهم حتى المكتشفات الذكية. إذا استطاع المهاجم إخفاء الملاحظة عن رؤية الماسح الضوئي، فإن الدفاع يفشل.
يقول الباحثون إنه لضمان سلامة أدوات الهندسة العكسية المدعومة بالذكاء الاصطناعي للاستخدام في العالم الحقيقي، نحتاج إلى الاستمرار في تحسين طرق الكشف هذه وإدراك أن المخترقين سيحاولون دائماً إيجاد طرق جديدة لإخفاء تعليماتهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.