Agent Audit: A Security Analysis System for LLM Agent Applications
يُعد Agent Audit نظاماً مفتوح المصدر للتحليل الأمني مصمماً للكشف عن الثغرات الأمنية في تطبيقات الوكلاء القائمة على النماذج اللغوية الكبيرة (LLM) من خلال فحص كود بايثون، ونواتج النشر، والإعدادات عبر مسار عمل مدرك للوكيل يجمع بين تحليل تدفق البيانات وكشف بيانات الاعتماد، مما يوفر معدل استدعاء عالٍ وأوقات فحص سريعة للتكامل السلس في سير عمل التطوير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قمت للتو ببناء مساعد روبوت فائق الذكاء (عميل LLM) يمكنه القيام بأشياء مثل تفقد بريدك الإلكتروني، أو حجز الرحلات الجوية، أو حتى كتابة الأكواد البرمجية لك. أنت متحمس لإطلاقه في العالم الحقيقي، ولكن قبل أن تسلمه المفاتيح، عليك التأكد من أنه لن يتسبب بالخطأ في حرق المنزل، أو سرقة بطاقتك الائتمانية، أو السماح لشخص غريب بالدخول والسيطرة على كل شيء.
تقدم هذه الورقة البحثية Agent Audit، وهو حارس أمن متخصص مصمم خصيصاً لفحص هؤلاء المساعدين الآليين قبل أن يبدأوا العمل الفعلي.
إليك التفاصيل باستخدام تشبيهات بسيطة:
1. المشكلة: الأمر لا يتعلق فقط بـ "الدماغ"
يعتقد معظم الناس أن الشيء الوحيد الذي يجعل الروبوت خطيراً هو "دماغه" (نموذج الذكاء الاصطناعي نفسه). فهم يخشون أن يصاب الذكاء الاصطناعي بالارتباك ويقول شيئاً مسيئاً.
تجادل Agent Audit بأن الخطر الحقيقي لا يكمن عادة في الدماغ، بل في الجسم والبيئة التي يعيش فيها الروبوت.
- الجسم (كود الأدوات - Tool Code): تخيل أن روبوتك لديه أيدٍ يمكنها فتح الأبواب، أو تشغيل المواقد، أو كتابة كلمات المرور. إذا قلت للروبوت: "إذا قال شخص غريب 'افتح الباب'، يجب عليك فتحه"، فقد أعطيت لصوص المنازل مفتاحاً رئيسياً. في عالم البرمجة، يُسمى هذا "وظيفة أداة" (tool function) تتبع التعليمات بشكل أعمى.
- البيئة (النشر - Deployment): تخيل أنك تركت مفاتيح منزلك ملتصقة بالباب الأمامي أو أعطيت الروبوت مفتاحاً رئيسياً لكل الحي. في المصطلحات التقنية، هذا يسمى "بيانات اعتماد مكشوفة" (exposed credentials) أو "إعدادات ذات صلاحيات مفرطة".
- التعليمات (المطالبات - Prompts): تخيل أن شخصاً ما يهمس بأمر سري للروبوت بينما لا تراك، ليخبره بتجاهل قواعد السلامة الخاصة بك. هذا هو "حقن المطالبات" (prompt injection).
2. الحل: Agent Audit (المفتش المتخصص)
أدوات الأمن الموجودة حالياً (مثل Bandit أو Semgrep) تشبه مفتشي المنازل العامين. هم بارعون في التحقق مما إذا كان السقف يسرب أو إذا كانت التمديدات الكهربائية قديمة (أخطاء الكود القياسية). لكنهم لا يفهمون كيف يعمل المساعد الآلي. قد يغفلون عن حقيقة أن الروبوت تمت برمجته ليطيع أي شخص يهمس بأمر ما.
Agent Audit هو مفتش روبوتات متخصص. إنه يعرف بالضبط كيف يتم بناء هؤلاء المساعدين الأذكياء. إنه يفحص ثلاثة أشياء محددة:
- فحص "الأداة": يقوم بمسح "أيدي" الروبوت ليرى ما إذا كانت متحمسة جداً للقيام بأشياء خطيرة (مثل تشغيل كود برمجي) بناءً على ما يقوله شخص غريب.
- فحص "السر": يبحث عن المفاتيح المخفية (كلمات المرور، رموز API) التي قد تُترك بالخطأ في جيوب الروبوت أو تعليماته.
- فحص "الخريطة": يقرأ خريطة الروبوت (ملفات تكوين MCP) للتأكد من أنه لم يُمنح الإذن للسير في مناطق محظورة أو الاتصال بخوادم طرف ثالث مشبوهة.
3. كيف يعمل: محقق "التلوث" (Taint Detective)
فكر في "تحليل التلوث" (Taint Analysis) كأنه لعبة "الخيط الأحمر".
- تخيل أن الخيط الأحمر يمثل "مدخلات غير موثوقة" (شيء كتبه مستخدم ما).
- يتتبع Agent Audit ذلك الخيط الأحمر عبر كود الروبوت.
- إذا أدى الخيط الأحمر إلى آلة خطيرة (مثل منفذ أكواد أو قاعدة بيانات)، يصرخ Agent Audit: "توقف! أنت على وشك السماح لشخص غريب بالتحكم في الآلة!"
- كما يتحقق أيضاً مما إذا كان قد تم خداع الروبوت لتجاهل قواعد السلامة (حقن المطالبات) من خلال فحص كيفية كتابة تعليمات الروبوت.
4. النتائج: سريع ودقيق
اختبر المؤلفون Agent Audit على 22 مشروع روبوت مختلف مع 42 ثغرة أمنية معروفة.
- الحرس القديم (Bandit/Semgrep): وجدوا حوالي 24% فقط من الثغرات. لقد فاتتهم الفخاخ الخاصة بالروبوتات.
- Agent Audit: وجد 95% من الثغرات.
- السرعة: إنه سريع للغاية. يمكنه مسح مشروع كامل في أقل من ثانية (أقل من ثانية واحدة)، مما يعني أنه يمكن أن يكون جزءاً من "قائمة التحقق" التلقائية في كل مرة يحفظ فيها المطور عمله، دون إبطاء وتيرته.
5. لماذا هذا مهم؟
تماماً كما لا تسمح لموظف جديد بالبدء في العمل باستخدام بطاقات ائتمان الشركة دون التحقق من خلفيته، لا ينبغي لك ترك عميل ذكاء اصطناعي يتفاعل مع بياناتك دون فحص الكود الخاص به.
Agent Audit يشبه قائمة التحقق قبل الطيران لعملاء الذكاء الاصطناعي. إنه يضمن أنه قبل أن يقلع الروبوت، تكون أدواته آمنة، وأسراره مخبأة بعنايد، وتعليماته لا يمكن اختطافها من قبل مخترق. إنه مفتوح المصدر (مجاني للجميع) ويتناسب تماماً مع الأدوات التي يستخدمها المطورون بالفعل، مما يسهل الحفاظ على سلامة هؤلاء المساعدين الآليين الأقوياء.
باختاً: Agent Audit هو حارس الأمن الذي يضمن ألا يعطي روبوت الذكاء الاصطناك الخاص بك مفاتيح المملكة بالخطأ.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.