Runtime Risk Detection and Control for AI Agents and LLM Applications

تخيل عالماً لا تكتفي فيه برامج الكمبيوتر بالإجابة على الأسئلة فحسب، بل تخرج بنشاط إلى العالم الرقمي لجمع المعلومات، واتخاذ القرارات، والقيام بأفعال من تلقاء نفسها. تُعرف هذه البرامج باسم "وكلاء الذكاء الاصطناعي" (AI agents). إنهم يشبهون الموظفين الرقميين الذين يمكنهم حجز الرحلات الجوية، أو تحليل البيانات، أو التحكم في الأجهزة الذكية من خلال ربط العديد من الخطوات الصغيرة معاً. ومع ذلك، فإن هذه القدرة الجديدة تجلب نوعاً معيناً من الخطر؛ فبسبب قدرة هؤلاء الوكلاء على قراءة المعلومات من الإنترنت والتفاعل معها، يمكن لخديعة ذكية مخبأة داخل موقع إلكتروني يبدو غير ضار أن تخدع الوكيل للقيح بشيء ضار، مثل سرقة البيانات أو حذف الملفات. وتكمن المشكلة في أنه بحلول الوقت الذي يلاحظ فيه الإنسان الخطأ، قد يكون الوكيل قد تسبب بالفعل في ضرر. ولإيقاف ذلك، نحتاج إلى وسيلة لمراقبة هؤلاء الوكلاء أثناء عملهم، ورصد متى يوشكون على القيام بخطوة محفوفة بالمخاطر، وإيقافهم للمراجعة من قبل البشر قبل اتخاذ الإجراء.

هذا هو التحدي الذي يعالجه مشروع بحثي يسمى "AgentGuard AI". فقد قام الباحثون، الذين يعملون من جامعة في الهند، ببناء نموذج أولي لنظام مصمم ليعمل بمثابة "كلب حراسة" لهذه البرامج المستقلة. لم يكن هدفهم بناء منتج أمني مثالي للعالم الحقيقي، بل إنشاء نموذج عملي يمكنه إظهار كيفية ربط ثلاث أفكار بالغة الأهمية: اكتشاف السلوك المحفوف بالمخاطر، وتقييم مدى خطورة ذلك السلوك، واتخاذ القرار التالي. أرادوا معرفة ما إذا كان بإمكانهم بناء نظام لا يكتفي فقط برصد المشاكل، بل يحتفظ أيضاً بسجل واضح وغير قابل للتغيير لكل قرار، بحيث يمكن للبشر مراجعة ما حدث بالضبط ولماذا. والنتيجة هي نظرة تفصيلية على أداة برمجية تحاول جلب النظام والإشراف البشري إلى عالم وكلاء الذكاء الاصطناعي الفوضوي.

يعمل النظام الذي بنوه، والمسمى "AgentGuard AI"، مثل برج مراقبة للوكلاء الرقميين. يبدأ بمراقبة تدفق الأحداث أثناء عمل الوكيل، ويبحث عن أنماط محددة تشير إلى الخطر، مثل محاولة الوكيل الوصول إلى ملف سري أو اتباع تعليمات مربكة قد تكون فخاً. وعندما يرصد شيئاً مشبوهاً، فإنه لا يكتفي برفع راية حمراء فحسب، بل يحسب درجة المخاطر. هذه الدرجة ليست رقماً واحداً مستخرجاً من العدم، بل هي مزيج من ستة عوامل مختلفة، بما في ذلك مدى خطورة أدوات الوكيل، ومدى أمان النظام، وسلوك المستخدم. يتم وزن هذه العوامل معاً لإنتاج درجة نهائية تخبر النظام بمدى خطورة الموقف.

بمجرد حساب درجة المخاطر، ينتقل النظام إلى مرحلة اتخاذ القرار. ويمكنه التوصية بأربعة حالات ممكنة: إما السماح للوكيل بالاستمرار، أو مراقبته عن كثب، أو تقييد ما يمكن للوكيل القيام به، أو حظر الإجراء تماماً. ومن الأهمية بمكان أن هذا النظام مصمم ليكون شفافاً؛ فهو يحتفظ بسجل مفصل لكل خطوة، من التنبيه الأولي إلى التوصية النهائية. كما يسمح لأشخاص مختلفين بأن يكون لهم أدوار مختلفة؛ حيث يمكن للمدير تغيير القواعد، ويمكن للباحث إجراء الاختبارات، ويمكن للمراجع الاطلاع على السجلات للموافقة على الإجراءات أو رفضها. ويتضمن النظام أيضاً ميزات الخصوصية، مثل إخفاء الأجزاء الحساسة من المحادثة في السجلات، كما أنه ينشئ "سلسلة" رقمية من السجلات تجعل من الصعب جداً التلاعب بتاريخ ما حدث.

لاختبار ما إذا كانت هذه الفكرة قد نجحت بالفعل، أجرى الباحثون تجربة محددة. لم يستخدموا وكلاء حقيقيين أو مخترقين حقيقيين، بل استخدموا محاكياً داخلياً لتوليد خمسة وعشرين حدثاً وهمياً. كانت بعض هذه الأحداث آمنة، بينما صُممت بعضها لتبدو كأنها هجمات. عالج النظام هذه الأحداث وأنتج حزمة كاملة من الأدلة، بما في ذلك البيانات الخام، ودرجات المخاطر، والتنبيهات، والقرارات النهائية. ثم قام الباحثون بفحص هذه الحزمة بعناً، ومقارنة ما أظهره النظام على شاشته مع ما تم حفظه في الملفات الرقمية.

كشف الفحص أن النظام قادر بالفعل على ربط جميع النقاط؛ فقد نجح في أخذ حدث ما، وتقييم مخاطره، وتقديم توصية، وحفظ الأدلة بطريقة يمكن مراجعتها لاحقاً. وقد أثبت هذا أن سير العمل الأساسي ممكن. ومع ذلك، كشفت التجربة أيضاً عن عيوب جوهرية تمنع كونه أداة أمنية جاهزة للاستخدام. وجد الباحثون أن النظام لم يكن متسقاً تماماً؛ فعلى سبيل المثال، أظهرت الشاشة نسخة واحدة من قواعد تقييم المخاطر، بينما أظهر الملف المحفوظ نسخة مختلفة. وفي حالة أخرى، قال النظام إنه سيحظر إجراءً عالي المخاطر، لكن السجل المحفوظ ذكر أنه سيطلب ببساطة مراجعة بشرية. تعني هذه التناقضات أنه إذا حاولت إعادة تشغيل التجربة لاحقاً، فقد لا تحصل على النتيجة ذاتها بالضبط، وهو ما يمثل مشكلة كبيرة لأي نظام يدعي الموثوقية.

علاوة على ذلك، افتقر النظام إلى بعض التفاصيل الأساسية اللالة لإثبات حقيقي؛ فلم يسجل "البذرة العشوائية" (random seed) المحددة المستخدمة لتوليد أحداث الاختبار، كما لم يسجل النسخة الدقيقة من كود الكمبيوتر الذي كان يعمل. وبدون هذه التفاصيل، من المستحيل على باحث آخر إعادة إنشاء التجربة بدقة للتحقق من النتائج. كما أشارت الدراسة إلى أن النظام كان يعمل كمحاكاة بسيطة على جهاز كمبيوتر واحد، وليس كخدمة معقدة عالية السرعة يمكنها التعامل مع حركة المرور في العالم الحقيقي. لقد كان نموذجاً بحثياً أولياً، وليس منتجاً نهائياً.

لقد كان الباحثون واضحين جداً بشأن ما حققه عملهم وما لم يحققه. فهم لم يثبتوا أن نظامهم يمكنه إيقاف المخترقين الحقيقيين أو أنه أفضل من أدوات أمنية أخرى، ولم يختبروه مع أشخاص حقيقيين يراجعون التنبيهات لمعرفة ما إذا كان النظام يقلل من عبء عملهم أو يحسن قراراتهم. ما أثبتوه هو أنه يمكنهم بناء إطار عمل يربط الكشف والتقييم والمراجعة البشرية في عملية واحدة قابلة للفحص. لقد أظهروا أنه من الممكن إنشاء مسار رقمي يربط بين حدث محفوف بالمخاطر وقرار بشري، لكنهم أظهروا أيضاً أن بناء نظام يتسم بالاتساق والقابلية للتكرار والجاهزية للعالم الحقيقي يتطلب الكثير من العمل.

تكمن قيمة هذه الدراسة في صدقها؛ فبدلاً من تقديم حل مصقول ومثالي، قدم الباحثون نموذجاً يعمل ثم قاموا بتفكيكه لإظهار مواطن قوته وضعفه. لقد أثبتوا أنه بينما تبدو فكرة وجود "رقيب" ذكاء اصطناعي يراعي الحوكمة فكرة سليمة، إلا أن التفاصيل تهم للغاية. إن النظام الذي يدعي حماية وكلاء الذكاء الاصطناعي يجب أن يكون قادراً على ضبط سجلاته الخاصة، وضمان تطبيق قواعده باستمرار، وتوفير معلومات كافية للبشر لكي يثقوا في قراراته. وحتى يتم إصلاح هذه الأجزاء، يظل النظام أداة بحثية قوية ومخططاً للمستقبل، ولكنه ليس بعد درعاً للحاضر.