AgentFlow: A Flow-Centric Policy Language and Framework for Securing LLM Agent Systems
يقدم AgentFlow لغة سياسات قائمة على التدفق وإطار عمل لفرض التنفيذ يعمل على تأمين أنظمة وكلاء النماذج اللغوية الكبيرة من خلال تتبع تدفقات البيانات الحساسة عبر الأدوات وحدود التفويض، مما نجح في القضاء على الاختراقات المؤكدة في اختبارات معيارية متعددة مع الحفاظ على فائدة المهام أو تحسينها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الرقمي الحديث، تطور الذكاء الاصطناعي من مجرد روبوت دردشة بسيط إلى مساعد قادر على أداء مهام معقدة نيابة عنا. هذه الأنظمة، التي تُسمى غالبًا "وكلاء" (agents)، لا تكتفي فقط بالإجابة على الأسئلة؛ بل تقرأ المستندات، وتبحث في الويب، وتصل إلى قواعد البيانات الخاصة، وترسل رسائل البريد الإلكتروني. إنها تعمل كوسيط، يسد الفجوة بين نية المستخدم والمجموعة الواسعة من الأدوات المتاحة على الإنترنت. ومع ذلك، فإن هذا المستوى الجديد من الاستقلالية يفرض ثغرة أمنية خفية ولكنها خطيرة. الخطر لا يتمثل دائمًا في خطأ واحد واضح، مثل قيام الوكيل بحذف ملف عن طريق الخطأ. بدلاً من ذلك، غالبًا ما ينشأ الضرر من تسلسل من الإجراءات التي تبدو منطقية تمامًا في حد ذاتها. قد يقرأ الوكيل سجلًا سريًا، ثم يلخصه، وبعد ذلك يرسل ذلك الملخص في رسالة بريد إلكتروني. كل خطوة من هذه الخطوات مسموح بها، لكن الجمع بينها يؤدي إلى تسريب معلومات خاصة. هذا هو التحدي الجوهري الذي يواجهه الباحثون: كيفية تأمين نظام يهم فيه مسار البيانات بقدر أهمية الخطوات الفردية المتخذة.
لقد طور فريق من الباحثين من جامعة فرجينيا تيك إطار عمل جديدًا يسمى "AgentFlow" لحل هذه المشكلة تحديدًا. يركز عملهم على تتبع رحلة المعلومات أثناء انتقالها عبر سير عمل الوكيل، بدلاً من مجرد التحقق مما إذا كان إجراء واحد مسموحًا به. تخيل حارس أمن لا يكتفي بالتحقق مما إذا كان لديك مفتاح للباب، بل يراقب أيضًا أين كنت، وماذا التقطت، وما إذا كان مسموحًا لك بأخذ هذا الشيء إلى وجهتك النهائية. يعمل AgentFlow بناءً على هذا المبدأ؛ فهو يعامل كل قطعة من البيانات على أنها تحمل "ملصقًا" يصف حساسيتها، وفئتها، ومدى موثوقيتها. إذا جاءت البيانات من موقع ويب غير موثوق، فإنها تحمل ملصق "غير موثوق". وإذا كانت تحتوي على رقم ضمان اجتماعي، فإنها تحمل ملصق "سري". ثم يراقب النظام كيف تتغير هذه الملصقات مع انتقال البيانات من قاعدة بيانات إلى أداة، وصولاً إلى بريد إلكتروني أو منشور عام.
بنى الباحثون لغة تسمح لمشغلي النظام بكتابة قواعد حول رحلات البيانات هذه. يمكن لهذه القواعد أن تمنع وصول ملخص سري إلى عنوان بريد إلكتروني خارجي، أو تمنع التعامل مع محتوى ويب غير موثوق كتعليمات داخلية موثوقة. يعمل النظام من خلال وضع "مراقب" بين الذكاء الاصطناعي والأدوات التي يستخدمها. وقبل أن يُسمح للوكيل باستدعاء أداة ما، يتحقق المراقب من الحالة الراهنة للبيانات. ويسأل: من أين جاءت هذه المعلومات؟ هل تم تنقيتها؟ هل يُسمح للوكيل بإرسالها إلى هذا المكان المحدد؟ إذا كانت الإجابة بـ "لا" على أي من هذه الأسئلة، يتم حظر الإجراء. هذا النهج يختلف عن الأساليب الأمنية القديمة التي كانت تنظر فقط في ما إذا كان لدى المستخدم إذن لاستخدام الأداة في المقام الأول. تلك الأساليب القديمة أغفلت خطر استخدام أداة آمنة مع بيانات غير آمنة.
ولضمان سلامة قواعدهم قبل نشر النظام، أنشأ الباحثون "مدققًا رياضيًا". يعمل هذا المدقق كاختبار جهد، حيث يحاكي آلاف السيناريوهات المحتملة ليرى ما إذا كان من الممكن كسر القواعد. وفي اختبارهم، نجح هذا المدقق في كشف كل تنويعة غير آمنة من القواعد التي حاولوا خداعه بها. وعندما وضعوا النظام قيد العمل في محاكاة واقعية، كانت النتائج مذهلة. ففي مجموعة تضم ما يقرب من 950 حالة اختبار صُممت لخداع الوكلاء لتسريب البيانات أو تنفيذ إجراءات غير مصرح بها، نجح النظام في خفض الانتهاكات الأمنية المؤكدة من 33 بالمائة إلى صفر. وفي مجموعة أخرى مكونة من 200 مهمة ديناميكية تحاكي الواقع، قضى النظام على 73.5 بالمائة من الهجمات الناجحة، مما أوصل معدل الفشل إلى الصفر أيضًا. والأهم من ذلك، أن النظام فعل ذلك دون تدمير قدرة الوكيل على إنجاز عمله. في الواقع، في كثير من الحالات، أكمل الوكيل المزيد من مهامه المقصودة لأن القواعد الأمنية منعت انشغاله بتعليمات خبيثة مخبأة في البيانات.
لقد كان الباحثون حذرين في تحديد حدود عملهم؛ فهم لم يدّعوا حل كل المشكلات الممكنة المتعلقة بالذكاء الاصطناعي، مثل عندما يختلق الذكاء الاصطناعي حقائق أو يقدم نصائح سيئة. نظامهم مصمم خصيصًا لتدفق البيانات عبر الأدوات والاتصالات الخارجية. وهو يفترض أن المراقب الأمني نفسه موثوق به ومُنفذ بشكل صحيح. ركزت الدراسة على نوع محدد من التهديدات حيث يحاول مهاجم التلاعب بالوكيل من خلال تغذيته بمحتوى غير موثوق، مثل صفحة ويب مسمومة أو بريد إلكتروني خبيث، لخداعه للقيام بإجراءات لم ينوِها المستخدم أبدًا. ومن خلال التركيز على المسار الذي تسلكه البيانات، يوقف AgentFlow هذه الهجمات حتى عندما تبدو كل خطوة فردية بريئة.
أظهر التقييم أن النظام يعمل عبر أنواع مختلفة من المهام، من الخدمات المصرفية وتخطيط السفر إلى إدارة مساحة العمل. في أحد السيناريوهات، تم خداع وكيل لتلخيص سجلات عملاء خاصة وإرسالها عبر البريد الإلكتروني إلى مهاجم. قد يسمح نظام أمني قياسي بهذا البريد الإلكتروني لأن الوكيل لديه إذن لإرسال الرسائل. ومع ذلك، رأى AgentFlow أن البيانات التي يتم تلخيصها سرية وأن البريد الإلكتروني يتجه إلى عنوان خارجي دون فحص أمني مناسب، فقام بحظر الإجراء. وفي حالة أخرى، حاول مهاجم خداع الوكيل لجعله يعتقد أن تعليمات خبيثة هي سياسة داخلية مشروعة. أدرك النظام أن التعليمات جاءت من مصدر غير موثوق ورفض السماح للوكيل بالتصرف بناءً عليها.
كما قاس الباحثون مدى البطء الذي يسببه هذا الطبقة الأمنية للوكيل. ووجدوا أن الوقت المضاف لكل قرار هو ضئيل للغاية، ويُقاس بالميكروثانية، وهو أمر لا يُذكر مقارنة بالوقت الذي يستغرقه الذكاء الاصطناعي للتفكير وتوليد استجابة. وهذا يعني أن الحماية لا تأتي على حساب السرعة أو سهولة الاستخدام. اختبر الفريق نظامهم ضد مجموعة واسعة من أساليب الهجوم المعروفة، بما في ذلك تلك التي تحاول استغلال اتصالات الأدوات أو التلاعب بذاكرة الوكيل. وفي كل حالة اعتمد فيها الهجوم على نقل البيانات بطريقة تنتهك القواعد المحددة، أوقف النظام الهجوم.
وبينما تبدو النتائج واعدة، يصف المؤلفون نتائجهم بأنها أدلة أولية لفرض سياسة محددة. وهم يقرون بأن التطبيقات الواقعية ستحتاج إلى تحديد قواعدها الخاصة لما يعتبر حساسًا وما هي الإجراءات المسموح بها. النظام لا يخمن ما يريده المستخدم؛ بل يفرض القواعد التي أُعطيت له. إذا أراد مستخدم إرسال محتوى ويب غير موثوق إلى مدونة عامة، فيجب عليه تكوين قاعدة صريحة تسمح بذلك. وبدون هذا الإذن المحدد، سيقوم النظام بحظر الإجراء لضمان السلامة. إن التوازن بين الأمن الصارم والمرونة الضرورية هو المفتاح لجعل هؤلاء الوكلاء الأقوياء مفيدين دون جعلهم خطرين.
يمثل هذا العمل تحولًا في كيفية تفكيرنا في تأمين الذكاء الاصطناعي. فبدلاً من محاولة التنبؤ بكل طريقة ممكنة قد يخطئ فيها الذكاء الاصطناعي، بنى الباحثون نظامًا يراقب تدفق المعلومات ويفرض حدودًا واضحة. ومن خلال تتبع مصدر البيانات وأين يُسمح لها بالذهاب، يوفر AgentFlow شبكة أمان للمهام المعقدة متعددة الخطوات التي يؤديها الوكلاء المعاصرون. إنه يضمن أنه حتى لو تم خداع الوكيل لسلوك مسار خطير، فإن النظام يوقف الرحلة قبل وقوع أي ضرر. يوفر هذا النهج مسارًا عمليًا لنشر وكلاء الذكاء الاصطناعي في بيئات تكون فيها الخصوصية والأمن أمراً بالغ الأهمية، محولاً المخاطر المحتملة للعمل المستقل إلى عملية يمكن إدارتها والسيطرة عليها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.