Agent Guard: Kernel-Enforced Damage Boundaries for AI Agents via Human-Authorized Contracts

في المشهد الرقمي الحديث، تطور الذكاء الاصطناعي من مجرد مولد بسيط للنصوص إلى عامل استباقي قادر على تخطيط المهام المعقدة، وتشغيل البرامج، والتفاعل مع الملفات والشبكات الموجودة على الكمبيوتر. ومع ذلك، فإن هذه الاستقلالية الجديدة تجلب نوعاً معيناً من المخاطر: فإذا ارتكب الذكاء الاصطناعي خطأً، أو تعرض للخداع بواسطة مطالبة خبيثة، أو ببساطة "هلوس" بتعليمات خطيرة، فإنه يمكنه تنفيذ أوامر تسبب ضرراً للنظام الذي يُفترض به مساعدته. إن تدابير الأمن التقليدية غالباً ما تعمل مثل حارس عند باب ملهى ليلي، يتحقق من اسم الأداة قبل السماح لها بالدخول، لكنها تكافح لتتبع ما يحدث بمجرد أن تفتح تلك الأداة نافذة أوامر (shell)، أو تُنشئ عملية فرعية، أو تكتب ملفاً يتم قراءته لاحقاً بواسطة برنامج آخر. وبمجرد أن يتسلل الذكاء الاصطناعي عبر الفحص الأولي، يمكن لأفعاله أن تمتد عبر نظام التشغيل، مما يجعل الفرق الأمنية غير قادرة على التمييز بين الجزء من التنفيذ الذي كان مصرحاً به والجزء الذي تسبب في الضرر.

ولحل هذه المشكلة، طور الباحثون نظاماً يسمى "Agent Guard"، والذي يعمل كمراقب مستمر ولا يغفل داخل نواة الكمبيوتر، أو ما يعرف بـ "الكرنل" (kernel). وبدلاً من الوثوق بالذكاء الاصطناعي لاتباع القواعد أو الاعتماد على الذكاء الاصطناعي لاقتراح ما يجب السماح به، يتطلب هذا النظام من الإنسان تأكيد الحدود قبل السماح للذكاء الاصطناعي بالعمل. يقوم الإنسان بتفويض مجموعة محددة من القواعد لأفعال الذكاء الاصطناعي، ومن ثم يقوم نظام تشغيل الكمبيوتر بفرض هذه القواعد بيقين مطلق. وإذا حاول الذكاء الاصطناعي القيام بشيء خارج نطاق تفويضه، فإن النظام يوقفه فوراً، وقبل وقوع أي ضرر بوقت طويل. هذا النهج ينقل التركيز من محاولة التنبؤ بكل خطأ محتمل قد يرتكبه الذكاء الاصطناعي إلى إنشاء سياج صلب وغير قابل للكسر حول الأصول المحددة التي قرر الإنسان أنها آمنة للمس.

قام الباحثون ببناء هذا النظام عن طريق إنشاء بوابة خاصة تقع بين تفويض الإنسان وتنفيذ الذكاء الاصطناعي. فقبل أن يُسمح للذكاء الاصطناعي بتشغيل أي كود، يجب على الإنسان مراجعة خطة مقترحة وتأكيد الملفات واتصالات الشبكة التي يُسمح للذكاء الاصطناني بالوصول إليها بدقة. وهذا التأكيد ليس مجرد اقتراح؛ بل هو عقد رسمي يبرمه نظام تشغيل الكمبيوتر ويقوم بإحكام إغلاقه. ثم يقوم النظام بربط هذا العقد بالمهمة المحددة التي أوشك الذكاء الاصطناعي على أدائها. وإذا حاول الذكاء الاصطناعي تشغيل أمر ينتهك هذا العقد، فإن نظام التشغيل يرفض الطلب فوراً. والأهم من ذلك، أن النظام لا يتحقق من الأمر الأولي فحسب؛ بل يراقب سلسلة الأحداث بأكملها. فإذا كتب الذكاء الاصطناعي ملفاً، وتم قراءة هذا الملف لاحقاً بواسطة برنامج آخر، فإن القيود تنتقل مع الملف. وإذا فتح الذكاء الاصطناعي اتصالاً بالشبكة، يضمن النظام عدم إمكانية خروج أي بيانات من الكمبيوتر إذا كان العقد يمنع ذلك، حتى لو تم إنشاء الاتصال قبل تطبيق القيود بالكامل.

ولتحقيق هذا المستوى من السيطرة، استخدم الباحثون تقنية تسمح للنظام بالارتباط مباشرة بالخطافات الداخلية لنظام التشغيل. لقد أنشأوا "مستوى بيانات" (data plane) يقوم بوسم كل عملية وملف وقناة اتصال بحالة محددة. فعندما تقرأ عملية ما ملفاً مقيداً، فإنها ترث هذا القيد. وعندما تكتب في أنبوب (pipe) أو مقبس (socket)، ينتقل القيد إلى الطرف الآخر. هذا الانتشار يسير بشكل "رتيب" (monotonic)، مما يعني أنه بمجرد تطبيق القيد، لا يمكن للذكاء الاصطناعي إزالته بمجرد إعادة تشغيل برنامج أو تغيير اسم ملف. يضمن النظام أن حالة "عدم المرور" تنتشر عبر شبكة العمليات مثل البقعة التي لا يمكن غسلها، مما يمنع الذكاء الاصطناعي من "غسل" أفعاله عبر خطوات وسيطة لتجاوز القواعد.

قام الفريق باختبار هذا النظام بدقة شديدة لمعرفة ما إذا كان بإمكانه حقاً إيقاف الضرر الذي صُمم لمنعه. لقد أجروا مئات الاختبارات الأمنية الرسمية التي غطت تسعة عشر سيناريو مختلفاً، بما في ذلك حالات حاول فيها الذكاء الاصطناعي الوصول إلى ملفات لا ينبغي له الوصول إليها، أو إرسال بيانات عبر الشبكة بعد فرض القيود، أو نقل القيود إلى برامج أخرى. وفي كل سجل من سجلات الاختبار الـ 570، عمل النظام تماماً كما هو مخطط له. فقد نجح في رفض الإجراءات غير المصرح بها، ونشر القيود بشكل صحيح عبر أنواع مختلفة من الملفات وقنوات الاتصال، وضمن عدم حدوث أي آثار جانبية خارج الحدود المتفق عليها. أثبت النظام قدرته على الحفاظ على حدود ضرر صارمة ومفوضة من قبل البشر دون الحاجة أبداً إلى الثقة في حكم الذكاء الاصطناعي الخاص أو اقتراحات سياساته.

وبعيداً عن مجرد إثبات نجاحه، قام الباحثون بقياس مدى تأثير هذه الطبقة الإضافية من الأمن على سرعة الكمبيوتر. لقد قارنوا نظامهم بطريقة سابقة تسمى "ActPlane"، وهي أداة أمنية مماثلة. وفي الاختبارات المتعلقة بقراءة وكتابة الملفات، أضاف نظامهم الجديد تأخيراً بنسبة 12 بالمائة تقريباً مقارنة بجهاز كمبيوتر بدون تدابير أمنية على الإطلاق. وفي المقابل، تسبب النظام القديم في إبطاء الكمبيوتر بنسبة تتراوح بين 33 و61 بالمائة، اعتماداً على المهمة. يشير هذا الفرق الكبير إلى أن النهج الجديد ليس أكثر أماناً فحسب، بل هو أيضاً أكثر كفاءة، مما يجعله عملياً للاستخدام في العالم الحقيقي حيث تهم السرعة. وجد الباحثون أن تكلفة التحقق من القواعد وتتبع تدفق البيانات كانت ضئيلة، خاصة عند مقارنتها بالأعباء الثقيلة للجيل السابق من الأدوات.

كما سلطت الدراسة الضوء على ما لا يفعله النظام، وهو أمر لا يقل أهمية عما يفعله. لا يدعي النظام إصلاح كل مشكلة ممكنة تتعلق بسلامة الذكاء الاصطناعي، ولا يضمن أن القرار الأولي للإنسان كان مثالياً. هو ببساطة يضمن أنه مهما كان ما يقرره الإنسان كقاعدة، فإن الكمبيوتر يتبع تلك القاعدة دون فشل. هو لا يحمي الأصول التي لم يتم التصريح عنها، ولا يمنع الذكاء الاصطناعي من التسبب في الضرر إذا قام الإنسان بتفويض إجراء خطير صراحةً. النظام هو أداة للإنفاذ، وليس بديلاً للحكم البشري. إنه يأخذ الفكرة المعقدة، وغالباً ما تكون غامضة، عن "الذكاء الاصطناعي الآمن" ويحولها إلى واقع تقني ملموس حيث يتم تحديد الحدود من قبل شخص ويتم إنفاذها بواسطة الآلة.

في النهاية، يوضح هذا العمل أنه من الممكن إنشاء شبكة أمان للذكاء الاصطناعي تكون صارمة وفعالة في آن واحد. من خلال الفصل بين دور الذكاء الاصطناعي، الذي يقترح الأفعال، ودور الإنسان، الذي يفوضها، ومن ثم استخدام نظام التشغيل لإنفاذ هذه التفويضات، أنشأ الباحثون نموذجاً يكون فيه الضرر محدوداً ويمكن التنبؤ به. لا يعتمد النظام على حسن سلوك الوكيل، بل يعتمد على نظام التشغيل لمنع الوكيل من التصرف بشكل سيء. هذا التحول من الثقة في "الوكيل" إلى إنفاذ "العقد" يمثل تغييراً جوهرياً في كيفية تأمين مستقبل الحوسبة المستقلة، مما يضمن أنه حتى لو ارتكب الذكاء الاصطناعي خطأً، فإن العواقب ستظل محتواة داخل الجدران التي بناها الإنسان.