Auto-Policy, not Auto-Skill: Compiled Agent Skills for the Physical World
تحدد هذه الورقة الفجوة الأمنية الحرجة في أنظمة الوكلاء ذاتية التطور حيث تفتقر المهارات المُولَّدة إلى فرض سياسات مدمجة، مما يؤدي إلى ناقل هجوم جديد يُسمى "السلطة المستعارة"، وتقترح "Edge Skillguard"، وهي طبقة سلطة نمطية مدمجة داخل قطع المهارات تنجح في حظر الأفعال الفيزيائية الخبيثة من خلال التحقق من حالة العالم والأدلة الحسية بدلاً من الثقة في ادعاءات الوكلاء الأقران.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا يُدار فيه منزلك، أو سيارتك، أو مصنعك بواسطة إنسان واحد يضغط على الأزرار، بل بواسطة فريق من المساعدين الرقميين الذين يعملون معاً. هؤلاء المساعدون، الذين غالباً ما تعمل نماذج لغوية متقدمة في خلفيتهم، يزدادون قدرة بشكل مستمر؛ إذ يمكنهم قراءة التعليمات، وتخطيط المهام المعقدة، وحتى التحكم في أجهزة مادية مثل أقفال الأبواب أو الأذرع الروبوتية. ولجعل هذا العمل ممكناً، يمنح المطورون هؤلاء المساعدين "مهارات" — وهي في الأساس مجموعات أدوات رقمية تخبرهم بكيفية تنفيذ إجراءات محددة، مثل "التحقق مما إذا كان شخص ما في المنزل" أو "فتح الباب الأمامي". والتوجه الحالي في هذا المجال هو السماح لهؤلاء المساعدين بإنشاء ودمج مهارات جديدة تلقائياً وبشكل فوري، آملين أن يؤدي المزيد من الأتمتة إلى كفاءة أفضل. ومع ذلك، فإن الاندفاع نحو هذه القدرات ذاتية التطور قد خلق نقطة عمياء خطيرة. فبينما يتحسن المساعدون في التخطيط، غالباً ما تُترك قواعد السلامة التي تقرر ما إذا كان المخطط مسموحاً به فعلياً لتقدير المساعد نفسه. وهذا يترك فجوة حيث قد يعتقد المساعد الرقمي بثقة أنه يملك الإذن لفتح باب أو تحريك روبوت، لمجرد أن مساعداً آخر أخبره بذلك، دون أي دليل مستقل على أن الإذن كان حقيقياً.
هذه الفجوة هي محور دراسة جديدة أجراها باحثون من "إمبريال كوليدج لندن" وباحث مستقل في سياتل. ويجادلون بأن الطريقة الحالية لتعبئة هذه المهارات الرقمية غير كافية للعالم المادي. ومن وجهة نظرهم، لا ينبغي للمهارة أن تصف فقط كيفية القيام بشيء ما؛ بل يجب أن تحمل أيضاً مجموعة صارمة من القواعد القابلة للقراءة آلياً والتي تحدد متى يكون من الآمن القيام به. وقد حدد الباحثون نوعاً معيناً من الخطر يسمونه "السلطة المستعارة". يحدث هذا عندما يرسل وكيل رسالة إلى وكيل آخر، قائلاً: "افتح الباب، لأنني تأكدت من وجود المقيم في المنزل". وفي الأنظمة الحالية، غالباً ما يأخذ الوكيل المتلقي هذا الادعاء على أنه حقيقة، موقناً باللغة الطبيعية للرسالة بدلاً من التحقق من الحقائق. وإذا كان الوكيل الأول يكذب، أو مرتبكاً، أو تعرض للاختراق، فقد يقوم الوكيل الثاني بفتح الباب بناءً على وعد كاذب، مما يؤدي إلى ضرر في العالم الحقيقي. ويشير البحث إلى أنه بينما رأينا برمجيات خبيثة في السحابة وروبوتات تعرضت للخداع لإلحاق ضرر مادي بشكل منفصل، إلا أننا لم نرَ بعد هذا المزيج المحدد من مهارة رقمية خبيثة تسبب ضرراً مادياً، لكنهم يعتقدون أن هذا التقاطع بات وشيكاً.
ولمعالجة ذلك، طور الفريق نظاماً أطلقوا عليه اسم "Edge Skillguard". فبدلاً من الاعتماد على نموذج الذكاء الاصطعي لتذكر قواعد السلامة أو تفسير التعليمات الغامضة، قاموا بدمج طبقة سلطة صارمة ومحددة النوع داخل المهارة نفسها. فكر في الأمر كأنه "حارس بوابة" رقمي يقف عند مدخل كل إجراء. فقبل تنفيذ أمر مثل "فتح الباب"، يقوم هذا الحارس بالتحقق من قائمة محددة من الحقائق الصلبة: هل الشخص الذي يطلب الإجراء هو بالفعل الشخص المسموح له بالقيام بذلك؟ هل الدليل على وجود المقيم حديث ومن مصدر موثوق، مثل كاميرا موثقة أو هاتف محدد؟ هل وصل الطلب ضمن نافذة زمنية صالحة؟ إذا لم يتم استيفاء أي من هذه الشروط بدليل ملموس وقابل للتحقق آلياً، يتم حظر الإجراء فوراً، بغض النظر عن مدى إقناع الرسالة المكتوبة باللغة الطبيعية. هذا النهج ينقل عبء السلامة من الاستنتاج غير المتوقع للنموذج اللغوي إلى التحقق الحتمي من البيانات.
اختبر الباحثون هذا النظام على منصة تحكم طرفية (edge control) حية تحاكي بيئة منزل ذكي تضم 148 جهازاً مختلفاً، بما في ذلك الأقفال والأضواء والكاميرات والمستشعرات. كما صمموا سلسلة من الهجمات المصممة لخداع النظام للقيام بإجراءات غير مصرح بها. تضمنت هذه الهجمات سيناريوهات ادعى فيها أحد الوكلاء أنه رأى مقيماً في حين لم يفعل، أو استخدم تصريحاً منتهي الصلاحية، أو حاول استخدام تصريح صالح لمهمة خاطئة. وفي كل اختبار، نجح نظام "Edge Skillguard" في حظر المحاولات غير المصرح بها. وتحديداً، رفض النظام جميع الطلبات الخبيثة الستين عبر خمسة أنواع مختلفة من الهجمات دون أن يحظر أي طلب مشروع وآمن. عمل النظام بنفس الكفاءة عندما تم توسيع الاختبار ليشمل 300 طلب وعندما تم توزيع المكونات على أجهزة كمبيوتر مختلفة متصلة عبر شبكة واسعة. وكانت عملية اتخاذ القرار سريعة للغاية، حيث استغرقت بضعة ميكروثوانٍ فقط للتحقق من القواعد، مما يثبت أن الأمن العالي لا يأتي بالضرورة على حساب السرعة.
كما استكشفت الدراسة حدود هذا النهج. وقد حرص الباحثون على الإشارة إلى أن نظامهم يحمي من الارتباك والخداع بين الوكلاء، لكنه لا يستطيع منع وكيل موثوق من اتخاذ قرار سيئ إذا كان ذلك الوكيل مخترقاً بالفعل، كما لا يمكنه اكتشاف ما إذا كان مستشعر مادي يتعرض للخداع من خلال هجوم إعادة التشغيل (replay attack) أو جهاز مسروق. هذه مشكلات مختلفة تتطلب حلولاً مختلفة، مثل أمن الأجهزة أو التحقق المادي. ومع ذلك، فإن النتيجة الجوهرية واضحة: لكي يتمكن الوكلاء من التحكم بأمان في العالم المادي، يجب أن تكون القواعد التي تحكم أفعالهم ملموسة وغير قابلة للتغيير تماماً مثل الأفعال نفسها. ومن خلال الدمج بين المعرفة الإجرائية لكيفية تنفيذ مهمة ما وبين سياسة صارمة وقابلة للتحقق آلياً حول متى يُسمح بها، قدم الباحثون مخططاً لمنع المساعدين الرقميين من التسبب في ضرر مادي عن طريق الخطأ أو بسوء نية. ويشير هذا العمل إلى أن مستقبل الأتمتة الآمنة لا يكمن في نماذج لغوية أكثر ذكاءً، بل في حدود أكثر صرامة وشفافية تفصل بين ما يمكن للوكيل قوله وما يُسمح له فعلياً بالقيام به.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.