Effective Segregation of Duties in Agentic Enterprise Authorization: Evaluating Shared-Dependence Risk in Maker–Checker Controls
تقدم هذه الورقة مفهوم الفصل الفعال بين المهام (SoD) للتمييز بين الفصل الاسمي للهويات والتأكيد المستقل الفعلي في التفويض القائم على الذكاء الاصطناعي، مُثبتةً من خلال اختبار مرجعي واسع النطاق لنظير إلى نظير (P2P) أن التخفيف الفعال للمخاطر يعتمد على وساطة الأدلة ونماذج التحقق غير المتجانسة بدلاً من مجرد تمايز الأطالأ.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم المؤسسات الكبيرة، من البنوك إلى الوكالات الحكومية، توجد قاعدة أساسية للحفاظ على الأمان: لا ينبغي لشخص واحد أن يمتلك القدرة على بدء معاملة وإتمامها بمفرده. هذا المبدأ، المعروف باسم "فصل المهام"، يضمن أنه إذا ارتكب شخص ما خطأً أو حاول التصرف بشكل غير لائق، فسيقوم شخص ثانٍ باكتشاف ذلك قبل وقوع أي ضرر. لعقود من الزمن، اعتمد هذا النظام على بشر اثنين مختلفين يراجع كل منهما عمل الآخر. واليوم، يتم تسليم العديد من هذه المهام إلى وكلاء الذكاء الاصطناعي. هذه برامج حاسوبية يمكنها قراءة المستندات، واتخاذ القرارات، وحتى تنفيذ التحويلات المالية. والسؤال الذي يواجه خبراء الأمن لم يعد يتعلق فقط بامتلاك برنامجين مختلفين من الذكاء الاصطناعي، بل بما إذا كان هذان البرنامجان مستقلين حقاً. فإذا اعتمد كلا الوكيلين على نفس التكنولوجيا الأساسية، أو نفس المصادر المعلوماتية، أو نفس طريقة التفكير، فقد يرتكبان الخطأ نفسه في الوقت ذاته، مما يجعل عملية التحقق من السلامة عديمة الفائدة.
لقد وضعت دراسة حديثة هدفاً لاختبار هذا السيناريو تحديداً. حيث أنشأ الباحثون بيئة محاكاة قائمة على قواعد المشتريات في العالم الحقيقي، حيث يقوم وكيل ذكاء اصطناعي يعمل كـ "صانع" باقتراح عملية شراء، ويقرر وكيل ثانٍ يعمل كـ "متحقق" ما إذا كان سيوافق عليها أم لا. كان الهدف هو معرفة عدد المرات التي سيفشل فيها المتحقق في إيقاف اقتراح سيئ. اختبر الفريق طرقاً مختلفة لإعداد هذين الوكيلين؛ ففي بعض الحالات، استخدم كلا الوكيلين نفس نوع نموذج الذكاء الاصطناعي، وفي حالات أخرى، استخدما نماذج مختلفة. كما اختبروا ما إذا كان مسموحاً للمتحقق رؤية منطق الصانع أم كان عليه النظر إلى الحقائق الخام مباشرة، وما إذا كان على المتحقق الاعتماد على المعلومات التي يختار الصانع إبرازها أم يمكنه الوصول إلى البيانات الأصلية غير المفلترة.
كانت النتائج صارخة. فعندما تم إعداد النظام بأعلى مستوى من الاعتماد المشترك — حيث استخدم كلا الوكيلين نفس نموذج الذكاء الاصطناعي، وكان بإمكان المتحقق رؤية منطق الصانع، واقتصر المتحقق فقط على المعلومات التي اختارها الصان_ع — فشل نظام السلامة في أكثر من ستين بالمائة من الحالات. في هذه المواقف، كان الوكيل الثاني ببساطة يوافق على أخطاء الوكيل الأول، مما سمح للمعاملات غير الآمنة بالمضي قدماً. ومع ذلك، عندما قام الباحثون بتغيير الإعداد لتقليل هذا الاعتماد المشترك، تحسنت النتائج بشكل كبير. فمن خلال استخدام نموذج ذكاء اصطناعي مختلف للمتحقق، وإخفاء منطق الصانع، ومنح المتحقق وصولاً مباشراً إلى بيانات المصدر الأصلية، انخفض معدل الفشل إلى ما يزيد قلي قليلاً عن ثلاثة عشر بالمائة. وهذا يعني أن مجرد امتلاك وكيلين مختلفين من الذكاء الاصطناعي ليس كافياً؛ بل إن الطريقة التي يتصل بها الوكيلان وما يراه كل منهما هو الأمر الأكثر أهمية.
كما بحثت الدراسة في عدد المرات التي قد يعيق فيها النظام العمل الجيد. فعملية التحقق من السلامة التي ترفض كل الاقتراحات، حتى الآمنة منها، هي عملية عديمة الفائدة لأنها توقف سير الأعمال. ووجد الباحثون أن الإعدادات المحسنة لم تتسبب في هذه المشكلة؛ إذ لم تكن الأنظمة التي ضبطت المزيد من الاقتراحات السيئة ترفض عدداً أكبر من الاقتراحات الجيدة بشكل ملحوظ. وهذا يشير إلى أنه من الممكن بناء عمليات تحقق من سلامة الذكاء الاصطناعي تكون صارمة وفعالة في آن واحد، بشراً بشرط تصميمها لتجنب الأفخاخ المحددة التي تسبب فشلها معاً.
كان أحد أهم النتائج المتعلقة بكيفية تدفق المعلومات بين الوكيلين. فقد جاء التحسن الأكبر عندما مُنح المتحقق وصولاً مباشراً إلى الأدلة الأصلية بدلاً من الاعتماد على ملخص يقدمه الصانع. فعندما عمل الصانع كوسيط للبيانات، كان معدل الفشل أعلى بكثير. وهذا يشير إلى أن الوكيل الأول يمكنه، سواء عن غير قصد أو عن قصد، تصفية التفاصيل الضرورية لرصد الخطأ. ومن خلال إلغاء دور الوسيط والسماح للوكيل الثاني برؤية الحقائق الخام، أصبح النظام أكثر موثوقية. وبالمثل، ساعد إخفاء التفسير المكتوب للوكيل الأول عن الوكيل الثاني في تقليل الأخطاء، مما يشير إلى أن الوكيل الثاني كان يتأثر أحياناً بثقة الوكيل الأول أو منطقه بدلاً من الالتزام بالحقائق.
اختبر الباحثون أيضاً ما يحدث عندما يتم الجمع بين نوعين مختلفين من نماذج الذكاء الاصطناعي. ووجدوا أن استخدام نموذج مختلف للمتحقق قلل بشكل كبير من احتمال فشل كليهما في نفس الاقتراح السيئ. ومع ذلك، فقد كانوا حذرين في ملاحظة أن هذه النتيجة كانت خاصة بالزوج من النماذج التي استخدموها، وهي لا تضمن أن أي نموذجين مختلفين من الذكاء الاصطناعي سيعملان دائماً بشكل جيد معاً، لكنها تثبت أن خلط النماذج هو استراتيجية قوية لكسر سلسلة الأخطاء المشتركة. كما سلطت الدراسة الضوء على تحدٍ عملي: فقد كان أحد تركيبات النماذج المختلفة أكثر عرضة للأعطال التقنية التي تجعل إجاباتها غير قابلة للقراءة. وقد ذكر هذا الباحثين بأن السلامة لا تتعلق بالذكاء فحسب، بل بالموثوقية أيضاً؛ فإذا لم يستطع التحقق من السلامة تقديم إجابة واضحة، فإنه لا يستطيع القيام بعمله.
في نهاية المطاف، يغير هذا العمل طريقة تفكيرنا في السلامة في الأنظمة المؤتمتة. فهو يوضح أن القاعدة القديمة المتمثلة في "شخصين مختلفين" لا تترجم تلقائياً إلى "وكيلين مختلفين من الذكاء الاصطناعي". فإذا كان الوكيلان متشابهين للغاية في طريقة تفكيرهما، أو فيما يريانه، أو في كيفية بنائهما، فمن المرجح أن يفشلا معاً. وتتطلب السلامة الحقيقية تصميماً متعمداً يجبر الوكيل الثاني على النظر إلى المشكلة من زاوية مختلفة، باستخدام أدوات ومعلومات مختلفة. وتخلص الدراسة إلى أن المؤسسات لا يمكنها ببساال افتراض أن عمليات التحقق من سلامة الذكاء الاصطناعي لديها تعمل لمجرد وجود وكيلين. بل يجب عليها قياس الأداء الفعلي لعمليات التحقق تلك، والتأكد من أن الوكيل الثاني مستقل حقاً وقادر على رصد أخطاء الوكيل الأول. وفقط من خلال التعامل مع السلامة كنتيجة قابلة للقياس وليس كمجرد تسمية هيكلية، يمكننا الوثوق بهذه الأدوات القوية في قراراتنا الأكثر حساسية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.