A Policy Algebra for Trust-Preserving Agentic AI Execution
تقدم هذه الورقة جَبْرًا سياساتيًا يحدد غلاف موثوقية يحافظ على الثقة للذكاء الاصطناعي الوكيل، وذلك عبر صياغة قيود أمنية والتزامات وقت التشغيل صياغةً تركيبية، مما يمكّن النظام من التدخل في جميع انتهاكات السياسة تقريبًا مع الحفاظ على معدلات عالية لإكمال المهام وضمان اكتمال التدقيق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المعاصر، يحدث تحول جذري. لسنوات طويلة، كان التركيز ينصب على بناء أنظمة يمكنها توليد النصوص، أو الإجابة على الأسئلة، أو تلخيص المستندات. كانت هذه الأنظمة تشبه أمناء مكتبة واسعي المعرفة، يمكنهم قراءة أي شيء ولكن يُمنعون من لمس الكتب أو تحريك الأثاث. أما اليوم، فقد مُنحت جيل جديد من البرمجيات، والتي تُسمى غالباً "الوكلاء" (agents)، مفاتيح المبنى. هؤلاء الوكلاء لا يكتفون بالحديث فحسب؛ بل يعملون. يمكنهم البحث في ملفات الشركة الخاصة، وإرسال رسائل البريد الإلكتروني، وتحديث قواعد البيانات، واستدعاء خدمات خارجية، وحتى تسليم أجزاء من مهمة ما إلى برامج أخرى. إن هذه القدرة على الانتقال من التفكير إلى التنفيذ تجعلهم أقوياء للغاية للشركات، لكنها تقدم أيضاً نوعاً جديداً من الخطر؛ فالخطأ لم يعد مجرد جملة خاطئة، بل أصبح ملفاً محذوفاً، أو سراً مسرباً، أو ميزانية أُنفقت على مهمة لم تكتمل أبداً.
تكمن المشكلة الجوهرية في أن الوكيل قد ينجح في تحقيق هدفه مع كسر القواعد للوصول إليه. تخيل عاملاً ينجح في تسليم طرد، ولكنه يفعل ذلك عبر اقتحام غرفة مغلقة لم يكن مسموحاً له بدخولها. في الماضي، كانت الأنظمة الأمنية تتحقق في الغالب مما إذا كان الشخص يمتلك بطاقة دخول للمبنى، ولكن بالنسبة لهؤلاء الوكلاء الأذكياء، يجب أن يتم الفحص الأمني عند كل خطوة من خطوات الرحلة، وليس فقط عند الب باب الأمامي. إذا سُمح لوكيل باتخاذ قرار، فيجب فحص هذا القرار مقابل هوية السائل، والأدوات التي يستخدمها، والمبلغ المالي المتبقي لديه، وما إذا كان هناك بشر قد وافقوا على هذا الإجراء. وبدون هذه الرقابة المستمرة، يمكن لأداة قوية أن تسبب ضرراً بسهياً، حتى لو كان الشخص الذي بدأ العملية يمتلك نوايا حسنة.
لقد طور باحثون في "فولكس فاجن للخدمات الرقمية" (Volkswagen Digital Services) و"سكانيا سي في إيه بي" (Scania CV AB) طريقة جديدة لإدارة هذه المخاطر، أطلقوا عليها اسم "جبر السياسات" (policy algebra). فكر في هذا ليس كمجرد قائمة من القواعد، بل كنظام رياضي لدمج المتطلات الأمنية المختلفة في قرار واحد غير قابل للكسر. أدرك الباحثون أنه لكي تثق في وكيل ما، لا يمكنك النظر فقط إلى الإجابة النهائية التي ينتجها، بل يجب عليك النظر في المسار الكامل الذي اتخذه للوصال إليها. يعامل نظامهم كل إجراء يريد الوكيل القيام به كعملية انتقال يجب أن تمر عبر سلسلة من البوابات. هذه البوابات تتحقق من هوية الوكيل، ودوره، وحساسية البيانات التي يتعامل معها، والأدوات التي يستخدمها، وميزانيته المتبقية، وما إذا كان هناك بشر قد وقعوا بالموافقة على الحركة. وإذا فشلت بوابة واحدة، يتم إيقاف الإجراء.
تكمل عبقرية هذا النهج في كيفية تعامله مع التعقيد، خاصة عندما يطلب وكيل من وكيل آخر تنفيذ مهمة ما. في العديد من الأنظمة الحالية، عندما يتم تمرير مهمة ما، يمكن أن تضعف القواعد الأمنية عن طريق الخطأ، مما يسمح لوكيل فرعي بالقيام بأشياء لم يكن للوكيل الأصلي الحق في القيام بها. يمنع النظام الجديد هذا الأمر من خلال ضمان عدم توسع السلطة أثناء انتقالها عبر السلسلة؛ بل بدلاً من ذلك، يصبح الملف الأمني أكثر صرامة أو يبقى كما هو. فإذا طلب مدير رفيع المستوى من موظف مبتدئ المساعدة، فلا يمكن للموظف المبتدئ فجأة الحصول على حق الوصول إلى ملفات المدير الخاصة. كما يدير النظام الأموال بعناية؛ فهو يضمن أنه إذا أنفق الوكيل الكثير من القدرة الحوسبية أو المال، فيجب أن ينتج نتيجة ملموسة، مثل مستند محفوظ أو سجل مكتمل. وإذا نفدت ميزانية الوكيل دون ترك مخرج مفيد، يقوم النظام بإيقافه، مما يمنع الشركة من إهدار مواردها على مهمة لم تؤدِ إلى شيء.
لاختبار مدى فعالية ذلك، أجرى الباحثون آلاف السيناريوهات المحاكية تتضمن وكلاء يحاولون إكمال مهام متنوعة. وقارنوا نظامهم الجديد بالأساليب القديمة التي كانت تعتمد على قوائم بسيطة للأدوات المسموحة وأدوار المستخدمين. أظهرت النتائج فرقاً واضحاً في السلامة؛ حيث أوقف النظام الجديد 94.8% من الإجراءات غير الآمنة التي فاتتها الأنظمة القديمة. شمل ذلك منع الوكلاء من الوصول إلى بيانات لا ينبغي لهم رؤيتها، أو استخدام أدوات غير مسموح لهم بلمسها، أو تمرير المهام إلى وكلاء آخرين بطريقة تتجاوز القواعد الأمنية. كما قضى النظام أيضاً على نوع محدد من الفشل حيث كان الوكيل ينفق كل أمواله دون ترك نتيجة مفيدة خلفه. ومن حيث التتبع، سجل النظام الجديد 98.6% من التفاصيل الضرورية لعملية التدقيق، مقارنة بـ 71.9% للطريقة القديمة، مما يجعل فهم ما حدث في حال وقوع خطأ ما أسهل بكثير.
هناك ضريبة لهذه السلامة الإضافية. فالنظام الجديد أبطأ قليلاً في اتخاذ القرارات، حيث يستغرق في المتوسط 71 ميلي ثانية مقارنة بـ 38 ميلي ثانية للنظام القديم. كما أنه يوقف أحياناً إجراءً آمناً عن طريق الخطأ بنسبة 4.2% من المرات، مقارنة بـ 2.1% للنظام القديم. وبسبب هذه الضوابب الإضافية، انخفض معدل نجاح الوكلاء في إكمال مهامهم قليلاً، من 90.7% إلى 86.9%. ومع ذلك، يرى الباحثون أن هذه المقايضة ضرورية؛ فالهدف ليس بناء أسرع أو أكثر وكيل قدرة، بل الوكيل الأكثر موثوقية. فالمهمة التي تكتمل بسرعة ولكن تتضمن وصولاً غير مصرح به للبيانات أو إهداراً للمال ليست نجاحاً.
تؤكد الدراسة أن الأمن للوكلاء الأذكياء يجب أن يكون خاصية للرحلة بأكملها، وليس للوجهة فقط. ومن خلال استخدام هذه الطريقة الجديدة لدمج القواعد، يمكن للشركات السماح لبرمجياتها بالعمل بحرية أكبر مع ضمان بقاء كل خطوة مرخصة، وقابلة للتتبع، وسليمة اقتصادياً. لا يحاول النظام تخمين ما قد يفعله الوكيل بشكل خاطئ، بل بدلاً من ذلك، ينشئ إطاراً حيث لا يمكن للوكيل إلا القيام بما هو مسموح به صراحة في كل لحظة. هذا النهج يحول القوة الخام للذكاء الاصطناعي إلى أداة يمكن للمؤسسات الوثوق بها حقاً للعمل في العالم الحقيقي، حيث للخطأ عواقب حقيقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.