GAAR: Runtime Governance for Scalable Agentic Retrieval and Tool- Orchestrated Enterprise AI Systems
تقدم هذه الورقة بنية GAAR، وهي بنية حوكمة وقت التشغيل التي تقع بين وكلاء التخطيط وتنفيذ الأدوات، والتي تقلل بشكل كبير من انتهاكات السياسات واستدعاءات الأدوات غير الآمنة مع تحسين الدقة والامتثال للتدقيق في أنظمة الذكاء الاصطنا de للمؤسسات، وإن كان ذلك مع زيادة طفيفة في زمن الاستجابة، كما تم إثباته من خلال الاختبارات القياسية الاصطناعية المكثفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا تكتفي فيه الحواسيب بالدردشة معك، بل تقوم بالفعل بـ أشياء حقيقية. يمكنها البحث في سجلاتك المصرفية، أو حجز رحلة طيران، أو إصلاح عطل في خادم (سيرفر). هذا هو الأفق المثير لـ "الذكاء الاصطناعي الوكيل" (Agentic AI). فكر في هؤلاء الوكلاء كمتدربين رقميين فائقي الذكاء. إنهم مبنيون على أساس يسمى التوليد المعزز بالاسترجاع (RAG). إذا كان الذكاء الاصطناعي العادي يشبه طالباً يحاول الإجابة على اختبار من ذاكرته، فإن تقنية RAG هي نفس الطالب الذي يُسمح له بفتح كتاب مدرسي؛ فهو يبحث عن الحقائق قبل الإجابة، مما يجعله أكثر دقة.
لكن هنا تكمن المشكلة: عندما تعطي متدرباً رقمياً مفاتيح المكتب، والمبنى، والحساب البنكي، فأنت بحاجة إلى مدير صارم جداً. لا يمكنك ببساً ترك المتدرب يخمن ما إذا كان مسموحاً له بفتح الخزنة أم لا. يجب عليه التحقق من هويته، والتأكد من الوقت، والتأكد من أن "الرئيس" قد قال "نعم"، والتأكد من أنه لم يقرأ تعليمات مزيفة للتو. هذه هي مشكلة الحوكمة أثناء التشغيل (Runtime Governance). إنها مجموعة القواعد والتحققات التي تحدث أثناء عمل الذكاء الاصطناعي، لضمان عدم قيامه بخرق القانون، أو تسريب الأسرار، أو القيام بشيء خطير عن غير قصد. بدون ذلك، يمكن للذكاء الاصطناعي النافع أن يتحول إلى ذكاء اصطناعي فوضوي.
المشكلة: "الغرب المتوحش" للمتدربين الرقميين
إليك GAAR (الحوكمة الواعية بالاسترجاع الوكيل)، وهو نظام جديد صُمم ليكون ذلك المدير الصارم والمنظم للغاية لوكلاء الذكاء الاصطناعي. لاحظ الباحثون وراء هذه الورقة البحثية أنه بينما أصبح وكلاء الذكاء الاصطناعي أفضل في التخطيط لمهام متعددة الخطوات، إلا أنهم غالباً ما يكونون مفرطي الثقة. فقد يجد الوكيل وثيقة تبدو مفيدة، ولكن ماذا لو كانت قديمة؟ ماذا لو لم يكن المستخدم الذي يطرح السؤال مخولاً فعلياً برؤيتها؟ ماذا لو حاول الوكيل استخدام أداة (مثل إرسال بريد إلكتروني) ليس لديه إذن بلمسها؟
في الماضي، حاولنا إصلاح ذلك بوضع "حواجز حماية" بعد أن يتحدث الذكاء الاصطناعي (مثل مرشح يحظر الكلمات البذيئة) أو باستخدام قواعد بسيطة وثابتة. لكن المؤلف يجادل بأن هذه الأساليب تشبه محاولة إيقاف سيارة مسرعة بوضع مطب سرعة عند خط النهاية؛ فبحلول ذلك الوقت، يكون الضرر قد وقع بالفعل. كما يجادل بأن مجرد ترك الذكاء الاصطناعي "يصحح نفسه" ليس كافياً، لأن الذكاء الاصطناعي قد لا يدرك أنه يخرق قاعدة معقدة في الشركة.
الحل: "جواز سفر القرار"
تقدم الورقة البحثية GAAR كطبقة وسيطة (middleware)—وهي نقطة تفتيش رقمية تقع بين "عقل" الذكاء الاصطناعي (المخطط) و"يديه" (الأدوات التي يستخدمها).
تخيل أن وكيل الذكاء الاصطناعي يريد تنفيذ مهمة، مثل "إرسال تقرير إلى الرئيس التنفيذي". بدلاً من القيام بذلك مباشرة، يجب على الذكاء الاصطناعي تقديم جواز سفر قرار إلى مدير GAAR. جواز السفر هذا ليس مجرد طلب؛ بل هو وثيقة مهيكلة تتضمن:
- الدليل: "إليك المستندات التي وجدتها لدعم هذا التقرير."
- السلطة: "إليك دليل على أن الشخص الذي يطلب ذلك مسموح له برؤية هذا."
- فحص المخاطر: "لقد تحققت مما إذا كان هذا موضوعاً حساساً."
- سجل التدقيق: "إليك سجلاً لكل ما سأقوم به."
يقوم مدير GAAR بعد ذلك بإجراء تفتيش سريع للغاية. إنه يتحقق من جواز السفر مقابل كتاب القواعد (السياسات). إذا كان الدليل قديماً (منتهي الصلاحية)، يتم ختم جواز السفر بكلمة "مراجعة". إذا لم يكن لدى المستخدم الهوية الصحيحة، يتم ختمه بكلمة "حظر". إذا كانت المخاطر عالية جداً، يتم إرساله إلى إنسان للحصول على ختم "مراجعة بشرية". وفقط عندما يتم ختم جواز السفر والموافقة عليه بالكامل، يُسمح للذكاء الاصطناعي بتنفيذ الإجراء.
ماذا تقول الأرقام (المحاكاة)
لم يكتف الباحثون ببناء هذا النظام فحسب، بل اختبروه في محاكاة واسعة النطاق ومحكومة. لقد أنشأوا بيئة مؤسسية وهمية تحتوي على 12,00_0 سيناريو مختلف (مثل مستخدم يطلب استرداد أموال، أو عامل في قسم تكنولوجيا المعلومات يحاول إعادة تشغيل خادم، أو مدير يتحقق من ميزانية). لقد وضعوا GAAR في مواجهة طرق أخرى، بما في ذلك الذكاء الاصطناعي القياسي، والذكاء الاصطناعي المزود بأدوات، والذكاء الاصطناعي المزود بمرشحات قواعد بسيطة.
إليك ما حدث في هذه المحاكاة:
- الأولوية للسلامة: خفض GAAR "انتهاكات السياسة" (خرق القواعد) من 12.9% إلى 5.0%. كما قلل من "استدعاءات الأدوات غير الآمنة" (استخدام أدوات لا ينبغي له استخدامها) من 8.6% إلى 3.6%.
- إجابات موثوقة: أصبحت إجابات الذكاء الاصطناعي أكثر "أمانة" (الالتزام بالحقائق التي وجدها) حيث ارتفعت من 0.79 إلى 0.86.
- سجل التدقيق: والأكثر إثارة للإعجاب، أن GAGA حسن "الامتثال للتدقيق" (التأكد من الاحتفاظ بسجل لكل قرار) من 63.4% إلى 96.2%.
- التكلفة: كان هناك ثمن بسيط لمدى الأمان هذا. فقد زاد متوسط الوقت المستغرق للحصول على إجابة من 2.7 ثانية إلى 3.2 ثانية. ويقترح المؤلف أن هذه مقايضة عادلة: فالانتظار لنصف ثانية إضافية يستحق لتجنب خرق أمني كبير.
كما قاموا باختبار النظام تحت الضغط مع ما يصل إلى 100,000 حلقة (episode) لمعرفة ما إذا كان سينهار تحت الضغط. لقد تباطأ قليلاً لكنه استمر في العمل، مما يثبت قدرته على التوسع.
سيناريوهات "ماذا لو" والحدود
لعبت الورقة البحثية أيضاً لعبة "ماذا لو" مع النظام. لقد حاولوا خداعه بهجمات وهمية، مثل التظاهر بكونه مستخدماً آخر (انتحال الدور) أو تغذيته بقواعد قديمة (استبدال السياسة القديمة). اكتشف GAAR معظم هذه الخدع، بنسب كشف تتراوح بين 94% إلى 97%. ومع ذلك، يوضح المؤلف بحذر شديد أن هذه كانت هجمات محاكاة، وليست هجمات من مخترقين حقيقيين يحاولون الاختراق. ويعترف بأن اختبارهم لم يغطِ كل الطرق الممكنة التي قد يستخدمها فاعل سيئ لخداع النظام، لذا فهو ليس "مشكلة أمنية محلولة" بعد.
كما أجروا تجربة "لعبة اللوم" (دراسة الاستئصال - ablation study) لمعرفة أي جزء من GAAR هو الأكثر أهمية. ووجدوا أن:
- التحقق من الدليل كان المفتاح لجعل الإجابات دقيقة.
- التحقق من السلطة (من أنت) كان المفتاح لمنع الإجراءات غير الآمنة.
- سجل التدقيق كان ضرورياً للحفاظ على سجل لما حدث.
الخلاصة
تقترح هذه الورقة البحثية أنه إذا أردنا أن يعمل وكلاء الذكاء الاصطناعي في شركات حقيقية، فلا يمكننا تركهم يعملون دون ضوابط. نحن بحاجة إلى نظام مثل GAAR يعمل كحارس بوابة، يتحقق من كل خطوة قبل أن يتخذ الذكاء الاصطناعي إجراءً. وتشير نتائج عمليات المحاكاة التي أجروها إلى أن هذا النهج فعال: فهو يجعل الذكاء الاصطناعي أكثر أماناً، وأكثر صدقاً، وأسهل في التتبع، مع تأخير ضئيل جداً في السرعة.
ومع ذلك، يوضح المؤلف: هذا محاكاة. لم يختبروا هذا في شركة حقيقية تعمل في الواقع. ويقترحون أن العمل المستقبلي يحتاج إلى رؤية كيف سيصمد هذا النظام عندما يشارك بشر حقيقيون وعندما تتغير القواعد بشكل فوري. ولكن في الوقت الحالي، يقدم GAAR مخططاً واعداً لترويض المتدربين الرقميين الجامحين في المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.