Governable agentic intelligence: a lifecycle framework linking capability, assurance, and oversight in large language model agents
تقدم هذه الورقة دورة حياة الذكاء الوكيل (AIL)، وهو إطار عمل مكون من ست طبقات يدمج القدرة والتقييم والحوكمة لمعالجة "دين الضمان" المتأصل في أنظمة الذكاء الاصطناعي الوكيل، مقترحةً أجندة بحثية جديدة لإنشاء وكلاء قابلين للملاحظة والعزو والحوكمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في السنوات القليلة الماضية، شهد الذكاء الاصطناعي تحولاً هادئاً ولكنه عميق. لفترة طويلة، كانت هذه الأنظمة مثل أمناء مكتبات موهوبين للغاية: تسألهم سؤالاً، فيبحثون في معرفتهم الداخلية الواسعة ليعطوك إجابة. إذا كانت الإجابة خاطئة، يمكنك ببساطة أن تسأل مرة أخرى أو تبحث عن الإجابة بنفسك. كان الحاسوب يقوم بالتفكير، لكن الإنسان هو من يقوم بالقرار. اليوم، ومع ذلك، يظهر جيل جديد من البرمجيات لا يكتفي فقط بالإجابة على الأسئلة، بل يتخذ إجراءات. هذه الأنظمة، التي تُسمى غالباً بالذكاء الاصطناعي "الوكيل" (agentic)، يمكنها النظر إلى هدف ما، وتفكيكه إلى خطوات، والبحث عن معلومات على الإنترنت، واستخدام أدوات برمجية للحساب أو لإنشاء أشياء، وحتى التحدث مع أنظمة مماثلة أخرى لإنجاز المهمة. لم تعد مجرد أنظمة تتنبأ بالكلمة التالية في الجملة؛ بل أصبحت تتنقل في عالم رقمي لتغييره.
هذه القدرة الجديدة تجلب مجموعة فريدة من التحديات. عندما يكتب الحاسوب قصة ببساطة، يكون الخطأ مجرد خطأ مطبعي. ولكن عندما يُمنح الحاسوب القدرة على حجز الرحلات الجوية، أو تحويل الأموال، أو التحكم في الآلات الصناعية، فإن الخطأ قد يؤدي إلى عواقب حقيقية في العالم الواقعي. السؤال المركزي للباحثين لم يعد مجرد ما إذا كانت هذه الأنظمة ذكية بما يكفي لحل مشكلة ما، بل ما إذا كان يمكن الوثوق بها للقيام بذلك بأمان. إذا مُنح النظام حرية كبيرة، فقد يتخذ قراراً ضاراً دون أن يلاحظ أحد ذلك حتى فوات الأوان. وإذا مُنح حرية قليلة جداً، فسيصبح عديم الفائدة. إن إيجاد التوازن الصحيح هو المشكلة المحددة لهذا العصر الجديد.
قام باحث يدعى هاري أودوه من جامعة أردن مؤخراً بمعالجة هذه المشكلة من خلال دراسة المشهد الكامل للأبحاث الحديثة حول هذه الوكلاء الأذكياء. وبدلاً من دراسة قطعة واحدة من البرمجيات، فحص أودوه تسعة عشر مقالاً مراجعياً رئيسياً نُشرت بين عامي 2024 و2026. غطت هذه المراجعات كل شيء، بدءاً من اللبنات الأساسية لهذه التكنولوجيا وصولاً إلى كيفية اختبارها وكيفية الحفاظ على سلامتها. ومن خلال نسج هذه الخيوط المنفصلة معاً، خلق أودوه طريقة جديدة لرؤية الصورة الكاملة، مجادلاً بأن علينا التوقف عن النظر إلى هذه الأنظمة كمجرد مجموعة من النماذج الذكية، والبدم في رؤيتها كحلقات معقدة حيث يحدث التفكير والعمل والتحقق بشكل مستمر.
جوهر عمل أودوه هو إطار عمل يسمى "دورة حياة الذكاء الوكيل" (Agentic Intelligence Lifecycle). تخيل النظام كهيكل مكون من ست طبقات، حيث تعتمد كل طبقة على الطبقة التي تحتها ولكنها تقدم أيضاً مخاطر جديدة. الطبقة السفلية هي الأساس، النموذج الأساسي الذي يوفر الذكاء الخام. الطبقة الثانية هي الإدراك، حيث يخطط النظام خطواته ويتذكر الأحداث الماضية. الطبقة الثالثة هي التجذير (grounding)، والتي تربط النظام بالعالم الخارجي من خلال الأدوات واسترجاع المعلومات. الطبقة الرابعة هي التنسيق (orchestration)، حيث ينسق النظام أفعاله الخاصة أو يعمل مع وكلاء آخرين. الطبقة الخامسة هي التقييم، حيث يتحقق النظام مما إذا كان يؤدي عملاً جيداً. الطبقة العليا هي الحوكمة، والتي تتضمن الإشراف البشري وقواعد السلامة.
أهم نتيجة لهذا البحث هي مفهوم يسمى "دين الضمان" (assurance debt). في عالم البرمجيات، يشير الدين عادةً إلى الاختصارات التي يتم اتخاذها أثناء التطوير والتي يجب سدادها لاحقاً. يقترح أودوه أنه في كل مرة نمنح فيها وكيلاً للذكاء الاصطناعي قدرة جديدة، فإننا ننشئ أيضاً فجوة جديدة بين المخاطر التي تفرضها والضوابط الموجودة لدينا لإدارة تلك المخاطر. على سبيل المثال، منح الوكيل القدرة على البحث في الإنترنت للحصول على المعلومات يجعله أكثر ذكاءً، ولكنه يخلق أيضاً خطراً بأنه قد يجد معلومات قديمة أو مضللة. منحه ذاكرة يجعله أكثر فائدة بمرور الوقت، ولكنه يخلق أيضاً خطراً بأنه قد يسرب بيانات خاصة عن طريق الخطأ. تظهر الأبحاث أن هذه المخاطر ليست مجرد آثار جانبية؛ بل هي تكاليف مباشرة للقدرات الجديدة. إذا اكتسب النظام أداة قوية جديدة ولكن لم يكتسب وسيلة قوية مساوية لمراقبة تلك الأداة، فإن "الدين" ينمو.
يجادل أودوه بأن هذا الدين يفسر لماذا تبدو العديد من أنظمة الذكاء الاصطناعي مثيرة للإعجاب في الاختبارات ولكنها تفشل في العالم الحقيقي. في الاختبار، قد يُطلب من النظام حل لغز، وينجح في ذلك. ولكن في العالم الحقيقي، قد يستخدم نفس النظام أداة لإجراء تغيير لا يمكن التراجع عنه، أو قد يعتمد على ذاكرة تحتوي على خطأ من أيام مضت. تشير الأبحاء إلى أنه لا يمكننا ببساطة اختبار مدى جودة إكمال النظام لمهمة ما؛ بل يجب علينا اختبار المسار الكامل الذي اتخذه للوصول إلى هناك. هل تحقق من حقائقه؟ هل طلب الإذن قبل التصرف؟ هل كان لديه وسيلة لإيقاف نفسه إذا ساءت الأمور؟
ولمعالجة ذلك، تقترح الورقة البحثية طريقة جديدة لتقييم هذه الأنظمة، بعيداً عن قوائم التحقق البسيطة. بدلاً من السؤال "هل أنهى الوكيل المهمة؟"، يجب أن نسأل خمسة أسئلة محددة حول كل مهمة يحاول الوكيل القيام بها. أولاً، ما هي المعلومات المسموح للوكيل برؤيتها؟ ثانياً، ما هي القرارات المسموح له باتخاذها؟ ثالثاً، ما هي التغييرات المسموح له بإجرائها على العالم الخ ngoài؟ رابعاً، كيف نعرف ما إذا كان قد نجح؟ وخامساً، كيف يمكن للإنسان التدخل وإيقافه إذا لزم الأمر؟ هذا النهج يعامل السلامة ليس كإضافة، بل كجزء أساسي من التصميم. وهو يشير إلى أنه كلما أصبح الوكيل أكثر قوة، وجب علينا تصميم القواعد التي تحد من قدراته بعناية أكبر.
كما تتحدى الورقة البحثية فكرة أن وجود العديد من الوكلاء يعملون معاً هو دائماً أكثر أماناً. بينما قد يبدو أن مجموعة من الوكلاء يمكنهم مراجعة عمل بعضهم البعض، تشير الدراسة إلى أنه إذا استخدموا جميعاً نفس "الدماغ" الأساسي أو نفس مصادر المعلومات، فقد يرتكبون جميعاً نفس الخطأ في نفس الوقت. وهذا يعني أن مجموعة من الوكلاء يمكن أن تخلق أحياناً شعوراً زائفاً بالأمان، حيث يتفق الجميع على إجابة خاطئة. وبالمثل، تحذر الورقة من الاعتماد المفرط على الأنظمة المؤتمتة للحكم على جودة أنظمة مؤتمتة أخرى، حيث يمكن أن تطور انحيازاتها الخاصة.
في الختام، تخلص الورقة إلى أن مستقبل الذكاء الاصطناعي يعتمد على تحول في كيفية تفكيرنا في السيطرة. لا يمكننا ببساطة بناء آلات أكثر ذكاءً والأمل في أن تتصرف بشكل جيد. يجب علينا بناء أنظمة تتطابق فيها القدرة على الفعل مع القدرة على المراقبة والمقاطعة والتصحيح. الهدف ليس وقف هذه الأنظمة عن كونها مفيدة، بل ضمان ألا تأتي فائدتها على حساب السلامة. من خلال فهم دورة حياة هؤلاء الوكلاء والدين الذي يأتي مع قوتهم، يمكن للباحثين والمطورين بناء أنظمة ليست قادرة فحسب، بل قابلة للحوكمة أيضاً، مما يبقي الإنسان في الحلقة حيث يهم الأمر حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.