Intelligence as Managed Autonomy: Failure, Escalation, and Governance for Agentic AI Systems
تقترح هذه الورقة نموذج SMARt، وهو إطار معماري رباعي الطبقات قائم على شبكات بيتري الموقوتة والمحمية، لنمذجة "الاستقلالية المُدارة" في أنظمة الذكاء الاصطناğı الوكيلية من خلال تمكينها من اكتشاف الانحراف المعرفي، وتعليق العمليات، وتصعيد السيطرة لضمان السلامة والحوكمة مع تضاؤل الموثوقية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "الذكاء كاستقلالية مُدارة" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.
المشكلة الجوهرية: "الأحمق الواثق"
تخيل أنك وظفت مساعداً ذكياً وواثقاً جداً ليقود سيارتك. هذا المساعد بارع في اتباع التعليمات ويعرف الخريطة جيداً. ومع ذلك، إذا ساد الضباب في الطريق، أو انقطعت إشارة نظام تحديد المواقع (GPS)، أو بدأ المحرك يصدر صوتاً غريباً، فإن المساعد لا يتوقف؛ بل يستمر في القيادة بثقة، ويضع مساراً جديداً بناءً على مجرد تخمين، ويصر على أن كل شيء على ما يرام.
في عالم الذكاء الاصطناائي، يُسمى هذا "الهلوسة" أو "العمل غير المستند إلى واقع". تجادل الورقة بأن وكلاء الذكاء الاصطناعي الحاليين بُنيوا على افتراض خطير وهو: "بمجرد السماح لك بالقيادة، يجب أن تستمر في القيادة حتى يصرخ شخص آخر قائلاً 'توقف'".
يقول المؤلف، الدكتور سريني راماسوامي، إن هذا ليس مجرد خطأ في "عقل" الذكاء الاصطناعي، بل هو خلل في التصميم. فالذكاء الاصطناعي مصمم بحيث لا يعترف أبداً بكلمة "لا أعرف" إلا إذا أُجبر على ذلك.
الحل: السائق الـ "SMARt"
لإصلاح ذلك، تقدم الورقة إطار عمل جديد يسمى SMARt (الاستدلال المستقل متعدد المستويات ذاتي الإدارة مع انتقالات منظمة/مسحوبة).
لا تنظر إلى SMARt كونه سائقاً أكثر ذكاءً، بل كـ نظام قوانين مرور صارم مدمج داخل السيارة نفسها. فبدلاً من ترك السائق يقرر متى يتوقف، تمتلك السيارة أربعة "تروس" أو حالات محددة يجب أن تنتقل بينها بناءً على مدى تأكدها مما يلوح في الأفق.
التروس الأربعة لنظام SMARt
المستقر (ترس "الضوء الأخضر"):
- ماهيته: يكون الذكاء الاصطناعي واثقاً، والبيانات واضحة، والأمر آمن للتحرك.
- القاعدة: يُسمح للذكاء الاصطناعي فقط بإعطاء الإجابات أو اتخاذ إجراء (مثل تدوير عجلة القيادة) عندما يكون في هذا الترس تحديداً. إذا حاول التصرف في أي ترس آخر، فإن السيارة تقفل عجلة القيادة مادياً.
ما وراء المعرفة (ترس "التحقق الذاتي"):
- ماهيته: يشعر الذكاء الاصطناعي بوجود خطأ ما (مثلاً: "إشارة الـ GPS ضعيفة"). فيضغط على المكابح وينظر في ملاحظاته الخاصة.
- القاعدة: يُمنع منعاً باتاً القيادة أو إعطاء إجابات أثناء التواجد في هذا الترس. يجب عليه التوقف، وإعادة قراءة تعليماته، أو محاولة إصلاح المشكلة داخلياً. إذا لم يستطع إصلاحها بسرعة، يجب عليه تغيير الترس مرة أخرى.
المُساعد (ترس "طلب المساعدة"):
- ماهيته: حاول الذكاء الاصطناعي إصلاح المشكلة لكنه لم يستطع، فهو يحتاج إلى رأي ثانٍ.
- القاعدة: يطلب المساعدة من إنسان، أو ذكاء اصطناعي آخر، أو قاعدة بيانات. ولا يمكنه القيادة أو إعطاء إجابة نهائية حتى تؤكد هذه المساعدة الخارجية أن المسار آمن.
المنظم (ترس "التوقف المفاجئ"):
- ماهيته: الوضع خطير للغاية، أو أن الذكاء الاصطناعي تائه تماماً ولا يمكن مساعدته.
- القاعدة: يسلم الذكاء الاصطناعي المفاتيح لمشرف بشري فوراً. إنه يلغي قدرته على اتخاذ القرار. هذا ليس "فشلاً"؛ ففي هذا النظام، تسليم التحكم هو النتيجة الصحيحة والناجحة عندما تصبح الأمور شديدة الخطورة.
كيف يعمل: منطق "إشارات المرور"
تستخدم الورقة أداة رياضية تسمى شبكات بيتري (Petri Nets) (تخيلها كمخطط تدفقي معقد تتحرك فيه الرموز عبر أنابيب) لإثبات أن هذا النظام يعمل.
- الرمز (Token): تخيل رمزاً واحداً (عملة معدنية) يمثل "الإذن بالعمل".
- القاعدة: يمكن لهذه العملة أن تتواجد فقط في الترس "المستقر" للسماح للسيارة بالتحرك.
- الأمان: إذا اكتشفت السيارة مشكلة (مثل الضباب)، يجب أن تنتقل العملة إلى ترس "التحقق الذاتي" أو "طلب المساعدة". وبمجرد خروج العملة من الترس "المستقر"، لا يمكن للسيارة أن تتحرك. من المستحيل رياضياً أن تقود السيارة وهي في حالة ارتباك.
لماذا يغير هذا طريقة قياسنا لـ "الذكاء"؟
تقترح الورقة أننا نقيس الذكاء بشكل خاطئ.
- الطريقة القديمة: نقول إن الذكاء الاصطناعي ذكي إذا أنهى المهمة بسرعة، حتى لو أخطأ في النهاية.
- الطريقة الجديدة (SMARt): الذكاء الاصطناعي ذكي إذا عرف متى يتوقف.
- إذا قال الذكاء الاصطناعي: "لا أعرف، دعني أتحقق"، أو "هذا خطير جداً، سأسلم الأمر لإنسان"، فهذه علامة على ذكاء عالٍ في هذا الإطار.
- إذا استمر الذكاء الاصطناعي في التخمين عندما كان ينبغي له التوقف، فهو "غبي" هيكلياً، بغض النظر عن مدى فصاحة كلماته.
الخلاصة
تخلص الورقة إلى أن الذكاء الحقيقي لا يتعلق بعدم الفشل أبداً؛ بل يتعلق بامتلاك طريقة منظمة لإدارة الفشل.
من خلال بناء هذه "التروس" داخل الذكاء الاصطناعي، نضمن أنه عندما يرتبك الذكاء الاصطناعي، فإنه لن يستمر في الكلام والتأليف من خياله، بل سيُجبر على:
- التوقف والتفكير (التحقق الذاتي).
- طلب المساعدة (المُساعد).
- أو، إذا فشل كل شيء، التوقف وترك الإنسان يتولى زمام الأمور (المنظم).
هذا يحول "الهلوسة" من خطأ برمجِي إلى عملية مُدارة، مما يضمن بقاء أنظمة الذكاء الاصطناعي آمنة وتحت السيطرة، حتى عندما تكون غير متأكدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.