Trustworthy Agentic AI: A Rapid, PRISMA-Informed Evidence Review of Safety, Explainability, Alignment, and Human Oversight in Autonomous AI Systems
تقدم هذه الورقة مراجعة سريعة للأدلة مستندة إلى منهجية "بريزما" (PRISMA) لـ 33 دراسة حول الذكاء الاصطناعي الوكيل الموثوق، حيث تقدم تصنيف "T-SAFE" وإطار عمل متعدد الطبقات لمعالجة الفجوات الحرجة في السلامة، والقابلية للتفسير، والمواءمة، والإشراف البشري، مع تسليط الضوء على الإهمال البحثي الحالي لمسألة العدالة.
تخيل أنك سلمت للتو روبوتًا آليًا جديدًا كليًا وذكيًا للغاية يعمل كخادم منزلي قائمة بالمهام. قلت له: "اصنع لي شطيرة، ثم تحقق من حالة الطقس، وإذا كانت تمطر، اطلب مظلة". في الأيام الخوالي للذكاء الاصطناعي، كان الروبوت سيجلس هناك فقط ليخبرك كيف قد تبدو الشطيرة، أو يلقي عليك نشرة جوية حفظها مسبقًا. لكن اليوم، نحن ندخل عصر الذكاء الاصطناعي الوكيل (Agentic AI). فكر في هؤلاء الوكلاء ليس كمكتبيين سلبيين يجيبون على الأسئلة فحسب، بل كمتدربين نشطين يمكنهم القيام بالأشياء بالفعل. يمكنهم فتح التطبيقات، والنقر على الأزرار في المواقع الإلكترونية، والتحدث إلى روبوتات أخرى، وحتى تغيير الإعدادات في حاسوبك لإنجاز المهمة.
ومع ذلك، فإن إعطاء الروبوت مفتاح المنزل ينطوي على مخاطر. ماذا لو أساء المتدرب فهم "اطلب مظلة" وطلب بالخطأ ألف مظلة؟ ماذا لو تعرض للخداع من قبل غريب على الإنترنت لحذف ملفاتك؟ هذا هو السؤال الكبير الذي يطرحه العلماء الآن: كيف نتأكد من أن هؤلاء المساعدين الرقميين فائق القدرة آمنون، وصادقون، ويفعلون حقًا ما نريد منهم فعله؟ نحن بحاجة إلى معرفة كيفية الوثوق بهم قبل أن نترك لهم زمام الأمور.
هذه الورقة البحثية تشبه تقريرًا استقصائيًا ضخمًا يحاول الإجابة على هذا السؤال. المؤلف، فيفيك غاريكي، لم يكتفِ بالتخمين؛ بل قام بـ "رحلة بحث سريعة عن الأدلة"، حيث فحص 33 دراسة مختلفة نُشرت مؤخرًا (معظمها في عام 2024، 2025، و2026) ليرى ما يقوله الخبراء حول جعل هؤلاء الوكلاء جديرين بالثقة. وقد وجد أنه بينما يشعر الجميع بقلق شديد من تعرض الوكلاء للأذى أو إلحاق الأذى بالآخرين (السلامة)، لا يتحدث أحد تقريبًا عما إذا كان هؤلاء الوكلاء عادلين مع الجميع (العدالة). الأمر يشبه مجموعة من الآباء الذين يقلقون كثيرًا بشأن تعرض أطفالهم لحوادث السيارات لدرجة أنهم نسوا أن يسألوا ما إذا كان الأطفال لطيفين مع أصدقائهم.
ولإصلاح هذا الارتباك، تقدم الورقة قائمة مرجعية جديدة تسمى T-SAFE. تخيل أنك تبني روبوتًا وعليك أن تجتاز خمسة اختبارات مختلفة قبل أن تقوم بتشغيله:
الشفافية: هل يمكنك رؤية ما يفكر فيه الروبوت وما يفعله؟ (لا توجد أبواب خلفية سرية!)
السلامة: هل سيوقف نفسه من القيام بشيء خطير؟
المواءمة: هل يفعل حقًا ما طلبته منه، أم يفعل ما يعتقد أنك قصدته؟
العدالة: هل يعامل الجميع بالتساوي، أم أن لديه تحيزًا؟
كما تقترح الورقة طريقة "متعددة الطبقات" لبناء هذه الروبوتات، تشبه الساندوتش (الشطيرة). لديك الطبقة السفلية (التواصل مع الإنترنت)، والطبقات الوسطى (تذكر الأشياء واستخدام الأدوات)، والطبقة العليا (مدير بشري يراقب كل شيء). يشير المؤلف إلى أننا نمتلك حاليًا الكثير من الأدوات لاختبار ما إذا كان الروبوت آمنًا، ولكن ليس لدينا أدوات جيدة لاختبار ما إذا كان عادلاً. كما وجد أن الطرق المختلفة التي يختبر بها العلماء هؤلاء الرؤوتات تستخدم جميعها قواعد مختلفة، مما يجعل من الصعب المقارنة بينها — تمامًا كما لو كان أحد المدارس يضع درجات بناءً على منحنى التوزيع بينما تقوم مدرسة أخرى فقط بعدّ الإجابات الصحيحة.
توضح الدراسة بعناية أنها "مراجعة سريعة"، مما يعني أنها ملخص ذكي وسريع لما يحدث الآن، وليست الإجابة النهائية والمثالية لكل سؤال. ويعترف المؤلف بأنه نظر في مجموعة أصغر من الدراسات مقارنة بمشروع ضخم قد يستغرق سنوات، ويوصي بأن يقوم علماء آخرون بالتحقق من عمله لاحقًا. لكن النتيجة الرئيسية واضحة: نحن نبني وكلاء أقوياء يمكنهم فعل أي شيء تقريبًا، لكننا لا نزال نحاول اكتشاف كيفية التأكد من أنهم أخيار، وعادلون، وتحت السيطرة. تقترح الورقة أنه إذا أردنا لهذه الروبوتات أن تكون مساعدينا في المستقبل، فنحن بحاجة إلى البدء في إيلاء الاهتمام للعدالة والإشراف البشري بقدر اهتمامنا بالسلامة.
ملخص تقني: الذكاء الاصطناński الوكيل الموثوق
بيان المشكلة يمثل الذكاء الاصطناعي الوكيل (Agentic AI) تحولاً جذرياً من النماذج التنبؤية السلبية إلى أنظمة مستقلة قادرة على تفسير الأهداف، وتفكيك المهام، واسترجاع الأدلة الخارجية، واستدعاء الأدوات، وتنفيذ سير عمل متعدد الخطوات. وخلافاً للذكاء الاصطناعي التقليدي، حيث تقتصر الإخفاقات عادةً على مخرجات النموذج، يمكن لإخفاقات الذكاء الاصطناعي الوكيل أن تنتشر عبر التخطيط، واستدعاء الأدوات، ودعم اتخاذ القرار في العالم الحقيقي، مما يؤدي إلى إجراءات غير قابلة للإلغاء، أو تسريب للبيانات، أو تنفيذ ضار. إن الأدبيات الحالية حول الذكاء الاصطناعي الوكيلي الموثوق مجزأة عبر مجالات مثل وكلاء النماذج اللغوية الكبيرة (LLM agents)، والأنظمة متعددة الوكلاء، والذكاء الاصطناعي القابل للتفسير (XAI)، والمواءمة (Alignment)، والتوليد المعزز بالاسترجاع (RAG). هذا التجزؤ يخلق نقصاً في التوجيه الموحد لدمج السلامة، والقابلية للتفسير، والمواءمة، والعدالة، والإشراف البشري في سلاسل اتخاذ القرار والإجراءات المستقلة. علاوة على ذلك، فإن هذا المجال يتطور بسرعة، مع وجود حجم كبير من المسوحات المنهجية ذات الصلة المنشورة في عام 2026، مما يستدعي مراجعة مهيكلة وفي توقيت مناسب لتوضيح الحالة الراهنة وتحديد الفجوات المحددة.
المنهجية تعتمد هذه الدراسة بروتوكول مراجعة أدلة سريع مستند إلى منهجية PRISMA. وتتميز المنهجية بوضوح عن المراجعة المنهدية الشاملة متعددة قواعد البيانات؛ حيث تستخدم استراتيجية بحث مدعومة بالذكاء الاصطناعي ومن مراجع واحد، مع تعزيزها بتتبع الاستشهادات (Citation Chaining).
المتن (Corpus): تحلل المراجعة متناً أساسياً يتكون من 33 دراسة فريدة نُشرت بين عامي 2022 و2026. تم اختيار هذه الدراسات بناءً على اللغة الإنجليزية، وتاريخ النشر، والصلة ببنى الذكاء الاصطناعي الوكيلي وأبعاد الموثوقية (السلامة، القابلية للتفسير، المواءمة، العدالة، الخصوصية، الأمن، الشفافية، الإشراف، التقييم، والحوكمة).
تقييم الجودة: تم تطبيق نموذج تقييم جودة مكون من سبعة عناصر على كل دراسة، مع تسجيل درجات لكل عنصر على مقياس من 0 إلى 2 (بحد أقصى 14 درجة) بناءً على: الوضوح الموضوعي، الصلة بالوكيل، التركيز على الموثوقية، المساهمة المنهجية، القيود، مصداقية المصدر، والصلة المباشرة.
التوليف (Synthesis): تجمع المراجعة بين التوليف الكمي (اتجاهات النشر، أنواع المصادر، درجات الجودة، وتغطية الأبعاد) والتوليف الموضوعي النوعي لأنماط البنية الهندسية ومخاطر الثقة.
تحديد الموقع (Positioning): تتم مقارنة التصنيف المقترح صراحةً مع خمسة عشر إطار عمل أكاديمياً وصناعياً وتنظيمياً (2023–2026)، بما في ذلك أربع مسوحات منهجية نُشرت في عام 2026، لتحديد المساهمات المحددة.
المساهمات الرئيسية
تصنيف T-SAFE: تقترح الورقة تصنيف T-SAFE، الذي ينظم الذكاء الاصطناعي الوكيلي الموثوق حول خمسة أبعاد: Transparency (الشفافية)، Safety (السلامة)، Alignment (المواءمة)، Fairness (العدالة)، و Explainability (القابلية للتفسير). هذا التصنيف مدفوع تجريبياً بالنتيجة التي تشير إلى أن "العدالة" لا تحظى بمعالجة أولية في المتن المراجع، بينما تهيمن "السلامة" (52% من الدراسات).
إطار عمل طبقي: تم تقديم إطار عمل طبقي للذكاء الاصطناعي الوكيلي الموثوق، يربط التفاعل مع البيئة، والذاكرة، والاسترجاع، واستخدام الأدوات، والاستدلال، وضوابط الثقة، والحوكمة، والإشراف البشري. يربط هذا الإطار أبعاد T-SAFE بمكونات هندسية محددة.
الأدلة الكمية: تقدم المراجعة بيانات كمية حول حالة المجال، كاشفةً أن 73% من المتن الأساسي نُشر في عامي 2025 أو 2026، وأن مسودات arXiv (Preprints) تشكل أكبر فئة للمصادر (42%).
تحديد الفجوات: تحدد الدراسة فجوات حرجة، بما في ذلك نقص معايير قياس سلامة الوكيل، وعدم كفاية القابلية للتفسير لاستخدام الأدوات، والمخاطر الأمنية في الوكلاء المدعومين بتقنية RAG، وغياب مراقبة المواءمة طوال دورة الحياة.
النتائج والتوليف الموضوعي
الأنماط الهندسية: تحدد المراجعة ستة أنماط رئيسية: الوكلاء الفرديون القائمون على LLM، الوكلاء المعززون بالأدوات، الوكلاء المدعومون بـ RAG، الأنظمة متعددة الوكلاء، وكلاء الويب (WebAgents)، والوكلاء ذاتي التطور. ويقدم كل نمط مخاطر ثقة متميزة، مثل التخطيط المبني على الهلوسة، واستدعاء الأدوات غير الآمن، وحقن الأوامر (Prompt Injection)، والأخطاء المتتالية في تنسيق الوكلاء المتعددين.
مخاطر الموثوقية: تشمل المخاطر الرئيسية المحددة: الهلوسة (تحول المحتوى غير الصحيح إلى خطة)، استخدام الأدوات غير الآمن، حقن الأوامر، ضعف القابلية للتفسير (نقص المبررات لاختيار الأداة)، عدم المواءمة مع قصد المستخدم، وعدم كفاية الإشراف البشري.
تغطية الأبعاد: يظهر التحليل الكمي للدراسات الـ 33 انحيازاً كبيراً نحو السلامة (52%)، تليها المواءمة والقابلية للتفسير (15% لكل منهما)، والشفافية (12%). ومن الملاحظ أن العدالة لم تكن التركيز الأساسي لأي دراسة في المتن، مما يسلط الضوء على فجوة بحثية كبيرة.
تجزؤ معايير القياس (Benchmarks): تشير المراجعة إلى أن معايير السلامة الحالية (مثل Agent-SafetyBench، R-Judge، SafetyBench) تقيم مفاهيم مختلفة (سلامة مستوى المهمة مقابل الوعي بالمخاطر مقابل المعرفة الثابتة) مع توافق منخفض بين المعايير، مما يؤدي إلى استنتاجات سلامة غير متسقة.
الموقع المقارن: عند وضعها مقابل 15 إطار عمل موجود، يتميز تصنيف T-SAFE بجمعه بين تصنيف تقييمي خماسي الأبعاد، والربط الصريح بالبنية التقنية الطبقية، والقابلية للتطبيق عبر البحث والسياسات دون تضييق قطاعي، والارتكاز على أدلة المتن الكمية.
الأهمية والادعاءات تضع الورقة نفسها كمراجعة سريعة للأدلة بدلاً من مراجعة منهجية شاملة، مع الإقرار بالقيود مثل انحياز المراجع الواحد والطبيعة المتطورة لمصطلحات البحث. تكمن أهميتها الأساسية في:
الدوافع التجريبية: تقديم أدلة مستمدة من البيانات بأن الأبحاث الحالية تركز بشكل غير متناسب على السلامة والأمن مع إهمال العدالة، مما يبرر إدراج العدالة كبعد أساسي في تصنيف T-SAFE.
الوضوح الهيكلي: تقديم إطار عمل موحد يربط الطبقات الهندسية التقنية (مثل الاسترجاع، استخدام الأدوات) مع أبعاد الثقة التقييمية، لمعالجة التجزؤ في الأدبيات الحالية.
الأجندة البحثية: التوصية صراحةً باتجاهات مستقبلية، بما في ذلك تطوير معايير قياس موحدة لسلامة الوكيل، وآليات استخدام أدوات قابلة للتفسير، وسير عمل RAG آمن، ومراقبة المواءمة طوال دورة الحياة، وهياكل حوكمة قائمة على "الإنسان في القيادة" (Human-in-command).
الدعوة للتكرار: يوصي المؤلف صراحةً بإجراء تكرار رسمي متعدد قواعد البيانات لهذه المراجة كخطوة ضرورية للانتقال من مراجعة سريعة للأدلة إلى مراجعة منهجية شاملة وقابلة للتكرار.
تخلص الورقة إلى أن تحويل الذكاء الاصطناعي الوكيلي من نماذج تجريبية إلى أنظمة موثوقة، وقابلة للتفسير، وعادلة، وخاضعة للمساءلة، يتطلب معالجة الفجوات المحددة من خلال التقييم الموحد، والحوكمة القوية، والتركيز المتوازن على جميع أبعاد T-SAFE الخمسة.