← أحدث الأبحاث
💻 computer science

Control Assimilation in Agentic AI: Formal Human Authority Persists as Operational Access to Control Becomes Technically Mediated

من خلال تركيب أدلة على مستوى البنية التحتية لـ 17 نظاماً من أنظمة الذكاء الاصطناعي الوكيل، تكشف هذه الدراسة أنه بينما غالباً ما تستمر السلطة البشرية الرسمية، فإن السيطرة التشغيلية غالباً ما تكون وسيطة تقنياً، وهو شرط هيكلي أطلق عليه المؤلفون مصطلح "استيعاب السيطرة".

المؤلفون الأصليون: Christian Jörg Rustenbach, Christoph Salewski, Annika Kral, Stefan Reichert

نُشر 2026-09-28
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Christian Jörg Rustenbach, Christoph Salewski, Annika Kral, Stefan Reichert

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناعي المعاصر، يبرز وعد أمان شائع يتمثل في فكرة "الإنسان في الحلقة" (human in the loop). تشير هذه العبارة إلى أنه بينما قد يتخذ الكمبيوتر قرارات أو يتخذ إجراءات، فإن هناك شخصاً حاضراً دائماً لمراقبة الآلة أو الموافقة على أفعالها أو إيقافها إذا ساءت الأمور. إنها صورة مريحة لطيار يجلس في مقصورة القيادة لطائرة ذاتية الطيران، مستعداً للإمساك بعناصر التحكم. لسنوات، تعامل المنظمون والمصممون مع وجود الإنسان كدليل على أن النظام آمن وتحت السيطرة. ومع ذلك، فإن هذه الصورة البسيطة تغفل تفصيلاً جوهرياً: مجرد وجود إنسان لا يعني بالضرورة أن لديه القدرة الفعلية على تغيير ما يحدث. فقد يكون الإنسان ينظر إلى الشاشة الخطأ، أو يتلقى رسالة في وقت متأخر جداً، أو يجد أن الأزرار المخصحصة لإيقاف الآلة قد تم تعطيلها بالفعل من قبل البرمجيات نفسها. لم يعد السؤال هو ما إذا كان هناك إنسان يراقب فحسب، بل ما إذا كان المسار المؤدي إلى سيطرة ذلك الإنسان مفتوحاً، وواضحاً، وخالياً من تصفية الآلة نفسها للمعلومات.

لقد شرع فريق من الباحثين في استقصاء هذه الفجوة الخفية بين الوعد بالإشراف البشري والواقع الفعلي لكيفية عمل هذه الأنظمة. لم يبحثوا في الأفكار النظرية أو أحلام المستقبل للذكاء الاصطناعي؛ بل فحصوا سبعة عشر نظاماً واقعياً يُستخدم بالفعل أو أوشك على النشر. كانت هذه أنظمة "وكيلة" (agentic) معقدة، مما يعني أنها تستطيع مراقبة بيئتها، والتخطيط للأفعال، وتنفيذ المهام بدرجة عالية من الاستقلالية. أراد الباحثون تتبع الرحلة الدقيقة التي تسلكها قطعة من المعلومات منذ اللحظة التي تلاحظ فيها الآلة شيئاً مهماً حتى اللحظة التي قد يتمكن فيها الإنسان من التدخل. بحثوا عن القواعد والبوابات البرمجية المحددة التي تقرر أي المشكلات تُعرض على الشخص، ومتى يتم إخطاره، وما هي الإجراءات التي لا يزال مسموحاً له باتخاذها بمجرد تنبيهه.

وجد الباحثون أنه في كل نظام تقريباً درسوه، كان الإنسان لا يزال تقنياً هو المدير، حيث يمتلك السلطة النهائية لإيقاف الآلة أو تغيير مسارها. ومع ذلك، كانت الطريق لممارسة تلك السلطة تدار بشكل كبير من قبل الآلة نفسها. وقد أطلقوا على هذه الظاهرة اسم "استيعاب السيطرة" (control assimilation)؛ وهي حالة هيكلية حيث تُبنى آليات السوايط داخل كود النظام. فالكمبيوتر هو من يقرر أي الأحداث مهمة بما يكفي لعرضها على الإنسان، ويقوم بتصفية البقية، ويحدد اللحظة الدقيقة التي يُسمح فيها للإنسان بالتدخل. وفي ستة عشر نظاماً من أصل سبعة عشر، وجد الباحثون أن الآلة تمتلك طرقاً قوية وموثقة لإيقاف مشكلة محلية محددة، لكنها غالباً ما تفتقر إلى طريقة واضحة وموثقة لإيقاف النظام بأكمله بشكل شامل. والأهم من ذلك، في أربعة عشر حالة من أصل سبعة عشر، قرر النظام نفسه متى يستدعي انتباه الإنسان، وغالباً ما كان ذلك بناءً على قواعده الداخلية المتعلقة بالخطورة أو درجة اليقين.

هذا يعني أن الإنسان قد يكون مسؤولاً رسمياً، لكنه غالباً ما يعمل على مسار مهدته الآلة مسبقاً. قد تخفي الآلة موقفاً خطيراً لأنها تعتقد أن الخطر منخفض، أو قد تعرض مشكلة بطريقة تجعل من الصعب على الإنسان فهم السياق الكامل. في بعض الحالات، لا يتم استدعاء الإنسان إلا بعد أن تفشل الآلة بالفعل أو تواجه استثناءً، بدلاً من طلب موافقته على قرار قبل وقوعه. أظهرت الدراسة أنه بينما قد يحمل اسم الإنسان على زر الموافقة، فإن الآلة غالباً ما تتحكم فيما إذا كان هذا الزر مرئياً، أو ما إذا كان سيُضغط في الوقت المناسب، أو ما إذا كان لدى الإنسان معلومات كافية لاتخاذ قرار صائب. وجد الباحثون أنه في عدد قليل فقط من الأنظمة التي فحصوها، استطاعوا رؤية إنسان يمارس فعلياً سيطرة مباشرة لتغيير نتيجة ما. وفي كثير من الحالات الأخرى، تقلص دور الإنسان ليصبح مجرد مراجع لقائمة من الحالات التي اختارتها الآلة بالفعل، أو مستجيباً لتنبيهات قررت الآلة أنها عاجلة.

وقد أشار الباحثون بعناية إلى أن هذا لا يعني أن البشر عديمو الفائدة أو أن هذه الأنظمة خطيرة بالضرورة. بل يعني ببساطة أن سلامة النظام تعتمد على ما هو أكثر من مجرد وجود إنسان. إنها تعتمد على تصميم المسار الذي يؤدي إلى ذلك الإنسان. فإذا كان البرنامج الذي يفلتر المعلومات أو يوجه التنبيهات معيباً، فقد لا يرى الإنسان الخطر أبداً حتى فوات الأوان. تشير الدراسة إلى أنه لكي تكون هذه الأنظمة آمنة حقاً، نحتاج إلى النظر إلى ما وراء مجرد تسمية "الإنسان في الحلقة" وفحص البنية التقنية التي تتحكم في وصول الإنسان إلى تلك الحلقة. نحن بحاجة إلى التساؤل: من يتحكم في انتباه الإنسان، وما هي المعلومات التي تُحجب قبل وصولها إليه، وهل لا يزال لدى الإنسان القدرة على إيقاف الآلة عندما يكون الأمر في غاية الأهمية. تشير النتائج إلى أن السلطة الرسمية يمكن أن توجد جنباً إلى جنب مع واقع تكون فيه القدرة العملية على الفعل مقيدة بشدة من قبل التكنولوجيا ذاتها التي يُفترض بها أن تشرف عليها.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →