Testing and Evaluation of Agentic AI Systems In Military Command and Control
تجادل هذه الورقة بأن الخصائص المتأصلة في أنظمة الذكاء الاصطناعي الوكيل تقوض ثمانية افتراضات تأسيسية لأساليب الاختبار والتقييم العسكرية الحالية، مما يؤدي إلى كسر الرابط المنطقي بين أدلة الاختبار والسلوك الميداني، وهو ما يستلزم التحول نحو ادعاءات ضمان أضيق نطاقاً وقابلة للاسترداد، ونموذج حوكمة يعامل النشر كفعل مستمر من إدارة المخاطر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم القيادة العسكرية عالي المخاطر، يعتمد القادة على نظام لجمع المعلومات، وفهمها، واقتراح مسارات العمل. هذا النظام، المعروف باسم القيادة والسيطرة، هو بمثابة الجهاز العصبي للعملية، حيث يربط المستشعرات الموجودة على الأرض وفي السماء بالقادة الذين يجب عليهم تقرير مكان إرسال القوات أو السفن. لعقود من الزمن، كانت الأدوات المستخدمة في هذه الأنظمة عبارة عن آلات يمكن التنبؤ بها: فهي تتبع قواعد صارمة، وإذا غذيتها بنفس المعلومات مرتين، ستعطيك الإجابة نفسها. ولكن نوعًا جديدًا من التكنولوجيا يدخل هذه الغرف الآن. هذه ليست مجرد أدوات تتبع الأوامر؛ بل هي "وكلاء" (agents). وخلافًا للآلة الحاسبة البسيطة، يمكن للوكيل أن ينظر إلى موقف ما، ويقرر ما هي المعلومات التي يحتاج للعثور عليها، ويذهب لجلبها، ثم يستخدم هذه المعلومات الجديدة لتغيير خطته الخاصة. يمكنه تذكر الأحداث الماضية، والتحدث مع أنظمة مماثلة، والتكيف مع المفاجآت دون أن يخبره إنسان بما يجب فعله تاليًا بدقة. هذا النوع من المرونة يجعلهم أقوياء للغاية، ولكنه يجعلهم أيضًا صعبي الفهم. لم يعد السؤال المركزي بالنسبة للجيش هو ما إذا كان هؤلاء الوكلاء يعملون فحلاً، بل كيف يمكننا التأكد من أنهم سيعملون بأمان عندما تكون المخاطر في أعلى مستوياتها.
لقد شرع فريق من الباحثين في الإجابة على هذا السؤال من خلال فحص كيفية اختبارنا لهذه الأنظمة المرنة الجديدة حاليًا. لقد نظروا في 240 طريقة مختلفة يستخدمها خبراء عسكريون وصناعيون لاختبار البرمجيات والأنظمة ذاتية التشغيل. كان هدفهم هو معرفة ما إذا كانت هذه الأساليب القديمة يمكنها التعامل مع الواقع الجديد للوكلاء الذين يتعلمون، ويتذكرون، ويتغيرون أثناء العمل. وقد وجدوا مشكلة جوهرية: الطريقة التي نختبر بها هذه الأنظمة حاليًا تعتمد على افتراضات لا تصمد أمام حقيقة الوكلاء. يفترض الاختبار التقليدي أن النظام هو كائن ثابت، مثل السيارة، حيث لا تتغير الأجزاء ويكون سلوكها متوقعًا. يفترض أنه إذا اختبرت السيارة اليوم، فإن النتائج ستظل صالحة غدًا، وأنه يمكنك اختبار كل جزء من أجزاء السيارة بشكل منفصل ومعرفة كيف سيتصرف الهيكل بأكمله.
اكتشف الباحثون أن الأنظمة الوكيلية تكسر كل واحد من هذه الافتراضات. أولاً، هذه الأنظمة ليست ثابتة. يبني الوكيل مساره الخاص من خلال اختيار الأدوات التي سيستخدمها والمعلومات التي سيجمعها. ولأنه يتخذ هذه الخيارات أثناء عمله، فإن النظام الذي يتم اختباره يختلف عن النظام الذي تم تصميمه ليكون عليه. الأمر يشبه محاولة اختبار سيارة بينما يقوم السائق في الوقت نفسه بتغيير المحرك والإطارات. ثانيًا، النظام ليس مستقرًا. يتذكر الوكيل ما حدث في المهام السابقة، وتغير هذه الذاكرة كيفية تصرفه في المهمة التالية. حتى لو لم يتغير كود البرمجيات أبدًا، فإن سلوك الوكيل يتغير لأن حالته الداخلية قد تحولت. وهذا يعني أن نتيجة اختبار من الأسبوع الماضي قد لا تنطبق اليوم. ثالثًا، غالبًا ما تتكون هذه الأنظمة من العديد من الوكلاء الأصغر الذين يعملون معًا. وعندما يفعلون ذلك، يمكن أن تظهر سلوكيات جديدة لم تكن موجودة في أي من الأجزاء الفردية. قد يحل مجموعة من الوكلاء مشكلة بطريقة لم يكن لأي منهم أن يتوقعها بمفرده، مما يخلق نتيجة يستحيل التنبؤ بها من خلال اختبار الأجزاء بشكل منعزل.
بسبب هذه التغييرات، وجد الباحثون أن طرق الاختبار الحالية يمكن أن تنتج تقريرًا يبدو مثاليًا على الورق، مستوفيًا جميع القواعد الرسمية، بينما يفشل في إثبات أن النظام سيكون آمنًا في الحياة الواقعية. قد تظهر الاختبارات أن النظام يعمل تحت ظروف محددة ومسيطر عليها، لكنها لا تستطيع ضمان أن النظام سيتصرف بنفس الطريقة عندما يكون في الميدان، مواجهًا بيئة فوضوية ومتغيرة. إن الرابط بين نتائج الاختبار والأداء في العالم الحقيقي قد انكسر. الدليل موجود، لكن الحجة التي تربط هذا الدليل بوعد السلامة لم تعد قوية بما يكفي.
لا تقول الورقة البحثية إن علينا التوقف عن استخدام هذه الأنظمة أو أنها مستحيلة الاختبار. بدلاً من ذلك، تقترح أنه يجب علينا تغيير كيفية بناء قضيتنا بشأن السلامة. لا يمكننا الاعتماد على وعود فضفاضة بأن النظام آمن في جميع المواقف. بدلاً من ذلك، يجب أن نضع ادعاءات أكثر تحديدًا وضيقًا. على سبيل المثال، يمكننا اختبار ما إذا كان النظام سيبقى ضمن مجموعة محدودة ومحددة من الأفعال، أو ما إذا كان يتبع مسارًا صحيحًا من الخطوات حتى لو تباينت الإجابة النهائية. يمكننا أيضًا قبول أن بعض الأدلة لا يمكن جمعها إلا أثناء استخدام النظام فعليًا. وهذا يعني أن قرار وضع الوكيل في الخدمة ليس حدثًا يتم لمرة واحدة. إنه عملية مستمرة حيث نراقب النظام باستمرار، ونفحص ذاكرته، ونتحقق مما إذا كان لا يزال يتصرف كما هو متوقع. إذا انحرف النظام أو تغير بطريقة لم نتوقعها، يجب أن نكون مستعدين لإيقافه أو تعديله.
نظر الباحثون أيضًا في كيفية إشراف البشر على هؤلاء الوكلاء. ووجدوا أن مجرد وجود إنسان في الغرفة ليس كافيًا. إذا كان الوكيل سريعًا جدًا، أو معقدًا جدًا، أو غامضًا جدًا، فلن يتمكن الإنسان من فهم ما يحدث بالسرعة الكافية للتدخل. يجب تصميم النظام بحيث يعرف الإنسان ما يفعله الوكيل، ولماذا يفعله، وأن يمتلك وقتًا كافيًا لإيقافه إذا ساءت الأمور. بدون ذلك، يصبح الإنسان مجرد مشاهد وليس مشرفًا.
في النهاية، تخلص الدراسة إلى أنه بينما لا يمكننا بعد إثبات أن هذه الأنظمة المعقدة والمتغيرة آمنة تمامًا في كل سيناريو ممكن، يمكننا مع ذلك إدارة المخاطر. نحن نفعل ذلك من خلال كوننا صادقين بشأن ما لا نعرفه. نحن نحدد حدود ما يُسمح للنظام بفعله، ونراقبه عن كثب أثناء عمله، ونقبل أن ثقتنا به هي دائمًا مؤقتة. إن قرار استخدام هؤلاء الوكلاء لم يعد ختم موافقة نهائي؛ بل هو فعل مستمر من الحوكمة، حيث نزن الأدلة باستمرار، وندير عدم اليقين، ونضمن بقاء الحكم البشري تحت السيطرة. المسار المستقبلي ليس العثور على اختبار مثالي يثبت السلامة مرة واحدة وإلى الأبد، بل بناء نظام من الضوابط والتوازنات يسمح لنا باستخدام هذه الأدوات القوية مع إبقاء المخاطر ضمن قدرتنا على الإدارة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.