The End of Human Judgment in the Kill Chain? Relocating Initiative and Interpretation with Agentic AI

إليك ملخص تقني مفصل لورقة "نهاية الحكم البشري في سلسلة القتل؟ إعادة توطين المبادرة والتفسير مع الذكاء الاصطناعي الوكيل" للباحثة جوفانا دافيدوفيتش.

1. بيان المشكلة

تتناول الورقة فجوة حرجة في حوكمة الذكاء الاصطناعي (AI) في السياقات العسكرية. فبينما تفرض الأطر الدولية (مثل مجموعة الخبراء الحكوميين التابعة لاتفاقية الأسلحة التقليدية المعينة UN GGE-CCW، ومؤتمر ريم REAIM) ضرورة وجود "حكم وتحكم بشري ملائم للسياق" في استخدام القوة المميتة (سلسلة القتل)، فإن ظهور الذكاء الاصطناعي الوكيل (Agentic AI) القائم على النماذج اللغوية الكبيرة (LLM) يهدد بجعل الإشراف البشري غير فعال جوهرياً.

تتمثل المشكلة الجوهرية في أن السمات المحددة التي تجعل الوكلاء القائمين على النماذج اللغوية الكبيرة متفوقين عملياتياً في دمج البيانات، والتحليل الاستخباراتي، وإدارة ساحة المعركة (مثل: المبادرة، التفسير الديناميكي، إعادة ترتيب أولويات الأهداف، والذاكرة) هي نفسها التي تزحزح السلطة المعيارية والمعرفية البشرية. ونتيجة لذلك، يصبح التدخل البشري مجرد "ديكور" أو واجهة شكلية، عاجزاً عن تقديم التفسير أو التبرير المطلوب للمساءلة الأخلاقية والقانونية في النتائج المميتة.

2. المنهجية

تستخدم الورقة تحليلاً مفاهيمياً ومعيارياً قائماً على حالات استخدام تقنية محددة واستراتيجيات عسكرية ناشئة.

• تحليل حالة الاستخدام: تفحص المؤلفة بنية الوكلاء القائمين على النماذج اللغوية الكبيرة، باستخدام أمثلة افتراضية وناشئة مثل نظام القيادة والسيطرة "لاتيس" (Lattice) التابع لشركة أندوريل (Anduril). يركز التحليل على كيفية معالجة هؤلاء الوكلاء للبيانات غير المتجانسة (تغذيات المستشعرات، الاستخبارات الإشارية SIGINT، التقاربات البشرية) لاتخاذ القرارات.
• تفكيك السمات: تتضمن المنهجية عزل أربع قدرات تقنية محددة لوكلاء النماذج اللغوية الكبيرة: المبادرة، التفسير، التوجه نحو الأهداف، والذاكرة الديناميكية.
• الرسم الخرائطي المعياري: تقوم المؤلفة برسم خريطة لهذه السمات التقنية مقابل متطلبات أطر الحوكمة الدولية القائمة (GGE-CCW، REAIM) لإثبات وجود عدم توافق جوهري. يعتمد الطرح على فرضية أنه لكي يكون الحكم البشري صالحاً، يجب أن يكون هو المحرك الأساسي في التفسير السببي للنتيجة.
• الرد على الاعتراضات: تعالج الورقة بشكل منهجي الحجج المضادة المتعلقة بالاختبار والتقييم والتحقق من الأداء (TEVV) قبل النشر، والإشراف البشري (human-on-the-loop)، وكفاية الموافقة البشرية النهائية على اختيار الأهداف.

3. المساهمات الرئيسية

تقدم الورقة عدة مساهمات تقنية وأخلاقية متميزة:

• تحديد "آلية الإزاحة": تجادل المؤلفة بأن وكلاء النماذج اللغوية الكبيرة لا يقومون بمجرد أتمتة المهام، بل يعيدون توطين المبادرة والتفسير. وخلافاً للذكاء الاصطناعي التقليدي الذي يتبع قواعد ثابتة ومبرمجة مسبقاً، يقرر الوكلاء القائمون على النماذج اللغوية الكبيرة ديناميكياً متى يطلبون المدخلات البشرية، وكيف يفسرون البيانات الغامضة، وأي الأهداف الفرعية يجب منحها الأولوية بناءً على السياق اللحظي.
• السمات الأربع الحرجة: تحدد الورقة أربع سمات تخلق "صندوقاً أسود" للسلطة:
  1. المبادرة: يقرر الوكلاء ذاتياً متى يقومون بتكليف المستشعرات أو طلب المساعدة البشرية، مما يحدد فعلياً عتبة التدخل البشري.
  2. التفسير: يفسر الوكلاء البيانات غير المهيكلة (مثل النصوص الصوتية، أو ضوضاء المستشعرات الخام) ويوفقون بين المدخلات المتضاربة دون مخططات جامدة، مما يؤدي إلى غموض احتمالي (stochastic opacity).
  3. التوجه نحو الأهداف: يقوم الوكلاء بتفكيك مقاصد القائد رفيعة المستوى إلى أهداف فرعية، ويعيدون ترتيب أولوياتها ديناميكياً بناءً على السياقات المتغيرة، مما قد يؤدي إلى إعادة صياغة المقصد الأصلي.
  4. الذاكرة الديناميكية: يدمج الوكلاء الملاحظات الماضية وحالات العالم المتطورة في استدلالاتهم الحالية، مما يعني أن قراراتهم تعتمد على تاريخ سياقي غير مرئي للمشغل البشري.
• أطروحة "الإنسان غير الفعال": تخلص الورقة إلى أنه عندما يعمل هؤلاء الوكلاء في مرحلة دمج البيانات (قبل مرحلة الضربة النهائية)، فإنهم يزيحون الإنسان من السلسلة السببية للقرار. فإذا لم يستطع الإنسان شرح لماذا تم اختيار هدف معين لأن عملية اختيار البيانات ودمجها تمت بواسطة وكيل يمتلك ذاكرته الديناميكية ومبادرته الخاصة، فإن دور الإنسان يصبح اسمياً فقط.
• نقد السياسات: تتحدى الورقة كفاية مقترحات الحوكمة الحالية التي تعتمد على نماذج "الإنسان في الحلقة" (human-in-the-loop) أو "الإنسان فوق الحلقة" (human-on-the-loop)، مجادلة بأن هذه النماذج غير كافية لأنظمة الوكلاء القائمة على النماذج اللغية الكبيرة حيث يكون الإنسان بعيداً جداً عن المحددات الفعلية للنتيجة.

4. النتائج والمخرجات

• عدم التوافق مع الحوكمة: تجد الدراسة أن الوكلاء القائمين على النماذج اللغية الكبيرة المستخدمين في دمج البيانات وإدارة ساحة المعركة غير متوافقين جوهرياً مع متطلبات "الحكم البشري الملائم للسياق" كما هو محدد في السياسات الدولية الحالية. فالسمات التي تجعلهم فعالين (السرعة، القدرة على التكيف، الاستقلالية) هي نفسها التي تجعل الإشراف البشري مستحيلاً.
• فشل آليات الإشراف:
  • ما قبل النشر (TEVV): لا يمكن للاختبار والتحقق مراعاة الطبيعة الاحتمالية والديناميكية للوكلاء الذين يتعلمون ويتكيفون في الوقت الفعلي.
  • الإشراف في الوقت الفعلي: المراقبة البشرية مستحيلة بالسرعة والتعقيد الخاص بعملية دمج بيانات النماذج اللغية الكبيرة؛ إذ إن أي إشراف بشري سيحتاج بدوره إلى وسيط من ذكاء اصطناعي آخر، مما يخلق حلقة مفرغة من الغموض.
  • الموافقة النهائية: إن الإنسان الذي يتخذ القرار النهائي بناءً على بيانات دمجها وكيل ما، لا يمارس حكماً على محددات النتيجة (أي اختيار البيانات وتحديد أولوياتها)، مما يجعل القرار النهائي فارغاً من الناحية الأخلاقية.
• خطر جذب المسؤولية: إن إزاحة السلطة المعرفية (الحق في تكوين المعتقدات) والسلطة المعيارية (الحق في اتخاذ الخيارات الأخلاقية) إلى الآلة يجعل من المستحيل نسب النتائج الخاطئة إلى فاعل بشري محدد.

5. الأهمية والتوصيات

الأهمية:
تقدم الورقة تحذيراً تقنياً حاسماً بأن الجيل القادم من الذكاء الاصطناعي العسكري (الذكاء الاصطناعي الوكيل) يمثل تحولاً نوعياً عن "الأسلحة المستقلة" السابقة. وتجادل بأن الخطاب الدولي الحالي قد عفا عليه الزمن بشكل خطير، لأنه يفترض إمكانية التحكم البشري عبر نماذج الإشراف التقليدية. فإذا تم أتمتة دمج البيانات بواسطة النماذج اللغية الكبيرة، فإن "الإنسان في سلسلة القتل" يصبح مجرد خيال قانوني، مما يقوض أسس القانون الدولي الإنساني فيما يتعلق بالتمييز، والتناسب، والمساءلة.

التوصيات لمجتمع الحوكمة:
بما أن الحظر الشامل على وكلاء النماذج اللغية الكبيرة يُعتبر غير واقعي نظراً لانتشارهم الحالي وضرورتهم الاستراتيجية، تقترح المؤلفة تحولاً في الاستراتيجية:

1. التوقف عن الاعتماد على "الحكم البشري" كاستراتيجية لتقليل المخاطر: يجب على صانعي السياسات التوقف عن استخدام "الإنسان في الحلقة" كآلية سلامة أساسية لدمج بيانات النماذج اللغية الكبيرة، لأن ذلك يوفر شعوراً زائفاً بالأمان.
2. تطوير معايير جديدة لـ (TEVV): وضع طرق للاختبار والتقييم والتحقق من الأداء مخصصة للأنظمة الوكيل، بما في ذلك اختبارات الفريق الأحمر (red-teaming) والاختبارات الواقعية للفرق البشرية-الآلية.
3. تنفيذ الضوابط التقنية: فرض آليات إشراف تتضمن طبقات قابلة للتفسير (غير قائمة على النماذج اللغية الكبيرة)، ومعالجة مضادة للواقع (counterfactual processing)، وقيود مبرمجة بصرامة لا يمكن للوكيل إعادة تفسيرها ديناميكياً.
4. إعادة تعريف المشاركة البشرية: إذا تم الاحتفاظ بالحكم البشري، فيجب إعادة تعريفه ليقر بأن الإنسان قد لا يكون "قريباً" من النتيجة. وهذا يتطلب أطراً جديدة للتدريب ونسب المسؤولية تعترف بأن الإنسان يشرف على عملية الوكيل، وليس على محتوى قرار ساحة المعركة المحدد.

في الختام، تؤكد الورقة أنه بدون إعادة هيكلة جذرية لكيفية تصور السلطة البشرية وفرضها تقنياً، فإن نشر الوكلاء القائمين على النماذج اللغية الكبيرة في سلاسل القتل المميتة سيؤدي حتماً إلى فقدان السيطرة البشرية ذات المعنى والمساءلة.