Agentic AI Systems and Financial Stability, From Model Risk to Systemic Risk

يعتمد الاستقرار المالي على افتراض مريح: وهو أنه عندما ينكسر جزء من النظام، يمكن للأجزاء الأخرى استيعاب الصدمة. إذا فشل بنك واحد، تنجو البنوك الأخرى؛ وإذا ارتكب متداول واحد خطأً، يصحح السوق نفسه. يعمل هذا لأن الإخفاقات عادة ما تكون فريدة لتلك المؤسسة المحددة، وتكون مشتتة وغير مترابطة. لكن نوعاً جديداً من المخاطر بدأ يلوح في الأفق، وهو ما يحطم شبكة الأمان هذه. يأتي هذا الخطر من الذكاء الاصطناعي "الوكيل" (agentic AI) — وهي أنظمة لا تكتفي بالتنبؤ بالمستقبل فحسب، بل تتخذ إجراءات في العالم الحقيقي، مثل تحريك الأموال، أو كتابة الأكواد البرمجية، أو إدارة رعاية المرضى. وعندما تُبنى العديد من هذه الوكلاء على نفس الأساس البرمجي، فإن خطأ واحداً أو اختراقاً واحداً لا يبقى محلياً، بل يضرب كل الوكلاء في وقت واحد، محولاً خللاً بسيطاً إلى انهيار شامل للنظام.

أمضى الباحثون في الاحتياطي الفيدرالي سنوات في دراسة كيفية إدارة المخاطر في الخدمات المصرفية التقليدية، حيث يقيسون احتمالية تعثر القرض ويخصصون أموالاً لتغطية الخسارة. وقد طبقوا الآن هذا التفكير الصارم نفسه على أنظمة الذكاء الاصطناعي الجديدة، لكنهم وجدوا أن القواعد القديمة لا تعمل. المشكلة الجوهرية هي أن هؤلاء الوكلاء من الذكاء الاصطناعي يختلفون عن العمال البشر أو البرمجيات التقليدية؛ فهم يتحركون بسرعة واستقلالية، وعندما يرتكبون خطأً، غالباً ما يكون الضرر غير قابل للإصلاح. لا يمكنك "إلغاء إرسال" حوالة مالية احتيالية أو "استعادة" قاعدة بيانات تم حذفها. ولأن الضرر دائم ويحدث فوراً، فإن شبكات الأمان المعتادة — مثل امتلاك خطة بديلة أو الانتظار لرؤية ما سيحدث قبل اتخاذ رد فعل — تصبح عديمة الفائدة. وقد اكتشف الباحثون أن الطريقة الوحيدة لوقف الكارثة هي منع حدوثها من الأساس، وذلك عبر إزالة القدرات الخطيرة قبل تشغيل النظام.

تبدأ الدراسة، التي تمتد عبر ستة تحقيقات رياضية متميزة، بالنظر في وكيل ذكاء اصطناعي واحد. في التمويل التقليدي، تُحسب المخاطر بضرب احتمالية وقوع حدث ما في حجم الخسارة. وقد كيّف الباحثون هذا المفهوم للذكاء الاصطناعي، حيث قسموا الضرر إلى ثلاثة أجزاء: مدى احتمالية اتخاذ الوكيل لإجراء ضار، ومدى خطورة ذلك الإجراء، ومدى اتساع نطاق تأثيره. ووجدوا أنه عندما يتعرض الوكيل لهجوم، فإن هذه العوامل الثلاثة لا تعمل بشكل مستقل؛ إذ يمكن لحدث ضار واحد أن يجعل الوكيل أكثر عرضة للعمل الضار، ويجعل الضرر أسوأ، ويوسع نطاق الضرر في آن واحد. وهذا يخلق مخاطر "الاتجاه الخاطئ" (wrong-way risk) حيث تتضاعف الخطورة بسرعة. والأهم من ذلك، أثبتوا أنه بالنسبة للأضرار غير القابلة للإصلاح، لا يوجد أي قدر من المراقبة أو القدرة على عكس الأخطاء يمكنه إصلاح المشكلة. إذا كان الإجراء لا يمكن التراجع عنه، فإن الحل الوحيد هو ضمان عدم امتلاك الوكيل للقدرة على اتخاذ ذلك الإجراء على الإطلاق.

ثم وسع الباحثون رؤيتهم من وكيل واحد إلى أسطول من الآلاف، يعملون جميعاً على نفس النموذج الأساسي. وهنا تصبح المخاطر نظامية حقاً. في المحفظة الاستثمارية العادية، إذا كنت تملك استثمارات متنوعة، فإن الفشل في أحدها لا يؤذي الآخرين. ولكن إذا كان كل وكيل في الأسطول يتشارك في نفس "الدماغ"، فإن خللاً في ذلك الدماغ سيؤثر عليهم جميعاً في وقت واحد. أظهر الباحثون أنه بغض النظر عن عدد الوكلاء الذين تضيفهم إلى الأسطول، فإن المخاطر لا تنخفض، بل تصل إلى "أرضية" لا يمكن تقليلها عبر التنويع. حتى لو كان الوكلاء في شركات مختلفة أو دول مختلفة، فإذا كانوا يعتمدون على نفس البرنامج الأساسي، فإن فشلاً واحداً يمكن أن يسقط المجموعة بأكملها. وهذا ما يسمونه "النمط الواحد" (monoculture): نظام يكون فيه الجميع عرضة لنفس التهديد بالضبط.

كما بحثت الدراسة في كيفية تفاعل هؤلاء الوكلاء مع بعضهم البعض. في العالم الحقيقي، غالباً ما يتحدث الوكلاء مع بعضهم، ويشاركون المعلومات أو ينسقون المهام. ووجد الباحثون أن هذا التفاعل يخلق خطراً جديداً وخفياً. فحتى لو بُني الوكلاء على برمجيات مختلفة، إذا تمت برمجتهم للاستماع إلى بعضهم البعض، فقد يبدأون في التحرك بانسجام تام أثناء الأزمات. إذا أصيب أحد الوكلاء بالذعر وغير سلوكه، فسيتبعه الآخرون، مما يخلق سلسلة من ردود الفعل التي تنشر المخاطر. يحدث هذا حتى بدون وجود خلل برمجي مشترك. علاوة على ذلك، يمكن لوكيل مخترق أن يستخدم اللغة لإقناع أقرانه بالقيام بشيء ضار، مما يخلق عدوى تنتشر عبر المحادثة بدلاً من الكود البرمجي. وهذا يعني أن مجرد فصل الشبكات التقنية ليس كافياً؛ بل يجب أيضاً التحكم في طريقة تواصل الوكلاء.

لفهم كيف تظهر هذه المخاطر بمرور الوقت، صاغ الباحثون النظام كتدفق مستمر من الأحداث، على غرار كيفية دراسة الزلازل أو الانهيارات المالية. ووجدوا أن المخاطر تسلك سلوك "قفزة هائلة نادرة" بدلاً من كونها انزياحاً بطيئاً. يمكن للنظام أن يبدو مستقراً لفترة طويلة ثم ينهار فجأة. كما نظروا في كيفية التحكم في هذه الأنظمة أثناء تشغيلها، باستخدام "الحواجز الوقائية" (guardrails) لمنع الإجراءات السيئة. وأثبتوا أنه بالنسبة للأحداث غير القابلة للإصلاح، فإن ضوابط التشغيل هذه محدودة جوهرياً. إذا كان الإجراء غير قابل للإلغاء بالفعل، فإن انتظار اكتشافه وإيقافه سيكون قد فات الأوان. إن احتمالية وقوع كارثة تعتمد كلياً على التصميم الأولي للنظام، وليس على مدى جودة مراقبته أثناء التشغيل. لا يمكن لأي قدر من المراقبة أن يصلح خللاً تم بناؤه منذ البداية.

قدمت الفصول الأخيرة من الدراسة "خصماً" — وهو مخترق أو مهاجم يستخدم أيضاً ذكاءً اصطناعياً متقدماً. عامل الباحثون هذا كأنها لعبة يحاول فيها المهاجم إيجاد أضعف نقطة، بينما يحاول المدافع سدها. ووجدوا أنه عندما يستخدم المهاجمون الذكاء الاصطناعي، يصبح النظام هدفاً جذاباً للغاية. إن وجود أساس برمجي مشترك يشبه مفتاحاً واحداً يفتح كل الأبواب في مبنى؛ إذا وجد اللص ذلك المفتاح، يمكنه الدخول إلى كل مكان في وقت واحد. وأظهرت الدراسة أنه في السوق اللامركزي، حيث تحاول كل شركة حماية نفسها بشكل فردي، سيبخس الجميع استثمارهم في أهم إجراء سلامة وهو: "الوقاية الهيكلية". سوف ينفقون الأموال على الكشف ورد الفعل لأن هذه الأمور أسهل في القياس والملاحظة، لكنهم سيتجاهلون العمل الشاق المتمثل في إزالة القدرات الخطيرة تماماً. وهذا يترك النظام بأكمله عرضة للخطر.

خلص الباحثون إلى أن الطريقة الوحيدة الفعالة لإدارة هذه المخاطر هي من خلال "الوقاية الهيكلية". وهذا يعني تصميم النظام بحيث تكون الإجراءات الكارثية مستحيلة مادياً، بدلاً من الأمل في رصدها بعد وقوعها. ويتضمن ذلك إزالة الأدوات الخطرة، وتقييد الأذونات، وضمان عدم قدرة الوكلاء على الوصول إلى الأجزاء التي قد تسبب أضراراً غير قابلة للإصلاح. وقد أثبتت الدراسة أن هذا النهج هو الوحيد الذي ينجح ضد خصم ذكي ومتطور. ومع تحسن تكنولوجيا الذكاء الاصطناعي وزيادة قدرة المهاجمين، تصبح تكلفة محاولة اكتشاف كل تهديد جديد والاستجابة له تكلفة لانهائية. في المقابل، فإن تكلفة إزالة قدرة خطيرة هي استثمار لمرة واحدة يحمي النظام للأبد، بغض النظر عن مدى ذكاء المهاجم.

تنتهي الورقة برسالة واضحة للمنظمين ومصممي الأنظمة. إن الاستقرار المالي في عصر الذكاء الاصطناعي لا يمكن تحقيقه من خلال مراقبة كل مؤسسة عن كثب أو بالأمل في أن فشلاً واحداً لن ينتشر. إن المخاطر أعمق وأكثر ترابطاً من ذلك. الطريقة الوحيدة لتأمين النظام هي اتخاذ خيارات هيكلية قبل أن يبدأ النظام في العمل. وهذا يعني الحد من مدى الاعتماد على أي أساس برمجي واحد، وضمان عدم قدرة الوكلاء على اتخاذ إجراءات غير قابلة للإصلاح، وتصميم النظام بحيث لا يمكن لنقطة فشل واحدة أن تسقط الشبكة بأكملها. الرياضيات واضحة: لا يمكنك تنويع المخاطر بعيداً عن خلل مشترك، ولا يمكنك اكتشاف طريق للخروج من خطأ غير قابل للإصلاح، ولا يمكنك الاستجابة بسرعة كافية لإيقاف هجوم منسق. الحل الوحيد هو بناء النظام بحيث لا تتاح للكارثة أي فرصة للحدوث.