Sources of Risk in AI Systems Revisited: FCAIR-O, a Faceted Causal Framework and Lightweight Ontology for Risk Management and Assurance
يقدم هذا البحث إطار (FCAIR-O)، وهو إطار مفاهيمي معدل وأنطولوجيا خفيفة الوزن تعالج خلط الأدوار في نماذج مخاطر الذكاء الاصطناً الحالي من خلال إنشاء عمود فقري سببي مكون من اثنتي عشرة عقدة وثمانية جوانب متعامدة لتحسين التتبع الآلي، والمسؤولية، وضمان إدارة المخاطر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لم يعد الذكاء الاصطناعي مجرد أداة توضع على الرف؛ بل أصبح منسوجاً في نسيج الحياة اليومية، حيث يتخذ قرارات بشأن القروض، ويشخص الأمراض، وحتى يقود السيارات. وعندما تعمل هذه الأنظمة بشكل جيد، فإنها تكون غير مرئية. ولكن عندما تفشل، تكون العواقب فورية وشديدة. لطالما كان التحدي الذي يواجه المهندسين والمنظمين هو كيفية التحدث عن هذه الإخفاقات. ففي كثير من الأحيان، تخلط قوائم المخاطر بين أشياء مختلفة: فقد تدرج "نقص العدالة" جنباً إلى جنب مع "حساس مكسور" أو "هجوم من مخترق" كما لو كانت جميعها من نفس النوع من المشكلات. وهذا الارتباك يجعل من الصعب معرفة أين يجب إصلاح الخلل. هل المشكلة في الكود البرمجي، أم في البيانات، أم في الشخص الذي يستخدم النظام، أم في القواعد التي تتبعها الشركة؟ وبدون تمييز واضح، يمكن لتدابير السلامة أن تخطئ الهدف تماماً.
ولحل هذه المعضلة، طور باحثان، موريتز شنايدر وأندريه شتايمرز، طريقة جديدة لرسم خريطة لمواضع الخطأ. فهما يبنيان على عملهما السابق من عام 2022، والذي حاول لأول مرة تنظيم هذه المخاطر، لكن عالم الذكاء الاصطناعي قد تغير بسرعة منذ ذلك الحين. فهناك الآن أنواع جديدة من الأنظمة يمكنها كتابة الكود، وتذكر المحادثات الماضية، واستقاء المعلومات من الإنترنت في الوقت الفعلي. وهذه القدرات تخلق أنواعاً جديدة من الأخطار التي لا تستطيع قوائم التحقق القديمة وصفها. وقد أدرك الباحثان أنه لضمان سلامة الناس، يحتاجان إلى خريطة تفصل بين سبب المشكلة والضرر الذي تسببه، والقواعد الرامية لمنعها.
والنتية هي إطار عمل يسمى FCAIR-O. فكر فيه كقاموس مفصل ومنظم للمخاطر. فبدلاً من قائمة واحدة طويلة ومربكة، أنشأ الباحثون نظاماً يتكون من ثمانية "جوانب" أو أبعاد مختلفة. يصف أحد الجوانب المستوى الذي حدثت فيه المشكلة، مثل الشريحة الحاسوبية، أو البرنامج، أو المشغل البشري، أو إدارة الشركة. ويتتبع جانب آخر الجدول الزمني، من لحظة ابتكار الفكرة إلى اليوم الذي يتم فيه إيقاف تشغيل النظام. ويحدد جانب ثالث نوع الضرر المحدد، مثل الإصابة الجسدية، أو فقدان الخصوصية، أو الخسارة المالية. ومن خلال إجبار المحللين على النظر إلى المشكلة عبر هذه العدسات المختلفة في آن واحد، يمنع هذا الإطار الخطأ الشائع المتمثل في إلقاء اللوم على الشيء الخطأ. فعلى سبيل المثال، إذا رفض نظام ما قرضاً بشكل غير عادل، يساعد الإطار في التمييز ما إذا كان الخطأ قد جاء من البيانات المستخدمة لتدريب النظام، أو من الطريقة التي وضعت بها الشركة قواعدها، أو من اللحظة المحددة التي اتُخذ فيها القرار.
وقد اختبر الباحثون هذه الخريطة الجديدة من خلال النظر في كوارث حقيقية وحوادث وشيكة. فقد فحصوا حادث التصادم المميت لسيارة أوبر ذاتية القيادة في أريزونا، وهي حالة تعرض فيها أحد المشاة للدهس. في الماضي، ربما كان الناس سيطلقون على هذا ببسا p "فشل الأتمتة". لكن الإطار الجديد يفكك هذا إلى سلسلة من الأحداث المحددة: رصدت مستشعرات السيارة الشخص لكنها أخطأت في تحديد هويته؛ وتمت برمجة البرنامج لتعطيل المكابح في حالات الطوارئ أثناء قيادة الكمبيوتر؛ وكان السائق البشري ينظر إلى هاتفه؛ ولم تكن الشركة قد اختبرت النظام بشكل صحيح في تلك الظروف. ومن خلال فصل هذه الإخفاقات المتميزة، يظهر الإطار أن إصلاح جزء واحد فقط، مثل المستشعرات، لم يكن كافياً. لقد تطلب الحل تغييرات في منطق البرمجيات، والإشراف البشري، وثقافة السلامة في الشركة. وهذا المستوى من التفصيل هو ما يرى الباحثون أنه ضروري لتحقيق السلامة الحقيقية.
كما تتناول الورقة البحثية كيف تتناسب القوانين والمعايير مع هذا المشهد. فالقوانين غالباً ما تحدد ما يجب القيام به، مثل "يجب أن يكون هناك عنصر بشري في الحلقة"، لكنها لا تشرح دائماً كيف يجب أن يتفاعل هذا الإنسان مع الآلة ليكون فعالاً. ويظهر الباحثون أن مجرد وجود إنسان لا يضمن السلامة إذا كان ذلك الشخص مشتتاً أو مثقلاً بالأعباء. ويعامل إطارهم القواعد القانونية كطبقة منفصلة تضع الحدود، بينما يركز التحليل التقني على الآليات الفعلية للفشل. وهذا التمييز أمر بالغ الأهمية لأن الشركة يمكنها اتباع جميع القواعد على الورق ومع ذلك تمتلك نظاماً خطيراً إذا كانت الآليات الأساسية معيبة.
ومن أهم النتائج أن الباحثين لا يدعون أنهم وجدوا كل المخاطر الممكنة. فهم يصرحون بوضوح بأن هذا أداة مفاهيمية، أي طريقة تفكير، وليس قائمة نهائية وغير قابلة للتغيير لكل الأخطار في الكون. وهم يقرون بأن عملهم يستند إلى مراجعة للوثائق والحالات المتاحة حتى تاريخ محدد في عام 2026، وأن التكنولوجيا ستستمر في التطور. كما يشيرون إلى أنهم لم يختبروا إطار عملهم على نطاق واسع من البيانات الواقعية لإثبات أنه يعمل بشكل أفضل من الطرق الأخرى، بل يجادلون بأن القيمة تكمن في الوضوح الذي يوفره. فمن خلال فصل الأدوار المختلفة للمخاطر — ما يسببها، وما تؤذي منه، وكيف نحاول منعها — فإنهم يقدمون لغة يمكن للمهندسين والمحامين والمنظمين استخدامها دون أن يتحدث كل منهم في مسار مختلف عن الآخر.
كما نظر الباحثون في كيفية تغيير أنواع الذكاء الاصطناعي الجديدة، مثل تلك التي يمكنها استخدام الأدوات أو العمل بشكل مستقل، للمشهد العام. فهذه الأنظمة يمكن أن ترتكب أخطاء تختلف تماماً عن البرامج الأقدم والأبسط. فالنظام الذي يمكنه كتابة الكود قد يحذف ملفات مهمة عن طريق الخطأ، أو قد يُخدع النظام الذي يمكنه الوصول إلى الإنترنت للكشف عن معلومات خاصة. وقد صُمم الإطار للتعامل مع هذه السيناريوهات المعقدة من خلال تتبع مسار الخطأ من الأمر الأولي وصولاً إلى النتيجة النهائية، بما في ذلك الأخطاء التي ارتكبها الأشخاص الذين بنوا النظام أو راقبوه.
وفي نهاية المطاف، تقدم الورقة طريقة للتوقف عن معاملة مخاطر الذكاء الاصطناعي كسحابة غامضة ومخيفة. فهي تستبدل السحابة بمجموعة مهيكلة من الأسئلة: من المسؤول؟ ما الذي تعطل بالضبط؟ ما الدليل الذي لدينا؟ ما هي القواعد المعمول بها؟ ويقترح الباحثون أنه من خلال استخدام هذا النهج المنظم، يمكن للمجتمع الانتقال من مجرد سرد الأخطار إلى فهمها وإدارتها فعلياً. هم لا يعدون بأن هذا سيقضي على جميع الحوادث، لكنهم يجادلون بأن هذه خطوة ضرورية لجعل هذه الأنظمة القوية أكثر أماناً وموثوقية. إن هذا العمل يمثل مقترحاً لطريقة أفضل للتفكير، وأداة للوضوح في مجال غالباً ما يكتنفه الغموض.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.