Operationalising CAPA for AI: Evidence Requirements and Limits from a Production Case Study
تقترح هذه الورقة تكييف ضوابط جودة التصنيع المنظمة — وتحديداً إدارة الانحرافات، وتحليل الأسباب الجذرية، والإجراءات التصحيحية والوقائية (CAPA) — لحوكمة أنظمة الذكاء الاصطعي عبر التعامل مع القياسات التشغيلية عن بُعد كأنها سجلات جودة، مبرهنةً من خلال دراسة حالة لقانون الهجرة في المملكة المتحدة أن هذا النهج يحدد بفعالية المشكلات النظامية ويُفعل المساءلة، رغم أنه يتطلب تحققاً رسمياً من الفعالية لإغلاق حلقة الحوكمة بشكل كامل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما تصنع شركة مصنع أدوية أو قطعة غيار لطائرة، تكون القواعد صارمة. إذا أنتجت آلة برغياً أقصر قليلاً مما ينبغي، أو حبة دواء وُضعت عليها ملصقات خاطئة، فإن هذا الخطأ ليس مجرد خلل عابر؛ بل هو "انحراف". في هذه العوالم المنظمة، لا تكتفي الشركات بالتخلص من المنتج السيئ وتأمل أن تسير الأمور على ما يرام، بل يوقفون خط الإنتاج، ويحققون بدقة في سبب وقوع الخطأ، ويصلحون الآلة، ثم يثبتون أن الإصلاح قد نجح بالفعل قبل البدء في التصنيع مرة أخرى. هذه الدورة المتمثلة في إيجاد الأخطاء، والبحث عن سببها الحقيقي، والتحقق من الحل، هي تخصص عمره قرن من الزمان يُسمى هندسة الجودة. وهي مصممة لاكتشاف المشكلات قبل أن تؤذي البشر. واليوم، تسلم المؤسسات مهاماً مشابهة عالية المخاطر للذكاء الاصطناعي؛ حيث يستخدم المحامون الذكاء الاصطناعي لفرز الوثائق القانونية، ويستخدمه الأطباء لقراءة الصور الإشعاعية، وتستخدمه البنوك للموافقة على القروض. ولكن عندما ترتكب هذه الأنظمة الذكية خطأً، غالباً ما تغيب قواعد هندسة الجودة القديمة. نحن نعرف كيف نصلح ذراع روبوت مكسور، لكننا لا نزال نتعلم كيفية إصلاح خوارزمية معطلة تقوم بصمت بفرز الوثائق بشكل خاطئ لآلاف الأشخاص.
قررت باحثة تُدعى مسرت كبير تشيستي اختبار ما إذا كان يمكن تطبيق قواعد مراقبة جودة المصانع الصارمة والقديمة على نظام ذكاء اصطناعي حي يعمل فعلياً. ونظرت في مثال من الواقع: نظام أتمتة وثائق يُستخدم في شركة محاماة للهجرة في المملكة المتحدة. صُمم هذا النظام لقراءة آلاف الأوراق القانونية، ومعرفة نوع كل منها، وفرزها في المجلدات الرقمية الصحيحة لمئات القضايا المختلفة. لم يكن النظام مثالياً؛ فخلال فترة محددة من الهجرة وإعادة الإطلاق، عالج النظام أكثر من 42,000 إجراء. تعاملت الباحثة مع سجلات الكمبيوتر لهذا النظام كأنها سجل جودة مصنع. وبدلاً من النظر في الكود البرمجي أو الرياضيات الكامنة وراء الذكاء الاصطناعي، نظرت إلى الأخطاء الفعلية التي ارتكبها النظام والتصحيحات التي اضطر البشر للقيام بها. أرادت معرفة ما إذا كان يمكن اتباع خطوات هندسة الجودة القياسية — إيجاد الخطأ، ومعرفة سببه، وإصلاحه، وإثبات أن الإصلاح قد نجح — باستخدام البيانات التي أنتجها النظام نفسه فقط.
كشفت الدراسة أن سجلات النظام كانت قوية بما يكفي لتعمل كسجل جودة. وجدت الباحثة أن النظام ارتكب أنواعاً محددة من الأخطاء، مثل فرز نفس الوثيقة مرتين، أو وضع ملف في فئة خاطئة، أو الفشل في التحقق من محتوى الوثيقة. ومن خلال تجميع هذه الأخطاء، اكتشفت أن ثلاثة أنواع فقط من الأخطاء شكلت ما يقرب من 72 بالمائة من جميع التصحيحات المطلوبة. ومع ذلك، فإن مجرد عد الأخطاء قدم قصة مضللة؛ فإذا نظرت فقط إلى العدد الإجمالي للمرات التي وقع فيها الخطأ، فقد تعتقد أن الخطأ الأكثر شيوعاً هو الأهم للإصلاح. ولكن عندما نظرت الباحثة إلى الأخطاء من منظور القضايا الفعلية — أي عدد العملاء الفريدين الذين تأثروا — تغير الترتيب. فبعض الأخطاء التي تكررت كثيراً كانت في الواقع بسيطة وأثرت على عدد قليل من الناس، بينما كانت أخطاء أخرى نادرة بالغة الخطورة لدرجة أنها قد تخلط بين القضايا القانونية الكاملة لشخصين مختلفين. أظهر هذا أن عد الأخطاء ليس كافياً؛ بل يجب وزنها بمدى خطورتها على الأشخاص المعنيين.
تعمق التحقيق لمعرفة سبب وقوع هذه الأخطاء. وباستخدام طريقة ترسم المسارات للأسباب مثل مخطط "عظمة السمكة"، تتبعت الباحثة المشكلات وصولاً إلى جذورها. ومن المثير للدهشة أن المشكلات الكبرى لم تكن بسبب كون نموذج الذكاء الاصطناعي "غبياً" أو غير قادر على فهم اللغة، بل كانت الأخطاء غالباً ناتجة عن كيفية إعداد البيانات أو كيفية إعداد النظام. على سبيل المثال، تم مسح بعض الوثائق ضوئياً بطريقة جعلتها تبدو فارغة بالنسبة للكمبيوتر، أو كان النظام يفتقر إلى رمز محدد مطلوب لفرز نوع معين من النماذج. كان السبب الجذري غالباً عبارة عن فجوة في كيفية نقل المعرفة من المحامين إلى البرنامج، وليس فشلاً في "عقل" الذكاء الاصطناعي. ثم اتخذ الفريق إجراءات تصحيحية: أصلحوا البيانات، وأضافوا قواعد جديدة لالتقاط عمليات المسح الفارغة، وعدلوا إعدادات الثقة في النظام. وسجلوا كل تغيير، تماماً كما يسجل المصنع عملية إصلاح.
ومع ذلك، وجدت الدراسة أيضاً جزءاً مفقوداً وحاسماً في الحلقة. فبينما نجح الفريق في إيجاد الأخطاء، والتحقيق فيها، وتطبيق الإصلاحات، لم يتمكنوا من إثبات نجاح الإصلاحات بشكل كامل على المدى الطويل. ولأن البيانات جاءت من فترة قصيرة ومكثفة من الهجرة والإصلاح، لم تكن هناك فترة زمنية طويلة تلت ذلك لمراقبة النظام ورؤية ما إذا كانت الأخطاء ستتوقف. في دورة الجودة الحقيقية، يجب أن تنتظر وتتحقق من أن المشكلة لن تعود. لقد أظهر الباحثون أنه يمكنهم القيام بكل شيء حتى تلك الخطوة الأخيرة، لكن الخطوة الأخيرة تطلبت نوعاً مختلفاً من الأدلة التي لا تستطيع السجلات وحدها توفيرها. لم يتمكنوا من الجزم بأن خفض حد الثقة في النظام كان آمناً لأنهم لم يمتلكوا طريقة للتحقق من الإجابات الصحيحة مقابل تخمينات النظام بعد الإصلاح.
يشير هذا العمل إلى طريقة جديدة لحوكمة الذكاء الاصطناعي. فهو يثبت أنه يمكننا التعامل مع إخفاقات الذكاء الاصطناعي ليس كأعطال غامضة في "صندوق أسود"، بل كاختلافات جودة قابلة للقياس يمكن تتبعها، والتحقيق فيها، وإصلاحها باستخدام أساليب هندسية راسخة. يمكن لسجلات النظام أن تخبرنا بما سار بشكل خاطئ وتساعدنا في تحديد أولويات الإصلاحات الأكثر أهمية. لكنها تضع أيضاً حداً واضحاً: البيانات المستمدة من النظام ليست كافية لإغلاق الحلقة بمفردها. لضمان السلامة حقاً، يجب على المؤسسات إضافة فحوصات محددة، مثل معرفة عدد الحالات المتأثرة بدقة وامتلاك خطة للتحقق من صمود الإصلاحات بمرور الوقت. لا تدعي الدراسة أنها حلت جميع مشكلات سلامة الذكاء الاصطناعي، لكنها تقدم منهجاً ملموساً وعملياً لتحمل المسؤولية عندما تسوء الأمور. إنها تظهر أنه من خلال تطبيق العادات المنضبطة لهندسة الجودة، يمكننا الانتقال من مجرد الأمل في أن يعمل ذكاؤنا الاصطناعي إلى المعرفة الفعلية بكيفية إصلاحه عندما لا يعمل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.