Establishing AI State of Control: An Error Taxonomy and Assurance Framework for Transformer-Based Probabilistic Systems in Regulated Life Sciences

في عالم تصنيع الأدوية عالي المخاطر، حيث يمكن لخطأ واحد أن يعرض سلامة المرضى للخطر، تعتمد الشركات على قواعد صارمة لضمان كمال كل خطوة في عملية إنتاج الدواء. ولعقود من الزمن، بُنيت هذه القواعد على فكرة الحتمية: إذا وضعت مجموعة محددة من المكونات في آلة ما، فستحصل على النتيجة ذاتها تماماً في كل مرة. وإذا حدث خطأ ما، يمكن للمهندسين تتبع الفشل وصولاً إلى ترس مكسور أو مستشعر غير متوافق. لكن نوعاً جديداً من التكنولوجيا بدأ يغير هذا المشهد؛ إذ بدأت النماذج اللغوية الكبيرة، وهي نفس نوع الذكاء الاصطناعي الذي يمكنه كتابة الشعر أو تلخيص التقارير المعقدة، في دخول هذه البيئات المنظمة. وبخلاف الآلات القديمة، فإن هذه الأنظمة احتمالية؛ فهي لا تحسب إجابة واحدة صحيحة، بل تتنبأ بالكلمة التالية الأكثر احتمالاً في الجملة بناءً على الأنماط التي تعلمتها. وهذا يعني أنه حتى عند إعطائها نفس التعليمات تماماً، قد ينتج النظام مخرجاً مختلفاً قليلاً، وربما غير صحيح. ويتمثل التحدي الذي يواجه المنظمين وخبراء الجودة في أن الأدوات القديمة لإيجاد الأخطاء وإصلاحها صُممت لآلات لا تخمن أبداً، وليس لأنظمة تقوم بالتقدير باستمرار.

وقد اقترحت باحثة تُدعى كايلا بريت طريقة جديدة لإدارة عدم اليقين هذا، وتحديداً لأنظمة الذكاء الاصطناعي المستخدمة في علوم الحياة. إن المشكلة الجوهرية التي تعالجها هي أن أنظمة الجودة الحالية تفتقر إلى اللغة التي تصف ما يحدث عندما يرتكب الذكاء الاصطناعي خطأً. فإذا فشل برنامج تقليدي، فعادة ما يكون ذلك "خطأ برمجياً" واضحاً. ولكن عندما يقوم الذكاء الاصطناعي بـ "هلوسة" وثيقة تبدو حقيقية ولكنها ليست كذلك، أو يتجاهل تعليمات حاسمة لأنه كان واثقاً من معرفته بالأمر، فإن الملصقات القديمة لا تناسب هذه الحالات. وهذا الارتباك يجعل من المستحيل إجراء تحقيق صحيح في السبب الجذري أو إصلاح المشكلة. ولحل هذه المعضلة، قدمت بريت نظام تصنيف جديد، وهو عبارة عن خريطة ثنائية الأبعاد تقسم أخطاء الذكاء الاصطناعي إلى فئتين محددتين: نوع الخطأ الذي وقع، والنقطة الدقيقة في بنية النظام التي بدأ منها الخطأ.

تخيل شبكة حيث يدرج أحد جوانبها ست طرق مختلفة يمكن أن يفشل بها الذكاء الاصطناعي، مثل اختلاق الحقائق، أو سوء تفسير السياق، أو الثقة المفرطة في الإجابة. والجانب الآخر يسرد ستة أماكن مختلفة يمكن أن ينشأ منها الفشل، مثل البيانات التي تدرب عليها النموذج، أو النظام الذي يسترجع المعلومات، أو الطريقة التي يتفاعل بها الذكاء الاصطناعي مع المستخدمين البشر. ومن خلال دمج هاتين القائمتين، ينشئ الإطار ستة وثلاثين "خلية" محددة يمكن تسجيل أي خطأ فيها. وهذا يسمح لمهندس الجودة ألا يقول فقط إن الذكاء الاصطناعي قد فشل، بل أن يحدد بدقة أنه ارتكب "خطأ تأليف" (اختلاق حقيقة) نشأ في مرحلة "استنتاج النموذج" (اللحظة التي أنشأ فيها الذكاء الاصطناعي النص). هذا المستوى من التفصيل يحول الشكوى الغامضة إلى أداة تشخيصية محددة، مما يمكن الفرق من فهم كيفية تعطل النظام بالضبط.

وتذهب الورقة البحثية إلى أبعد من ذلك بالإقرار بأن ليس كل أخطاء الذكاء الاصطناعي يمكن القضاء عليها تماماً. ولأن هذه الأنظمة مبنية على الاحتمالات، فإن بعض الأخطاء متأصلة في تصميمها ولا يمكن هندستها لتختفي تماماً. ويقدم الإطار مفهوم "بوابة عدم القابلية للاختزال" للفصل بين الأخطاء التي يمكن إصلاحها ببرمجة أو بيانات أفضل، وتلك التي يجب إدارتها من خلال تحديد مكان وكيفية استخدام النظام. فإذا اعتُبر الفشل "غير قابل للاختزال"، فإن الحل ليس محاولة إجبار الذكاء الاصطناعي على أن يكون مثالياً، بل تقييد نطاقه بحيث يتم احتواء العواقب حتى لو ارتكب خطأً. فعلى سبيل المثال، إذا كان الذكاء الاصطناعي عرضة لاختلاق استشهادات طبية، فقد يتم تصميم النظام ليسمح له فقط بتلخيص النصوص التي تم التحقق منها بالفعل من قبل بشري، بدلاً من تركه ينشئ استشهادات جديدة بمفرده.

ولاختبار هذا النهج، تستعرض المؤلفة سيناريو عملياً يتضمن شركة أدوية تستخدم الذكاء الاصطناعي لتلخيص سجلات التصنيع. في هذه الحالة، حدد الذكاء الاصطناعي بشكل صحيح مشكلة في درجة الحرارة في سجل التشغيلة، ولكنه اخترع سبباً كاذباً لذلك، مدعياً أن صماماً قد تعطل بينما ذكر السجل في الواقع أنه خطأ بشري. وباستخدام التصنيف الجديد، يمكن للفريق تحديد أن هذا كان خطأ "تأليف" ناتجاً عن طبقة "استنتاج النموذج"، وليس مجرد خلل برمجي بسيط. وقد أدى هذا التشخيص المحدد إلى حل مستهدف: إضافة خطوة تحقق تتحقق مما إذا كان النص الذي أنشأه الذكاء الاصطناعي يتطابق مع الحقائق الموجودة في الوثيقة المصدر قبل عرضه على الإنسان. وهذا حل أكثر فعالية من الأمر العام بـ "فحص البرمجيات".

كما يتماشى الإطار المقترح مع العملية المكونة من ثلاث مراحل المستخدمة من قبل إدارة الغذاء والدواء الأمريكية (FDA) للتحقق من عمليات التصنيع. فبدلاً من محاولة إثبات أن الذكاء الاصطناعي لن يفشل أبداً، تركز الطريقة الجديدة على إثبات أن إخفاقات الذكاء الاصطناعي ستبقى ضمن حدود معروفة وآمنة. ويتضمن ذلك اختبار النظام مع العديد من المتغيرات لنفس المدخلات لمعرفة مدى تباين المخرجات، والتأكد من أن هذا التباين صغير بما يكفي ليكون آمناً. وإذا ظل النظام ضمن هذه الحدود، فيمكن الموافقة على استخدامه، بشرط أن يظل البشر حاضرين في الحلقة لمراقبة الأخطاء النادرة التي قد تفلت من النظام.

ويشير هذا العمل إلى أن المستقبل الآمن للذكاء الاصطناعي في الطب لا يكمن في محاولة جعل هذه الأنظمة الاحتمالية تسلك سلوك الآلات الحتمية، وهو أمر مستبعد تماماً. بل يكمن في قبول طبيعتها، ورسم خرائط لنقاط ضعفها المحددة بدقة، وبناء ضوابط تعمل مع حدودها. ومن خلال منح فرق الجودة مفردات واضحة وطريقة مهيكلة لتصنيف الإخفاقات، يوفر هذا الإطار مساراً للمضي قدماً في استخدام الأدوات القوية دون المساس بسلامة الأدوية التي نعتمد عليها. وتخلص الورقة إلى أنه بينما لا تزال التكنولوجيا في طور التطور، فإن امتلاك طريقة معيارية لتعريف وتسجيل وإدارة هذه الأخطاء هو الخطوة الأولى والأساسية لإبقائها تحت السيطرة.