Selective Prediction Reduces the Negative Effects of Automation Bias Overall but Increases False Negatives
بينما يساعد التنبؤ الانتقائي الأطباء على استعادة دقة القرار الإجمالية من الآثار السلبية لانحياز الأتمتة عن طريق إخفاء مخرجات الذكاء الاصطناğu غير الموثوقة، فإنه يؤدي دون قصد إلى زيادة السلبيات الكاذبة من خلال التسبب في تشخيص ناقص وعلاج ناقص عندما يمتنع الذكاء الاصطناعي عن تقديم مخرجات.
المؤلفون الأصليون:Sarah Jabbour, David Fouhey, Nikola Banovic, Stephanie D. Shepard, Ella Kazerooni, Michael W. Sjoding, Jenna Wiens
تخيل أنك تسير في غابة كثيفة، وقد استعنت بمرشد عالي التقنية لمساعدتك في العثور على الطريق. يمتلك هذا المرشد قوة خارقة: يمكنه رصد المخاطر والمختصرات التي قد تفوتك. لكن هنا تكمن العقبة؛ فالمرشد ليس مثاليًا، فأحيانًا يشير إليك بثقة نحو منحدر، أو يصاب بارتباك شديد لدرجة أنه يتوقف عن الكلام تمامًا. في عالم العلوم، هذه هي قصة الذكاء الاصطنا-لي (AI) الذي يساعد البشر في اتخاذ القرارات. نحن نسمي مشكلة الثقة العمياء بمرشد مخطئ "التحيز للأتمتة" (automation bias). ولإصلاح ذلك، توصل العلماء إلى فكرة ذكية تسمى "التنبؤ الانتقائي" (selective prediction). الأمر يشبه قولك لمرشدك: "إذا لم تكن متأكدًا بنسبة 100%، فابق صامتًا واتركني أتدبر أمري". كان الأمل هو أنه من خلال إخفاء تخمينات المرشد السيئة، سيكون البشر أكثر أمانًا وذكاءً. ولكن هل الصمت يساعد حقًا، أم أنه يجعل الإنسان يشعر بالضياع وعدم اليقين؟ هذا هو السؤال الكبير الذي أراد الباحثون في جامعة ميشيغان وجامعة نيويورك الإجابة عليه.
قرر الفريق اختبار هذه الفكرة في بيئة عالية المخاطر: مستشفى. لقد جمعوا 259 طبيبًا ومتخصصًا طبيًا حقيقيًا للعب لعبة ما. قدموا لهم 45 قصة مريض مختلفة (تسمى سيناريوهات) عن أشخاص يعانون من ضيق في التنفس. كان على الأطباء معرفة ما إذا كان المرضى يعانون من الالتهاب الرئوي، أو فشل القلب، أو مرض رئوي يسمى الانسداد الرئوي المزمن (COPD)، ثم تحديد الدواء المناسب. وضع الباحثون ثلاثة سيناريوهات مختلفة. أولًا، عمل الأطباء بمفردهم. ثانيًا، عملوا مع ذكاء اصطناعي يقدم إجابة لكل سؤال، حتى لو كانت الإجابة خاطئة. ثالثًا، عملوا مع ذكاء اصطنا-لي يستخدم "التنبؤ الانتقائي" — مما يعني أن الذكاء الاصطناعي سيقول أحيانًا: "لست متأكدًا، القرار لك"، ويخفي إجابته لأمراض معينة.
جاءت النتائج بشكل مفاجئ. عندما كان الذكاء الاصطناعي يلقي بالإجابات الخاطئة فحسب، ارتكب الأطباء المزيد من الأخطاء، مما يثبت أن الذكاء الاصطنا-لي السيئ يمكن أن يفسد الأمور بالتأكيد. ولكن عندما استخدم الذكاء الاصطناعي "التنبؤ الانتقائي" وظل صامتًا في الأجزاء الصعبة، فقد ساعد الأطباء في تجنب بعض الأخطاء. ومع ذلك، لم يحل ذلك كل شيء. في الواقع، عندما قال الذكاء الاصطنا-لي: "أنا أحيل الأمر إليك"، بدأ الأطباء في ارتكاب نوع آخر من الأخطاء: توقفوا عن علاج المرضى الذين يحتاجون بالفعل إلى المساعدة. لقد أصبحوا مفرطين في الحذر. الأمر كما لو أن صمت المرشد جعل المتنزهين يفكرون: "إذا لم يكن المرشد يشير إلى وجود خطر، فربما لا يوجد خطر"، لذا توقفوا عن البحث عنه.
وجدت الدراسة أن تأثير "الذكاء الاصطنا-لي الصامت" كان قويًا بشكل خاص لدى الأطباء الذين لم يستخدموا أدوات الذكاء الاصطنا-لي من قبل. كان هؤلاء الأطباء أكثر عرضة لعدم علاج المرضى بشكل كافٍ عندما يتراجع الذكاء الاصطنا-لي. يشير الباحثون إلى أن سماع الذكاء الاصطنا-لي وهو يقول "لا أعرف" قد يجعل الأطباء يشعرون أن الحالة ليست مهمة، أو قد يجعل المهمة برمتها تبدو أصعب وأكثر إرباكًا. بينما يعد التنبؤ الانتقائي شبكة أمان جيدة لمنع الأطباء من اتباع نصائح سيئة، إلا أن هذه الورقة تشير إلى أنه ليس عصا سحرية. إنه يغير الطريقة التي يفكر بها الأطباء، مما يجعلهم أحيانًا يغفلون عن المشكلات التي يحتاجون بالفعل إلى حلها. ويخلص المؤلفون إلى أنه لا يمكننا افتراض أن صمت الذكاء الاصطنا-لي هو دائمًا أمر جيد؛ إذ يجب أن نكون حذرين بشأن كيفية تغييره للسلوك البشري، لأننا في الطب، قد يكون تفويت التشخيص خطيرًا بقدر الحصول على تشخيص خاطٍ.
المشكلة يمكن للنماذج المتقدمة من الذكاء الاصطناعي أن تنتج تنبؤات غير دقيقة، والتي قد تؤدي عند نشرها إلى الإضرار باتخاذ القرار البشري من خلال "تحيز الأتمتة" (الاعتماد المفرط على مخرجات الذكاء الاصطناعي غير الصحيحة). وللتخفيف من ذلك، تم اقتراح "التنبؤ الانتقائي" (أو إرجاء الذكاء الاصطناعي)، حيث يمتنع نظام الذكاء الاصطناعي عن تقديم التنبؤات في الحالات التي يعتبرها قد تكون ضارة، ويطلب من الإنسان اتخاذ القرار بشكل مستقل. ومع ذلك، تعتمد التقييمات التقليدية لهذا النهج على محاكاة تفترض أنه عندما يمتنع الذكاء الاصطناعي عن التنبؤ، يعود البشر إلى أدائهم الأساسي كما لو لم يكن هناك ذكاء اصطناعي متدخل. لم يتم التحقق من هذا الافتراض في المهام متعددة الملصقات (multilabel)، حيث قد يحجب الذكاء الاصطناعي بعض التنبؤات بينما يكشف عن أخرى. علاوة على على ذلك، ركزت الدراسات التجريبية السابقة على الإرجاء (deferral) بشكل كبير على الإعدادات الثنائية ذات المخرج الواحد، مما ترك فجوة في فهم كيفية عمل التنبؤ الانتقائي في سير العمل السريري المعقد متعدد الملصقات.
المنهجية أجرى المؤلفون دراسة مسجلة مسبقاً قائمة على السيناريوهات (vignette-based study) شملت 259 ممارساً طبياً (أطباء وممارسين متقدمين) يديرون مرضى في المستشفيات يعانون من فشل تنفسي حاد (ARF). استخدمت الدراسة 45 حالة مريض من العالم الحقيقي، لكل منها تشخيصات حقيقية لثلاث حالات متزامنة: الالتهاب الرئوي، وفشل القلب، ومرض الانسداد الرئوي المزمن (COPD).
قارن التصميم التجريبي أداء الأطباء عبر ثلاث حالات:
الطبيب بمفرده: لا يوجد مدخل من الذكاء الاصطناعي.
الطبيب + الذكاء الاصطناعي: قدم الذكاء الاصطناعي تنبؤات للحالات الثلاث جميعها، بغض النظر عن دقتها.
الطبيب + التنبؤ الانتقائي: حجب الذكاء الاصطناعي التنبؤات التي حددها كحالات قد تكون ضارة (غير دقيقة) وأبلغ الطبيب صراحةً بأنه يتراجع عن التنبؤ ("النموذج يحيل الأمر إليك")، مع إظهار التنبؤات للحالات الأخرى.
تم بناء آلية التنبؤ الانتقائي باستخدام الحقيقة الأرضية (ground truth) اللاحقة لتحديد التنبؤات التي قد تكون ضارة. ولمحاكاة عيوب النشر الواقعية، حجبت الآلية جميع التنبؤات غير الصحيحة، ولكنها حجب أيضاً مجموعة فرعية صغيرة (11%) من التنبؤات الصحيحة. تم توزيع الأطباء عشوائياً على حالات المساعدة بالذكاء الاصطناعي وطُلب منهم تشخيص أسباب الفشل التنفسي الحاد واختيار العلاجات المقابلة (المضادات الحيوية، أو مدرات البول، أو الستيرويدات). تم قياس الأداء من خلال دقة العلاج، ومعدلات الإيجاب الكاذب (FPR)، ومعدلات السلب الكاذب (FNR)، مع استخدام التحليل الإحصائي باستخدام نماذج التأثيرات المختلطة لمراعاة القياسات المتكررة.
المساهمات الرئيسية تقدم هذه الدراسة أول تقييم للتنبؤ الانتقائي في مهمة اتخاذ قرار سريري متعددة الملصقات. يتحدى المؤلفون الافتراض السلوكي بأن اتخاذ القرار البشري يظل محايداً عندما يمتنع الذكاء الاصطناعي صراحةً. وبشكل محدد، يوضحون ما يلي:
يخفف التنبؤ الانتقائي جزئياً من التأثير السلبي للذكاء الاصطناعي غير الدقيق على دقة العلاج الإجمالية.
يغير التنبؤ الانتقائي بشكل جوهري نوع الأخطاء التي يرتكبها الأطباء، وتحديداً زيادة حالات السلب الكاذب (نقص العلاج) عندما يمتنع الذكاء الاصطناعي عن التنبؤ.
تختلف هذه التأثيرات باختلاف خصائص الأطباء، حيث أظهر أولئك الذين يفتقرون إلى الخبرة السابقة في الذكاء الاصطناعي وأولئك الذين لديهم تدريب طبي أقل (الممارسون المتقدمون) استجابة أقوى لهذه التحولات في الأخطاء.
النتائج
تأثير الذكاء الاصطناعي غير الدقيق: عندما عُرضت على الأطباء جميع تنبؤات الذكاء الاصطناعي (بما في ذلك غير الدقيقة منها)، انخفضت دقة علاجهم بشكل كبير (من 62% إلى 50%) مقارنة بالأساس، مدفوعة بزيادة في كل من الإيجاب الكاذب والسلب الكاذب.
تأثير التنبؤ الانتقائي: عندما حجب الذكاء الاصطناعي التنبؤات غير الدقيقة، تحسنت دقة العلاج مقارنة بحالة "الطبيب + الذكاء الاصطناعي" (55% مقابل 50%)، لكنها لم تستعد بالكامل إلى خط الأساس "الطبيب بمفرده" (62%).
تحول الخطأ: بينما عاد معدل الإيجاب الكاذب إلى مستويات خط الأساس تحت ظروف التنبؤ الانتقائي، ظل معدل السلب الكاذب مرتفعاً بشكل ملحوظ (42% مقابل 31% في خط الأساس). يشير هذا إلى أنه عندما يتم إبلاغ الأطباء بأن الذكاء الاصطناعي يتراجع عن التنبؤ، يصبحون أكثر عرضة بشكل كبير لعدم علاج المرضى الذين يحتاجون إلى تدخل.
تحليل المجموعات الفرعية: كان ارتفاع معدل السلب الكاذب تحت التنبؤ الانتقائي واضحاً بشكل خاص بين الأطباء الذين لم يسبق لهم استخدام الذكاء الاصطناعي في ممارستهم (غير ذوي الخبرة بالذكاء الاصطناعي) وبين الممارسين المتقدمين (APPs) مقارنة بالأطباء.
الصعوبة المدركة: شعر الأطباء بصعوبة الحالات عندما كان الذكاء الاصطناعي موجوداً، وكانت تقييمات الصعوبة في أعلى مستوياتها عندما استخدم الذكاء الاصطناعي التنبؤ الانتقائي.
الأهمية تجادل الورقة بأن التنبؤ الانتقائي لا ينبغي معاملته كآلية "سلامة" افتراضية دون تقييم سياقي. فبينما يقلل من الاعتماد المفرط على مخرجات الذكاء الاصطناعي الضارة (تقليل الإيجاب الكاذب)، فإنه يستحدث خطراً جديداً: وهو تحويل الأطباء نحو نقص العلاج (زيادة السلب الكاذب). وفي السياقات عالية المخاطر مثل الفشل التنفسي الحاد، حيث يمكن أن يكون نقص العلاج أكثر ضرراً من الإفراط في العلاج، يعد هذا التوازن أمراً بالغ الأهمية. تؤكد النتائج أن مجرد امتناع الذكاء الاصطناعي عن التنبؤ ليس حدثاً محايداً؛ بل هو يغير التفكير البشري، ويرجع ذلك على الأرجح إلى "تحيز التوافر" أو سوء تفسير التراجع على أنه غياب للتشخيص. وبناءً على ذلك، يخلص المؤلفون إلى ضرية وجوب تقييم أنظمة الذكاء الاصطناعي ضمن سير العمل الواقعي، مع إيلاء اهتمام وثيق لنوع الأخطاء الأكثر قبولاً في مجال سريري محدد.