Medical errors in large language models revealed using 1,000 synthetic clinical transcripts
تكشف هذه الدراسة أنه على الرغم من تحقيق دقة تشخيصية عالية في السير المرضية الكاملة، إلا أن النماذج اللغوية الكبيرة تظهر إخفاقات حرجة في السلامة — بما في ذلك تثبيط الفحوصات الضرورية وخفض تصنيف فرز الحالات بشكل غير لائق للحالات المهددة للحياة، مع وجود تفاوتات جنسانية كبيرة — وذلك عند تقييمها مقابل 1,000 نص سريري اصطناعي تحاكي التعقيد الطبي في العالم الحقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدرب طباخاً جديداً على إعداد وجبة معقدة. الطريقة التقليدية لاختباره هي إعطاؤه بطاقة وصفة تحتوي على تعليمات مثالية وخطوة بخطوة لوجبة كلاسيكية مثل "سباغيتي كاربونارا". إذا صنعها بشكل مثالي، فإنك تفترض أنه طباخ رائع.
لكن في العالم الحقيقي، لا يعطيك العملاء بطاقات وصفة مثالية؛ بل يقولون أشياء مثل: "أنا جائع، ومعدتي تؤلمني، وأعتقد أنني أكلت شيئاً غريباً بالأمس، لكني لست متأكداً مما هو". قد يكونون مشتتين، أو يتحدثون بلكنة ثقيلة، أو ينسون ذكر أن لديهم حساسية شديدة.
هذه الورقة البحثية تتحدث عن فريق من الباحثين الذين قرروا التوقف عن اختبار الذكاء الاصطناعي الطبي (وتحديداً النماذج اللغوية الكبيرة أو LLMs) باستخدام "بطاقات وصفة" مثالية. بدلاً من ذلك، قاموا ببناء محاكي ضخم وعالي التقنية لإنشاء 1,000 محادثة مختلفة وواقعية وفوضوية بين طبيب ومريض.
إليك تفاصيل ما وجدوه، باستخدام تشبيهات بسيطة:
1. اختبار "المثالي مقابل الفوضوي"
أنشأ الباحثون 1,000 مريض وهمي يعانون من صداع. بعضهم كان يعاني من صداع توتري بسيط؛ والبعض الآخر كان يعاني من نزيف دماغي يهدد الحياة.
- السيناريو المثالي: أعطوا الذكاء الاصطناحي القصة الكاملة (100% من المعلومات).
- السيناريو الفوضوي: أعطوا الذكاء الاصطناعي جزءاً صغيراً جداً من القصة (20% من المعلومات)، لمحاكاة مريض مرتبك، أو يتألم، أو لا يستطيع تذكر التفاصيل.
النتيجة:
عندما حصل الذكاء الاصطناعي على القصة الكاملة، كان عبقرياً. لقد شخص المشكلة بشكل صحيح بنسبة 97.5%. كان الأمر يشبه طباخاً يمكنه إعداد وجبة مثالية عندما تُسلم إليه وصفة مثالية.
ولكن هذا هو الجزء المخيف: عندما كانت القصة ناقصة، لم يقل الذكاء الاصطناعي: "أحتاج إلى مزيد من المعلومات لأكون آمناً". بدلاً من ذلك، خمن بثقة وبشكل خطير.
2. مشكلة "التخمين المفرط في الثقة"
في الطب الحقيقي، إذا لم يكن لدى الطبيب معلومات كافية، فإنه يتصرف كالمحقق الحذر. يقول: "لا يمكنني استبعاد وجود نزيف في الدماغ بعد، لذا دعونا نجرِ اختباراً".
أما الذكاء الاصطناعي، فقد تصرف كمقامر متهور.
- فشل البزل القطني: بالنسبة للمرضى الذين يعانون من نوع معين من نزيف الدماغ (نزيف تحت العنكبوتية)، فإن الاختبار القياسي هو البزل القطني (سحب السائل الشوكي). عندما لم يكن لدى الذكاء الاصطناعي الجدول الزمني الكامل لألم المريض، لم يقل: "أنا لا أعرف". بل قال بثقة: "لا، لا تقم بإجراء البزل القطني."
- فخ الفرز الطبي: بالنسبة لحالات الطوارئ المهددة للحياة، غالباً ما أخبر الذكاء الاصطناعي المرضى بـ "الذهاب للمنزل والاستراحة" أو "الانتظار لبضعة أشهر" بدلاً من إخبارهم بالتوجه إلى غرفة الطوارئ فوراً. في الواقع، عندما كانت المعلومات ناقصة، أخبر الذكاء الاصطناዊ ما يقرب من 55% من هؤلاء المرضى الذين يعانون من حالات طارئة بأن يديروا الأمر بأنفسهم فقط.
3. خلل "التحيز الجنسي"
وجدت الدراسة أن الذكاء الاصطناعي لم يكن يرتكب أخطاء عشوائية فحسب، بل كان لديه تحيز.
- التشبيه: تخيل حارس أمن يكون حذراً للغاية مع الرجال، لكنه يفترض أن النساء مجرد "يبالغن في رد الفعل".
- الواقع: كان الذكاء الاصطناعي أكثر عرضة بشكل كبير لإخبار المريضات (خاصة اللواتي تتراوح أعمارهن بين 30 و50 عاماً) بالذهاب إلى المنزل وإدارة حالتهن ذاتياً، حتى عندما ظهرت عليهن أعراض حالة مهددة للحياة. كان أكثر عرضة بـ 3 مرات لارتكاب هذا الخطأ الخطير مع النساء مقارنة بالرجال.
4. النموذج "المصغر" مقابل "المحترف"
اختبر الباحثون نسختين من الذكاء الاصطناعي: نسخة "المحترف" (GPT-5.2) ونسخة "المصغر" (GPT-5-mini).
- التشبيه: فكر في نسخة "المحترف" كطبيب أخصائي كبير، ونسخة "المصغر" كمتدرب سريع ورخيص.
- النتيجة: كانت النسخة "المصغرة" أسوأ بكثير. فقد أوصت بمسكنات آلام خطيرة (مثل الكوديين) بشكل أكثر تكراراً، وأخطأت في التشخيص بشكل متكرر، وكانت أكثر عرضة لإرساء مرضى الطوارئ إلى منازلهم.
- لماذا هذا مهم: تستخدم العديد من تطبيقات الصحة العامة ومحركات البحث هذه النماذج "المصغرة" الأرخص. تشير هذه الدراسة إلى أن استخدام النموذج الأرخص للحصول على نصيحة صحية يشبه توظيف متدرب لإجراء عملية جراحية.
5. الخلل الجوهري: "غياب الدليل"
الدرس الأكبر من هذه الورقة هو كيف يتعامل الذكاء الاصطناعي مع المعلومات المفقودة.
- المنطق البشري: إذا لم أرَ حريقاً، لكني شممت دخاناً وسمعت صافرة إنذار، فأنا أفترض أن هناك احتمالاً لوجود حريق وأتصل بإدارة الإطفاء. (نحن نفترض الأسوأ لنبقى آمنين).
- منطق الذكاء الاصطناعي: إذا لم أرَ حريقاً في البيانات، فأنا أفترض عدم وجود حريق. (يفترض أنه إذا لم يتم كتابة عرض معين صراحةً، فإن المرض غير موجود).
يُسمى هذا "الخلط بين غياب الدليل والدليل على الغياب". ولأن الذكاء الاصطناعي هو آلة احتمالات، فإنه ينظر إلى البيانات المفقودة ويفكر: "إحصائياً، من المحتمل أن يكون هذا مجرد صداع عادي"، بدلاً من التفكير: "هذا لغز، والألغاز قد تكون مميتة".
الخلاصة
هذه الورقة هي بمثابة جرس إنذار. فهي تظهر أنه بينما يبدع الذكاء الاصطناعي في سرد الكتب الطبية، فإنه حالياً سيء جداً في التعامل مع الواقع الفوضوي وغير المكتمل للمرضى البشريين الحقيقيين.
إذا سمحنا لهذه الأدوات الذكية بدخول المستشفيات أو تطبيقات الصحة دون إصلاح سلوك "التخمين المتهور" هذا، فقد ترسل أشخاصاً يعانون من نزيف في الدماغ إلى منازلهم ليموتوا، أو تخبر النساء أن آلامهن هي "مجرد أوهام في رؤوسهن" بينما هي في الواقع حالة طبية طارئة.
يدعو الباحثون إلى نوع جديد من "اختبار الضغط" للذكاء الاصطناعي الطبي — اختبار لا يسأل فقط: "هل يمكنك حل لغز؟" بل يسأل: "هل يمكنك البقاء آمناً عندما لا تملك جميع القطع؟"
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.