DeVisE: Behavioral Testing of Medical Large Language Models
تقدم الورقة البحثية DeVisE، وهو إطار عمل للاختبار السلوكي يستخدم اضطرابات مضادة للواقع محكومة في السمات الديموغرافية وعلامات المؤشرات الحيوية في ملاحظات الخروج من وحدة العناية المركزة للكشف عن كيفية تباين النماذج اللغوية الطبية الكبيرة الحالية في حساسيتها واتساق استدلالها، مما يثبت أن المقاييس القياسية غالبًا ما تفشل في رصد الاختلافات السلوكية ذات الصلة سريريًا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت متدرباً طبياً عبقرياً جديداً يدعى "الذكاء الاصطناعي". هذا المتدرب قد قرأ كل الكتب الطبية الموجودة، ويمكنه استحضار الأعراض والعلاجات أسرع من البشر. ولكن قبل أن تسمح له باتخاذ قرارات حقيقية بشأن المرضى، عليك أن تعرف: هل يفهم الطب حقاً، أم أنه مجرد شخص يحفظ الأنماط ويخمن؟
هذه هي المشكلة التي تعالجها ورقة بحثية تسمى DeVisE.
المشكلة: "ورقة الغش" مقابل الفهم الحقيقي
الاختبارات الحالية للذكاء الاصطناي الطبي تشبه إعطاء طالب اختباراً من نوع الاختيار من متعدد. قد يحصل على 90%، لكن هذا لا يخبرنا كيف وصل إلى تلك النتيجة. هل فهم معدل ضربات القلب، أم أنه لاحظ فقط أن "المرضى الأكبر سناً" عادة ما يكونون "أكثر مرضاً" وخمن بناءً على ذلك؟
أراد المؤلفون معرفة ما إذا كان استنتاج الذكاء الاصطناعي حقيقياً أم مجرد سطحي.
الحل: لعبة "ماذا لو؟"
لاختبار ذلك، ابتكر الباحثون لعبة تسمى DeVisE (تقييم العلامات الحيوية والبيانات الديموغرافية). اعتبرها بمثابة محاكي لـ "ماذا لو؟" للأطباء.
إليك كيف لعبوا اللعبة:
- المريض الأصلي: أخذوا سجلاً طبياً حقيقياً من قاعدة بيانات مستشفى (MIMIC-IV). لنقل مثلاً: "السيد سميث، 65 عاماً، معدل ضربات القلب 89 (طبيعي)".
- الواقع البديل (التحول): صنعوا نسخة "توأم" للسيد سميت حيث قاموا بتغيير شيء واحد صغير فقط.
- السيناريو أ: تغيير معدل ضربات القلب من 89 إلى 120 (مرتفع).
- السيناريو ب: تغيير العمر من 65 إلى 25.
- السيناريو ج: تغيير العرق.
- الاختبار: سألوا الذكاء الاصطنا الطبي: "ما هي مخاطر الوفاة للسيد سميث الأصلي؟" ثم، "ما هي مخاطر الوفاة لـ توأم السيد سميث؟"
قواعد اللعبة
وضع الباحثون قاعدتين أساسيتين لما يجب أن يفعله الذكاء الاصطناعي "الذكي":
- القاعدة 1: اختبار نبض القلب (العلامات الحيوية). إذا قمت بتغيير معدل ضربات قلب المريض من طبيعي إلى مرتفع بشكل خطير، يجب أن يقول الذكاء الاصطناعي: "أوه لا، هذا المريض أصبح أكثر مرضاً الآن!"، ويجب أن ترتفع مخاطر الوفاة المتوقعة. إذا قال الذكاء الاصطناعي إن المخاطر بقيت كما هي، فهو يتجاهل الواقع الطبي.
- القاعدة 2: الاختبار الديموغرافي. إذا قمت بتغيير عمر المريض أو جنسه، يجب أن يعدل الذكاء الاصطنا توقعاته قليلاً بناءً على الاتجاهات الطبية الحقيقية، لكن لا ينبغي له أن يقرر فجأة أن المريض يحتضر لمجرد أنه من عرق أو جنس مختلف.
النتائج المفاجئة
اختبر الباحثون 8 نماذج مختلفة من "الذكاء الاصطناعي فائق الذكاء" (بعضها نماذج عامة مثل GPT، وبعضها متخصص في الطب). وإليكم ما وجدوه:
1. فخ "النماذج الجاهزة"
اختبر الباحثون الذكاء الاصطناعي بطريقتين:
- الملاحظات الخام: مثل قراءة ملاحظة طبيب غير مرتبة تحتوي على الكثير من الكلام الإضافي.
- النماذج الجاهزة: مثل نموذج نظيف يعتمد على ملء الفراغات ويحتوي فقط على الأرقام.
النتيجة: عندما قرأ الذكاء الاصطناعي النماذج الجاهزة النظيفة، أصبح شديد الحساسية. لقد تفاعل بجنون مع التغييرات الصغيرة. كان الأمر أشبه بسيارة تعطل فيها دواسة الوقود؛ أي مطب صغير في الطريق جعلها تنحرف. وعند قراءة الملاحظات الخام الفوضوية، كان الذكاء الاصطناعي أكثر هدوءاً واستقراراً، ربما لأن السياق الإضافي ساعده على "التفكير" بشكل يشبه الطبيب البشري الذي ينظر إلى الصورة الكاملة، وليس إلى رقم واحد فقط.
2. "المبالغ في رد الفعل" مقابل "المتجاهل للواقع"
- بعض النماذج (مثل النماذج المتخصصة طبياً) كانت متحفظة للغاية. حتى عندما ارتفع معدل ضربات قلب المريض، لم تغير توقعاتها إلا قليلاً. كانوا مثل طبيب حذر يحتاج لرؤية المريض ثلاث مرات قبل أن يغير رأيه.
- نماذج أخرى (مثل نماذج الاستنتاج الضخمة) كانت حساسة جداً. غيرت توقعاتها بشكل جذري، وأحياناً بشكل مبالغ فيه. كانوا مثل طبيب عصبي يصاب بالذعر عند أول بادرة مشكلة.
3. مشكلة التحيز
عندما قاموا بتغيير عرق أو جنس المريض، تغيرت توقعات الذكاء الاصطناعي بطرق تعكس عدم المساواة في الرعاية الصحية في العالم الحقيقي.
- مثال: توقعت بعض النماذج أن المرضى السود سيبقون في المستشفى لفترة أطول أو لديهم مخاطر أعلى، حتى عندما كانت أرقامهم الطبية مطابقة تماماً للمرضى البيض.
- أثبت هذا أن الذكاء الاصطناعي قد "تعلم" التحيزات الموجودة في بيانات العالم الحقيقي، بدلاً من النظر فقط إلى الحقائق الطبية البحتة.
الخلاصة الكبرى
تخلص الورقة البحثية إلى أن نتائج الاختبارات القياسية تخدعنا. يمكن للذكاء الاصطناعي أن يحصل على درجة عالية في الاختبار ولكنه قد يفشل في اختبار "ماذا لو؟".
DeVisE هو بمثابة اختبار جهد لعقل الذكاء الاصطناعي. إنه يوضح لنا:
- هل يفهم الذكاء الاصطناعي أن ارتفاع معدل ضربات القلب أمر سيء؟ (نعم، في الغالب).
- هل يرتبك الذكاء الاصطناعي بسبب البيانات الفوضوية؟ (نعم، أحياناً).
- هل يحمل الذكاء الاصطناعي تحيزات بشرية؟ (نعم، للأسف).
باختصار: قبل أن نسمح لأطباء الذكاء الاصطناعي بالسيطرة، نحتاج إلى التوقف عن مجرد سؤالهم "ما هي الإجابة؟" والبدء في سؤالهم: "ماذا لو غيرت هذا الشيء الواحد؟ ولماذا تغيرت إجابتك؟" إن DeVisE هو الأداة التي تطرح هذه الأسئلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.