FoMoH: A clinically meaningful foundation model evaluation for structured electronic health records
تقدم هذه الورقة FoMoH، وهو معيار مرجعي شامل يتضمن 14 مهمة ذات دلالة سريرية وأكثر من 6 ملايين مريض لتقييم النماذج التأسيسية للسجلات الصحية الإلكترونية المهيكلة والأحدث حالياً، كاشفةً أنه بينما تتفوق هذه النماذج على الخطوط المرجعية التقليدية في التمييز والعدالة في ظل البيانات المحدودة، إلا أنها لا تزال تواجه تحديات كبيرة في المعايرة، وفي حالات انتشار الأمراض المنخفضة، وفي قابلية النقل عبر المؤسسات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم كمبيوتر كيف يكون طبيبًا. لفترة طويلة، كانت الطريقة الوحيدة للقيام بذلك هي عرض آلاف الأمثلة المحددة لكل وظيفة على الكمبيوتر: "هذا هو شكل الذراع المكسورة"، "هذا هو شكل الحمى"، "هذا هو شكل النوبة القلبية". هذا يشبه تدريب كلب على جلب كرة معينة؛ إذا أردت منه جلب عصا، فعليك البدء من جديد. هذه الطريقة بطيئة ومكلفة، وغالبًا ما يصاب الكمبيوتر بالارتباك إذا رأى مريضًا لم يتدرب عليه من قبل.
مؤخرًا، بدأ العلماء في استخدام خدعة جديدة تسمى "النماذج التأسيسية" (Foundation Models). فكر في هذه النماذج كطلاب عباقرة قرأوا كل الكتب الطبية الموجودة في المكتبة قبل أن يقابلوا أي مريض. لم يتم إخبارهم تحديدًا بكيفية تشخيص الذراع المكسورة بعد، ولكن لأنهم يفهمون اللغة الطبية العامة، يمكنهم تعلم تلك المهارة المحددة بسرعة كبيرة باستخدام بضعة أمثلة فقط. السؤال الكبير الذي يتساءله الجميع هو: هل تعمل هذه النماذج "الطلاب العباقرة" بشكل أفضل من الطريقة القديمة؟ هل يمكنهم التعامل مع الفوضى الحقيقية والمضطربة داخل المستشفى، وهل هم عادلون مع كل أنواع المرضى؟ تهدف هذه الورقة البحثية إلى إيجاد الإجابة من خلال وضع هذه النماذج تحت اختبار صارم وواقعي.
امتحان المستشفى الكبير: اختبار الطلاب العباقرة
قرر مؤلفو هذه الورقة التوقف عن التخمين والبدء في الاختبار. لقد صمموا "امتحانًا" ضخمًا لستة من أكثر النماذج الطبية التأسيسية تقدمًا. وبدلاً من مجرد السؤال: "هل حصلت على الإجابة الصحيحة؟"، طرحوا مجموعة أعمق من الأسئلة: "هل حصلت على الإجابة الصحيحة وتعرف مدى تأكدك منها؟" و"هل عاملت المرضى الأغنياء والفقراء، أو المجموعات العرقية المختلفة، بعدل؟"
لقد اختبروا هذه النماذج على أكثر من 6 ملايين مريض من مصدرين رئيسيين: مركز كولومبيا الجامعي الطبي (Columbia University Irving Medical Center)، ومجموعة بيانات عامة تسمى (MIMIC-IV). وتكون الامتحان من 14 مهمة سريرية مختلفة، تتراوح بين التنبؤ باحتمالية وفاة المريض في المستشفى وبين تشخيص حالات مزمنة مثل السكري أو الفصام.
إليكم ما كشفت عنه النتائج، مقسمة إلى الأخبار الجيدة، والأخبار السيئة، والأجزاء الصعبة.
الأخبار الجيدة: قوة الـ "Few-Shot" الخارقة
النتيجة الأكثر إثارة هي أن هذه النماذج التأسيسية هي بالفعل بمثابة "سحر" عندما تكون البيانات شحيحة. تخيل أنك طبيب في عيادة صغيرة حيث لم ترَ سوى 100 حالة لمرض نادر. النموذج الحاسوبي التقليدي قد يفشل على الأرجح لأنه لم يرَ أمثلة كافية للتعلم. لكن النماذج التأسيسية، التي "قرأت" ملايين السجلات أثناء مرحلة التدريب المسبق، استطاعت تقديم تخمينات جيدة بشكل مدهش.
في هذه المواقف "منخفضة البيانات"، تفوقت النماذج التأسيسية على الطرق التقليدية في التمييز بين المرضى الأصحاء والمرضى، كما بدت أكثر عدلاً. ولأنها تعلمت من حشد ضخم ومتنوع، لم ترتبك أمام المجموعات المختلفة من الناس (مثل الأعراق المختلفة أو عدد مرات زيارة الأشخاص للأطباء) كما فعلت النماذج المتخصصة القديمة. الأمر يشبه أن الطالب العبقري، الذي قابل الجميع في المكتبة، أقل عرضة لوضع افتراضات حول شخص غريب مقارنة بالطالب الذي درس فقط مع أصدقائه.
الأخبار السيئة: مشكلة "الثقة"
ومع ذلك، هناك عقبة. فبينما كانت هذه النماذج جيدة في قول "هذا المريض مريض"، إلا أنها كانت أحيانًا سيئة جدًا في قول "أنا متأكد أن هذا المريض مريض".
في الطب، معرفة مدى احتمالية حدوث شيء ما لا تقل أهمية عن معرفة ماذا سيحدث. إذا قال النموذج إن هناك احتمال 90% لوفاة المريض، يحتاج الطبيب لمعرفة ما إذا كان هذا الرقم دقيقًا. وجدت الورقة أنه في ظل البيانات المحدودة، كانت هذه النماذج التأسيسية غالبًا ضعيفة المعايرة. قد يخمنون بشكل صحيح، لكن أرقام ثقتهم كانت خاطئة. الأمر يشبه خبير الأرصاد الجوية الذي يتوقع المطر دائمًا؛ قد يصيب في نصف المرات، ولكن إذا قال "احتمال هطول المطر 100%" بينما الجو مشمس، فهو ليس جديرًا بالثقة. تشير الدراسة إلى أنه بينما تبرع هذه النماذج في رصد الأنماط، إلا أنها لم تتعلم تمامًا كيفية قياس مدى يقينها بدقة بعد.
الجزء الصعب: الثغرة العمياء لـ "الأمراض النادرة"
كما واجهت النماذج صعوبة مع الحالات النادرة جدًا. إذا كان المرض يحدث في أقل من 1% من المرضى، فإن النماذج التأسية غالبًا ما تخطئ الهدف. يقترح المؤلفون أنه خلال تدريبهم الضخم، ربما "تجاهلت" هذه النماذج الأحداث النادرة لأنها كانت مشغولة بتعلم الأشياء الشائعة. إنه يشبه طالبًا يدرس للاختبار عبر قراءة مليون صفحة من التاريخ، لكنه يتخطى الصفحة الوحيدة التي تتحدث عن حدث صغير وغامم يظهر بالفعل في الامتحان. وعندما حاول الباحثون "ضبط" النماذج (تعليمها الإجابة المحددة) باستخدام المزيد من البيانات، لم تتحسن النماذج دائمًا؛ بل في بعض الأحيان أصبحت أسوأ، ويرجع ذلك على الأرجح إلى ارتباكها بسبب العدد الضئيل من الأمثلة.
العقبة الأخيرة: مشكلة "المدينة الجديدة"
أخيرًا، اختبرت الورقة ما إذا كان بإمكان هذه النماذج "السفر". إذا تم تدريب نموذج على مرضى في نيويورك (كولومبيا)، فهل يمكنه العمل على مرضى في كاليفرنيا (ستانفورد)؟ الإجابة كانت مخيبة للآمال: لا.
عندما أخذوا نموذجًا تدرب في ستانفورد واختبروه في كولومبيا، كان أداؤه أسوأ من النموذج الذي تدرب محليًا. يوضح المؤلفون أن المستشات تشبه المدن المختلفة ذات اللهجات المختلفة؛ فقد يسجل مستشفى ما البيانات بشكل مختلف، أو قد يكون لديه مرضى بعادات مختلفة. "الطالب العبقري" الذي تدرب في مدينة ما لم يفهم "لهجة" المدينة الأخرى. وهذا يعني أنه في الوقت الحالي، لا يمكنك مجرد تحميل ذكاء اصطناعي طبي وتوقع أن يعمل في كل مكان؛ بل لا يزال بحاجة إلى إعادة تدريب لكل مستشفى على حدة.
الخلاصة
لا تقول هذه الورقة إن النماذج التأسيسية هي مستقبل الطب بعد، لكنها تثبت أن لديها إمكانات هائلة. فهي رائعة في التعلم بسرعة عندما تكون البيانات صعبة المنال، وهي عادلة بشكل مدهش تجاه المجموعات المختلفة. ومع ذلك، لا تزال تعاني مع الأمراض النادرة، وليست صادقة دائمًا بشأن مدى تأكدها، ولا يمكنها الانتقال بسهولة بين المستشفيات المختلفة.
يخلص المؤلفون إلى أنه قبل أن نترك هذه النماذج تقود المشهد، نحتاج إلى إصلاح "مقياس الثقة" الخاص بها، وتعليمها الانتباه للحالات النادرة، ومعرفة كيفية جعلها تفهم "اللهجة" الفريدة لكل مستشفى. وحتى ذلك الحين، فهي أدوات قوية، لكنها تحتاج إلى طبيب بشري ليدقق عملها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.