Auditing missingness and input-outcome circularity in unsupervised clinical phenotyping: an empirical case study in hospitalized traumatic brain injury

تخيل أنك محقق يحاول فرز كومة فوضوية من صناديق الغموض إلى مجموعات مرتبة بناءً على ما بداخلها. في عالم الطب، غالبًا ما يفعل العلماء ذلك مع بيانات المرضى، وهي عملية تسمى "التنميط الظاهري غير الخاضع للإشراف". فبدلاً من التخمين حول تشابه المرضى، يستخدمون أجهزة الكمبيوتر للعثور على أنماط خفية في نتائج الفحوصات الروتينية، مثل مدى قدرة المريض على تذكر الأشياء، أو شعوره العاطفي، أو سهولة حركته. والهدف هو اكتشاف "مجموعات فرعية" طبيعية يمكن للأطباء استخدامها لتقديم رعاية أفضل وأكثر تخصيصًا.

ومع ذلك، هناك فخان مخادعان يمكن أن يفسدا عمل المحقق. أولاً، نادراً ما تكون البيانات مثالية؛ فبعض الصناديق تفتقر إلى الملصقات أو المحتويات (وهذا ما يسمى "البيانات المفقودة"). فإذا قمت بمجرد التخمين لما هو مفقود، فقد تنشئ عن طريق الخطأ مجموعات لا توجد إلا بسبب تخميناتك، وليس لأن المرضى مختلفون حقًا. ثانياً، هناك فخ يسمى "الدائرية". يحدث هذا إذا استخدمت دليلاً معيناً لفرز الصنॉक्स، ثم أظهرت المفاجأة عندما وجدت أن نفس الدليل هو السبب الرئيسي في اختلاف الصناديق. الأمر يشبه فرز مجموعة من أوراق اللعب حسب اللون، ثم الادعاء بأنك اكتشفت قاعدة سحرية جديدة تقول إن "الأوراق الحمراء هي حمراء".

قرر فريق من الباحثين اختبار مدى صمود طرق التحري هذه عند تطبيقها على سجلات مستشفيات واقعية لمرضى يعانون من إصابات دماغية رضية (TBI). أرادوا معرفة ما إذا كانت مجموعات المرضى التي وجدها الكمبيوتر حقيقية، ومستقرة، ومفيدة، أم أنها مجرد بيت من ورق مبني على أرقام مفقودة ومنطق دائري.

تجربة فرز المرضى الكبرى

ألقى الباحثون نظرة على 582 مريضاً تم إدخالهم إلى المستشفى بسبب إصابات في الدماغ. كان لكل مريض خمس "بطاقات تقرير" مختلفة: اختبارات للذاكرة والتفكير (MMSE و Moça)، واختبارات للاكتئاب (GDS و Hamilton)، واختبار لقدرة المريض على أداء المهام اليومية مثل الأكل واللبس (Barthel ADL).

في العالم المثالي، سيكون لكل مريض درجة في كل اختبار من الاختبارات الخمسة. ولكن في الواقع الفوضوي للمستشفيات المزدحمة، تضيع البيانات. في هذه الدراسة، كان 17.7% فقط من المرضى (103 من أصل 582) لديهم الدرجات الخمس كاملة. وكان اختبار الاكتئاب واختبار الحياة اليومية هما الأكثر عرضة للفقدان، حيث ظهرا في ما يقرب من 40% و30% من السجلات على التوالي.

قام الفريق بتشغيل برنامج كمبيوتر قياسي لفرز هؤلاء المرضى في مجموعات. وقرر البرنامج، باستخدام طريقة تسمى "التعويض بالوسيط" (والتي تعتمد أساساً على ملء الفراغات بالقيمة الوسطى للبيانات الموجودة)، أن أفضل طريقة لفرز الجميع هي تقسيمهم إلى خمس مجموعات متميزة. بدت إحدى هذه المجموعات مثيرة للاهتمام بشكل خاص، وهي مجموعة "هاميلتون المتطرفة" (Hamilton-extreme) من المرضى الذين يعانون من درجات اكتئاب عالية جداً.

ولكن بعد ذلك، بدأ الباحثون "اختبار الإجهاد" الخاص بهم لمعرفة ما إذا كانت هذه المجموعات حقيقية أم مجرد وهم.

اختبار الاستقرار: هل تتماسك المجموعات؟
حاولوا هز البيانات عن طريق اختيار المرضى عشوائياً مراراً وتكراراً (تقنية تسمى bootstrapping). لو كانت المجموعات حقيقية، لكان المرضى أنفسهم قد استقروا في نفس المجموعات في كل مرة. وبدلاً من ذلك، انهارت المجموعات مثل قلعة من الرمل المبلل. كانت درجات الاستقرار منخفضة جداً (بين 0.211 و0.454)، وهي أقل بكثير من عتبة 0.75 المطلوبة للقول: "نعم، هذه مجموعة صلبة". وعندما جربوا خوارزميات فرز مختلفة، لم تتفق النتائج مع بعضها البعض إلا بصعوبة.

اختبار البيانات المفقودة: هل تهم طريقة ملء الفراغات؟
بعد ذلك، جربوا ملء الدرجات المفقودة باستخدام طريقة أكثر تعقيداً تسمى "التعويض المتعدد" (MICE)، والتي تنشئ 20 نسخة مختلفة من مجموعة البيانات مع تخمينات مختلفة للأرقام المفقودة. وعندما قاموا بتشغيل عملية الفرز على هذه النسخ العشرين، كانت المجموعات الناتجة مختلفة تماماً عن المجموعات الخمس الأصلية. كان معدل الاتفاق ضئيلاً جداً، حيث بلغ 0.157. وهذا يشير إلى أن المجموعات الخمس الأصلية لم تكن اكتشافاً لطبيعة المرضى الحقيقية، بل كانت انعكاساً لكيفية اختيار الباحثين لملء الفراغات.

اختبار "الحالة الكاملة": ماذا لو نظرنا فقط إلى البيانات المثالية؟
حاولوا فرز الـ 103 مرضى فقط الذين كانت لديهم جميع درجاتهم كاملة. عندما فعلوا ذلك، لم يعد الكمبيوتر يرغب في خمس مجموعات؛ بل فضل ثلاث مجموعات. مجموعة "هاميلتون المتطرفة" التي بدت مهمة جداً في مجموعة البيانات الكاملة اختفت أو تغيرت تماماً. في الواقع، في هذه المجموعة الأصغر، كان المرضى الذين يعانون من درجات اكتئاب عالية لديهم في الواقع درجات ذاكرة أفضل، وهو عكس ما اقترحه التحليل الأصلي. استنتج الباحثون أن هذه المجموعة "المكتئبة" المحددة كانت على الأرجى أثراً اصطناعياً (artifact) — أي نمطاً مزيفاً نتج عن طريقة التعامل مع البيانات المفقودة.

فخ الدائرية: هل استخدمت النتيجة لتحديد المدخلات؟
أخيراً، اختبروا مسألة "الدائرية". في التحليل الأصلي، استخدموا درجة "الحياة اليومية" (Barthel ADL) للمساعدة في فرز المرضى، ثم تحققوا مما إذا كانت المجموعات جيدة في التنبؤ بدرجة "الحياة اليومية". ولم يكن الأمر مفاجئاً، فقد كانت المجموعات رائعة في ذلك! كان الارتباط الإحصائي قوياً جداً.

ولكن بعد ذلك، قاموا بإزالة درجة "الحياة اليومية" من عملية الفرز واستخدموا فقط اختبارات التفكير والمزاج. وعندما حاولوا التنبؤ بدرجة "الحياة اليومية" باستخدام هذه المجموعات الجديدة، تلاشى الرابط. انخفضت الدرجة الإحصائية من 0.395 القوية إلى 0.005 ضئيلة جداً. أثبت هذا أن "الارتباط القوي" الذي ظنوا أنهم وجدوه لم يكن لأن المجموعات كانت مختلفة طبيعياً في كيفية أدائها الوظيفي؛ بل ببساطة لأنهم استخدموا درجة الوظيفة لبناء المجموعات في المقام الأول. لقد كانت حالة كلاسيكية من النظر في المرآة والاعتقاد بأنك اكتشفت وجهاً جديداً.

الخلاصة

خلصت الدراسة إلى أنه بينما يبدو "التنميط الظاهري غير الخاضع للإشراف" أداة قوية للعثور على أنواع فرعية جديدة من المرضى، إلا أنه هش للغاية. في هذه الحالة المحددة من الإصابات الدماغية الرضية، كانت "المجموعات" التي وجدها الكمبيوتر حساسة للغاية لكيفية التعامل مع البيانات المفقودة، وكانت في معظمها وهماً ناتجاً عن استخدام النتيجة كمدخل.

يقترح الباحثون أنه قبل أن يبدأ الأطباء في استخدام هذه المجموعات المولدة حاسوبياً لاتخاذ قرارات سريرية، يجب على العلماء إجراء تدقيق صارم. يجب عليهم التحقق مما إذا كانت المجموعات تظل مستقرة عند إعادة أخذ عينات من البيانات، وما إذا كانت تصمد أمام طرق مختلفة لملء الأرقام المفقودة، والأهم من ذلك، يجب عليهم التأكد من أنهم لا يستخدمون النتيجة عن طريق الخطأ لتحديد المجموعة. وإلى أن يتم إجراء هذه الفحوصات، يجب التعامل مع "الأنواع الفرعية" التي تجدها بيانات المستشفيات الروتينية كفرضيات مثيرة للاهتمام للبحث، وليس كحقائق مثبتة.