Impact of Missing Data Imputation on The Structure of Real-World Clinical Datasets: A Comparison of Median, K-Nearest Neighbours, and MICE Approaches
تُظهر هذه الدراسة أن تعويض "القيم المفقودة" باستخدام خوارزمية الجيران الأقرب (KNN) يتفوق على كل من الاستبدال بالوسيط والتعويض المتعدد عبر المعادلات المتسلسلة (MICE) في الحفاظ على دقة التوزيع وسلامة البنية متعددة المتغيرات لمجموعات البيانات السريرية الواقعية عبر مستويات متفاوتة من فقدان البيانات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الأبحاث الطبية، تُعد البيانات هي شريان الحياة للاكتشاف. يعتمد الأطباء والعلماء على سجلات التاريخ المرضي، ونتائج المختبرات، ونتائج العلاج لفهم الأمراض وتحسين الرعاية. ومع ذلك، نادراً ما تكون السجلات الطبية في العالم الحقيقي مثالية؛ فقد يتغيب المرضى عن المواعيد، أو تتعطل الأجهزة، أو ببساطة ينسى الأطباء تدوين قياس محدد. هذه الفجوات، المعروفة باسم البيانات المفقودة، تخلق مشكلة: فإذا حاول باحث تحليل قائمة من الأرقام التي تحتوي على ثقوب، فقد تكون النتائج مضللة أو مستحيلة الحساب. ولإصلاح ذلك، غالباً ما يقوم الباحثون بملء الفراغات باستخدام عملية تسمى "الاستكمال" (imputation). والطريقة الأكثر شيوعاً وبساطة للقيام بذلك هي النظر إلى جميع الأرقام المتوفرة لقياس معين، وإيجاد القيمة الوسطى، ثم لصق نفس هذا الرقم في كل مكان فارغ. ورغم سهولة القيام بذلك، إلا أن لها عيباً معروفاً: فهي تعمل على تسطيح التنوع الطبيعي للبيانات، مما يجعل مجموعة متنوعة من المرضى تبدو أكثر تشابهاً مما هي عليه في الواقع. أما النهج الأكثر تطوراً فيتضمن استخدام نماذج حاسوبية معقدة لتخمين الأرقام المفقودة بناءً على كيفية ارتباطها بمعلومات أخرى عن المريض. والسؤال الذي يواجه المجتمع العلمي هو ما إذا كانت الطريقة البسيطة كافية، أم أن الطريقة المعقدة ضرورية للحفاظ على أمانة البيانات.
قام فريق من الباحثين من فالنسيا بإسبانيا، بالإجابة على هذا السؤال من خلال اختبار ثلاث طرق مختلفة لملء الفجوات في السجلات الطبية الحقيقية. لم يبتكروا بيانات وهمية لاختبار نظرياتهم، بل استخدموا مجموعتين كبيرتين من معلومات المرضى الفعلية. تألفت المجموعة الأولى من 408 مرضى خضعوا لعمليات زراعة الرئة، وهي عملية معقدة يتتبع فيها الأطبو عشرات القياسات قبل وأثناء وبعد الجراحة. وتضمنت المجموعة الثانية 1,700 مريض عانوا من نوبة قلبية، مع سجلات تفصل علاماتهم الحيوية وتاريخهم الطبي. في كلتا المجموعتين، كانت العديد من الأرقام مفقودة. في مجموعة زراعة الرئة، كانت بعض القياسات مفقودة بنسبة تتراوح من ضئيلة جداً قدرها 0.2 بالمائة لدى بعض المرضى إلى 77.9 بالمائة لدى البعض الآخر. وفي مجموعة النوبة القلبية، تراوحت البيانات المفقودة من 0.24 بالمائة إلى أكثر من 63 بالمائة. أراد الباحثون معرفة أي طريقة لملء هذه الفراغات تحافظ بشكل أفضل على الشكل الحقيقي والعلاقات الأصلية للبيانات.
قارن الفريق بين ثلاث استراتيجيات محددة. كانت الأولى هي النهج القياسي البسيط: استبدال كل رقم مفقود بالوسيط، أو القيمة الوسطى للأرقام التي تم تسجيلها بالفعل. والثانية هي طريقة تسمى "الجيران الأقرب كيه" (k-nearest neighbours)، والتي تعمل من خلال إيجاد المرضى في قاعدة البيانات الأكثر تشابهاً مع المريض الذي لديه بيانات مفقودة واستخدام قيمهم لتقديم تخمين. أما الثالثة، فهي تقنية إحصائية معقدة للغاية تُعرف باسم "الاستكمال المتعدد" (multiple imputation)، والتي تقوم بتشغيل سلسلة من النماذج المتطورة لإنشاء عدة نسخ مختلفة ممكنة من البيانات المفقودة ثم حساب متوسطها. بعد ذلك، قام الباحثون بقياس مدى قرب البيانات المملوءة من البيانات الأصلية الكاملة باستخدام مسطرة إحصائية تتحقق مما إذا كان توزيع الأرقام يبدو كما هو. كما تحققوا أيضاً مما إذا كانت العلاقات بين المتغيرات المختلفة، مثل كيفية ارتباط العمر بضغط الدم، قد ظلت سليمة.
كانت النتائج مفاجئة للكثيرين ممن يتوقعون أن الطريقة الأكثر تعقيداً هي دائماً الأفضل. لقد أدت الطريقة البسيطة المتمثلة في استخدام القيمة الوسطى بالفعل إلى تشويه البيانات، حيث ضغطت تنوع الأرقام وجعلت مجموعة البيانات تبدو أقل تنوعاً مما هي عليه حقاً. ومع ذلك، فإن النموذج الإحصائي المعقد متعدد الخطوات كان أسوأ حالاً في هذا الاختبار المحدد؛ فقد تسبب في أكبر قدر من الأخطاء وغير العلاقات بين المتغيرات أكثر من أي طريقة أخرى. وكانت الطريقة التي قدمت أفضل أداء هي نهج "الجيران الأقرب كيه". فقد حافظت هذه الطريقة على الانتشار الطبيعي للبيانات وأبقت العلاقات بين مختلف القياسات الطبية أكثر دقة من طريقة القيمة الوسطى البسيطة أو النموذج المعقد. في مجموعة زراعة الرئة، شوه النموذج المعقد البيانات لما يقرب من 39 بالمائة من المتغيرات، بينما شوهت طريقة الجيران الأقرب كيه حوالي 11 بالمائة فقط. وفي مجموعة النوبة القلبية، شوه النموذج المعقد 39 بالمائة من المتغيرات، بينما شوهت طريقة الجيران الأقرب كيه 11 بالمائة فقط.
وجد الباحثون أنه مع زيادة كمية البيانات المفقودة، ترتكب جميع الطرق المزيد من الأخطاء، ولكن طريقة الجيران الأقرب كيه ترتكب الأخطاء ببطء أكبر بكثير. عندما كان لمتغير ما نسبة عالية من الأرقام المفقودة، عانى كل من طريقة القيمة الوسطى البسيطة والنموذج المعقد وكلاهما للحفاظ على مظهر البيانات الحقيقي، لكن طريقة الجيران الأقرب كيه صمدت بشكل أفضل. ومن المرجح أن يكون ذلك لأن النموذج المعقد يحاول بناء قاعدة رياضية مثالية لكل متغير على حدة، وهو أمر يصبح صعباً عندما تكون هناك متغيرات كثيرة وعدد غير كافٍ من المرضى للتعلم منهم. في المقابل، تقوم طريقة الجيران الأقرب كيه ببساطة بالنظر إلى المرضى الأكثر تشابهاً ونسخ نمطهم، وهو ما يعمل بشكل جيد حتى عندما تكون البيانات فوضوية أو غير مكتملة.
لا تشير هذه الدراسة إلى أن النموذج الإحصائي المعقد عديم الفائدة؛ فهذا النموذج مصمم لغرض مختلف: وهو توفير نطاق من الإجابات الممكنة ومراعاة عدم اليقين الناتج عن عدم معرفة الأرقام الحقيقية، وهو أمر بالغ الأهمية لأنواع معينة من التحليل الإحصائي العميق. ومع ذلك، بالنسبة للعديد من الباحثين الذين يحتاجون ببساطة إلى مجموعة بيانات نظيفة وكاملة لوصف مجموعة من المرضى أو لاستكشاف العلاقات بين المتغيرات، فقد يكون النموذج المعقد مبالغاً فيه وحتى ذا نتائج عكسية. وتشير النتائج إلى أنه لإنشاء نسخة واحدة موثوقة من مجموعة بيانات طبية، فإن طريقة الجيران الأقرب كيه توفر توازناً قوياً. فهي أكثر دقة بكثير من طريقة القيمة الوسطى البسيطة، التي لا تزال مستخدمة على نطاق واسع، وهي أسهل في الاستخدام من النموذج المعقد، حيث تتطلب قرارات تقنية أقل من الباحث.
تسلط هذه الدراسة الضوء على درس عملي في العلوم الطبية: أحياناً، لا تكون الأداة الأكثر تطوراً هي الأفضل للمهمة. في الواقع الفوضوي للسجلات المستشفيات، حيث تكون البيانات غالباً غير مكتملة وملفات المرضى فريدة من نوعها، يمكن لطريقة تنظر إلى المرضى المماثلين لملء الفجوات أن تحافظ على القصة الحقيقية للبيانات بشكل أفضل من الصيغة الرياضية الجامدة. ومن خلال اختيار الأداة المناسبة، يمكن للباحثين ضمان أن الأنماط التي يكتشفونها في بياناتهم تعكس واقع المرضى الذين يدرسونهم، بدلاً من أن تكون مجرد آثار ناتجة عن كيفية محاولتهم إصلاح الأرقام المفقودة. يوفر هذا العمل مساراً واضحاً للعلماء الذين يريدون الحفاظ على أمانة بياناتهم دون الغرق في التعقيد غير الضروري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.