Whose Truth Is Ground Truth?: Consequences of Label Choice on Machine Learning Models Predicting Depression
تُظهر هذه الدراسة أن اختيار تسميات الاكتئاب في السجلات الصحية الإلكترونية —سواء كانت مشفرة من قِبل مقدم الخدمة، أو مُبلغة من قِبل المريض، أو متوافقة بينهما— يغير بشكل كبير أداء نماذج تعلم الآلة وأهمية الميزات، مما يكشف أن التسميات المستمدة من مقدم الخدمة قد تضخم دون قصد التحيزات الديموغرافية رغم تحقيقها لدرجات أعلى قليلاً في المساحة تحت المنحنى (AUC).
تخيل أنك تحاول تعليم روبوت كيفية التعرف على نوع معين من الطيور. تعرض عليه آلاف الصور، ولكن هناك عقبة: أحياناً تكون الصور مصنفة بواسطة خبير في مراقبة الطيور، وأحياناً أخرى تكون مصنفة من قبل الشخص الذي رأى الطائر بالفعل في البرية. قد يغفل الخبير عن طائر لأنه كان مختبئاً، أو قد يخطئ في تحديد نوع مشابه. أما الشخص الذي في البرية فقد يكون متحمساً ويظن أنه رأى طائراً نادراً بينما لم يكن سوى طائر شائع. إذا علمت الروبوت باستخدام تصنيفات الخبير فقط، فإنه سيتعلم رؤية ما يراه الخبير، وليس بالضرورة ما هو موجود بالفعل. هذا هو جوهر مجال متنامٍ يسمى "تعلم الآلة"، حيث تتعلم الحواسيب العثور على أنماط في كميات هائلة من البيانات لتقديم التنبؤات. وفي مجال الرعاية الصحية، يحاول العلماء بناء هذه "الأطباء الآليين" لرصد مشكلات الصحة النفسية مثل الاكتئاب قبل أن تزداد سوءاً. ولكن هنا يكمن الجزء الصعب: على عكس العظم المكسور الذي يظهر بوضوح في الأشعة السينية، فإن الاكتئاب غير مرئي. فهو يعتمد على كيفية شعور المريض وكيفية تفسير الطبيب لتلك المشاعر. تسأل هذه الورقة سؤالاً كبيراً ومهمًا: إذا علمنا أطباءنا الآليين باستخدام ملاحظات الطبيب كـ "حقيقة"، فهل سيتعلمون نفس الشيء كما لو علمناهم باستخدام تقرير المريض نفسه عن شعوره؟
قررت الباحثتان وراء هذه الدراسة، ناتاشا تونج وليا أدامز من جامعة جورج ميسون، وضع هذا السؤال قيد الاختبار. لقد نظرتا في كومة ضخمة من السجلات الطبية لأكثر من 644,000 بالغ زاروا مراكز الصحة المجتمعية بين عامي 2012 و2019. أرادتا معرفة ما إذا كانت "الحقيقة الأرضية" — وهو التصنيف المستخدم لإخبار الكمبيوتر بما يعتبر اكتئاباً — تغير كيفية تعلم الكمبيوتر. قامتا ببناء ثلاثة إصدارات مختلفة من نموذج تعلم الآلة، كل منها مدرب على تعريف مختلف للاكتئاب:
رؤية الطبيب: تعلم النموذج فقط من الحالات التي دون فيها الطبيب رسمياً تشخيصاً للاكتئاب في ملف المريض.
رؤية المريض: تعلم النموذج فقط من المرضى الذين أبلغوا عن أعراض شديدة في استبيان (PHQ-9)، حتى لو لم يكتب الطبيب تشخيصاً.
رؤية الاتفاق: تعلم النموذج فقط من الحالات التي أبلغ فيها المريض عن أعراض شديدة وكتاب الطبيب أيضاً لتشخيص ما.
استخدمتا نوعاً من خوارزميات الكمبيوتر يسمى "الشجرة" (فكر فيها كأنها مخطط انسيابي يطرح أسئلة بنعم أو لا لاتخاذ قرار) للتنبؤ بمن يعاني من الاكتئاب. غذتا الكمبيوتر ببيانات مثل العمر، والعرق، والجنس، وضغط الدم، وما إذا كان المريض يعاني من القلق أو مشاكل صحية أخرى.
إليك ما وجدتاه، وهو أمر مفاجئ بعض الشيء. أولاً، لم تكن نماذج الكمبيوتر مثالية في رصد الاكتئاب بغض النظر عن التصنيف الذي استخدمتاه. تراوحت دقة نماذجهما، المقاسة بدرجة تسمى (AUC)، بين 0.62 و0.64. ولتضع ذلك في الاعتبار، الدرجة المثالية هي 1.0، والتخمين العشوائي هو 0.5. لذا، كانت النماذج أفضل من التخمين، لكنها لا تزال تفقد الكثير من الحالات. كان النموذج المدرب على تصنيفات الأطباء هو الأفضل في إيجاد الحالات التي حددها الأطباء بالفعل (بحساسية بلغت 0.33)، لكنه لا يزال يغفل حوالي ثلثي تلك الحالات.
الاكتشاف الأكثر إثارة للاهتمام لم يكن حول مدى جودة عمل النماذج، بل حول ما اعتقدت أنه مهم. لقد غير "عقل" الكمبيوتر رأيه اعتماداً على من يستمع إليه.
عندما استمع النموذج إلى تصنيفات الأطباء، قرر أن أموراً مثل كون الشخص أبيض البشرة، وأن يكون أنثى، وغير متزوج، هي أكبر الأدلة على إصابة الشخص بالاكتئاب.
عندما استمع النموذج إلى أعراض المريض الشديدة، أصبحت تلك الدلائل الديموغرافية أقل أهمية. بدلاً من ذلك، ركز النموذج بشدة على ما إذا كان المريض يعاني من القلق، وعمره، وضغط دمه.
الشيء الوحيد الذي ظل مهماً عبر جميع النماذج الثلاثة هو القلق. إذا كان المريض يعاني من القلق، فمن المرجح أن يصنفهم الكمبيوتر بأنهم يعانون من الاكتئاب، بغض النظر عن التصنيف الذي يستخدمه.
تشير المؤلفتان إلى أن هذا التحول هو علامة تحذير. إذا بنينا أدوات الذكاء الاصطناعي التي تتعلم فقط مما يكتبه الأطباء، فقد يبدأ الذكاء الاصطناعي في الاعتقاد بأن الاكتئاب يتعلق أساساً بعرق أو جنس معين، لمجرد أن الأطباء في الماضي مالوا لتشخيصهم بهذا الشكل. قد يغفل عن المرضى الذين يعانون ولكن لم يتم تشخيصهم بعد. تشير الدراسة إلى أنه لكي تكون أدوات الذكاء الاصطنا هذه عادلة وجديرة بالثقة، يجب أن تتضمن صوت المريض نفسه، وليس مجرد ملاحظات الطبيب. إذا لم نفعل ذلك، فإننا نخاطر ببناء نظام رقمي يكرر نفس نقاط العمى والتحيزات الموجودة في العالم الحقيقي، مما قد يؤدي إلى تفويت الأشخاص الذين هم في أمس الحاجة للمساعدة. لم تثبت الباحثتان أن إحدى الطرق مثالية، لكنهما أظهرتا بوضوح أن اختيار من يحدد "الحقيقة" يغير فهم الكمبيوتر بأكمله للمشكلة.
ملخص تقني: حقيقة مَن هي الحقيقة المطلقة؟ عواقب اختيار التسمية على نماذج تعلم الآلة المتوقعة للاكتئاب
بيان المشكلة تعتمد نماذج تعلم الآلة (ML) التي يتم تطويرها باستخدام بيانات السجلات الصحية الإلكترونية (EHR) بشكل متكرر على التشخيصات الموثقة من قبل مقدمي الرعاية (مثل رموز ICD) باعتبارها "الحقيقة المطلقة" (ground truth) للتدريب. ومع ذلك، فإن تشخيص الصحة النفسية، وخاصة الاكتئاب، هو أمر ذاتي بطبيعته ويعتمد بشكل كبير على التقارير الذاتية للمرضى والتواصل بين المريض ومقدم الرعاية. هناك تباين كبير في كيفية تشخيص هذه الحالات وتسجيلها، وغالباً ما يوجد خلاف جوهري بين الأعراض التي يبلغ عنها المريض (مثل مقياس PHQ-9) والتشخيصات المسجلة من قبل مقدم الخدمة. تفترض الورقة أن الاعتماد الحصري على تسميات مقدمي الرعاية قد يؤدي إلى إدخال التحيز، وحجب تجارب المرضى، وقيادة النماذج لتعكس تفاوتات سير العمل الإكلينيكي بدلاً من الحالات الحقيقية للمرضى. تعالج هذه الدراسة السؤال الحرج: كيف يؤثر اختيار مصدر تسمية الاكتئاب (المبلغ عنه من قبل المريض، أو المرمز من قبل مقدم الرعاية، أو المتوافق بينهما) على أداء ونموذج أهمية الميزات للنماذج القائمة على الأشجار؟
المنهجية
مصدر البيانات: استخدمت الدراسة مجموعة بيانات استعادية مستعرضة من شبكة OCHIN ADVANCE، تضم 644,387 بالغاً (أعمارهم 18 عاماً فأكثر) ممن زاروا مراكز العيادات الخارجية أو تلقوا خدمات عن بُعد بين عامي 212 و2019. تضمنت البيانات الديموغرافية، والعلامات الحيوية، والأمراض المزمنة، والمحددات الاجتماعية للصحة (SDOH)، والنتائج المبلغ عنها من قبل المرضى.
استراتيجيات التسمية: تم إنشاء ثلاثة تعريفات متميزة للاكتئاب لتكون بمثابة المتغير المستهدف (الحقيقة المطلقة):
المشار إليه من قبل مقدم الرعاية: يُعرَّف الاكتئاب حصرياً من خلال رموز ICD في السجل الصحي الإلكتروني.
المشار إليه من قبل المريض: يُعرَّف الاكتئاب من خلال درجات PHQ-9 "الأكثر شدة" المبلغ عنها ذاتياً (26 أو 27)، والتي تمثل يقيناً عالياً بالأعراض دون وجود رمز مقابل من مقدم الرعاية.
المتوافق: يُعرَّف الاكتئاب من خلال التقاطع بين درجات PHQ-9 "الأكثر شدة" ورموز ICD الخاصة بمقدم الرعاية. ملاحظة: تم اختبار نماذج إضافية (Tree 2b و3b) باستخدام حد قطع تقليدي لمقياس PHQ-9 عند الدرجة 20 ("شديد") لمعالجة مشكلات عدم توازن الفئات.
المتنبئات: شملت الميزات الديموغرافية، والعلامات الحيوية، والأمراض المزمنة (مثل السكري، وارتفاع ضغط الدم)، والتشخيصات النفسية، والمحددات الاجتماعية للصحة (SDOH).
نهج النمذجة: تم استخدام أشجار التصنيف والتراجع (CART) نظراً لقابليتها للتفسير. تم تدريب النماذج باستخدام تقسيمات 70/30 مع تحقق تبادلي بعشر طيات. تم ضبط المعلمات الفائقة لتعظيم المساحة تحت المنحنى (AUC).
مقاييس التقييم: تم تقييم الأداء باستخدام AUC، والحساسية (sensitivity)، والنوعية (specificity)، والقيمة التنبؤية الإيجابية (PPV)، ومقياس F1.
القابلية للتفسير: استُخدمت تفسيرات SHapley الإضافية (SHAP) لقياس وتصور أهمية الميزات عبر استراتيجيات التسمية المختلفة.
النتائج الرئيسية
أداء النموذج: كان الأداء العام للنموذج متواضعاً، حيث تراوحت قيم AUC بين 0.62 و0.64 عبر جميع استراتيجيات التسمية.
نموذج المشار إليه من قبل مقدم الرعاية (Tree 1): حقق أعلى حساسية (0.33) في مجموعة اختبار الاحتجاز بين النماذج الأساسية، مع AUC بلغ 0.63.
النموذج المشار إليه من قبل المريض (Tree 2): أظهر حساسية أقل (0.28) وقيمة تنبؤية إيجابية منخفضة جداً (0.03) في مجموعة الاحتجاز، ويرجع ذلك على الأرجح إلى الندرة الشديدة لفئة "الأكثر شدة" (1.3% من العينة).
النموذج المتوافق (Tree 3): أظهر حساسية أعلى في التحقق التبادلي (0.40) ولكن أداءً أقل في مجموعة الاحتجاز (حساسية 0.30، وقيمة تنبؤية إيجابية 0.01).
حدود القطع البديلة: عندما تم تخفيف حد القطع لـ "الأكثر شدة" إلى حد القطع القياسي لـ "شديد" (PHQ-9 ≥ 20)، تحسنت حساسية النماذج القائمة على المريض (Tree 2b: 0.49؛ Tree 3b: 0.37)، رغم أنها لم تتجاوز نموذج مقدم الرعاية في النوعية أو مقياس F1.
تفاوتات أهمية الميزات: كشف تحليل SHAP أن أهمية الميزات تغيرت بشكل كبير اعتماداً على مصدر التسمية:
القلق: الميزة الوحيدة التي كانت مؤثرة باستمرار عبر جميع النماذج الثلاثة.
الديموغرافيا: في نموذج المشار إليه من قبل مقدم الرعاية، كانت الميزات الديموغرافية (تحديداً العرق الأبيض والجنس الأنثوي) مؤثرة للغاية. في المقابل، كانت هذه الميزات الديموغرافية أقل أهمية في النماذج المشار إليها من قبل المريض والنماذج المتوافقة.
ميزات أخرى: بالنسبة للنماذج المشار إليها من قبل المريض، كانت السن الصغيرة وضغط الدم أكثر بروزاً. أما بالنسبة للنموذج المتوافق، فكان غياب ارتفاع ضغط الدم والتوجه الجنسي المغاير من أهم الميزات.
آثار التحيز: أدت الاعتماد على تسميات مقدمي الرعاية إلى نماذج أعطت وزناً كبيراً للمتغيرات الديموغرافية، مما يثير مخاوف من أن هذه النماذج قد تضخم تحيزات مقدمي الرعاية الموجودة بدلاً من التقاط الحالة المرضية الفعلية للاكتئاب.
المساهمات الرئيسية
الإثبات التجريبي لحساسية التسمية: تقدم الدراسة دليلاً تجريبياً على أن اختيار تسمية الحقيقة المطلقة (المريض مقابل مقدم الرعاية مقابل المتوافق) يغير بشكل أساسي كلاً من مقاييس أداء النموذج وتفسير أهمية الميزات.
تسليط الضوء على عدم استقرار الحقيقة المطلقة: تتحدى الدراسة الافتراض بأن التشخيصات المرمزة من قبل مقدمي الرعاية هي حقيقة مطلقة محايدة أو متفوقة، موضحة أن تجاهل النتائج المبلغ عنها من قبل المرضى يمكن أن يؤدي إلى نماذج تعكس تحيزات التوثيق الإكلينيكي بدلاً من واقع المريض.
التحيز الديموغرافي في التسمية: تشير النتائج إلى أن النماذج المدربة على تسميات مقدمي الرعاية قد تتعلم دون قصد التنبؤ بـ احتمالية قيام مقدم الرعاية بإجراء تشخيص (والذي يرتبط بالعرق والجنس) بدلاً من وجود الحالة نفسها، كما يتضح من التأثير العالي للميزات الديموغرافية في نموذج التسمية المقدم من مقدم الرعاية.
إطار منهجي: تقترح الورقة نهجاً منهجياً لتقييم نماذج تعلم الآلة في الصحة النفسية من خلال مقارنة استراتيجيات التسمية المتعددة وما ينتج عنها من ملفات تعريف القابلية للتفسير لضمان ذكاء اصطناعي عادل وجدير بالثقة.
الأهمية والادعاءات يدعي المؤلفون أن نتائجهم تؤكد ضرورة التقرير الشفاف وإدراج النتائج المبلغ عنها من قبل المرضى (PROs) في تطوير النماذج لدعم الذكاء الاصطناعي العادل في مجال الصحة النفسية. ويجادلون بأن النماذج "الجديرة بالثقة" في رعاية الصحة النفسية يجب أن تدمج منظور المريض، لأن التشخيص يعتمد على الإبلاغ عن الأعراض وليس على المؤشرات الحيوية الموضوعية.
تخلص الورقة إلى أنه بينما قد تحقق تسميات مشتقة من مقدمي الرعاية قيم AUC أو حساسية أعلى قليلاً في بعض السياقات، فإن هذا المكسب يقابله تضخيم لأهمية الميزات الديموغرافية، مما يثير مخاوف كبيرة بشأن التحيز والقدرة على التعميم. تدعو الدراسة إلى الابتعاد عن الاعتماد فقط على التشخيصات المرمزة من قبل مقدمي الرعاية كحقيقة مطلقة. وبدلاً من ذلك، تدعو الباحثين إلى مقارنة استراتيجيات التسمية بشكل روتيني للكشف عن التحيزات في النماذج التي تبدو ذات أداء جيد، ولتوجيه تطوير تعلم الآلة نحو مبادئ الرعاية القائمة على القياس التي تعطي الأولوية لصوت المريض. لا يدعي المؤلفون أنهم قاموا بتحسين خوارزمية معينة للنشر الإكلينيكي، بل إنهم كشفوا المخاطر الجوهرية لممارسات التسمية الحالية في تعلم الآلة الخاص بالصحة النفسية.