Validating Acute Coronary Syndrome ICD Codes as Training Labels for Clinical AI
تؤكد هذه الدراسة الاسترجاعية التي استمرت عشر سنوات وشملت ما يقرب من 620,000 حالة في أقسام الطوارئ أنه بينما تُظهر تسميات متلازمة الشريان التاجي الحادة المرمزة بنظام (ICD) حساسية ونوعية عاليتين، فإن قيمتها التنبؤية الإيجابية المتوسطة مدفوعة بأخطاء منهجية يمكن تفسيرها — لا سيما الحالات المشتبه بها التي تم استبعادها لاحقاً أو سهو المرمزين — مما يجعلها تسميات تدريبية مناسبة لنماذج فحص الذكاء الاصطناعي حيث يكون تفويت التشخيص أكثر خطورة من تحديد الهوية الزائد.
المؤلفون الأصليون:Daniel K. Amponsah, Gabrielle Bunney, Kate Miller, Ariadna Garcia, Anna Graber-Naidich, Keejeong Ryu, Himani Darji, Marilyn Ndukwe, Valerie J.F. McDonald, William M. Mehring, Jada Henderson, David LeiDaniel K. Amponsah, Gabrielle Bunney, Kate Miller, Ariadna Garcia, Anna Graber-Naidich, Keejeong Ryu, Himani Darji, Marilyn Ndukwe, Valerie J.F. McDonald, William M. Mehring, Jada Henderson, David Lei, Marium Rizvi, Adenine Cembellin-Kao, Sylvia D. Kreibig, Celina M. Yong, William F. Fearon, Maame Yaa A.B. Yiadom
المؤلفون الأصليون: Daniel K. Amponsah, Gabrielle Bunney, Kate Miller, Ariadna Garcia, Anna Graber-Naidich, Keejeong Ryu, Himani Darji, Marilyn Ndukwe, Valerie J.F. McDonald, William M. Mehring, Jada Henderson, David Lei, Marium Rizvi, Adenine Cembellin-Kao, Sylvia D. Kreibig, Celina M. Yong, William F. Fearon, Maame Yaa A.B. Yiadom
في قسم الطوارئ، يُعد الوقت المورد الأكثر حيوية. فعندما يصل مريض يعاني من ألم في الصدر، يجب على الأطباء اتخاذ قرار سريع بشأن ما إذا كان يعاني من متلازمة الشريان التاجي الحادة، وهي حالة تهدد الحياة حيث ينقطع تدفق الدم إلى القلب. إن تفويت هذا التشخيص قد يكون مميتًا، لكن إجراء مجموعة كاملة من اختبارات القلب لكل شخص يطأ عتبة المستشفى أمر مستحيل. ولحل هذه المعضلة، تتجه المستشات بشكل متزايد نحو الذكاء الاصطناعي؛ إذ تتعلم هذه البرامج الحاسوبية رصد الخطر من خلال دراسة ملايين السجلات الطبية السابقة، والبحث عن أنماط قد تخفى على العين البشرية. ومع ذلك، لكي يتعلم الحاسوب بشكل صحيح، فإنه يحتاج إلى معلم يعرف الحقيقة. وفي عالم البيانات الطبية، غالبًا ما يكون هذا المعلم هو "رمز الفوترة" — وهو ملصق معياري قصير يُخصص لزيارة المريض للتعامل مع التأمين ومحاسبة المستشفى. والسؤال الكبير الذي يواجه الباحثين هو ما إذا كانت هذه الملصقات الإدارية دقيقة بما يكفي لتعليم الآلة كيفية إنقاذ الأرواح، أم أنها تحتوي على الكثير من الأخطاء التي تجعل من الصعب الوثوق بها.
لقد شرع فريق من الباحثين في جامعة ستانفورد في الإجابة على هذا السؤال من خلال النظر في عقد من زيارات غرف الطوارئ. فقد فحصوا ما يقرب من 620,000 حالة لمواطنين بالغين بين عامي 2015 و2024، وقارنوا رموز الفوترة المخصصة للمرضى بالتشخيص النهائي الفعلي الذي وضعه الفريق الطبي المعالج. أراد الباحثون معرفة ما إذا كانت الرموز القابلة للقراءة حاسوبيًا تتطابق مع استنتاجات الأطباء البشريين. ووجدوا أن رموز الفوترة كانت موثوقة للغاية لغرضها المنشود؛ فعندما تشير الرموز إلى أن المريض يعاني من حالة قلبية، يؤكد الأطباء ذلك في 94 حالة من أصل كل 100 حالة. والأهم من ذلك، أن الرموز نادرًا ما تغفل عن حالة حقيقية؛ إذ فشلت في رصد مريض مصاب بحالة قلبية مؤكدة 4 مرات فقط من بين كل 10,000 زيارة. وهذا يعني أن النظام بارع للغاية في اصطياد الأشخاص الذين يحتاجون إلى المساعدة، وهو الهدف الأهم لأداة الفحص.
لقد كشفت الدراسة أيضًا أن الرموز لم تكن مثالية، لكن الأخطاء اتبعت نمطًا واضحًا ومفهومًا بدلاً من كونها أخطاء عشوائية. فعندما كانت الرموز خاطئة، كان ذلك عادةً بسبب تصنيف مريض كان يُشتبه في إصابته بنوبة قلبية ولكن تم استبعاده لاحقًا من قبل الأطباء. في هذه الحالات، كان لدى المريض أعراض تشبه تمامًا النوبة القلبية، مثل التهاب عضلة القلب أو مشا مشاكل القلب الناجمة عن الإجهاد، وقضى الفريق الطبي وقتًا لاستبعاد الاحتمالات الأكثر خطورة. ومن منظور ذكاء اصطناعي مصمم للفحص بحثًا عن الخطر، فإن هذه لا تُعد إخفاقات؛ فالنظام الذي يصنف هؤلاء المرضى يضمن عدم إغفال أي شخص لديه أزمة قلبية محتملة، حتى لو عنى ذلك خضوع بعض الأشخاص الذين تبين لاحقًا أنهم بخير لفحص أدق. أما المرات القليلة التي فات فيها النظام نوبة قلبية حقيقية، فقد كانت بسبب تجاهل المبرمج ببساطة لملاحظات الطبيب، وليس بسبب عدم وضوح التشخيص.
تشير هذه النتائج إلى أن استخدام رموز الفوترة لتدريب الذكاء الاصطناعي هو استراتيجية سليمة لأقسام الطوارئ. إذ يتعلم الحاسوب التعرف على الأنماط الواسعة والملحة لمشاكل القلب، بما في ذلك الحالات التي تتبين لاحقًا أنها أقل خطورة، لأن تكلفة تفويت نوبة قلبية حقيقية أعلى بكثير من تكلفة إجراء اختبار إضافي لشخص سليم. وقد أكد الباحثون أن الأخطاء في البيانات كانت منهجية ويمكن التنبؤ بها، مما يعني أنه يمكن أخذها في الاعتبار عند بناء هذه النماذج. ومن خلال الاعتماد على هذه الرموز، يمكن للمستشفيات تطوير أدوات تعمل كشبكة أمان عالية الحساسية، مما يضمن تحديد المرضى الأكثر حرجًا فور وصولهم. وتخلص الدراسة إلى أنه بينما لا توجد نقطة بيانات واحدة خالية من العيوب، فإن الدقة الجماعية لهذه الرموز كافية لدعم الجيل القادم من التكنولوجيا الطبية المنقذة للحياة.
ملخص تقني: التحقق من صحة رموز التصنيف الدولي للأمراض (ICD) لمتلازمة الشريان التاجي الحادة كملصقات تدريبية للذكاء الاصطناقي السريري
بيان المشكلة تعتمد نماذج الذكاء الاصطناعي المصممة لدعم فحص متلازمة الشريان التاجي الحادة (ACS) في أقسام الطوارئ (ED) بشكل كبير على البيانات المهيكلة للسجلات الصحية الإلكترونية (EHR) لأغراض التدريب. وتعد رموز التصنيف الدولي للأمراض (ICD) هي المصدر الأكثر سهولة وواسع النطاق للملصقات (labels) المسترجعة لهذه المجموعات من البيانات. ومع ذلك، فإن رموز ICD هي أدوات إدارية في المقام الأول يتم تعيينها بعد الزيارة من قبل المبرمجين، وليست تشخيصات سريرية. ولا تزال دقة هذه الرموز كبدائل للحقيقة السريرية في مجتمعات أقسام الطوارئ المعاصرة غير مؤكدة. وفي سياق فحص متلازمة الشريان التاجي الحادة، حيث تنطوي احتمالية تفويت التشخيص (السلبية الكاذبة) على مخاطر عالية في المراضة والوفيات، فإن صلاحية رموز ICD كملصقات تدريب أمر بالغ الأهمية. وقد ركزت معظم أعمال التحقق السابقة على سجلات المرضى الداخليين أو المجموعات السكانية غير الأمريكية، مما ترك فجوة في فهم أداء رموز ACS الخاصة بـ ICD ضمن بيئات أقسام الطوارئ في الولايات المتحدة وطبيعة التباينات المحددة بين الترميز والتوثيق السريري.
المنهجية أجرى المؤلفون دراسة استرجاعية أفقية لمدة 10 سنوات (من 1 يناير 2015 إلى 31 ديسمبر 2024) في مركز طبي أكاديمي من المستوى الثالث في ستانفورد، كاليفورنيا.
المجموعة (Cohort): حللت الدراسة 619,599 حالة زيارة لأقسام الطوارئ للبالغين، مع استبعاد حالات الإصابات والحوادث (trauma) ونشاطات السكتة الدماغية.
المعيار المرجعي: تم تحديد "الحقيقة الأرضية" (ground truth) بأنها التشخيص النهائي الذي وثقه الفريق السريري المعالج (من خلال مراجعة ملاحظات قسم الطوارئ، والملاحظات التقدمية، والاستشارات، وملخصات الخروج)، بدلاً من التحقق المستقل من الحقيقة الفسيولوجية المرضية. ويتماشى هذا النهج البراغماتي مع واقع أن نماذج الذكاء الاصطناعي تُدرب على التشخيصات الموثقة.
تعريف الملصق (Label Definition): تم تعريف متلازمة الشريان التاجي الحادة بناءً على رموز ICD كالتالي، من خلال وجود رموز محددة من ICD-9-CM أو ICD-10-CM لجلطة القلب (STEMI)، أو احتشاء عضلة القلب غير المتقدم بـ ST (NSTEMI)، أو الذبحة الصدرية غير المستقرة (UA) ضمن أول 10 تشخيصات نهائية للمستشفى.
استراتيجية مراجعة السجلات:
تمت مراجعة جميع الحالات التي تحمل رمز ICD لمتلازمة الشريचान التاجي الحاد (n=5,961).
لالتقاط حالات السلبية الكاذبة المحتملة، تم استخدام استراتيجية إثراء للحالات التي لا تحمل رمز ACS: وهي الحالات التي تحمل كلاً من رمز مرض الشريان التاجي (CAD) ونتائج تروبونين غير طبيعية (n=510).
عُوملت الحالات الـ 613,128 المتبقية كحالات غير مصابة بـ ACS.
عملية المراجعة: قام تسعة مراجعين ذوي خبرة سريرية، مع التعمية (blinded) تجاه تصنيفات ICD، بمراجعة السجلات. وخضعت الحالات المتفاوتة (التي اختلف فيها رمز ICD مع مراجعة السجل) لمراجعة ثانوية متعددة المراحل من قبل فريقين مستقلين وتحكيم الخبراء لتوصيف أسباب الاختلاف.
المقاييس: حسبت الدراسة الحساسية (sensitivity)، والنوعية (specificity)، والقيمة التنبؤية الإيجابية (PPV)، ومعامل كوهين كابا (Cohen's kappa)، بمقارنة رموز ICD مقابل المعيار المرجعي المراجع من السجلات.
النتائج الرئيسية
إحصائيات الاتفاق: مقابل المعيار المرجعي المراجع من السجلات، أظهرت رموز ICD ما يلي:
الحساسية: 94.4% (فاصل ثقة 95%: 93.7%–95.0%)
النوعية: 99.73% (فاصل ثقة 95%: 99.72%–99.74%)
القيمة التنبؤية الإيجابية (PPV): 72.4% (فاصل ثقة 95%: 71.2%–73.5%)
معامل كوهين كابا: 0.82
معدلات التباين: حدث عدم الاتفاق الإجمالي في 0.31% فقط من جميع الحالات.
الإيجابيات الكاذبة (ICD+ / السجل-): 1,647 حالة (0.27% من الإجمالي).
السبيات الكاذبة (ICD- / السجل+): 257 حالة (0.04% من الإجمالي).
تحليل الأخطاء:
الإيجابيات الكاذبة: المحرك الرئيسي (80.3%) كان الحالات التي يُشتبه فيها بوجود ACS أثناء الزيارة ولكن تم استبعادها لاحقاً (مثل المحاكيات السريرية مثل التهاب التأمور أو اعتلال عضلة القلب الإجهادي، أو تشخيصات قسم الطوارئ الأولية التي تم تعديلها عند التقييم داخل المستشفى). لم تكن هذه أخطاء ترميز عشوائية، بل مثلت مرضى استوجبوا سريرياً تقييم ACS.
السبيات الكاذبة: المحرك الرئيسي (86.0%) كان إغفال المبرمج لـ ACS الموثق، وليس الاختلاف السريري.
الديموغرافيا: كانت المجموعة المراجعة من السجلات أكبر سناً (متوسط العمر 69.3 مقابل 50.9) ولديها انتشار أعلى لتأمين Medicare مقارنة بعامة سكان قسم الطوارج، وهو ما يتوافق مع معايير الإثراء.
الأهمية والادعاءات يدعي البحث أن رموز ICD لمتلازمة الشريان التاجي الحادة مناسبة كملصقات تدريب لنماذج الذكاء الاصطناعي المصممة لفحص مرضى أقسام الطوارضاء للكشف عن ACS، خاصة عندما يكون الهدف السريري هو تقليل الحالات المفقودة (الحساسية العالية) بدلاً من تعظيم النوعية.
الخطأ المنهجي مقابل الخطأ العشوائي: خلصت الدراسة إلى أن أخطاء التسمية (labeling errors) هي أخطاء منهجية وقابلة للتفسير وليست عشوائية. إن نمط الخطأ السائد (الإيجابيات الكاذبة التي تمثل المرضى الذين استوجبوا التقييم) يعزز فائدة هذه الملصقات لنماذج الفحص، حيث يجب على هذه النماذج تحديد هذه الحالات "المجاورة لـ ACS" لإجراء مزيد من العمل (مثل تخطيط القلب).
السياق السريري: يشير معدل السلبية الكاذبة المنخفض (0.04%) إلى أن التسمية القائمة على ICD ستفقد فقط جزءاً صغيراً جداً من الحالات الحقيقية (حوالي 26 حالة سنوياً في هذه المؤسسة)، مما يدعم استخدام هذه الرموز لتطوير أنظمة الإنذار المبكر.
القيود والنطاق: يقر المؤلفون بأن الدراسة كانت أحادية المركز وأن المعيار المرجعي كان توثيق الفريق المعالج وليس الحقيقة الفسيولوجية المرضية. كما أشاروا إلى أن استراتيجية الإثراء قد لا تمثل "الذبحة الصدرية غير المستقرة" (التي تفتقر إلى نتائج تروبونين غير طبيعية) بشكل كامل، مما قد يؤدي إلى تقدير أقل من الواقع لمعدل السلبية الكاذبة. بالإضافة إلى ذلك، تغطي الدراسة فترة الانتقال من ICD-9 إلى ICD-10 واعتماد اختبارات التروبونين عالية الحساسية، مما يعني أن النتائج تعكس مزيجاً من العصور الترميزية والتشخيصية.
باخت_صار، يجادل المؤلفون بأنه على الرغم من الطبيعة الإدارية لرموز ICD، فإن حساسيتها العالية وطبيعة أخطائها ذات الطابع السريري المعلوماتي تجعلها أساساً صالحاً وعملياً لتدريب نماذج الذكاء الاصطناዊ السريري الموجهة لفحص متلازمة الشريان التاجي الحادة في أقسام الطوارئ.