Reproducibility-Aware Evaluation of Hierarchical Multiple- Instance Learning for Patient-Level Thrombosis Detection from Compression Ultrasound
تُظهر هذه الدراسة أن التفوق الذي أُبلغ عنه في البداية لتعلم الأمثلة المتعددة الهرمي على خط الأساس ذي الإطار الثابت في الكشف عن التخثر على مستوى المريض كان ناتجاً عن عدم اتساق بيئي وفشل في إعادة الإنتاج تحت ظروف مضبوطة، مما يدحض الادعاءات بوجود ميزة مستقرة للنموذج.
تُعد خثرة الأوردة العميقة حالة خطيرة حيث تتكون جلطة دموية في وريد بالساق، مما قد يؤدي إلى انفصالها وانتقالها إلى الرئتين. وغالبًا ما يستخدم الأطباء الموجات فوق الصوتية الانضغاطية للعثور على هذه الخثرات. خلال هذا الفحص، يضغط الفني مسبارًا على الجلد أثناء مشاهدة بث فيديو مباشر على الشاشة. ولا يكمن مفتاح اكتشاف الخثرة في مجرد النظر إلى صورة ثابتة واحدة؛ بل في مراقبة كيفية تغير شكل الوريد مع تطبيق الضغط بمرور الوقت. فإذا انهار الوريد بسهভাবে، فمن المرجح أنه خالٍ من الخثرات، أما إذا ظل صلبًا، فقد تكون هناك خثرة موجودة. ولأن التشخيص يعتمد على هذه الحركة، فإن البيانات تأتي في شكل مقاطع فيديو قصيرة بدلاً من الصور الثابتة.
في السنوات الأخيرة، حاول العلماء تعليم الحواسيب قراءة مقاطع فيديو الموجات فوق الصوتية هذه تلقائيًا. والأمل هو أن يعمل الذكاء الاصطناعي كعين ثانية، تساعد في رصد الخثرات التي قد تفوت البشر أو تأكيد التشخيص بسرعة أكبر. ومع ذلك، فإن تعليم الكمبيوتر فهم الفيديو أمر صعب. فقد يكون للمريض عدة مقاطع مأخوذة من أجزاء مختلفة من الساق، ويحتاج الكمبيوتر إلى دمج كل تلك المعلومات في إجابة واحدة لهذا المريض. وإذا تم تدريب الكمبيوتر بشكل سيئ، فقد يعتمد على تفاصيل محددة لمقطع فيديو المريض التي تظهر في كل من مرحلتي التدريب والاختبار، مما يعطي شعورًا زائفًا بالدقة. ولكي يكون النظام مفيدًا حقًا، يجب أن يثبت قدرته على التعلم من أنماط الحركة نفسها، وليس مجرد حفظ البيانات التي رآها بالفعل.
لقكّم فريق من الباحثين اختبار نموذج حاسوبي متطور مصمم خصيصًا لهذه المهمة. أرادوا معرفة ما إذا كان نظام معقد يزن بعناية أجزاء مختلفة من الفيديو ومواقع مختلفة في الساق يمكنه باستمرار التفوق على طريقة أبسط بكثير. الطريقة البسيطة تأخذ ثماني إطارات موزعة بالتساوي من كل مقطع فيديو وتقوم بمتوسط النتائج. أما النموذج المعقد، الذي يسميه الباحثون "نظامًا هرميًا"، فيحاول تعلم أي اللحظات في الفيديو هي الأكثر أهمية وكيفية دمج المعلومات من مقاطع متعددة لاتخاذ قرار نهائي. استخدمت الدراسة مجموعة عامة من بيانات الموجات فوق الصوتية لمئات المرضى لإجراء اختبار صارم. وقسم الباحثون المرضى إلى خمس مجموعات، حيث دربوا الكمبيوتر على أربع مجموعات واختبروه على الخامسة، مع التدوير حتى تم اختبار كل مريض. وقد ضمن ذلك عدم تسرب بيانات أي مريض بين مرحلتي التدريب والاختبار، وهو أمر شائع في دراسات الذكاء الاصطناعي التي تؤدي عرضًا إلى تضخيم معدلات نجاحها.
في جولة الاختبار الأولى، باستخدام إعداد البيانات الأصلي، بدا أن النموذج المعقد يتفوق بالفعل على الطريقة البسيطة. وكان الفرق في الدقة ملحوظًا، مما يشير إلى أن النهج المتطور قد يكون هو السبيل للمضي قدمًا. ومع ذلك، لم يتوقف الباحثون عند هذا الحد؛ فقد كانوا يعلمون أنه في عالم الذكاء الاصطناعي، يمكن للتغييرات الصغيرة في برامج الكمبيوتر أو طريقة إجراء التجربة أن تخلق أحيانًا وهم التحسن حيث لا يوجد تحسن فعلي. وللتأكد تمامًا، أعادوا بناء التجربة من الصفر. فقد صححوا معلومة ناقصة في ملفات البيانات، وأعادوا تشغيل الدراسة بأكملها بنفس القواعد الصارمة، وقارنوا بين النظامين جنبًا إلى جنب في نفس البيئة الحاسوبية تمامًا.
وعندما أجروا هذه المقارنة المنضبطة، تغيرت القصة تمامًا. فقد تلاشت الميزة التي أظهرها النموذج المعقد في الجولة الأولى. وفي الواقع، كانت الطريقة الأبسط هي التي أدت أداءً أفضل من النظام المعقد في هذا الاختبار الصارم، حيث حققت الطريقة الأساسية درجة دقة أعلى من النموذج المعقد. علاوة على ذلك، ارتكب النموذج المعقد أخطاء أكبر عند التنبؤ بالاحتمالية الدقيقة لوجود خثرة، مما يعني أنه كان أقل موثوقية في مستويات ثقته. كما اختبر الباحثون ما إذا كان إضافة تفاصيل محددة حول موقع الفحص أو جانب الجسم يساعد النموذج، ووجدوا أن هذه التفاصيل الإضافية لم توفر فائدة مستقرة. وخلصت الدراسة إلى أن التحسن الأولي الذي شوهد كان على الأرجح مجرد صدفة ناتجة عن ظروف الجولة الأولى، وليس ميزة حقيقية ودائمة للتصميم المعقد.
تشير النتائج إلى أنه بالنسبة لهذه المهمة الطبية المحددة، فإن النهج الأبسط الذي يعتمد على متوسط المعلومات من بضعة إطارات لا يقل فعالية عن نظام أكثر تعقيدًا يحاول وزن كل تفصيل. لم يثبت النموذج المعقد أنه أداة متفوقة للعثور على الخثرات في مجموعة البيانات هذه. ويؤكد الباحثون أن عملهم ليس فشلًا للذكاء الاصطناعي، بل هو فحص ضروري لكيفية قياس النجاح. لقد أثبتوا أنه بدون اختبار دقيق للغاية، من السهل الخلط بين الضوضاء العشوائية والتقدم النوعي. وتعمل الدراسة كتذكير بأنه قبل الوثوق بأداة ذكاء اصطناعي طبية جديدة في المستشفى، يجب إثبات عملها باستمرار تحت ظروف صارمة، وليس فقط في جولة واحدة مواتية. وحتى يتم العثور على مثل هذا الإثبات المستمر، ستظل الطرق الأبسط هي الخيار الأكثر موثوقية لهذا النوع من تحليل الموجات فوق الصوتية.
ملخص تقني: تقييم مدرك لإعادة الإنتاجية للتعلم متعدد الحالات الهرمي للكشف عن التخثر على مستوى المريض
بيان المشكلة تتناول هذه الدراسة تحدي الكشف عن تخثر الأوردة في الأطراف السفلية من خلال تسلسلات الموجات فوق الصوتية لضغط التغيير الديناميكي (CUS). وبينما تم تطبيق الذكاء الاصطناعي على صور الموجات فوق الصوتية الثابتة، فإن اختزال التسلسلات الديناميكية إلى إطارات مفردة أو مجرد متوسط الاحتمالات قد يؤدي إلى فقدان المعلومات الزمنية والتشريحية الحرجة. تتضمن الفحوصات في العالم الحقيقي مواقع تشريحية متعددة (مثل الوريد الفخذي المشترك، والوريد الفخذي، والوريد المأبضي، والوريد الصافن الكبير) وأعداداً متغيرة من المقاطع (clips) لكل مريض. ويتمثل أحد المخاوف المنهجية الرئيسية في خطر "تسرب البيانات" (data leakage) عندما لا يتم عزل بيانات المريض بشكل صارم أثناء التحقق المتقاطع، مما يؤدي إلى المبالغة في تقدير الأداء. علاوة على ذلك، تبحث الدراسة فيما إذا كانت نماذج التعلم متعدد الحالات الهرمي (Hierarchical Multiple-Instance Learning - MIL)، والتي تعامل المرضى كـ "حقائب" (bags) والمقاطع كـ "حالات" (instances)، تقدم ميزة مستقرة وقابلة لإعادة الإنتاج مقارنة بنماذج التجميع ذات الإطارات الثابتة البسيطة، لا سيما عند مراعاة تباين بيئة وقت التشغيل واكتمال الحقول.
المنهجية استخدم البحث مجموعة بيانات ThrombUS+ Dataset #1 Training Set (v1.0) العامة، والتي تضم 594 مريضاً و2,341 مقطع فيديو سينمائي (cine clips) بتنسيق DICOM.
التسلسل الهرمي للبيانات والتوسيم: حددت الدراسة نقطة نهاية "هندسية إيجابية" على مستوى المريض: يُعتبر المريض إيجابياً إذا وجد أي سجل لـ SubjectID الخاص به يحمل تسمية Thrombosis=1 خام. نتج عن ذلك 81 مريضاً إيجابياً و513 مريضاً سلبياً.
ضبط الجودة: خضعت عملية ضبط جودة تقنية صارمة (QC) استبعدت 14 مقطعاً (مع الإبقاء على 2,327) بناءً على قابلية القراءة، وتباين البكسل، والمعلومات المدمجة (burned-in information)، دون تغيير تسميات المرض الأصلية.
إطار التحقق: تم استخدام تحقق متقاطع خماسي الطيات على مستوى المريض (patient-level five-fold cross-validation) بشكل صارم. ضمن عزل SubjectID عدم ظهور بيانات أي مريض في كل من مجموعتي التدريب والاختبار.
النماذج المقارنة:
الانحدار اللوجستي المهيكل: نموذج أساسي يستخدم متغيرات سريرية (الجنس، الطول، الوزن، محيط الفخذ) مع استبعاد "قابلية الانضغاط" صراحةً لتجنب تسرب الهدف.
الأساس التصويري ذو الـ 8 إطارات الثابتة: يتم أخذ عينات منتظمة من 8 إطارات لكل مقطع سينمائي، وتتم معالجتها عبر مشفر MobileNetV3-Small، مع حساب متوسط الاحتمالات عبر جميع المقاطع السينمائية للمريض.
نموذج MS-CineMIL (المقترح): نموذج هرمي يستخدم MobileNetV3-Small. يستخدم آلية انتباه زمنية بوابية (gated temporal attention) لتجميع 8 إطارات في تمثيل مقطع سينمائي واحد، ويضيف تضمينات الموقع التشريحي والجانبية (laterality)، ويستخدم الانتباه البوابي لتجميع عدد متغير من المقاطع في احتمال على مستوى المريض. كما يتضمن متجه مؤشر لعدم وجود البيانات (missingness indicator vector) للمواقع التشريحية.
التحليل الإحصائي: كان المقياس الأساسي هو مساحة تحت منحنى خصائص التشغيل (ROC AUC) على مستوى المريض. تم اختبار الفروق باستخدام بوتستراب مزدوج (paired bootstrap) على مستوى المريض بـ 10,000 عينة إعادة أخذ. تم تطبيق تصحيح بونفيروني (α=0.0167) على ثلاث مقارنات ثنائية أساسية.
تدقيق إعادة الإنتاجية: أجرت الدراسة "تحليلاً تاريخياً مجمداً للإصدار الأول" (V1 historical frozen analysis) يليه إعادة تشغيل مع استكمال الحقول (لتصحيح حقول الموقع/الجانبية المفقودة في البيان الأصلي) ومقارنات مضبوطة في نفس البيئة لعزل تأثير تغيرات حزمة البرمجيات (إصدارات Python/PyTorch/CUDA) على الأداء.
النتائج الرئيسية
التحليل التاريخي المجمّد للإصدار الأول (V1): حقق نموذج MS-CineMIL مساحة ROC AUC بلغت 0.6419، مقارنة بـ 0.5679 للنموذج الأساسي ذي الـ 8 إطارات الثابتة. بلغ الفرق الاسمي +0.0740 (P=0.039). ومع ذلك، فشل هذا الفرق في اجتياز تصحيح بونفيروني (α=0.0167).
المقارنة المضبوطة في نفس البيئة: عند إعادة تشغيل النموذج الأساسي ذي الـ 8 إطارات الثابتة في نفس البيئة (باستخدام حزم برمجية محدثة)، تحسنت مساحة ROC AUC الخاصة به لتصل إلى 0.6390. وكان الفرق بين MS-CineMIL (الذي سجل 0.6107 في إعادة التشغيل بالحقول المصححة) وهذا النموذج الأساسي المعاد تشغيله هو -0.0283 (P=0.538)، مما يشير إلى عدم وجود ميزة ذات دلالة إحصائية للنموذج الهرمي.
درجة براير (Brier Score): في المقارنة المضبوطة، أظهر MS-CineMIL خطأ براير أكبر بشكل ملحوظ (+0.0374، P<0.001) مقارنة بالنموذج الأساسي، مما يشير إلى ضعف في معايرة الاحتمالات.
دراسة الاستئصال والحساسية:
أدى إزالة ترميز الموقع التشريحي/الجانبية أو استبدال الانتباه البوابي بمتوسط التجميع المنتظم إلى أداء لم يكن متفوقاً أو ضعيفاً بشكل مستقر عبر تكوينات المدخلات المختلفة.
لم تؤدِ زيادة دقة المدخلات من 160×160 إلى 224×224 إلى مكاسب مستقرة في التمييز، بل أدت إلى سوء درجة براير.
أدى تغيير قاعدة تجميع التسميات (من "أي مقطع إيجابي" إلى "أغلبية المقاطع إيجابية") إلى تغيير عدد الفئات الإيجابية بشكل كبير، لكنه لم يغير نقطة التقدير للترتيب بشكل جوهري، وإن كان قد سلط الضوء على الحساسية تجاه تعريف نقطة النهاية.
تباين وقت التشغيل: أظهرت إعادة تشغيل النموذج الأساسي وحده تحولاً في الأداء قدره 0.0711 (من 0.5679 إلى 0.6390) فقط بسبب تغييرات بيئة البرمجيات. وهذا التحول هو من نفس حجم المكسب الاسمي الذي ادعاه MS-CineMIL في تحليل الإصدار الأول، مما يشير إلى أن المكسب الأصلي كان على الأرجرج ناتجاً عن انزياح بيئي وليس تفوقاً للنموذج.
المساهمات الرئيسية والأهمية تنص الورقة صراحةً على أن مساهمتها الرئيسية ليست إثبات ميزة منهجية مستقرة أو سريرية متفوقة لنموذج MS-CineMIL في هذا السياق. بدلاً من ذلك، تكمن الأهمية في:
إطار تقييم مدرك لإعادة الإنتاجية: إنشاء خط تقييم صارم وخالٍ من تسرب البيانات للموجات فوق الصوتية الديناميكية متعددة المواقع، يتضمن استكمال الحقول ومقارنات مضبوطة في نفس البيئة.
الإثبات التجريبي للتباين: تقديم دليل على أن التباين بين عمليات التشغيل (المدفوع بحزمة البرمجيات وعدم حتمية وحدة معالجة الرسومات) يمكن أن يصل إلى نفس رتبة المكاسب الاسمية للنماذج. تظهر الدراسة أن النتيجة ذات الدلالة الاسمية (P=0.039) يمكن أن تختفي تماماً تحت الظروف المضبوطة.
تحديد حدود الأدلة: التمييز الصريح بين تدقيق التجميع الداخلي والادعاءات بالتفوق المستقر أو المنفعة السريرية. خلص المؤلفون إلى أن الأدلة الحالية لا تدعم نشر MS-CineMIL بدلاً من النماذج الأساسية الأبسط، ولا تدعم الادعاءات بالجدة بناءً على الأداء الملحوظ.
الشفافية في أبحاث الذكاء الاصطناعي: الإفصاح الاستباقي عن انزياح الأداء، وتقديم تواقيع كاملة لعمليات التشغيل، والالتزام بإرشادات TRIPOD+AI وCLAIM لوضع معيار لتدقيق التباين بين عمليات التشغيل في التصوير الطبي.
الخلاصة تخلص الدراسة إلى أنه بموجب عزل صارم على مستوى المريض وظروف تشغيل مضبوطة، لا يظهر نموذج MS-CineMIL الهرمي أي ميزة مستقرة أو قابلة لإعادة الإنتاج على نموذج التجميع ذي الـ 8 إطارات الثابتة. إن المكاسب الاسمية التي لوحظت في التحليل الأول لم يتم إعادة إنتاجها وصاحبها أخطاء احتمالية أعلى. تعمل الورقة كنموذج تحذيري بشأن تفسير فروق الأداء في الذكاء الاصطناعي الطبي، مؤكدة على ضرورة التدقيق في تباين وقت التشغيل واكتمال الحقول قبل الادعاء بالتفوق المنهجي.