In search of truth: Evaluating concordance of AI-based anatomy segmentation models
تقدم هذه الورقة إطار عمل عملي لتقييم التوافق بين نماذج تقسيم التشريح القائمة على الذكاء الاصطناعي في مجموعات البيانات التي تفتقر إلى الحقيقة الأرضية، وذلك من خلال توحيد المخرات في تمثيل قياسي وتوفير أدوات تصور تفاعلية، مما يثبت فائدتها في مقارنة ستة نماذج مفتوحة المصدر على صور الأشعة المقطعية من مجموعة بيانات (NLST) لتحديد التباينات وتحديد حالات عدم الاتفاق بين النماذج ذات الأولوية للمراجعة من قبل الخبراء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة من صور الأشعة السينية الطبية (تحديداً الأشعة المقطعية للصدر) لآلاف الأشخاص. يريد الأطباء دراسة هذه الصور لفهم الأمراض، لكن فحصها واحدة تلو الأخرى أمر مستحيل. لذا، يحتاجون إلى روبوت يقوم تلقائياً برسم حدود حول الأعضاء مثل الرئتين، والقلب، والأضلاع حتى يتمكنوا من قياسها.
مؤخراً، تم اختراع ستة "طهاة آليين" (نماذج ذكاء اصطناعي) مختلفين للقيام بهذه المهمة. جميعهم يحاولون رسم هذه الحدود تلقائياً، لكنهم لا يتفقون دائماً مع بعضهم البعض. ولكن تكمن المشكلة هنا: لا أحد يملك "نموذج الإجابة". لا توجد حدود مرسومة بشرياً ومثالية للمقارنة بها لمعرفة من هو المصيب.
هذه الورقة البحثية تشبه اختبار تذوق حيث لا يعرف الحكام الوصفة، لكن لا يزال بإمكانهم معرفة أي الطهاة يصنعون الحساء الأكثر فوضوية من خلال رصد مواضع اختلافهم.
المشكلة الكبرى: "نموذج الإجابة" مفقود
عادةً، لاختبار طالب، تعطي له اختباراً وتقارن إجاباته بنموذج الإجابة الخاص بالمعلم. في هذه الحالة، "المعلم" (الرسم البشري المثالي) غير موجود لآلاف الصور هذه. إذا طلبت من الروبوتات الستة فقط رسم الرئتين، فكيف ستعرف ما إذا كانوا يرسمون نفس الرئة؟ قد يسميها النموذج (أ) "الرئة اليسرى"، والنموذج (ب) "رئة يسار"، والثالث قد يرسم الحدود بشكل مختلف قليلاً. الأمر يشبه محاولة مقارنة ست خرائط لنفس المدينة حيث يستخدم الجميع أسماءً مختلفة للشوارع ويرسمون الحدود في أماكن مختلفة.
الحل: مترجم عالمي و"عناق جماعي"
قام الباحثون ببناء مجموعة أدوات لحل هذه المشكلة عبر ثلاث خطوات ذكية:
1. المترجم العالمي (التوحيد - Harmonization)
أولاً، قاموا ببناء مترجم. أخذوا التسميات الفوضوية والمختلفة من جميع نماذج الذكاء الاصطنا الستة وأجبروهم على التحدث بلغة واحدة. تأكدوا من أنه عندما يقول النموذج (أ) "كبد" والنموذج (ب) "Hepar"، فإن الكمبيوتر يعرف أنهم يتحدثون عن نفس العضو تماماً. كما أعطوا كل عضو لوناً معيارياً، حتى لا تضطر للتخمين أي بقعة حمراء هي القلب وأيها الكبد.
2. "العناق الجماعي" (الإجماع - Consensus)
بما أنه لا يوجد نموذج إجابة من معلم، فقد استخدموا تصويت الأغلبية. تخيل ستة أشخاص يحاولون رسم دائرة على ورقة. إذا رسم خمسة منهم دائرة متشابهة تقرياً، بينما رسم أحدهم مربعاً، يمكنك التخمين أن الدائرة هي الأرجح.
- قاموا بوضع جميع الرسومات الست فوق بعضها البعض.
- حيث اتفق الستة جميعاً، فهذا هو "الإجماع" (المنطقة الآمنة).
- حيث اختلفوا، فهذا يعتبر علامة خطر.
ملاحظة هامة: مجرد اتفاق النماذج (الإجماع) لا يعني بالضرورة أن الإجابة صحيحة! فقد يرتكبون جميعاً نفس الخطأ! ومع ذلك، فإن الاتفاق هو إشارة مفيدة بأن الأمور غالباً جيدة، بينما الاختلاف هو إشارة قوية على وجود خطأ ما يستدعي الانتباه.
3. أدوات التحري (التصور المرئي - Visualization)
بنى الباحثون أداتين خاصتين لمساعدة البشر على رصد المشكلات:
- "رادار القيم المتطرفة" (الرسوم البيانية التفاعلية): بدلاً من النظر في آلاف الأرقام، صنعوا رسماً بيانياً. إذا كان رسم أحد النماذج بعيداً جداً عن "العناق الجماعي"، فإنه يظهر كنقطة ساطعة على الرسم. يمكنك النقر على تلك النقطة، وسوف تنقلك فوراً إلى المسح ثلاثي الأبعاد لرؤية الخطأ.
- "عرض جنباً إلى جنب" (3D Slicer): أنشأوا مشاهداً بشاشة منقسمة يتيح لك النظر إلى نفس شريحة صدر المريض من جميع النماذج الستة في وقت واحد. الأمر يشبه امتلاك ست كاميرات مراقبة تعرض نفس الغرفة في اللحظة ذاتها، بحيث يمكنك رؤية ما إذا كانت إحدى الكاميرات تنظر إلى زاوية خاطئة فوراً.
ماذا وجدوا؟ (نتائج اختبار التذوق)
اختبروا هذه الروبوتات على 18 مسحاً للصدر. إليكم ما اكتشفوه:
- الرئتان (النجوم): كانت جميع النماذج رائعة في رسم الرئتين. لقد اتفقوا جميعاً بشكل شبه مثالي. الأمر يشبه اتفاق الطهاة الستة على كيفية تقطيع تفاحة.
- القلب (المُربك): اتفقت معظم النماذج، لكن النموذج (CADS) رسم القلب ككرة صغيرة مدمجة، بينما رسمته النماذج الأخرى كشكل أكبر يشمل الأوعية الدموية الكبيرة. اتضح أن (CADS) كان يستخدم تعريفاً مختلفاً لما يعتبر "قلباً".
- الأضلاع والعمود الفقري (منطقة الكوارث): هذا هو المكان الذي أصبحت فيه الأمور فوضوية. أربعة من النماذج (التي تصادف أنها تدربت على نفس مجموعة البيانات) استمرت في ارتكاب نفس الأخطاء. كانوا يدمجون ضلعين معاً بالخطأ أو يدمجون فقرتين (عظام العمود الفقري) في كتلة واحدة ضخمة. كان الأمر يشبه طباخاً يستمر في لصق ملعقتين معاً بالخطأ.
- لماذا؟ لأن البيانات التي تدربوا عليها كانت تحتوي على أمثلة سيئة منذ البداية.
- الحل: أما النموذجان الآخران (MOOSE و CADS) فلم يستخدموا تلك البيانات السيئة، ورسما العظام بشكل صحيح.
لماذا يهم هذا؟
هذه الورقة لا تتعلق فقط بالقول إن "النموذج X سيء". بل تتعلق بإيجاد مواضع الاختلاف بين النماذج، ليعرف الخبراء البشريون أين يجب أن ينظروا أولاً.
لقد أظهر الباحثون أنه حتى بدون وجود معلم لتصحيح العمل، يمكنك لا تزال العثور على مواضع الخطأ من خلال:
- جعل الجميع يتحدثون لغة واحدة.
- التحقق من مكان اتفاق المجموعة واختلافها.
- استخدام أدوات ذكية لتنبيه البشر للمراجعة.
إنهم الآن يشاركون جميع أدوات "المترجم"، و"رادار القيم المتطرفة"، و"مشاهد الجنب إلى جنب" مجاناً. وهذا يعني أن العلماء الآخرين يمكنهم استخدام هذه الأدوات لتقييم مدى اتفاق نماذج الذكاء الاصطناعي المختلفة على بياناتهم الطبية الخاصة وتحديد مناطق الاختلاف للفحص الدقيق.
باختصار: لقد بنوا مجموعة أدوات لمساعدتنا على رصد أين تختلف نماذج الذكاء الاصطناعي، لكي يتمكن الخبراء البشريون من إعطاء الأولوية لمراجعة تلك الحالات — مما يضمن أنه عندما نعتمد الأتمتة في الأبحاث الطبية، فإننا نمسك بالأخطاء المحتملة قبل أن تنتشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.