A Fine-Grained Benchmark for Ophthalmic Foundation Models with Point-Based Classification and Retrieval
تقدم هذه الورقة معياراً دقيقاً للنماذج التأسيسية لطب العيون، والذي يستخدم مهام التصنيف والاسترجاع الخاضعة لإشراف نقطي ليكشف أنه بينما تتفوق هذه النماذج على نظيراتها العامة، إلا أنها لا تزال تعاني في تحديد علامات سريرية محددة رغم أدائها القوي في تصنيف الأمراض.
المؤلفون الأصليون:Hyunmin Kim, Michael Grün, Rahul A. Jonas, Heesuk Kim, Sungyeon Kim, Takahiro Ninomiya, Broder Poschkamp, Xiaolei Diao, Sophie-Christin Ernst, Josef Huemer, Koichi Ito, Paul Nderitu, Kuang Hu, Lie JuHyunmin Kim, Michael Grün, Rahul A. Jonas, Heesuk Kim, Sungyeon Kim, Takahiro Ninomiya, Broder Poschkamp, Xiaolei Diao, Sophie-Christin Ernst, Josef Huemer, Koichi Ito, Paul Nderitu, Kuang Hu, Lie Ju, Yiqun Lin, Yilan Wu, Ariel Yuhan Ong, Michael G. Morley, Tobias Elze, Junseo Choi, Danbi Lee, Youngbin Seo, Yaxing Wang, Songhomitra Panda-Jonas, Jost B. Jonas, Mukharram M. Bikbov, Gyulli M. Kazakbaeva, Vinay Nangia, Clemens Lange, Albrecht Lommatzsch, Anthony P. Khawaja, Robert Luben, Alasdair Warwick, Andre Altmann, Alastair K. Denniston, Daniel C. Alexander, Siegfried K. Wagner, Yukun Zhou, Sunjin Hwang, Pearse A. Keane
المؤلفون الأصليون: Hyunmin Kim, Michael Grün, Rahul A. Jonas, Heesuk Kim, Sungyeon Kim, Takahiro Ninomiya, Broder Poschkamp, Xiaolei Diao, Sophie-Christin Ernst, Josef Huemer, Koichi Ito, Paul Nderitu, Kuang Hu, Lie Ju, Yiqun Lin, Yilan Wu, Ariel Yuhan Ong, Michael G. Morley, Tobias Elze, Junseo Choi, Danbi Lee, Youngbin Seo, Yaxing Wang, Songhomitra Panda-Jonas, Jost B. Jonas, Mukharram M. Bikbov, Gyulli M. Kazakbaeva, Vinay Nangia, Clemens Lange, Albrecht Lommatzsch, Anthony P. Khawaja, Robert Luben, Alasdair Warwick, Andre Altmann, Alastair K. Denniston, Daniel C. Alexander, Siegfried K. Wagner, Yukun Zhou, Sunjin Hwang, Pearse A. Keane
في عالم التصوير الطبي، أصبحت الحواسيب ماهرة بشكل ملحوظ في النظر إلى صور جسم الإنسان وإخبار الطبيب بما يراه. لسنوات، كانت الطريقة القياسية لاختبار هذه الأنظمة المعتمدة على الذكاء الاصطناوي هي طرح سؤال بسيط عليها: "ما هو المرض الذي يعاني منه هذا المريض؟". فإذا استطاع الحاسوب تصنيف صورة بشكل صحيح على أنها "اعتلال الشبكية السكري" أو "التنكس البقعي المرتبط بالعمر"، فغالباً ما يُعتبر ذلك نجاحاً. ومع ذلك، فإن هذا النهج يغفل جزءاً حاسماً من طريقة تفكير الأطباء البشر في الواقع. فعندما يفحص الأخصائي مسحاً للعين، فإنه لا يقفز مباشرة إلى التشخيص، بل يبحث أولاً عن أدلة محددة ودقيقة: بقع صغيرة من النزيف، أو رقع من التورم، أو تغيرات طفيفة في طبقات الأنسجة. هذه العلامات الفردية هي الأدلة التي تؤدي إلى الاستنتاج النهائي. وإذا كان نموذج الحاسوب يستطيع تسمية المرض ولكنه لا يستطيع الإشارة إلى الدليل المحدد الذي أدى إلى هذا الاسم، فإنه يشبه طالباً يمكنه تسميع الإجابة في الاختبار لكنه لا يستطيع شرح الخطوات التي أدت إليها.
هذه الفجوة بين تسمية المرض وفهم الدليل الكامن وراءه هي محور دراسة جديدة قادها باحثون من مؤسسات تشمل جامعة كوليدج لندن ومستشفى مورفيلدز للعيون. فقد سعى الفريق لبناء اختبار أكثر صرامة لنماذج الذكاء الاصطناوي المصممة لقراءة صور العين. وبدلاً من مجرد مطالبة الحاسوب بتخمين التشخيص النهائي، أنشأوا معياراً يجبر النماذج على إثبات فهمها للعلامات السريرية المحددة المختبئة داخل الصورة. قاموا باختبار أحد عشر نموذجاً مختلفاً من الذكاء الاصطناوي، تتراوح بين تلك المصممة خصيصاً للعيون وأنظمة الرؤية العامة المدربة على ملايين الصور اليومية العادية. وقد قيم الباحثون هذه النماذج بناءً على مهمتين رئيسيتين: أولاً، تصنيف شدة أمراض مثل اعتلال الشبكية السكري والتنكس البقعي باستخدام نقاط صغيرة لتحديد مكان دليل المرض؛ وثانياً، مهمة استرجاع حيث تعين على الحاسوب العثور على صور أخرى في قاعدة بيانات ضخمة تحتوي على نفس العلامة المحددة تماماً، مثل نوع معين من تسرب السوائل أو نوع معين من الندبات.
كشفت النتائج عن انقسام مفاجئ في طريقة تفكير هذه النماذج. فنماذج الذكاء الاصطناوي العامة، التي يتم تدريبها على مجموعات واسعة من الصور الفوتوغرافية العادية للقطط والسيارات والمناظر الطبيعية، أدت أداءً جيداً جداً عندما طُلِب منها ببساطة تسمية المرض. ومع القليل من التدريب على صور العين، استطاعت غالباً مضاهاة دقة النماذج المصممة خصيصاً لطب العيون. ومع ذلك، عندما تغير الاختبار ليتطلب من النماذج العثور على علامات محددة أو الإشارة إلى الموقع الدقيق لدليل المرض، عانت النماذج العامة بشكل كبير. لقد استطاعت تمييز "الانطباع العام" لعين مريضة، لكنها فشلت في عزل التفاصيل الصغيرة والدقيقة التي تحدد الحالة. وفي المقابل، أظهرت النماذج التي تم تدريبها مسبقاً على مجموعات ضخمة من مسوحات العين الفعلية قدرة أقوى بكثير على تحديد واسترجاع هذه العلامات السريرية المحددة. لقد كانت أفضل في فهم أن نقطة حمراء صغيرة في زاوية واحدة من الصورة تعني شيئاً مختلفاً عن رقعة بيضاء كبيرة في المركز.
كما استكشفت الدراسة قيمة "التعليقات التوضيحية النقطية" المستخدمة في الاختبار. فمن خلال تزويد الذكاء الاصطناوي بنقطة بسيطة لتحديد مكان العلامة، وجد الباحثون أن النماذج تعلمت التركيز على المناطق الصحيحة بشكل أكثر فعالية. ساعدت هذه الطريقة النماذج على تجنب اتخاذ طرق مختصرة، مثل تخمين المرض بناءً على نوع الكاميرا المستخدمة لالتقاط الصورة أو السطوع العام للصورة. وعندما تم تدريب النماذج باستخدام هذه النقاط البسيطة، أصبحت أفضل في التعميم على مرضى جدد وأنواع مختلفة من المعدات. وجد الباحثون أن هذا النهج كان مفيداً بشكل خاص للنماذج العامة، التي أظهرت أكبر تحسن عندما تم توجيهها بواسطة هذه النقاط المحددة. وهذا يشير إلى أن تعليم الذكاء الاصطناوي النظر إلى الدليل المحدد، بدلاً من مجرد النتيجة النهائية، هو وسيلة قوية لجعله أكثر موثوقية.
في النهاية، تجادل الورقة البحثية بأن الطريقة الحالية لتقييم الذكاء الاصطناوي الطبي ضيقة للغاية. فمجرد قدرة النموذج على تسمية المرض بشكل صحيح لا يعني أنه يفهم الصورة حقاً. إن القدرة على استرجاع صورة بناءً على علامة محددة، مثل العثور على جميع حالات نوع معين من تراكم السوائل، هي اختبار أكثر صدقاً لما إذا كان الحاسوب قد تعلم اللغة البصرية للعين. وتشير النتائج إلى أنه بينما يعد الذكاء الاصطناوي العام قابلاً للتكيف، فإنه يفتقر إلى الفهم العميق والدقيق الذي يأتي من التدريب على بيانات متخصصة في المجال. ولكي تكون هذه الأدوات مفيدة حقاً في المستشفى، يجب أن تكون قادرة على فعل ما هو أكثر من مجرد التخمين؛ يجب أن تكون قادرة على الإشارة إلى الدليل، تماماً كما يفعل الطبيب البشري. ومن خلال إطلاق هذا المعيار الجديد للجمهور، يأمل الباحثون في دفع المجال نحو تطوير نماذج ليست مجرد مصنفات دقيقة، بل مفسرات حقيقية للعلامات البصرية المعقدة التي تحدد صحة العين.
ملخص تقني: معيار دقيق للنماذج التأسيسية لطب العيون باستخدام التصنيف والاسترجاع القائم على النقاط
بيان المشكلة بينما أظهرت النماذج الرؤية التأسيسية عامة الأغراض تعدد استخداماتها عبر مهام متنوعة، فقد تم تقييم النماذج التأسيسية الخاصة بطب العيون (مثل RETFound وUrFound وOCT-CUBE) بشكل أساسي من خلال عدسة ضيقة تتمثل في التصنيف والتقطيع على مستوى المرض. تفشل هذه المعايير التقليدية في عكس عملية الاستدلال السريري الفعلية، حيث يحدد الأطباء علامات سريرية محددة وموضعية (مثل نزيف الشبكية أو السوائل تحت الشبكية) قبل الوصول إلى التشخيص. غالبًا ما تغفل التقييمات الحالية قدرة النموذج على التعرف على الصور واسترجاعها بناءً على هذه العلامات الدقيقة، مما قد يحجب القيود الجوهرية لما تعلمته النماذج. علاوة على ذلك، لا يزال من غير الواضح ما إذا كان الأداء التمييزي القوي في تصنيف الأمراض يترجم إلى فهم قوي للصور على مستوى العلامات، أم أن النماذج عامة الأغراض يمكن أن تتعمم بفعالية على تصوير طب العيون دون تدريب مسبق متخصص في هذا المجال.
المنهجية يقترح المؤلفون إطار تقييم دقيق يتكون من مهمتين متميزتين، تستخدم كلتاهما تعليقات نقطية متفرقة للإشارة إلى مواقع العلامات السريرية ذات الصلة تشخيصيًا. قيمت الدراسة 11 نموذجًا تأسيسيًا (8 نماذج متخصصة في طب العيون و3 نماذج عامة الأغراض) عبر نمطين من التصوير: تصوير قاع العين الملون (CFP) لمرض اعتلال الشبكية السكري (DR) والتنكس البقعي المرتبط بالعمر (AMD)، والتصوير المقطعي للتماسك البصري (OCT) لمرض التنكس البقعي المرتبط بالعمر (AMD).
مجموعات البيانات: شمل التقييم 10 مجموعات بيانات، بما في ذلك أربع مجموعات بيانات داخلية تم تجميعها حديثًا (HYU-DR-CFP، HYU-AMD-CFP، HYU-AMD-OCT، Yonsei-AMD-OCT) وست مجموعات بيانات خارجية راسخة (IDRiD، ADAM، UK Biobank، Beijing Eye Study، Ural Eye and Medical Studies، Central India Eye and Medical Study).
المهمة 1: التصنيف المرضي الخاضع للإشراف النقطي: تم ضبط النماذج بدقة باستخدام رأس تصنيف خطي وفقدان إشراف نقطي. هذا الحد من الفقد (التشابه الجيبي بين خريطة الانتباه للنموذج وخريطة نقطية ملساء غاوسية) شجع النموذج على الانتباه إلى المناطق التي حددها الأطباء. تم قياس الأداء باستخدام "كابا" الموزونة التربيعية (QWK) لمرضي DR وAMD في تصوير CFP، وF1 الكلية (macro-averaged F1) لمرض AMD في تصوير OCT.
المهمة 2: استرجاع الصور القائم على العلامات السريرية الموجهة بالنقاط: قيمت هذه المهمة جودة التمثيلات المسبقة التدريب دون تكييف خاص بالمهمة. بالنظر إلى صورة استعلام تحتوي على تعليق نقطي لعلامة محددة، يقوم النموذج باسترجاع صور المعرض التي تحتوي على نفس العلامة. تم حساب التشابه على مستوى الرقعة (أقصى تشابه جيبي عبر المواقع المكانية) بدلاً من مستوى الصورة لضمان استرجاع محدد للعلامة. تم قيء الأداء باستخدام متوسط الدقة المتوسطة (mAP).
الدراسة الاستبعادية والتحليل: تضمنت الدراسة فحص الانتباه (تدريب رأس على ميزات مجمدة) وتحليل الميزات في الطبقات المتوسطة لتحديد ما إذا كانت فجوات الأداء ناتجة عن ترميز الميزات أو آليات الاسترجاع.
المساهمات الرئيسية
إطار تقييم مبتكر: تقديم معيار يعتمد على التعليقات النقطية ينتقل من التصنيف على مستوى المرض إلى تقييم التعرف الدقيق والاسترجاع للعلامات السريرية الفردية.
تقييم شامل: تقييم 11 نموذجًا تأسيسيًا عبر 10 مجموعات بيانات، تغطي كلاً من نمطي CFP وOCT، وتشمل مجموعات سكانية وأجهزة تصوير متنوعة.
الإصدار العام: أصدر المؤلفون إطار التقييم ومجموعات البيانات المنسقة (مجموعات HYU وYonsei) لتسهيل المزيد من الأبحاث.
أدلة تجريبية على التعليقات النقطية: إثبات أن التعليقات النقطية توفر إشارة ذات معنى لكل من الضبط الدقيق للتصنيف، والأهم من ذلك، لتمكين الاسترجاع الدقيق للعلامات السريرية.
النتائج
التصنيف (المهمة 1): أظهرت النماذج عامة الأغراض (DINOv3-Large، Perception Encoder-Large) قدرة على التكيف تضاهي أو تتجاوز النماذج المتخصصة في طب العيون في التحقق الداخلي. ومع ذلك، في التحقق الخارجي، أظهرت النماذج التأسيسية لطب العيون المدربة مسبقة التدريب على مجموعات بيانات واسعة النطاق (تحديدًا متغيرات RETFound-DINOv2 وVisionFM) قدرة فائقة على التعميم، حيث حافظت على ترتيبها أو حسنته.
الاسترجاء (المهمة 2): أظهرت النماذج التأسيسية لطب العيون ميزة واضحة ومتسقة في استرجاع العلامات السريرية. هيمنت متغيرات VisionFM (لـ CFP وOCT) على مهام الاسترجاع داخل مجموعة البيانات وعبر مجموعات البيانات المختلفة. في المقابل، عانت النماذج عامة الأغراض، رغم أدائها القوي في التصنيف، بشكل كبير في الاسترجاع، حيث جاءت غالبًا في النصف الأدنى.
الأداء على مستوى العلامة: كانت الفجوة بين النماذج المتخصصة في طب العيون والنماذج عامة الأغراض أكثر وضوحًا في الاسترجاع عبر مجموعات البيانات، لا سيما في مجموعة فحص السكان التابعة لـ UK Biobank حيث كانت العلامات المرضية نادرة وغير متوازنة.
تأثير التعليقات النقطية: حقق الإشراف النقطي مكاسب ذات دلالة إحصائية في أداء التصنيف في جميع الإعدادات، مع ملاحظة تحسينات أكبر في النماذج عامة الأغراض. وفي الاسترجاع، كانت التعليقات النقطية حاسمة؛ فبدونها، لم تستطع النماذج التمييز بفعالية بين العلامات المحددة والميزات المتزامنة. أظهرت متغيرات VisionFM أكبر المكاسب من الإشراف النقطي في مهام الاسترجاع.
دقة الرقعة: بينما تباين أداء الاسترجاع، كانت متغيرات VisionFM هي الأكثر اتساقًا في ضمان أن الرقعة المسترجعة تحتوي بالفعل على العلامة السريرية المستعلم عنها.
الأهمية والادعاءات يجادل البحث بأن أداء التصنيف القوي لا يضمن أن النموذج قد تعلم ترميز الميزات على مستوى العلامات. يمكن للمعايير التقليدية التي تركز فقط على تصنيف الأمراض أن تحجب القيود الجوهرية في القدرات التمثيلية للنموذج. وتوضح الدراسة أن:
التدريب المسبق المتخصص في المجال أمر ضروري: بينما يمكن للنماذج عامة الأغراض التكيف مع مهام طب العيون عبر الضبط الدقيق، فإن التدريب المسبق المتخصص في المجال يوفر ميزة تعميم حاسمة للبيانات غير المرئية وهو ضروري للاسترجاع القوي على مستوى العلامات.
الاسترجاع كوسيط للفهم: إن القدرة على استرجاع الصور بناءً على علامات سريرية محددة هي اختبار أكثر صرامة لفهم الصور من التصنيف وحده، لأنها تتطلب من النموذج عزل ميزات محددة بدلاً من الاعتماد على الاختصارات الخاصة بمجموعة البيانات.
قيمة التعليقات النقطية: تعمل التعليقات النقطية كبديل خفيف الوزن للتقطيع الكثيف، حيث توجه النمالين بفعالية لتعلم إشارات ذات معنى سريري وتزيل الغموض في استرجاع مستوى العلامات.
يخلص المؤلفون إلى أنه مع وضع النماذج التأسيسية في موقع النماذج الأساسية الشاملة، يجب أن يمتد التقييم إلى ما وراء دقة التصنيف لتحديد ما إذا كانت التمثيلات المتعلمة متجذرة في الملاحظات السريرية التي تقوم عليها عملية التشخيص. وهم يدعونون إلى أهداف تدريب مسبق تشجع صراحةً على ترميز مثل هذه الميزات السريرية الدقيقة.