💻 computer science

DALPHIN: Benchmarking Digital Pathology AI Copilots Against Pathologists on an Open Multicentric Dataset

تقدم الورقة البحثية DALPHIN، وهو أول معيار مفتوح متعدد المراكز لمساعدي الذكاء الاصطناعي في علم الأمراض الرقمي، والذي يقيم النماذج العامة ونماذج علم الأمراض المتخصصة مقابل 31 طبيب مسالك بولية عبر 130 تشخيصاً، ويجد أن PathChat+ يحقق أداءً بمستوى الخبراء في أربع من أصل ست مهام.

المؤلفون الأصليون: Carlijn Lems, Sander Moonemans, Natálie Klubíčková, Biagio Brattoli, Taebum Lee, Seokhwi Kim, Veronica Vilaplana, Laura Pons, Sapir Hochman, Mauricio Eduardo Suárez-Franck, Pedro Luis Fernandez, Juliu

نُشر 2026-05-06

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Carlijn Lems, Sander Moonemans, Natálie Klubíčková, Biagio Brattoli, Taebum Lee, Seokhwi Kim, Veronica Vilaplana, Laura Pons, Sapir Hochman, Mauricio Eduardo Suárez-Franck, Pedro Luis Fernandez, Julius Drachneris, Donatas Petroska, Renaldas Augulis, Arvydas Laurinavicius, Domingos Oliveira, Diana Montezuma, Anouk B. Bouwmeester, Dominique van Midden, Anne-Marie Vos, Shoko Vos, Jolique van Ipenburg, Maschenka Balkenhol, Koen Winkler, Iris Nagtegaal, Konnie Hebeda, Uta Flucke, Katrien Grünberg, Josef Skopal, Brinder S. Chohan, Jordi Temprana-Salvador, Enrico Munari, Luca Cima, Giulia Querzoli, Yosamin Gonzalez Belisario, Jaeike W. Faber, Geert J. L. H. van Leenders, Jan H. von der Thüsen, Lodewijk A. A. Brosens, Ronald R. de Krijger, Pieter Wesseling, Sandrine Florquin, Mateusz Maniewski, Adam Kowalewski, Robert Barna, Dina Tiniakos, Joan Lop Gros, Rogier Donders, Jake S. F. Maurits, Ming Yang Lu, Chengkuan Chen, Faisal Mahmood, Jeroen van der Laak, Nadieh Khalili, Frédérique Meeuwsen, Francesco Ciompi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مسابقة طبخ ضخمة وعالية المخاطر. على أحد الجوانب، لديك ثلاثة طهاة مشاهير (نماذج ذكاء اصطناي) قرأوا كل كتب الطبخ في العالم. وعلى الجانب الآخر، لديك لجنة مكونة من 31 حكماً بشرياً، تتراوح بين الطهاة المنزليين المحليين وخبراء عالميين حاصلين على نجوم ميشلان. التحدي؟ تم منحهم جميعاً مكوناً واحداً غامضاً (صورة مجهرية لنسيج) وطُلب منهم وصف ماهيته، وما إذا كان "سيئاً" (سرطانياً)، وما هو الطبق المحدد الذي قد يكون.

هذه الورقة البحثية، التي تحمل عنوان DALPHIN، هي "شهادة الدرجات" من تلك المسابقة. إنها المرة الأولى التي ينظم فيها شخص ما اختباراً عادلاً ومفتوحاً لمعرفة ما إذا كان هؤلاء "الطهاة الآليون" يمكنهم حقاً مساعدة الأطباء الحقيقيين (علماء الأمراض) في تشخيص الأمراض، أم أنهم مجرد مخمنين بارعين.

إليك تفاصيل ما حدث، باستخدام تشبيهات بسيطة:

1. الحلبة: مسابقة "الوصفة السرية"

عادةً، عندما تختبر ذكاءً اصطناعياً، تعطيه امتحاناً تجريبياً، ثم تسمح له بدراسة الإجابات قبل الاختبار الحقيقي. هذا يعتبر غشاً.

قام فريق DALPHIN ببناء خزنة آمنة ومغلقة للإجابات. لقد أنشأوا مجموعة بيانات تضم 300 حالة طبية حقيقية من ست دول مختلفة، تغطي 130 نوعاً مختلفاً من الأمراض (من مشاكل الجلد الشائعة إلى الأورام النادرة).

اللمسة المبتكرة: كان على نماذج الذكاء الاصطناعي الإجابة على أسئلة حول هذه الصور، لكن لم يكن بإمكانها رؤية الإجابات "الصحيحة" حتى تنتهي. تم الاحتفاظ بالإجابات في خزنة رقمية، لا يمكن الوصول إليها إلا من خلال نظام كمبيوتر آمن يقوم بتصحيحها تلقائياً. هذا يضمن عدم قدرة أي شخص على الغش عن طريق حفظ الاختبار.

2. المتسابقون

اختبرت الورقة ثلاثة "طهاة" محددين:

GPT-5: ذكاء اصطناعي عام الأغراض (مثل موسوعة فائقة الذكاء تعرف القليل عن كل شيء).
Gemini 2.5 Pro: ذكاء اصطناعي آخر عام الأغراض (ذكي جداً أيضاً، ولكن بـ "دماغ" مختلف).
PathChat+: ذكاء اصطناعي متخصص تم تدريبه خصيصاً على الكتب الطبية وصور علم الأمراض (مثل طاهٍ يعرف فقط كيفية طبخ الطعام الإيطالي).

3. التحديات (الأسئلة)

سُئل الذكاء الاصطناعي والحكام البشر أربعة مهام رئيسية، تحاكي كيفية فحص الطبيب لشريحة نسيج:

اختبار "ما هذا؟": بالنظر إلى نظرة عامة ضبابية وتفصيل مقرب، هل يمكنك تحديد ما إذا كانت هذه أنسجة رئة، أم جلد، أم كبد؟
اختبار "هل هو سيء؟": هل يوجد ورم هنا؟ (نعم/لا).
اختبار "ما مدى سوئه؟": إذا كان هناك ورم، هل هو حميد، أم خبيث، أم في منطقة وسطى بينهما؟
اختبار "ما هو بالضبط؟": أعطِ اسماً محدداً للتشخيص أو أجب على سؤال صعب من نوع الاختيار من متعدد حول المرض.

4. النتائج: من الفائز؟

المتخصص مقابل العامين
كان الذكاء الاصطناعي المتخصص (PathChat+) هو الفائز الواضح في فئة "التشخيص". لقد كان أداؤه يقارب أداء الأطباء الخبراء البشريين. كان الأمر يشبه طاهياً ماهراً يتذوق صلصة ويقول فوراً: "هذه صلصة بولونيز كلاسيكية".

العامون (GPT وGemini): واجهوا صعوبة أكبر في الأسماء الطبية المحددة. كانوا مثل الطهاه العامين الذين يمكنهم إخبارك أنها "حساء"، لكن لا يمكنهم تسمية الوصفة المحددة بدقة.

"الواثق المفرط" و"المشكك المفرط"
وجدت الورقة بعض السمات الشخصية المضحكة في الذكاء الاصطناعي:

Gemini كان "مبالغاً في الإنذار". كان يميل لرؤية أورام حيث لا توجد أورام. كان مثل رجل أمن يعتقد أن كل ظل هو لص. كان جيداً جداً في اكتشاف الأورام الحقيقية، لكنه كان يصرخ "ذئب!" كثيراً.
GPT كان "متشككاً". كان يميل لتجاهل الأورام، معتقداً أن كل شيء على ما يرام. كان مثل الحارس الذي يتجاهل صوتاً مريباً لأنه "ربما مجرد ريح". كان جيداً جداً في تأكيد أن الأشياء آمنة، لكنه فاته الكثير من الأشياء السيئة.

العنصر البشري
انقسم الحكام البشر إلى ثلاث مجموعات:

الخبراء: المتخصصون من الطراز الرفيع.
شبه الخبراء: أطباء يعرفون المجال ولكنهم ليسوا ضمن الـ 1% الأفضل.
غير الخبراء: الأطباء المقيمون (المتدربون) أو الأطباء الذين لا يتخصصون في ذلك الجزء المحدد من الجسم.

المفاجأة الكبرى:
في العديد من المهام، كان أداء نماذج الذكاء الاصطناعي (خاصة PathChat+) يضاهي أداء البشر غير الخبراء، وأحياناً حتى شبه الخبراء. ومع ذلك، في المهام الأكثر صعوبة (مثل تشخيص السرطانات النادرة أو التفاصيل المعقدة)، ظل الخبراء البشريون يتفوقون على الجميع، بما في ذلك الذكاء الاصطناعي.

5. فخ "السياق"

اختبر الباحثون طريقتين لطرح الأسئلة:

المستقلة: طرح سؤال واحد في كل مرة، مثل برامج المسابقات.
السياقية: طرح أسئلة متتالية، حيث يتذكر الذكاء الاصطناعي ما قاله في السؤال السابق.

وجدوا أن تذكر المحادثة (السياقية) ساعد الذكاء الاصطناعي على البقاء متسقاً، لكن ذلك كان له جانب سلبي أيضاً: إذا ارتكب الذكاء الاصطناعي خطأً في السؤال الأول، فإنه غالباً ما يتمسك بهذا الخطأ في السؤال الثاني. إنه مثل محقق يخطئ في الدليل الأول، ثم يبني نظريته بالكامل على ذلك الخطأ.

6. الخلاصة

هذه الورقة لا تقول "الذكاء الاصطناعي جاهز لاستبدال الأطباء". بل تقول:

الذكاء الاصطناعي يصبح جيداً جداً في مهام طبية محددة، ويضاهي أحياناً مهارة طبيب مقيم أو شبه متخصص.
للذكاء الاصطناعي "شخصيات" مختلفة. البعض خائف جداً (يفوتهم الكثير)، والبعض الآخر مرتاب جداً (يرون أشياء ليست موجودة).
نحن بحاجة إلى طريقة عادلة للاختبار. معيار DALPHIN هو بمثابة ساحة اختبار آمنة ودائمة ستسمح لنا بتتبع كيفية تحسن (أو فشل) نماذج الذكاء الاصطنا هذه بمرور الوقت دون أن تتمكن من الغش.

باختصار، هؤلاء المساعدون الآليون هم مثل المتدربين الأذكياء والمتحمسين. إنهم مفيدون وغالباً ما يكونون على حق، لكنهم لا يزالون بحاجة إلى خبير متمرس (طبيب متخصص في علم الأمراض) لمراجعة عملهم، خاصة عندما تكون الحالة نادرة أو معقدة.

ملخص تقني: DALPHIN - تقييم معايير المساعدين الرقميين القائمين على الذكاء الاصطناعي في علم الأمراض الرقمي

بيان المشكلة

يمثل ظهور النماذج التأسيسية ذات قدرات الإجابة على الأسئلة البصرية (VQA) فرصة تحويلية لعلم الأمراض الرقمي، مما قد يساعد أطباء المسالك البولية في التشخيص الروتيني. ومع ذلك، فإن التطور السريع لنماذج الرؤية واللغة (VLMs) يستلزم تقييماً مستقلاً وقوياً لتقدير فائدتها السريرية وحدودها. تواجه المعايير الحالية عقبات كبيرة:

تسرب البيانات: تخاطر مجموعات البيانات المتاحة علنًا (مثل PathVQA) بتسرب بيانات الاختبار إلى مجموعات تدريب النماذج، مما يؤدي إلى تضخيم مقاييس الأداء.
نقص قابلية التكرار: تعتمد بعض المعاياي (مثل PathQABench) على مجموعات فرعية خاصة تمنع إعادة إنتاج النتائج أو تقييم النماذج الجديدة.
النطاق المحدود: تفتقر العديد من الدراسات إلى المقارنات عبر مستويات مختلفة من خبرة أطباء المسالك البولية، أو تفشل في تغطية تنوع التخصصات الفرعية، والمؤسسات، وبروتوكولات الصبغة.
السياق السريري: يخضع التفسير التشخيصي في علم الأمراض لتباين الملاحظة بين الأفراد، ومع ذلك فإن القليل من المعايير تضع أداء النماذج في سياق الخبراء البشريين بمختلف مستويات مهاراتهم.

هناك حاجة ماسة إلى معيار مفتوح متعدد المراكز يقوم بعزل "الحقيقة الأرضية" (ground truth) لمنع التسرب، مع تمكين تقييم المساعدين الرقميين المحليين وعبر الإنترنت مقابل خط أساس بشري متنوع.

المنهجية

معيار DALPHIN

يقدم المؤلفون DALPHIN، وهو أول معيار مفتوح متعدد المراكز لمساعدي الذكاء الاصطناعي في علم الأمراض الرقمي.

تكوين مجموعة البيانات: يتكون المعيار من 300 حالة (1,236 صورة نسيجية) جُمعت من ست مؤسسات رعاية صحية دولية عبر ست دول. وهي تشمل 130 تشخيصاً عبر 14 تخصصاً فرعياً في علم الأمراض (بما في ذلك أمراض الجهاز البولي والتناسلي، والجهاز الهضمي، والأنسجة الرخوة، والثدي، والصدر، وأمراض الكلى، إلخ)، وتغطي الكيانات الورمية وغير الورمية والنادرة.
تنسيق الصور: لمحاكاة سير عمل طبيب المسالك البولية، تتضمن الحالات نظرات عامة للشرائح الكاملة (WSI) منخفضة الدقة، ومناطق اهتمام (ROIs) عالية الدقة مستخرجة من شرائح مصبوغة بالهيماتوكسيلين والإيوسين (H&E) أو حمض الدوري بيكريك (PAS).
تصميم الأسئلة: تتضمن كل حالة ما يصل إلى ستة أسئلة:
1. أسئلة توجيه الحالة: تحديد الأنسجة ( $Q_{tissue}$ )، والحالة الورمية ( $Q_{neoplasm}$ )، والسلوك الورمي ( $Q_{behavior}$ ).
2. الأسئلة المتقدمة: تشخيص ذو استجابة حرة ( $Q_{diagnosis}$ )، وسؤال اختيار من متعدد خاص بالحالة ( $Q_{mc}$ )، وسؤال استجابة حرة خاص بالحالة ( $Q_{open}$ ).
الحقيقة الأرضية: يتم توفير الإجابات المرجعية من قبل طبيب المسالك البولية المساهم الذي كان لديه إمكانية الوصول إلى الشريحة الكاملة (WSI)، والسياق السريري، والاختبارات المساعدة. هذه الإجابات معزولة ولا يمكن الوصول إليها إلا بشكل غير مباشر عبر منصة تقييم آمنة (Grand Challenge) لمنع التسرب.

بروتوكول التقييم

النماذج التي تم تقييمها: قيمت الدراسة نموذجين من نماذج الرؤية واللغة العامة (GPT-5، Gemini 2.5 Pro) ونموذجاً واحداً متخصصاً في علم الأمراض (PathChat+).
سيناريوهات التوليد: تم اختبار النماذج تحت سيناريوهين:
1. السياقي (التسلسلي): تجيب النماذج على الأسئلة بالتتابع لكل حالة، مع الاحتفاظ بالسياق السابق (محاكاة لسير العمل التشخيصي).
2. المستقل: يتم التعامل مع كل سؤال كاستعلام مستقل دون سياق سابق.
خط الأساس البشري (دراسة القراء): أُجريت دراسة للقراء مع 31 طبيب مسالك بولية (24 معتمداً و7 مقيمين) من 10 دول. تم تصنيف المشاركين إلى:
- خبراء التخصص الفرعي: خبرة تزيد عن 10 سنوات في التخصص الفرعي المحدد.
- شبه خبراء: ممارسون روتينيون في التخصص الفرعي ولكن بخبرة أقل من 10 سنوات.
- غير الخبراء: مقيمون أو أطباء مسالك بولية لا يمارسون التخصص الفرعي المحدد بشكل روتيني.
- ملاحظة: بسبب قيود الموارد، لم تتم مراجعة جميع حالات الـ 300 من قبل جميع مستويات الخبرة. تم تحليل مجموعة البيانات في مجموعات فرعية متداخلة: $DALPHIN_{full}$ (300 حالة، النموذج فقط)، $DALPHIN_{reader}$ (115 حالة، خبير واحد + 3 غير خبراء لكل حالة)، و $DALPHIN_{semi}$ (60 حالة، بإضافة 2 من شبه الخبراء).

المقاييس

مهام التصنيف ( $Q_{tissue}, Q_{neoplasm}, Q_{behavior}, Q_{mc}$ ): يتم تقييمها باستخدام الدقة (accuracy)، ودرجة F1، ومعامل ارتباط ماتيوس (MCC)، والدقة (precision)، والاستدعاء (recall)، والنوعية (specificity)، ومعامل كوهين كابا ( $\kappa$ ).
مهام الاستجابة الحرة ( $Q_{diagnosis}, Q_{open}$ ): يتم تقييمها باستخدام مقاييس معالجة اللغات الطبيعية التقليدية (BLEU-1, ROUGE-L, METEOR, CIDEr) ومقاييس التشابه الدلالي (BERTScore, BioBERT similarity).
التحليل الإحصائي: تم اختبار الفروق باستخدام اختبارات التبديل المزدوجة ذات الاتجاهين ( $n=1,000$ ) مع استخدام Bootstrap لتقدير فترات الثقة.

النتائج الرئيسية

1. التعرف على الأعضاء ( $Q_{tissue}$ )

أداء النماذج: تفوق PathChat وGemini بشكل كبير على GPT-5 في التعرف على الأعضاء. حقق PathChat أعلى الدرجات، يليه Gemini.
المقارنة البشرية: تفوق أطباء المسالك البولية الخبراء بشكل كبير على جميع نماذج VLMs الثلاثة. كان أداء PathChat وGemini مقارباً لأداء الأطباء غير الخبراء، بينما سجل GPT-5 أداءً أقل بكثير من جميع مستويات الخبرة البشرية.
التباين في التخصص الفرعي: تباين الأداء حسب المجال؛ حيث تم التعرف على الجلد جيداً من قبل جميع النماذج، بينما كانت الأنسجة الرخوة هي الأكثر تحدياً. غال/ت تجاهل PathChat توقعات الأنسجة في حالات الأنسجة الرخوة، مما يشير إلى "غياب بقايا الأنسجة الطبيعية".

2. الحالة الورمية والسلوك ( $Q_{neoplasm}, Q_{behavior}$ )

الحالة الورمية: تفوق PathPathChat على كلا النموذجين العامين في التصنيف الإجمالي (F1 و MCC). كان أداء PathChat غير مختلف إحصائياً عن كل من الخبراء وغير الخبراء في دراسة القراء.
تحليل التحيز:
- أظهر Gemini تحيزاً نحو الحساسية، حيث مال إلى الإفراط في تشخيص الأورام (استدعاء عالٍ، نوعية منخفضة).
- أظهر GPT-5 تحيزاً محافظاً، حيث مال إلى التقليل من تشخيص الأورام (نوعية عالية، استدعاء منخفض).
- أظهر PathChat أداءً متوازناً، حيث اقترب من مستوى استدعاء الخبراء مع دقة مقاربة لغير الخبراء.
تصنيف السلوك: تفوق PathChat مرة أخرى على النماذج العامة. كشفت مصفوفات الارتباك أن نماذج VLMs كانت أكثر عرضة للخلط بين الآفات الحميدة والخبيثة، بينما كان أطباء المسالك البولية البشريون يخطئون في التصنيف غالباً كـ "في الموقع" (in situ) أو "غير مؤكد".

3. الاستدلال التشخيصي ( $Q_{diagnosis}$ )

الأداء: تفوق PathChat بشكل كبير على GPT-5 وGemini عبر جميع مقاييس معالجة اللغات الطبيعية والتشابه الدلالي، مقترباً من أداء أطباء المسالك البولية الخبراء.
التعميم: كان تفوق PathChat على النماذج العامة ثابتاً عبر مستويات الصعوبة التشخيصية (أساسي، واسع، متعمق) وحالات الإصابة بالسرطان (شائع مقابل نادر).
المقارنة البشرية: تفوق الخبراء قليلاً على PathChat في التشخيصات الواسعة والمتعمقة وفي السرطانات النادرة، بينما كان أداء النماذج العامة دون مستوى غير الخبراء في التشخيصات الأساسية.

4. الأسئلة الخاصة بالحالة ( $Q_{mc}, Q_{open}$ )

الاختيار من متعدد ( $Q_{mc}$ ): أظهرت جميع نماذج VLMs دقة متشابهة (74–78%)، مع عدم وجود فروق ذات دلالة إحصائية بينها. تفوق الخبراء على جميع النماذج.
الاستجابة الحرة ( $Q_{open}$ ): أظهر Gemini ميزة في الأداء على PathChat وGPT-5 في مجموعة البيانات الكاملة، لا سيما في الفئات السريرية والتخصصات الفرعية المحددة (الجهاز البولي والتناسلي، الثدي، الصدر). ومع ذلك، في مجموعة القراء، كانت الفروق بين النماذج ومستويات الخبرة البشرية ضئيلة.

5. التوليد السياقي مقابل المستقل

المقايضات: لم تظهر معظم المقاييس فرقاً جوهرياً بين السيناريوهات السياقية والمستقلة.
انتشار الخطأ: أدى أداء PathChat بشكل أفضل بكثير في السيناريو السياقي لمهام الحالة الورمية والسلوك. وعلى العكس من ذلك، حققت النماذج العامة دقة أعلى في أسئلة الاختيار من متعدد في السيناريو المستقل، مما يشير إلى أن السياق السابق قد يؤدي أحياناً إلى تأثيرات "الارتكاز" (anchoring effects) أو انتشار الخطأ لهذه النماذج.

الأهمية والادعاءات

يزعم البحث أن DALPHIN يضع معياراً جديداً لتقييم مساعدي الذكاء الاصطناعي في علم الأمراض الرقمي من خلال معالجة القضاية الحرجة المتعلقة بتسرب البيانات وعدم قابلية التكرار.

التقييم القوي: من خلال عزل الحقيقة الأرضية واستخدام منصة تقييم غير مباشرة، يتيح DALPHIN التقييم المستمر والمستدام للنماذج سريعة التطور دون المساس بنزاهة مجموعة البيانات.
الصلة السريرية: يوفر تضمين خط أساس بشري متنوع (خبراء، شبه خبراء، غير خبماء) سياقاً قابلاً للتفسير سريرياً لأداء النماذج، مما يسلط الض الضوء على أنه بينما يمكن لنماذج علم الأمراض المتخصصة (PathChat) الاقتراب من أداء الخبراء في مهام معينة، لا تزال هناك فجوات كبيرة، لا سيما في السرطانات النادرة والاستدلال المعقد.
سلوك النماذج: تكشف الدراسة عن أنماط سلوكية متميزة بين النماذج (مثل حساسية Gemini مقابل تحفظ GPT)، وهي أمور حاسمة لفهم المخاطر المحتملة عند النشر السريري.
العلم المفتوح: إن إصدار الصور والأسئلة وكود التقييم يعزز الشفافية ويسمح للمجتمع العلمي بتقييم النماذج المستقبلية مقابل معيار متعدد المراكز ومتسق.

يخلص المؤلفون إلى أنه رغم الوعود التي يقدمها المساعدون الرقميون، فإن أداءهم يعتمد بشدة على المهمة، ولا يوجد مقياس واحد يلخص كامل فائدتهم السريرية. يعمل هذا المعيار كأداة لدفع تطوير مساعدين أكثر موثوقية وتجذراً في الواقع السريري.