A Unified 2D Framework for DeepLesion Detection, Segmentation and Short Report Generation

تخيل عالماً تستطيع فيه الحواسيب النظر إلى صورة وإخبار قصة فورية عما يحدث بداخلها. هذا هو الأفق المثير للذكاء الاصطناعي الطبي، وهو مجال تتعلم فيه الآلات كيف "ترى" كما يفعل الأطباء. لفهم هذه الدراسة الجديدة، عليك أولاً أن تعرف ثلاثة أدوات خاصة يستخدمها العلماء. أولاً، هناك نماذج اللغات الكبيرة (LLMs)، وهي تشبه الروبوتات فائقة الذكاء التي قرأت كل كتاب ومقال في العالم تقريباً، مما يجعلها ممتازة في كتابة وفهم اللغة البشرية. ثانياً، هناك نماذج الرؤية واللغة (Vision-Language Models)، وهي تشبه نظارات تسمح لتلك الروبوتات القارئة للغة برؤية الصور فعلياً، وربط ما تراه بما تعرفه. وأخيراً، هناك مفهوم الإطار الموحد (Unified Framework)، وهو يشبه بناء سكين سويسري واحد متعدد الاستخدامات بدلاً من حمل سكين منفصل، ومفك براغي، ومطرقة لكل مهمة. لماذا يهم هذا؟ لأنه في المستشفيات، يقضي الأطباء ساعات في النظر إلى صور معقدة للعثور على مشكلات صغيرة وخفية، وقياسها، وكتابة التقارير. إذا استطاع الكمبيوتر القيام بكل هذه الخطوات الثلاث — العثور على المشكلة، وقياسها، وكتابة التقرير — بشكل تلقائي ودقيق، فقد يوفر ذلك وقت الأطباء ويساعد المرضى في الحصول على الرعاية بشكل أسرع.

الآن، دعونا نغوص في قصة فريق جديد من الباحثين الذين قرروا بناء ذلك السكين السويسري الأمثل للغز طبي محدد يسمى DeepLesion.

المشكلة الكبيرة: إبرة في كومة قش

مجموعة بيانات DeepLeson هي مجموعة ضخمة من صور الأشعة المقطعية (CT scans)، والتي تشبه شرائح ثلاثية الأبعاد لجسم الإنسان. المشكلة هي أن "الإبر" (الآفات أو الأورام الصغيرة التي يحتاج الأطباء للعثور عليها) صغيرة جداً ومتناثرة عبر "كومات قش" ضخمة (صور بحجم 512×512 بكسل).

فكر في الأمر كأنك تحاول العثور على حبة رمل واحدة على شاطئ عملاق. إذا استخدمت كاميرا قياسية تبتعد لترى الشاطئ بأكمله، فستختفي حبة الرمل تلك. وإذا اقتربت كثيراً، فستفقد السياق الخاص بمكان الشاطئ. حاولت البرامج الحاسوبية السابقة العثور على هذه الحبات، لكنها غالباً ما كانت تخطئها لأن الكمبيوتر كان يقوم "بتقليص حجم" الصورة بشكل مفرط، مما يؤدي بالخطأ إلى مسح التفاصيل الدقيقة. علاوة على ذلك، كانت معظم البرامج تعامل عملية تحديد الموقع، وقص الجزء لقياسه، وكتابة التقرير، كثلاث وظائف منفصلة تماماً، مثل وجود ثلاثة أشخاص مختلفين لا يتحدثون مع بعضهم البعض أبداً.

الحل: فريق من المحققين المتخصصين

بنى الباحثون إطار عمل موحد ثنائي الأبعاد (Unified 2D Framework)، وهو نظام واحد يتعامل مع المهام الثلاث: الكشف (العثور على الآفة)، التجزئة (رسم تحديد دقيق حولها)، وتوليد التقارير (كتابة ملخص قصير). لم يكتفوا بوضع كل شيء في وعاء واحد؛ بل أنشأوا سير عمل ذكي حيث تساعد كل خطوة الخطوة التالية.

1. المحقق: YOLO-TLP-MOE
أولاً، يحتاج النظام إلى العثور على الآفة. أنشأ الفريق كاشفاً جديداً يسمى YOLO-TLP-MOE. تخيل محققاً يرفض إغماض عينيه ليرى بوضوح. بدلاً من تصغير الصورة وفقدان التفاصيل، يستخدم هذا المحقق خدعة خاصة تسمى "تقليل العينات المكانية غير الفاقد للمعلومات" (SPDConv) للحفاظ على كل بكسل صغير من الآفة آمناً، حتى أثناء النظر إلى الصورة الكبيرة. كما أضافوا نظام "خليط من الخبراء" (MoE). فكر في هذا كفريق من المتخصصين: خبير بارع في رصد البقع المستديرة، وآخر في رصد الخطوط الطويلة، وآخر في رصد الأشكال الغريبة. يديرهم مدير ذكي (شبكة البوابة) يقرر أي خبير يجب أن ينظر إلى أي جزء من الصورة. ساعد هذا النظام في العثور على الآفات بدقة (mAP50) بلغت 70.1%، وهو تحسن كبير مقارنة بالطرق القديمة.

2. الجراح: البحث والتجزئة (Search-and-Segment)
بمجرد أن يجد المحقق البقعة، يحتاج النظام إلى قياسها بدقة. أدرك الباحثون أن محاولة قياس حبة رمل صغيرة على الشاطئ بأكمله أمر صعب. لذا، اخترعوا استراتيجية "البحث والتجزئة". يأخذ النظام ما وجده المحقق، ويقص تلك المنطقة الصغيرة فقط، ثم يستخدم أداة قوية تسمى Swin-UMamba لرسم المخطط. الأمر يشبه التكبير باستخدام عدسة مكبرة فقط على البقعة التي وجدها المحقق. حل هذا النهج مشكلة ضياع "الآفة الصغيرة". والنتيجة؟ حقق النظام درجة Dice بلغت 62.6%. ولوضع ذلك في السياق، فإن أداة قياسية تسمى nnUNet، والتي حاولت قياس الصورة بأكملها دفعة واحدة، حققت فقط 34.1%. لقد حسنت الطريقة الجديدة الدقة بنسبة هائلة بلغت 28.5%.

3. الموظف: الحكواتي
أخيراً، يحتاج النظام إلى كتابة تقرير. غالباً ما كانت أنظمة التقارير بالذكاء الاصطناعي السابقة تنظر إلى الصورة بأكملها وتخمن ما هو الخطأ، مما يؤدي أحياناً إلى تفويت التفاصيل المحددة. هذا النظام الجديد، المسمى R2Gen-Mamba-Semantic-Aware، أكثر ذكاءً بكثير. فهو لا ينظر فقط إلى الصورة؛ بل يستخدم موقع "المحقق" (المربع المحيط) ومخطط "الجراح" ليعرف بالضبط أين ينظر. كما يسأل نفسه: "ما نوع هذا الجزء من الجسم؟" (مثل الرئة أو الكبد) و"ما نوع هذا النمو؟" (مثل عقدة أو كيس). إنه يجمع كل هذه المعلومات — أين يوجد، كيف يبدو، وماذا يمكن أن يكون — لكتابة تقرير قصير ودقيق.

النتائج: رقم قياسي جديد

عندما اختبر الفريق إطار عملهم الجديد، كانت النتائج مبهرة.

• الكشف: وجدوا الآفات بدقة mAP50 بلغت 70.1% و mAP50-95 بلغت 46.4%.
• التجزئة: رسموا المخططات بدرجة Dice بلغت 62.6%، متفوقين على أفضل المحاولات السابقة بفارق كبير.
• التقارير: كانت التقارير القصيرة التي ولدها النظام دقيقة للغاية، حيث سجلت 64.3% في مقي-س BLEU_1 و 49.6% في BLEU_4. كما سجلت أيضاً 34.7% في METEOR و 60.1% في ROUGE_L.

وجد الباحثون أن إضافة تلميحات "التشريح ونوع الآفة" ساعدت نظام التقارير بشكل كبير. على سبيل المثال، عندما أضافوا هذه التلميحات إلى نماذج شهيرة أخرى مثل MedGemma 1.5 و Qwen3-VL، تحسنت تلك النماذج أيضاً، لكن نموذجهم الجديد ظل هو المتصدر.

التحذيرات: ليس مثالياً بعد

على الرغم من قوة النتائج، إلا أن المؤلفين حذرون من أن هذا ليس عصا سحرية تحل كل شيء. يعتمد جزء "الجراح" من النظام على عثور "المحقق" على الآفة أولاً. إذا أخطأ المحقق في تحديد البقعة (وهو ما حدث في بعض حالات الاختبار)، فلن يتمكن الجراح من قياسها، ولن يكتب الموظف تقريراً عنها. أيضاً، تم تدريب "الجراح" باستخدام مخططات تم إنشاؤها بواسطة برنامج حاسوبي (GrabCut) بدلاً من قبل أطباء بشريين، وهو ما قد لا يكون مثالياً مثل الرسم البشري.

يقترح الفريق أن الخطوة التالية هي الانتقال من هذه الشرائح ثنائية الأبعاد إلى أحجام ثلاثية الأبعاد كاملة، بحيث يمكن للكمبيوتر رؤية الآفة من جميع الزوايا، وليس فقط من شريحة مسطحة. كما يخططون لاستخدام مخططات مرسومة من قبل خبراء لجعل التدريب أكثر كفاءة.

باختصار، توضح هذه الورقة البحثية أنه من خلال ربط النقاط بين العثور والقياس والتقرير، وباستخدام حيل ذكية لمنع التفاصيل الصغيرة من الاختفاء، يمكننا بناء نظام حاسوبي يقترب كثيراً من طريقة تفكير الطبيب البشري. إنه إطار عمل موحد يشير إلى أنه يمكننا أتمتة هذه المهام المعقدة بشكل أكثر فعالية من ذي قبل، مما يمهد الطريق لتحليل طبي أسرع وأكثر اتساقاً.