Hierarchical Prototype-based Domain Priors for Multiple Instance Learning in Multimodal Histopathology Analysis

فيما يلي ملخص تقني مفصل للورقة البحثية بعنوان "النماذج الأولية الهرمية للمسبقات النطاقية لتعلم تعدد المثيلات في تحليل علم الأمراض متعدد الوسائط" (Hierarchical Prototype-based Domain Priors for Multiple Instance Learning in Multimodal Histopathology Analysis).

1. بيان المشكلة

تستخدم أمراض الأنسجة الرقمية صور الـ WSI (صور الشرائح الكاملة) لتشخيص السرطان والتنبؤ بسير المرض، لكن تحليل هذه الصور ذات الدقة الجيجا بكسلية يفرض تحديات كبيرة:

• الإشراف الضعيف (Weak Supervision): عادة ما يتم تصنيف صور الـ WSI على مستوى الشريحة فقط، مما يتطلب "تعلم تعدد المثيلات" (MIL) حيث تُعامل الشريحة كـ "حقيبة" من رقع الصور.
• الافتقار إلى التحيز الاستقرائي (Lack of Inductive Bias): غالبًا ما تعامل أطر عمل MIL الحالية صور الـ WSI كمجموعات غير منظمة من الرقع، مما يؤدي إلى إهمال الدلالات المورفولوجية (مثل أعشاش الأورام، أو السدى/النسيج الضام) والهندسة المكانية. يؤدي هذا إلى الإفراط في التخصيص (overfitting) على ضوضاء الخلفية والفشل في مواءمة الميزات البصرية مع المعرفة التشخيصية عالية المستوى.
• الفجوة متعددة الوسائط: بينما يدمج الأطباء بين الإشارات البصرية والتاريخ السريري، نادراً ما تستفيد النماذج الحسابية من التوجيه الدلالي عالي المستوى (مثل الأوصاف النصية السريرية). تفشل النهج متعددة الوسائط الحالية غالباً في سد الفجوة الدلالية بفعالية، حيث تعامل النص كإشارة سلبية بدلاً من كونه معدلاً نشطاً للميزات البصرية.

2. المنهجية: إطار عمل HPDP

يقترح المؤلفون إطار النماذج الأولية الهرمية للمسبقات النطاقية (HPDP)، وهو إطار عمل موحد متعدد الوسائط مصمم لحقن المعرفة المورفولوجية والدلالية المهيكلة في مسار تعلم تعدد المثيلات (MIL). يتكون الإطار من ثلاثة مكونات أساسية:

أ. مسار معالجة المعلومات

• البصري (Visual): يتم معالجة صور الـ WSI إلى رقع غير متداخلة. يقوم مشفر ResNet-50 باستخراج ميزات مستوى الرقعة.
• المكاني (Spatial): يتم تسجيل إحداثيات (x, y) لكل رقعة للحفاظ على التخطيط الهندسي للبيئة المجهرية للأنسجة.
• المسبقات النطاقية (Domain Priors): يتم تطبيق تجميع K-means غير الخاضع للإشراف على ميزات الرقع لتحديد مراكز مورفولوجية ممثلة (مثل الأوعية، الخلايا، السدى). وتعمل هذه كـ "خبراء مسبقين".
• النصي (Textual): يقوم نموذج لغوي كبير (LLM) بتوليد أوصاف نصية سريرية متماسكة من صور الـ WSI منخفضة الدقة لتوفير ركائز دلالية عالية المستوى.

ب. الوحدات الرئيسية

1. المشفر الموقعي الجيبي (Sinusoidal Positional Encoder - SPE):

   • يعالج إهمال التخطيط المكاني في نماذج MIL القياسية.
   • يقوم بخرائط إحداثيات الرقعة الطبيعية إلى تضمينات عالية الأبعاد باستخدام دوال الجيب وجيب التمام (مستوحى من المحولات/Transformers).
   • يتم دمج هذه التضمينات المكانية مع الميزات البصرية عبر الجمع العنصري، مما يضمن إدراك النموذج للمسافات النسبية وبنية الأنسجة.

2. نظام النماذج الأولية المرتكزة مورفولوجياً (Morphologically Anchored Prototype System - MAPS):

   • يعمل على تفكيك تعلم التمثيل على مستوى الشريحة إلى مسارين متكاملين لموازنة الاستقرار الهيكلي والمرونة الخاصة بالمهمة:
     • الخبراء المسبقون (Prior Experts): يتم تهيئتهم عبر تجميع K-means (غير خاضع للإشراف) لتمثيل فئات مورفولوجية معيارية. يتم تحسينهم باستخدام فقدان مساعد للمواءمة مع هذه النماذج الأولية "المعلمة" الثابتة، مما يضمن احترام النموذج للمعرفة النطاقية الراسخة.
     • الخبراء التكيفيون (Adaptive Experts): معلمات قابلة للتعلم يتم تحسينها عبر الإشراف من البداية إلى النهاية لاستخراج الأنماط التمييزية الدقيقة والخاصة بالمهمة والتي قد تغفل عنها المجموعات المحددة مسبقاً.
   • الآلية: يستخدم تشابه جيب التمام (Cosine Similarity) للتوجيه الدلالي (الخبراء المسبقين) وحاصل الضرب النقطي (Dot Product) للتنقيب الحساس للمقدار (الخبراء التكيفيين).

3. المواءمة الهرمية عبر الوسائط (Hierarchical Cross-Modal Alignment - HCMA):

   • يسد الفجوة اللغوية-البصرية باستخدام النص المولد من LLM كـ "متحكم دلالي".
   • المرحلة 1 (التعديل الدلالي العالمي): يستخدم تعديل الميزات الخطي (FiLM) لإعادة معايرة النماذج الأولية البصرية ديناميكياً بناءً على التضمين النصي العالمي. يعمل هذا على كبح القنوات البصرية غير ذات الصلة وتضخيم القنوات ذات الصلة بالتشخيص.
   • المرحلة 2 (نشر السياق الهيكلي): يستخدم آلية الانتباه متعدد الرؤوس حيث تعمل النماذج الأولية الأصلية كاستعلامات (Queries) والميزات المعدلة كـ مفاتيح (Keys) وقيم (Values). يضمن هذا أن التمثيل النهائي يحتفظ بهيكل بصري قوي مع كونه متماشياً بعمق مع الدلالات السريرية.

ج. دالة الهدف (Objective Function)

يتم تدريب النموذج من البداية إلى النهاية مع فقدان إجمالي يتكون من:

• فقدان المهمة المحددة: استخدام "الاعتراف المتقاطع" (Cross-Entropy) للتصنيف أو "فقدان مخاطر كوكس النسبية" (Cox Proportional Hazards Loss) لتحليل البقاء على قيد الحياة.
• فقدان إشراف النموذج الأولي: هو فقدان تبايني يجبر "الخبراء المسبقين" القابلين للتعلم على التوافق مع مراكز K-means المستمدة، مما يفرض المسبق النطاقي.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: يقترح HPDP، الذي يدمج بشكل فريد المسبقات المورفولوجية المستمدة من K-means مع التوجيه الدلالي المولد من LLM، مما يجسد بفعالية التعلم القائم على البيانات والمعرفة النطاقية المحددة من قبل الخبراء.
2. نظام النماذج الأولية المرتكزة مورفولوجياً (MAPS): يقدم نظام خبير مزدوج (مسبق ثابت + تكيفي) مقترناً بمشفر موقعي جيبي لالتقاط كل من الدلالات المورفولوجية والسياق الهندسي في آن واحد.
3. المواءمة الهرمية عبر الوسائط (HCMA): طور وحدة من مرحلتين تستخدم نص LLM لتعديل الميزات البصرية بنشاط، مما يضمن أن الانتباه موجه بواسطة الاستدلال التشخيصي عالي المستوى بدلاً من الإحصاءات منخفضة المستوى.
4. التحقق الشامل: أثبت أداءً رائداً (SOTA) عبر سبعة مجموعات بيانات متنوعة لسرطان مختلفة لمهام التصنيف (التصنيف النوعي) والتنبؤ (تصنيف مخاطر البقاء).

4. النتائج التجريبية

تم تقييم إطار العمل على سبعة مجموعات بيانات (بما في ذلك TCGA-Lung، وCamelyon16، وBRACS، ومجموعة داخلية لسرطان الرئة) تغطي مهام التصنيف والبقاء على قيد الحياة.

• أداء التصنيف: حقق HPDP نتائج رائدة (SOTA) في الدقة، والمساحة تحت المنحنى (AUC)، ومقياس F1.
  • في مجموعة بيانات LCEM (التنبؤ بطفرة EGFR)، حقق HPDP AUC بنسبة 83.64%، متفوقاً على المنافس الثاني (PMIL بنسبة 82.29%)، وأظهر استقراراً فائقاً مقارنة بالنماذج القائمة على Transformer مثل TransMIL، التي عانت من انخفاض الأداء في البيانات غير المتجانسة.
  • في مجموعة BRACS (التصنيف النوعي الدقيق)، حقق HPDP درجة F1 قيادية بلغت 65.61%.
• تحليل البقاء على قيد الحياة: حقق HPDP متوسط C-index إجمالي قدره 0.6577.
  • في مجموعة LCEM، وصل إلى C-index قدره 0.6985، متفوقاً على النماذج المرجعية المتخصصة القائمة على الرسم البياني (DM-GNN) والقائمة على النماذج الأولية (ProtoSurv).
• التعميم في حالة عدم وجود بيانات سابقة (Zero-Shot Generalization): في تجربة Zero-shot (التدريب على LCEM والاختبار على TCGA-LUAD دون ضبط دقيق)، حافظ HPDP على أداء قوي (AUC 75.50%، C-index 0.5954)، بينما عانت النماذج الأخرى من انهيار النمط (mode collapse) أو تدهور كبير في الأداء.
• القابلية للتفسير: أظهرت خرائط الحرارة للاهتمام أن HPDP يركز بدقة على المورفولوجيا الورمية وحدود الحقيقة الأرضية (ground-truth)، متجنباً "تشتت الانتباه" الذي تظهره نماذج MIL القياسية. كما أكدت تصورات t-SNE وجود فصل أفضل للميزات وتقليل التباين داخل الفئة الواحدة.

5. الأهمية

• سد فجوة "الصندوق الأسود": من خلال ربط التعلم بالنماذج الأولية المورفولوجية القابلة للتفسير والنصوص السريرية، ينتقل HPDP بعيداً عن النماذج الغامضة للتعلم العميق نحو نظام دعم تشخيصي "أبيض الصندوق" يحاكي استدلال أطباء المسالك.
• القوة تجاه تغير النطاق (Domain Shift): يسمح دمج الترميز الهندسي (SPE) والمواءمة الدلالية (HCMA) للنموذج بالتعميم عبر المؤسسات المختلفة وبروتوكولات الصبغ المختلفة، وهو ما يعد عائقاً حرجاً أمام النشر السريري.
• المنفعة السريرية: لا يوفر الإطار مجرد تنبؤ، بل يوفر تمثيلاً منقحاً سياقياً يتوافق مع الأدبيات الطبية، مما يعزز الثقة ويسهل الاعتماد في سير عمل طب الأورام الدقيق.
• الاتجاهات المستقبلية: تسلط هذه الدراسة الضوء على إمكانية استخدام النماذج اللغوية الكبيرة (LLMs) كمعدلات نشطة في التصوير الطبي، مما يشير إلى مسار نحو الارتباطات السببية بين الدلالات النصية وأنماط علم الأمراض البصرية.