💻 computer science

ASMIL: Attention-Stabilized Multiple Instance Learning for Whole Slide Imaging

تقدم الورقة البحثية إطار عمل موحد يُسمى ASMIL، يعالج ديناميكيات الانتباه غير المستقرة، والفرط في التخصيص (overfitting)، والتركيز المفرط للانتباه في التعلم متعدد الأمثلة القائم على الانتباه لصور الشرائح الكاملة، وذلك من خلال توظيف نموذج مرساة مع دالة سيجمويد طبيعية وإسقاط عشوائي للرموز (token random dropping)، مما أدى إلى تحسينات كبيرة في الأداء مقارنة بالطرق المتطورة الحالية.

المؤلفون الأصليون: Linfeng Ye, Shayan Mohajer Hamidi, Zhixiang Chi, Guang Li, Mert Pilanci, Takahiro Ogawa, Miki Haseyama, Konstantinos N. Plataniotis

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Linfeng Ye, Shayan Mohajer Hamidi, Zhixiang Chi, Guang Li, Mert Pilanci, Takahiro Ogawa, Miki Haseyama, Konstantinos N. Plataniotis

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق بارع يحاول حل مسرح جريمة ضخم. مسرح الجريمة هو عبارة عن صورة شريحة كاملة (WSI) — وهي صورة رقمية لعينة نسيج ضخمة جدًا تحتوي على ملايين البكسلات الصغيرة. إذا حاولت فحص كل بكسل بمفرده، فقد ينفجر عقلك.

لذا، تقوم بتعيين فريق من المحققين المبتدئين (هذه هي "النماذج" أو "القطع الصغيرة" من الصورة). تقول لهم: "اذهبوا وانظروا إلى قطعتكم الصغيرة المخصصة وأخبروني ما إذا كانت تبدو مريبة".

المشكلة؟ لديك إجابة نهائية واحدة فقط لمسرح الجريمة بأكمله: "مذنب" (سرطان) أو "بريء" (سليم). أنت لا تعرف أي محقق مبتدئ تحديدًا وجد الدليل القاطع. هذا ما يسمى بالإشراف الضعيف (Weak Supervision).

لسنوات، كانت أفضل طريقة لحل ذلك هي استخدام محقق رئيسي (آلية انتباه - Attention Mechanism) يستمع إلى جميع المبتدئين ويقرر من يثق به. إذا قال أحد المبتدئين: "لقد وجدت ورمًا!"، فإن المحقق الرئيسي يمنحه "درجة انتباه" عالية.

المشكلة: المحقق غير المستقر

اكتشف مؤلفو هذه الورقة البحثية خللاً غريبًا في كيفية عمل هؤلاء المحققين الرئيسيين.

المحقق المتذبذب: أحيانًا، يكون المحقق الرئيسي واثقًا جدًا في المحقق المبتدئ (أ). وفي اليوم التالي، يتغير فجأة ويثق تمامًا في المحقق المبتدئ (ب)، ثم يعود في اليوم التالي للثقة في (أ). إنهم لا يستقرون أبدًا على قرار. الأمر يشبه حكمًا في مباراة كرة قدم يغير رأيه باستمرار حول من ارتكب الخطأ في كل مرة يطلق فيها الصفارة. هذا يجعل الفريق مشتتًا والقرار النهائي غير موثوق.
المحقق المهووس: أحيانًا، يصبح المحقق مهووسًا بنقطة واحدة صغيرة جدًا لدرجة أنه يتجاهل كل شيء آخر. قد يركز على بكسل أحمر واحد ويتجاهل بقية الورم. هذا أمر سيء لأن الأورام الحقيقية غالبًا ما تكون منتشرة.
المحترف المفرط في الاستعداد: نظرًا لعدم وجود الكثير من مسارح الجريمة (مجموعات البيانات) لدراستها، يقوم المحقق بحفظ الحالات التي رآها بدلاً من تعلم القواعد العامة. عندما يرى حالة جديدة، يفشل. وهذا ما يسمى بالفرط في التخصيص (Overfitting).

الحل: نظام ASMIL (النظام "المستقر")

يقترح المؤلفون نظامًا جديدًا يسمى ASMIL. إليك كيف أصلحوا هذه المشكلات الثلاث باستخدام بعض الحيل الذكية:

1. "المرشد الشبح" (نموذج الارتكاز)

لإيقاف المحقق الرئيسي عن التقلب، قدموا مرشدًا شبحًا (Ghost Mentor).

كيف يعمل: المرشد الشبح هو نسخة طبق الأصل من المحقق الرئيسي، لكنه لا يتعلم من الصفر كل يوم. بدلاً من ذلك، يتعلم ببطء، مثل أستاذ حكيم يأخذ متوسط قرارات المحقق اليومية بمرور الوقت.
التشبيه: تخيل أن المحقق الرئيسي هو طالب يؤدي اختبارًا. المرشد الشبح هو نموذج الإجابة الخاص بالمعلم، والذي يتحدث ببطء بناءً على تقدم الطالب. يُقال للطالب: "لا تخمن بشكل عشوائي؛ حاول أن تتماشى مع نموذج إجابة المعلم الثابت والهادئ".
النتيجة: يتوقف المحقق عن التذبذب. إنه يستقر لأنه يحاول باستمرار التوافق مع المرشد الشبح الهادئ والمستقر.

2. "فلتر العدالة" (Sigmoid الموحد)

لمنع المحقق من الهوس بمكان واحد فقط، قاموا بتغيير الرياضيات التي يستخدمها المحقق ليقرر من يثق به.

الطريقة القديمة (Softmax): هذه مثل لعبة "الفائز يستحوذ على كل شيء". إذا كان أحد المبتدئين أفضل قليلاً، فسيحصل على 99% من الثقة، بينما يحصل الآخرون على 1%.
الطريقة الجديدة (Normalized Sigmoid): هذه مثل نظام "المشاركة العادلة". تقول: "حسنًا، المبتدئ (أ) رائع، لكن المبتدئ (ب) و(ج) جيدان أيضًا. دعونا نمنحهم جميعًا نصيبًا عادلًا من الأضواء".
التشبيه: بدلًا من منح جائزة "موظف الشهر" لشخص واحد فقط وتجاهل البقية، يمنح النظام الجديد "شارة الأداء العالي" لكل من قام بعمل جيد. هذا يضمن أن المحقق ينظر إلى الورم بأكمله، وليس فقط إلى بكسل واحد.

3. "الاستراحة العشوائية" (إسقاط الرموز/Tokens)

لمنع المحقق من حفظ مسارح الجريمة المحددة (Overfitting)، أجبروا الفريق على التدرب بدون بعض المحققين.

كيف يعمل: أثناء التدريب، يخبر النظام بعض المحققين المبتدئين عشوائيًا: "أنت في استراحة اليوم، لا تتحدث".
التشبيه: يشبه الأمر مدربًا يقول لفريق كرة السلة: "سنتدرب، لكنني سأضع اللاعب النجم على مقاعد البدلاء خلال نصف التدريبات". هذا يجبر اللاعبين الآخرين على النهوض وتعلم كيفية العمل معًا دون الاعتماد على النجم. هذا يجعل الفريق قويًا (Robust). عندما تبدأ المباراة الحقيقية (الاستنتاج)، يعود الجميع إلى الملعب، ويكون الفريق أقوى بفضل ذلك.

النتيجة

عندما اختبر المؤلفون هذا النظام الجديد:

كان أكثر دقة: وجدوا السرطانات بشكل أفضل من أي طريقة سابقة (بتحسين النتائج بنسبة تصل إلى 6.5% إلى 10%).
كان أكثر موثوقية: توقف "المحقق الرئيسي" عن التقلب وأعطى إجابات متسقة.
كان أكثر عدلاً: سلط الضوء على منطقة الورم بأكملها، وليس فقط على نقطة صغيرة، مما يسهل على الأطباء الحقيقيين الوثوق بتشخيص الذكاء الاصطناعي.

باختاختصار

ASMIL يشبه أخذ فريق محققين فوضوي، مشتت الذهن، وواثق بنفسه بشكل مفرط، ومنحهم مرشدًا هادًا ومستقرًا، وقواعد عدالة، ونظام تدريب صارم. والنتيجة هي فريق يحل لغز تشخيص السرطان بشكل أسرع، وبدقة أكبر، وبثقة أكبر بكثير.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ASMIL: التعلم متعدد المثيلات المستقر بالانتباه لصور الشرائح الكاملة"، المنشورة كورقة مؤتمر في ICLR 2026.

1. بيان المشكلة

تعالج الورقة البحثية القيود الحرجة في التعلم متعدد المثيلات القائم على الانتباه (ABMIL) لتحليل صور الشرائح الكاملة (WSI). وبينما يعد ABMIL المعيار الفعلي للتشخيص ضعيف الإشراف لصور WSI (حيث تتوفر فقط تسميات على مستوى الشريحة)، حدد المؤلفون ثلاثة أنماط فشل محددة تؤدي إلى تدهور الأداء والقابلية للتفسير:

ديناميكيات الانتباه غير المستقرة (PI): ظاهرة تم تحديدها حديثًا حيث تتذبذب توزيعات الانتباه بشكل كبير عبر دورات التدريب بدلاً من التقارب نحو نمط ثابت. هذا عدم الاستقرار يمنع النموذج من تحديد مناطق الأنسجة المحددة التي تقود القرارات بشكل موثوق، مما يقوض كلاً من الأداء التنبئي والتفسير السريري.
الانتباه المفرط في التركيز (PII): غالبًا ما تخصص الطرق الحالية أوزانًا مفرطة لعدد قليل جدًا من البلاطات (المثيلات)، متجاهلة مناطق أخرى ذات ص relevance. ويُعزى ذلك إلى الحساسية الأسية لدالة softmax القياسية، مما يضر بالقدرة على التعميم.
الإفراط في التخصيص (PIII): نظرًا لمحدودية عدد شرائح التدريب والوفرة العالية في بلاطات WSI، تميل نماذج MIL ذات السعة العالية إلى حفظ الأنماط الزائفة، مما يؤدي إلى أداء ضعيف خارج نطاق التوزيع (out-of-distribution).

2. المنهجية: إطار عمل ASMIL

يقترح المؤلفون ASMIL (التعلم متعدد المثيلات المستقر بالانتباه)، وهو إطار عمل موحد مصمم لمعالجة القيود الثلاثة المذكورة أعلاه في آن واحد. المكونات الأساسية هي:

أ. نموذج المرساة (Anchor Model) للاستقرار

لمكافحة ديناميكيات الانتباه غير المستقرة، يقدم ASMIL نموذج مرساة يحاكي وحدة الانتباه في النموذج المتصل بالإنترنت (القابل للتدريب).

الآلية: يتلقى نموذج المرساة نفس المدخلات التي يتلقاها النموذج المتصل بالإنترنت، ولكنه يتم تحديثه عبر المتوسط المتحرك الأسي (EMA) لمعلمات النموذج المتصل بالإنترنت بدلاً من الانتشار العكسي (backpropagation).
الدور: يعمل كمرجع مستقر وممهد زمنياً. يتم تشجيع النموذج المتصل بالإنترنت على محاكاة توزيع انتباه نموذج المرساة من خلال تقليل تباعد كولباك - ليبلر (KL divergence) بينهما.
الفائدة: يعمل التنظيم الوظيفي على استقرار ديناميكيات التدريب ويضمن تقارب توزيعات الانتباه إلى أنماط متسقة دون إضافة تكلفة حوسبية أثناء الاستنتاج (يتم التخلص من المرساة لاحقاً).

ب. دالة السيجمويد الموحدة (NSF)

لمنع التركيز المفرط، يستبدل المؤلفون دالة softmax القياسية في نموذج المرساة بـ دالة سيجمويد موحدة (NSF).

الرؤية الرياضية: يثبت المؤلفون نظرياً (النظرية 1) أن softmax لا يمكنها تحقيق "التسطيح الانتقائي" (مساواة الرموز المعلوماتية ذات الدرجات العالية) و"الكبح" (كبح الرموز ذات الدرجات المنخفضة) في آن واحد باستخدام معلمة درجة حرارة واحدة.
تعريف NSF: $\alpha_i^{nsf} = \frac{\sigma(z_i)}{\sum_j \sigma(z_j)}$ ، حيث $\sigma$ هي دالة السيجمويد.
لماذا في المرساة؟ تطبيق NSF مباشرة على النموذج المتصل بالإنترنت يسبب تلاشي التدرجات بسبب تشبع السيجمويد. ومن خلال تطبيقها فقط على المرساة، يوجه النموذج المتعلم نحو توزيع أقل تشتتاً وأكثر قابلية للتفسير دون زعزعة تدفق التدرج.

ج. إسقاط الرموز العشوائي (Token Random Dropping)

للتخفيف من الإفراط في التخصيص، يستخدم ASMIL استراتيجية إسقاط الرموز (Token Dropout).

الآلية: خلال التدريب، يتم إسقاط جزء من رموز "FEAT" القابلة للتدريب (التمثيلات القابلة للتعلم المستخدمة للتجميع) عشوائياً.
الأثر: يمنع هذا التكيف المشترك بين الرموز ويجبر النموذج على الاعتماد على ميزات قوية بدلاً من مجموعات فرعية محددة من الرموز. وخلافاً لإسقاط المثيلات العام، فإن هذا متخصص لرموز FEAT للحفاظ على الارتباط واحد لواحد المطلوب لمحاذاة المرساة.

د. الهدف العام

يجمع هدف التدريب بين فقدان الإنتروبيا المتقاطة القياسي ( $L_{CE}$ ) وفقدان استقرار الانتباه ( $L_{AS}$ ):
$L = L_{CE} + \beta L_{AS}$
حيث $L_{AS} = KL(\alpha^{nsf} \parallel \alpha)$ ، و $\alpha^{nsf}$ هو انتباه المرساة (NSF)، و $\alpha$ هو انتباه النموذج المتصل بالإنترنت (Softmax).

3. المساهمات الرئيسية

اكتشاف الديناميكيات غير المستقرة: تعد هذه الورقة هي الأولى التي تحدد وتحدد كمياً تذبذب توزيعات الانتباه في WSI-MIL، موضحة أن الطرق الحالية تفشل في التقارب المستقر.
إطار عمل مبتكر (ASMIL): تقديم إطار عمل موحد يجمع بين مرساة قائمة على EMA، وNSF، وإسقاط الرموز لحل مشكلات عدم الاستقرار، والتركيز المفرط، والإفراط في التخصيص في آن واحد.
التبرير النظري: إثبات رياضي يوضح أن NSF تحقق خصائص التسطيح الانتقائي التي لا تستطيع softmax محاكاتها، مما يوفر أساساً نظرياً للتغيير الهيكلي.
القدرة على العمل كإضافة (Plug-and-Play): يمكن دمج مكونات المرساة وNSF في طرق MIL القائمة على الانتباه (مثل TransMIL وCLAM) لتعزيز أدائها باستمرار.

4. النتائج التجريبية

قيم المؤلفون ASMIL على ثلاث مجموعات بيانات عامة لصور WSI وهي: CAMELYON-16، و CAMELYON-17، و BRACS.

أداء التصنيف الفرعي:
- حقق ASMIL أداءً رائداً (SOTA) عبر جميع مجموعات البيانات عند اقترانه بأساس ViT-SSL.
- في CAMELYON-16، حسن درجة F1 بنسبة 3.3% وAUC بنسبة 1.6% عن أقوى خط أساس.
- في CAMELYON-17، حقق تحسناً في درجة F1 بنسبة 6.49%.
- في BRACS، وصل إلى درجة F1 قدرها 0.781 وAUC قدرها 0.914، متفوقاً على أفضل النتائج السابقة بفوارق كبيرة.
التكامل مع خطوط الأساس: أدى دمج المرساة وNSF في الطرق الحالية (مثل ABMIL وTransMIL) إلى مكاسب ثابتة، مع تحسينات في درجة F1 تصل إلى 10.73%.
التحديد الموضعي (Localization): أنتج ASMIL خرائط انتباه أكثر دقة، حيث سلط الضوء باستمرار على جميع المناطق السرطانية بدلاً من التركيز على مجموعة فرعية منها. وحقق أفضل درجات FROC و Dice على CAMELYON-16.
دراسات الاستئصال (Ablation Studies): أدى إزالة أي مكون (المرساة، أو NSF، أو الإسقاط) إلى تدهور الأداء، مما يؤكد ضرورة كل منها. وكان لنموذج المرساة التأثير الأكبر على الاستقرار.
التعميم: حسنت الطريقة أيضاً الأداء في اختبارات MIL غير المتعلقة بـ WSI (مثل MUSK، TIGER، إلخ) ومهام التنبؤ بالبقاء (مجموعات بيانات TCGA).

5. الأهمية

الأثر السريري: من خلال تثبيت ديناميكيات الانتباه، يضمن ASMIL أن "الخرائط الحرارية" التي يولدها النموذج متسقة وموثوقة. وهذا أمر بالغ الأهمية للتبني السريري، حيث يحتاج أطباء المسالك البولية إلى الثقة في أن النموذج يركز على مناطق الأنسجة الصحيحة عبر عمليات التدريب وحالات المرضى المختلفة.
الكفاءة: رغم استخدام نموذج مرساة مساعد أثناء التدريب، إلا أن ASMIL لا يتطلب أي تكلفة حوسبية إضافية أثناء الاستنتاج (يتم التخلص من المرساة)، مما يجعله عملياً للنشر.
تحول في النموذج المعرفي: تنقل الورقة البحثية التركيز في أبحاث MIL من مجرد تجميع الميزات إلى ضمان استقرار وقابلية تفسير آلية الانتباه نفسها، معالجة بذلك نمط فشل لم يتم تجاهله سابقاً في التعلم ضعيف الإشراف.

في الختام، يوفر ASMIL حلاً قوياً ومبنياً على أسس نظرية لمشكلات عدم الاستقرار والتركيز المفرط التي تعاني منها نماذج تحليل WSI الحالية، واضعاً معياراً جديداً للدقة والقابلية للتفسير في علم الأمراض الحسابي.