An ablation measured twice: small component effects can change sign across repeated training runs in breast-cancer histopathology segmentation
تُظهر هذه الدراسة أنه في تقسيم الأنسجة المرضية لسرطان الثدي، يمكن أن تتباين المساهمات المقاسة للمكونات الهيكلية الصغيرة في دراسات الاستئصال بشكل كبير في الحجم وحتى في الاتجاه عبر عمليات التدريب المتكررة، مما يسلط الضوء على الحاجة الماسة للتكرار قبل استخلاص استنتاجات نهائية حول فعالية المكونات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في مجال التصوير الطبي، تُكلف الحواسيب بشكل متزايد بمهمة قراءة شرائح المجهر للعثور على السرطان. هذه الأدوات الرقمية، المعروفة باسم نماذج التعلم العميق، يتم تدريبها للتعرف على الأنماط في عينات الأنسجة التي قد تخفى على العين البشرية. لبناء هذه الأدوات، يدمج الباحثون تقنيات متنوعة، مثل تعديل ألوان الصور لمراعاة الاختلافات بين المختبرات، أو تعليم الكمبيوتر النظر إلى الصورة بمستويات مختلفة من التفاصيل في آن واحد. وعند بناء نموذج جديد، ينشئ العلماء جدولاً ملخصاً لإظهار أي من هذه التقنيات ساعدت بالفعل. هذا الجدول، الذي يُسمى غالباً "دراسة الاستئصال" (ablation study)، يسرد المساهمة المحددة لكل جزء، ليخبر القارئ: "هذا الجزء أضاف قيمة، وذاك الجزء لم يفعل شيئاً". والهدف هو فصل الأدوات المفيدة عن الضجيج حتى يعرف الأطباء والباحثون في المستقبل بالضبط ما يمكنهم الوثوق به.
ومع ذلك، تكمبط مشكلة خفية تحت هذه الملخصات. فحتى عندما يتم تشغيل برنامج كمبيوتر مرتين بنفس الإعدادات تماماً، نادراً ما تكون النتائج متطابقة. يمكن للتقلبات الطفيفة وغير المرئية في حسابات الكمبيوتر أن تسبب تذبذباً في الدرجة النهائية صعوداً أو هبوطاً. وإذا كان هذا "التذبذب الطبيعي" كبيراً بما يكفي، فقد يجعل أداة مفيدة تبدو عديمة الفائدة، أو أداة عديمة الفائدة تبدو مفيدة، وذلك بمحض الصدفة. هذا اليقين يجعل من الصعب معرفة ما إذا كان التحسن المسجل هو اكتشاف حقيقي أم مجرد رمية نرد محظوظة.
قرر باحث في جامعة خليج سان فرانسيسكو اختبار مدى تأثير هذا التذبذب الطبيعي في المهمة المحددة المتمثلة في تحديد سرطان الثدي في عينات الأنسجة. ركزت الدراسة على مجموعة بيانات معيارية شهيرة تحتوي على الآلاف من قطع الصور من شرائح المرضى. بنى الباحث نموذجاً حاسوبياً مصمماً لرصد الأورام، ثم اختبر سبع نسخ مختلفة منه. قامت كل نسخة بتفعيل أو إيقاف ثلاث ميزات محددة: طريقة لتوحيد ألوان الصور، وطريقة للنظر إلى الصورة بأحجام متعددة في وقت واحد، وآلية تسمح للكمبيوتر بمقارنة التفاصيل الدقيقة مع النظرات العامة الواسعة. كان الهدف هو معرفة أي الميزات حسنت حقاً قدرة النموذج على إيجاد السرطان.
للحصول على إحساس حقيقي بعدم الاستقرار الطبيعي للكمبيوتر، قام الباحث أولاً بتشغيل نسخة واحدة من النموذج اثنتي عشرة مرة متتالية، دون تغيير سوى نقطة البداية العشوائية للحساب. تم قياس الفرق بين هذه التشغيلات المزدوجة، مما كشف أن درجة النموذج تتذبذب طبيعياً بمقدار صغير ولكن ثابت في كل مرة يتم فيها إعادة التشغيل. وقد وضع هذا أساساً لكيفية تحرك الأرقام دون أي تغيير حقيقي في النموذج نفسه.
ومع وجود هذا الأساس في اليد، أجرى الباحث التجربة الكاملة لسبع نسخ مختلفة من النموذج. ومع ذلك، لم يكن تكرار التجربة بأكملها لاحقاً خياراً مخططاً له في الأصل؛ بل استلزمته غلطة في التحكم في الإصدار أدت لفقدان ملفات التنبؤ لكل قطعة من القياس الأول. لاستعادة البيانات، كرر الباحث الشبعة، حيث أجرى واحد وعشرين عملية تدريب جديدة على نفس التكوينات السبعة باستخدام نفس البيانات ونقاط البداية. خلق هذا مجموعة ثانية ومستقلة من النتائج للمقارنة مع المجموعة الأولى.
كشفت المقارنة عن نمط لافت للنظر. فالتحسينات الكبيرة التي شوهدت في الجولة الأولى صمدت في الغالب في الجولة الثانية. فعلى سبيل المثال، أدى الجمع بين توحيد الألوان ومشاهدة الأحجام المتعددة إلى تحسين أداء النموذج باستمرار، وإن كان مقدار التحسن أقل قليلاً في المرة الثانية. ومع ذلك، كانت التأثيرات الأصغر والأكثر دقة غير موثوقة تماماً. فميزة واحدة محددة، تعمل مثل جسر بين التفاصيل الدقيقة والنظرات الواسعة، أظهرت تأثيراً سلبياً في الجولة الأولى، مما يوحي بأنها أضرت بأداء النموذج. وفي الجولة الثانية، أظهرت نفس الميزة تأثيراً إيجابياً، مما يوحي بأنها ساعدت. كما انقلب تأثير آخر صغير من الإيجاب إلى السلب.
وجدت الدراسة أن حجم الإزاحة بين الجولتين كان متساوياً تقريباً لكل ميزة، بغض النظر عن حجم تأثير تلك الميزة. وهذا يعني أنه عندما يكون تأثير الميزة صغيراً، فإن التذبذب الطبيعي للكمبيوتر يكون كبيراً بما يكفي لإغراقها تماماً أو حتى عكس اتجاهها. واستنتج الباحث أنه بالنسبة للتأثيرات الصغيرة، فإن تجربة واحدة ليست كافية للوصول إلى استنتاج. فإذا كان تأثير الميزة قابلاً للمقارنة مع الضجيج الطبيعي للنظام، فإن نتيجتها ليست مستقرة بما يكفي للوثوق بها.
النتيجة الوحيدة التي نجت من هذا الاختبار الصارم كانت سلوكاً محدداً لأداة توحيد الألوان. فبينما لم تغير الدرجة المتوسطة الإجمالية للنموذج كثيراً، إلا أنها ساعدت المستشفيات الأضعف في مجموعة البيانات باستمرار، حيث رفعت أداءها لتصل إلى مستوى المستشفيات الأقوى. كان هذا النمط واضحاً في كل من التشغيل الأول والثاني، مما يثبت أن الأداة كانت مفيدة حقاً لجعل النظام أكثر إنصافاً عبر المواقع المختلفة، حتى لو لم تبدُ الأرقام الإجمالية دراماتيكية.
في نهاية المطاف، يعمل هذا العمل كقصة تحذيرية لكيفية تفسيرنا لنتائج علوم الكمبيوتر. فهو يوضح أنه عندما يكون تحسن نموذج الكمبيوتر صغيراً، فمن المستحيل معرفة ما إذا كان طفرة حقيقية أم مجرد تقلب عشوائي دون تشغيل التجربة عدة مرات. وتجادل الدراسة بأنه قبل إعلان أن جزءاً معيناً من النموذج جيد أو سيء، يجب على الباحثين أولاً قياس مدى تذبذب الأرقام من تلقاء نفسها. فإذا كان التأثير أصغر من ذلك التذبذب، فإن النتيجة ليست حقيقة بعد، بل هي مجرد اقتراح يحتاج إلى مزيد من الإثبات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.