TRUE-Colon: Exposing a Consistent Transfer Asymmetry in Real-Time Polyp Detection

تخيل أنك محقق يحاول العثور على نوع معين ونادر من الألعاب المفقودة والمخبأة داخل مستودع ضخم وفوضوي. المستودع مليء بسيور ناقلة متحركة، وأضواء تومض، وأكوام من الخردة، ومساحات طويلة من الأرضية الفارغة حيث لا يحدث فيها أي شيء مثير للاهتمام. الآن، تخيل أنك لتدريب المحقق الخاص بك، تعرض عليه فقط ألبوم صور. لكن إليك العقبة: ألبوم الصور لا يحتوي إلا على صور مثالية ومكبرة للألعاب المفقودة، محاطة بخلفيات بيضاء نظيفة. لا توجد في الصور أي صور للسيور الناقلة، ولا ظلال، ولا أرضيات فارغة. قد تعتقد أن المحقق عبقري لأنه يستطيع تمييز اللعبة في ألبوم الصور فوراً. لكن في اللحظة التي ترسل فيها المحقق إلى المستودع الحقيقي الفوضوي، قد يشعر بالارتباك بسبب الخردة، أو قد يخطئ في العثور على اللعبة لأنها مخفية جزئياً، أو قد يبدأ في الصراخ قائلاً "وجدتها!" في كل مرة يرى فيها قطعة من القمامة تشبه لعبة ما بشكل غامض.

هذه هي بالضبط المشكلة التي تواجه مجالاً يسمى "الكشف بمساعدة الحاسوب" (CADe) في الطب، وتحديداً في عمليات تنظير القولون. تنظير القولون هو إجراء يستخدم فيه الطبيب كاميرا للنظر داخل قولون المريض للعثور على نموات صغيرة تسمى السلائل (polyps) وإزالتها قبل أن تتحول إلى سرطان. الهدف هو العثور على هذه السلائل في الوقت الفعلي أثناء تحرك الكاميرا عبر نفق طويل وملتوي. لسنوات، عمل العلماء على بناء "محققين" يعملون بالذكة الاصطناعية لمساعدة الأطباء. لقد قاموا بتدريب هذه الأنظمة الذكية على مجموعات بيانات (datasets) — وهي مجموعات من الصور ومقاطع الفيديو — تم اختيارها بعناية. وهذا يعني أن البيانات "نُظفت" للتركيز بشكل أساسي على السلائل، وغالباً ما يتم استبعاد الأجزاء المملة حيث لا يوجد شيء. السؤال الكبير الذي يطرحه هذا البحث هو: إذا دربنا محققي الذكاء الاصطناعي لدينا على هذه الألبومات المصورة المثالية والنظيفة فقط، فهل سيعملون حقاً عندما يضطرون لمراقبة مستودع حقيقي فوضوي؟

تجربة "ألبوم الصور" مقابل "المستودع الحقيقي" الكبرى

في هذه الدراسة، قرر فريق من الباحثين من جامعة بامبرغ اختبار هذا السيناريو بالضبط. أطلقوا على ميدان الاختبار الجديد هذا اسم TRUE-Colon. فكر في TRUE-Colon كـ "اختبار جهد" معياري لهذه المحققين من الذكاء الاصطناعي. فبدلاً من مجرد التحقق مما إذا كان بإمكان الذكاء الاصطناعي العثور على سليلة في صورة واحدة مثالية، يقيس TRUE-Colon أربعة أشياء تهمنا فعلياً في العالم الحقيقي:

1. هل يمكنه العث م على السليلة؟ (دقة التحديد - Localization accuracy)
2. هل يصرخ "ذئب" كثيراً؟ (عبء الإنذارات الكاذبة: كم مرة يصرخ "سليلة!" بينما هو يرى مجرد طية في الجلد أو ذرة غبار؟)
3. ما مدى سرعة استجابته؟ (تأخر الكشف: هل يرصد السليلة فور ظهورها، أم يستغرق بضع ثوانٍ ليلحق بها؟)
4. هل يستمر في المراقبة؟ (الموثوقية الزمنية: بمجرد أن يرى سليلة، هل يستمر في تتبعها، أم يرمش ويفقدها؟)

أخذ الباحثون أربعة نماذج ذكاء اصطناعي شهيرة (Faster R-CNN، وYOLOv8، وYOLOv11، وRT-DETR) ووضعوها في معسكرين تدريبيين مختلفين. استخدم المعسكر الأول "ألبومات الصور" التقليدية (مجموعات بيانات منسقة مثل SUN وPICCOLO)، وهي مليئة بصور السلائل ولكن بها عدد قليل جداً من الإطارات "الفارغة". أما المعسكر الآخر فقد استخدم "المستودع الحقيقي" (REAL-Colon)، والذي يتكون من 60 فيديو كامل وغير محرر لتنظير القولون. هذه الفيديوهات الحقيقية هي في الغالب مساحات فارغة (أكثر من 85% من الإطارات لا تحتوي على سلائل) وهي مليئة بالشوائب المزعجة مثل ضبابية الحركة، والانعكاسات الساطعة، والأدوات الجراحية.

الاكتشاف الصادم: "عدم التماثل في الانتقال"

إليك الكشف الكبير، وهو بمثابة حبكة مفاجئة. وجد الباحثون عدم تماثل ثابت في الانتقال. إنه يشبه طريقاً باتجاه واحد.

عندما دربوا نماذج الذكاء الاصطناعي على ألبومات الصور النظيفة (البيانات المنسقة) ثم اختبروها على الفيديوهات الحقيقية الفوضوية، انهارت النماذج تماماً. لقد أصبحوا سيئين جداً في العثور على السلائل، والأسوأ من ذلك، بدأوا في الهلوسة. كانوا يصرخون "سليلة!" عند رؤية أي قطعة من الحطام أو الظل تقريباً. على سبيل المثال، نموذج يسمى YOLOv11، والذي كان نجماً متألقاً في ألبومات الصور النظيفة (حيث حصل على درجة 0.724)، انخفضت كفاءته إلى مستوى هزيل بلغ 0.164 عندما واجه الفيديوهات الحاسية الحقيقية. كان الأمر كما لو أن المحقق، الذي تدرب فقط على الصور النظيفة، لم يستطع التعامل مع الفوضى في العالم الحقيقي على الإطلاق.

ومع ذلك، كان العكس صحيحاً! عندما دربوا النماذج على الفيديوهات الحقيقية الفوضوية (REAL-Colon) ثم اختبروها مرة أخرى على ألبومات الصور النظيفة، لم تنجُ النماذج فحسب، بل ازدهرت. حافظت على دقتها العالية في الصور النظيفة، ولكن الأهم من ذلك، أنها تعلمت كيف تتجاهل الحطام في الفيديوهات الحقيقية. لقد أصبحوا أفضل بكثير في قول "لا، هذا مجرد ظل" بدلاً من "سليلة!".

هذا يثبت أن التدريب على الإجراءات الكاملة "الفوضوية" هو في الواقع الطريقة الأفضل لإعداد الذكاء الاصطناعي للعالم الحقيقي. لقد كانت "ألبومات الصور" النظيفة تمنح الذكاء الاصطناعي شعوراً زائفاً بالأمان، مما خلق "وهماً بالنجاح" تلاشى بمجرد بدء العمل الحقيقي.

السباق بين المحققين

بمجرد إصلاح طريقة التدريب، قارن الباحثون بين نماذج الذكاء الاصط_{الأربعة} وجهاً لوجه في الفيديوهات الحقيقية، ولكن بقاعدة عادلة: قاموا بتعديل الإعدادات بحيث يُسمح لكل نموذج بإصدار نفس العدد من "الإنذارات الكاذبة" (حوالي 4-5% من الوقت). ضمن هذا أنهم يقارنون مهارتهم الفعلية، وليس فقط مدى "صخب" إعدادات الثقة لديهم.

• المحقق بنظام الـ Transformer (نموذج RT-DETR): كان هذا النموذج هو الأكثر حساسية وسرعة. لقد وجد السلائل في وقت أبكر من الآخرين واستمر في تتبعها لفترة أطول. كان مثل محقق ذو عيون صقر لا يرمش أبداً. ومع ذلك، فإنه يتطلب قوة حوسبة أكبر للقيام بذلك.
• المحققون بنظام الـ Convolutional (نماذج YOLOv8 وYOLOv11): كانت هذه النماذج أبطأ قليلاً في رصد السليلة ولم تكن تتبعها بنفس الإصرار، لكنها كانت سريعة جداً في معالجة الفيديو. كانوا مثل فريق من المحققين الذين يمكنهم مسح الغرفة بسرعة أكبر بكثير، مضحين بجزء بسيط من كمال التتبع مقابل السرعة الخام.

تشير الورقة البحثية إلى أنه لا يوجد "فائز" واحد. بدلاً من ذلك، هناك عملية مقايضة: إذا كنت بحاجة إلى الكشف المبكر للغاية ولا تمانع في استخدام المزيد من قوة الكمبيوتر، فإن الـ Transformer (RT-DETR) هو الأفضل. أما إذا كنت بحاجة إلى معالجة الفيديو بسرعة كبيرة ويمكنك تحمل قدر ضئيل من التأخير، فإن نماذج YOLO هي منافسون رائعون.

الخلاصة

الرسالة الأساسية من هذا البحث هي تحذير لمجتمع الذكاء الاصطناعي الطبي: توقفوا عن تدريب واختبار ذكائكم الاصطناعي على المقاطع النظيفة والمنسقة فقط. إذا فعلتم ذلك، فأنتم تبنون محققاً يعمل فقط في استوديو تصوير، وليس في مستشفى. لبناء نظام يساعد الأطباء وينقذ الأرواح حقاً، يجب عليكم التدريب والاختبار على إجراءات كاملة وغير محررة، بما في ذلك جميع الأجزاء المملة والفوضوية والفارغة من الفحص. عندها فقط يمكنك معرفة ما إذا كان الذكاء الاصطناعي الخاص بك جاهزاً ليكون شبكة أمان للمرضى، أم أنه سيسبب الذعر فقط من خلال الصراخ "ذئب" عند رؤية كل ذرة غبار.

الباحثون واثقون جداً من عدم التماثل هذا لأنهم اختبروه عبر نماذج ومجموعات بيانات متعددة، لكنهم يشيرون أيضاً إلى أن دراستهم لها حدود. على سبيل المثال، ركزوا فقط على السلائل متوسطة وكبيرة الحجم (واجه الذكاء الاصطناعي صعوبة مع السلائل الصغيرة جداً)، وكانت مجموعة الاختبار للسلائل صغيرة نسبياً. ويقترحون أن الخطوة التالية هي اختبار ذلك على مجموعات أكثر تنوعاً من المرضى وفي بيئات مستشفيات مختلفة للتأكد من أن قاعدة "التدريب الفوضوي" هذه تصمد في كل مكان. ولكن في الوقت الحالي، الرسالة واضحة: الفوضى في العالم الحقيقي ليست خطأً برمجياً، بل هي أهم ميزة لتدريب ذكاء اصطناعي موثوق.