PlankFormer: Robust Plankton Instance Segmentation via MAE-Pretrained Vision Transformers and Pseudo Community Image Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان "PlankFormer: تجزئة مثالية للعوالق (Plankton Instance Segmentation) عبر نماذج المحولات الرؤية (Vision Transformers) المدربة مسبقاً بأسلوب MAE وتوليد صور المجتمعات الزائفة."

1. بيان المشكلة

تعد المراقبة الآلية للعوالق أمراً بالغ الأهمية لتقييم صحة النظم البيئية المائية، ومع ذلك، تواجه عقبات كبيرة في الانتقال من التحليل اليدوي إلى التحليل الآلي. تحدد الورقة تحديين رئيسيين:

• ندرة البيانات: هناك نقص في مجموعات البيانات واسعة النطاق والموسومة على مستوى البكسل (pixel-level) الخاصة بالعوالق. إن التوسيم اليدوي لكل فرد في صور "المجتمعات المزدحمة" (التي تحتوي على كائنات متعددة متداخلة وحطام) هو أمر مرهق للغاية ولا يمكن تنفيذه عملياً.
• تعقيد صور العوالق: تواجه طرق الشبكات العصبية الالتفافية (CNN) التقليدية صعوبات في التعامل مع:
  • تنوع الأشكال العالي: تختلف العوالق بشكل كبير في الحجم (من حوالي 100 ميكرومتر إلى 1 ملم) وفي الوضعية (pose).
  • الانسداد والحطام: غالباً ما تكون الكائنات محجوبة بسبب الحطام أو عوالق أخرى، مما يجعل استخراج الميزات المحلية (النموذجي لشبكات CNN) غير كافٍ للتجزئة الدقيقة.
  • السياق العالمي (Global Context): يتطلب التمييز بين الأفراد المتداخلين فهم الميزات الهيكلية العالمية بدلاً من مجرد الأنسجة المحلية.

2. المنهجية

يقترح المؤلفون إطار عمل PlankFormer، الذي يجمع بين توليد البيانات الاصطناعية وبنية "محول الرؤية" (Vision Transformer - ViT) المدربة مسبقاً عبر التعلم الذاتي الخاضع للإشراف.

أ. توليد صور المجتمعات الزائفة (PCI)

لحل مشكلة ندرة البيانات، طور المؤلفون مساراً لتوليد بيانات تدريب موسومة تلقائياً:

• التوليد (Synthesis): يتم دمج صور العوالق الفردية (مع أقنعة على مستوى البكسل) فوق صور خلفية لإنشاء "صور مجتمعات زائفة".
• تنوع الخلفيات: تم الحصول على الخلفيات من نوعين:
  1. خلفيات حقيقية: مناطق خالية من العوالق تم اقتطاعها من صور مجتمعات فعلية.
  2. خلفيات اصطناعية: تم توليدها باستخدام StyleGAN3 ونماذج الانتشار الاحتمالي لتقليل الضجيج (DDPM)، والتي تم ضبطها بدقة (fine-tuned) بناءً على بيانات الخلفية الحقيقية.
• التعزيز (Augmentation): لمحاكاة ظروف العالم الحقيقي، تتضمن عملية التوليد ما يلي:
  • قلب (flipping)، تدوير، وتغيير حجم العوالق الفردية بشكل عشوائي.
  • تطبيق تمويه غاوسي (Gaussian blurring) على الخلفيات لمحاكاة عدم التركيز (out-of-focus) في المجهر.
  • وضع عشوائي يسمح بالتداخل والقطع عند حدود الصورة.
• التوسيم (Labeling): يتم توليد أقنعة الحقيقة الأرضية (ground truth masks) تلقائياً عن طريق تطبيق نفس التحويلات الهندسية على الأقنعة الفردية. يستخدم المؤلفون تسميات تصنيفية على مستوى "العائلة" (Family) لتحقيق التوازن بين الدقة والقدرة على التعميم.

ب. بنية PlankFormer

بُني نموذج التجزئة على نموذج Mask2Former ولكن مع استبدال العمود الفقي (backbone) التقليدي لشبكة CNN بمحول رؤية (ViT-Large).

• المُشفّر (Encoder): يقوم ViT-Large (المكون من 24 كتلة محول) باستخراج ميزات الصورة العالمية، وهي ضرورية للتعامل مع الانسدادات والقياسات المتفاوتة.
• المُفكك (Decoder): يستخدم مُفكك البكسل ومُفكك المحول من Mask2Former لإخراج أقنعة المثالية (instance masks) وتسميات الفئات.
• ميزات متعددة المقاييس: يتلقى المُفكك خرائط الميزات من الطبقات 5 و8 و16 من مُشفّر ViT للتعامل مع الكائنات ذات الأحجام المختلفة.

ج. استراتيجية التدريب المسبق بأسلوب MAE

لمنع الإفراط في التخصيص (overfitting) على التنوع المحدود لبيانات PCI الاصطناعية، استخدم المؤلفون المشفر التلقائي المقنع (Masked Autoencoder - MAE) للتدريب المسبق ذاتي الإشراف:

• العملية: يتم تدريب مُشفّر ViT مسبقاً على مجموعة كبيرة من صور العوالق الفردية غير الموسومة. يتعلم النموذج إعادة بناء الأجزاء المقنعة من الصورة من الرقع المرئية.
• الفائدة: هذا يجبر النموذج على تعلم ميزات هيكلية وشكلية قوية، مما يمكنه من استنتاج شكل الأفراد المحجوب جزئياً في المشاهد المزدحمة.
• الضبط الدقيق (Fine-tuning): يتم دمج المُشفّر المدرب مسبقاً مع مُفكك مهيأ، ثم يتم ضبطه بدقة على مجموعة بيانات PCI الموسومة.

3. المساهمات الرئيسية

1. توليد صور المجتمعات الزائفة (PCI): مسار مبتكر لتوليد البيانات يجمع بين الخلفيات المولدة عبر النماذج التوليدية والخلفيات الحقيقية مع صور العوالق الفردية لإنشاء مجموعة بيانات تدريب قابلة للتوسع وموسومة دون الحاجة لتوسيم يدوي للمشاهد المزدحمة.
2. بنية ViT المدربة مسبقاً بأسلوب MAE: أول تطبيق للتدريب المسبق بأسلوب MAE على بيانات العوالق لتجزئة المثالية، مع الاستفادة من قدرات السياق العالمي لنماذج ViT للتفوق على شبكات CNN في البيئات التي تكثر فيها حالات الانسداد.
3. المتانة تجاه الحطام والتداخل: أثبت الجمع بين تنوع البيانات الاصطناعية والتدريب المسبق ذاتي الإشراف تحسناً كبيراً في دقة الكشف في البيئات الصعبة المليئة بالحطام حيث تفشل الطرق التقليدية.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات من العالم الحقيقي من مجموعة بيانات FREPJ-Z:

• مجموعة بيانات Biwako: تحتوي على أفراد صغار وكثافة عالية من الحطام (بيئة صعبة).
• مجموعة بيانات Tsuruike: تحتوي على أفراد كبار بخلفيات واضحة وحطام قليل.

النتائج الرئيسية:

• الأداء على Biwako (حطام عالٍ): حقق PlankFormer أعلى mAP (0.0738) و AP50 (0.1749)، متفوقاً بشكل كبير على Mask R-CNN و Mask2Former (ResNet-50) والنموذج المرجعي لـ ViT بدون تدريب مسبق. كان التدريب المسبق بأسلوب MAE فعالاً بشكل خاص في اكتشاف الأفراد الصغار المدفونين تحت الحطام (AP S مرتفع).
• الأداء على Tsuruike (واضحة): حقق PlankFormer نتائج تنافسية (mAP 0.5459)، وإن كان أقل قليلاً من النموذج المرجعي لـ ViT غير المدرب مسبقاً. أشار المؤلفون إلى أنه بالنسبة للصور الواضحة ذات الكائنات الكبيرة والمتميزة، قد يؤدي التدريب المسبق المتخصص في مجال PCI إلى فجوة نطاق (domain gap) طفيفة مقارنة بالنماذج ذات الميزات الشكلية القوية، ومع ذلك تظل الطريقة متينة بشكل عام.
• دراسات الاستئصال (Ablation Studies):
  • دقة التسمية (Label Granularity): أدت التسميات على مستوى "العائلة" أفضل أداء في مجموعة بيانات Biwako المعقدة، بينما أدت التسميات على مستوى "الرتبة" (Order) أداءً أفضل في مجموعة بيانات Tsuruke الأبسط.
  • التعزيز (Augmentation): كان الجمع بين الخلفيات المولدة والتمويه الغوسي ضرورياً لمجموعة بيانات Biwako، مما يثبت أن تنويع النطاق (domain diversification) أمر بالغ الأهمية للمتانة في العالم الحقيقي.
• النتائج النوعية: أظهر الفحص البصري أن PlankFormer أنتج عدداً أقل من الإيجابيات الكاذبة (الخلط بين الحطام والعوالق) والسلبيات الكاذبة (فقدان الأفراد المتداخلين) مقارنة بالنماذج المرجعية القائمة على CNN.

5. الأهمية

يمثل هذا العمل خطوة كبيرة للأمام في المراقبة البيئية الآلية. من خلال معالجة عقبة توسيم البيانات عبر توليد البيانات الاصطناعية، وتجاوز القيود الهيكلية لشبكات CNN عبر نماذج ViT المدربة مسبقاً بأسلوب MAE، يتيح PlankFormer تجزئة مثالية للعوالق بدقة عالية وبأقل تكاليف التوسيم اليدوي. يعد إطار العمل ذا قيمة خاصة للتطبيقات في العالم الحقيقي حيث تكون الظروف البيئية (الحطام، الانسداد، مشاكل التركيز) غير متوقعة، مما يوفر حلاً قابلاً للتوسع للمراقبة المستدامة للنظم البيئية المائية.