FG-TreeSeg: Flow-Guided Tree Crown Segmentation without Instance Annotations

ملخص تقني: FG-TreeSeg

بيان المشكلة

يعد تقسيم تيجان الأشجار الفردية مهمة بالغة الأهمية لتقدير الكتلة الحيوية للغابات والمراقبة البيئية، لكنها لا تزال تشكل عقبة كبيرة في مجال الاستشعار عن بعد. تنبع التحديات الرئيسية من الهياكل المكانية المعقدة للمظلات الشجرية، حيث تخلق الأغصان المتداخلة والكثيفة حدوداً بصرية غامضة. تواجه الأساليب الحالية عائقين متميزين:

1. التعلم العميق الخاضع للإشراف: تعاني الطرق التي تعتمد على التوصيفات (annotations) الضخمة للأمثلة على ارتفاع تكاليف العمالة، والذاتية في إنشاء الحقيقة الأرضية (ground truth)، ومحدودية التعميم عبر أنواع مختلفة من المستشعرات وكثافات المظلات.
2. النماذج التأسيسية (Foundation Models): بينما توفر نماذج مثل نموذج تقسيم أي شيء (SAM) قدرات قوية للتقسيم العام، إلا أنها غالباً ما تفتقر إلى المعرفة المتخصصة بمجال الغابات. وعند تطبيقها على الغابات الكثيفة، فإنها تفشل تكراراً في فصل الأمثلة المتلامسة، مما يؤدي إلى نقص في التقسيم (under-segmentation). علاوة على ذلك، فإن النهج متعدد الوسائط الذي يدمج بيانات LiDAR أو نماذج الارتفاع الرقمية (DSMs) يزيد من تكاليف الحصول على البيانات والتعقيد الحسابي.

المنهجية

يقترح المؤلفون FG-TreeSeg (تقسيم الأشجار الموجه بالتدفق)، وهو إطار عمل خالٍ من التدريب ينقل تقنيات التحديد القائمة على التدفق من التصوير الطبي الحيوي إلى الاستشعار عن بعد. يكمن الابتكار الجوهري في إعادة تصور تحديد تيجان الأشجار كمسألة تقارب تدفق طوبولوجي بدلاً من كونها مهمة تقليدية للكشف عن الحدود. يستفيد إطار العمل من التماثل الهيكلي بين الخلايا البيولوجية وتيجان الأشجار، حيث يظهر كلاهما خصائص مورفولوجية "محدبة نجمياً" (star-convex).

يعمل خط الإنتاج في مرحلتين متمايزتين:

1. القيد الدلالي للمظلة (Canopy Semantic Constraint)

لمنع التقسيم الزائد للخلفية (مثل العشب أو أسطح المنازل) ولتقييد مساحة البحث، يستخدم إطار العمل نموذج SegFormer مدرب مسبقاً (ببنية MiT-B5). تم تدريب هذا المكون على مجموعة بيانات OAM-TCD، ويقوم بإجراء تقسيم دلالي ثنائي لتوليد قناع المظلة ($M_{sem}$). يعمل هذا القناع كأولوية مكانية، مما يعزل مناطق المظلة الصالحة قبل بدء تقسيم الأمثلة.

2. تقسيم الأمثلة الموجه بالتدفق (Flow-Guided Instance Segmentation)

يتم تحقيق فصل الأمثلة الأساسي باستخدام Cellpose-SAM، المعدل لتيجان الأشجار. تعامل هذه المرحلة التقسيم كنظام ديناميكي:

• ترميز الميزات: يقوم هيكل محول الرؤية (ViT) (المعتمد على SAM) بترميز الصورة المدخلة إلى فضاء كامن ($Z$)، مما يلتقط المعلومات السياقية العالمية والهياكل الداخلية للأجسام.
• توقع التدفق: تتوقع الشبكة حقل متجه لكل بكسل ($V$) يمثل تدرج سطح جهد خاص بكل مثال. هندسياً، توجه هذه المتجهات البكسلات نحو الداخل باتجاه المركز (البالوعة/sink) لتيجان الأشجار الخاصة بها.
• تقارب التدفق: أثناء الاستدلال، تُعامل البكسلات كجسيمات في نظام ديناميكي. يتم تحريكها تكرارياً على طول خطوط الانسياب المتوقعة باستخدام تكامل أويلر ($p_{\tau+1} = p_\tau + V(p_\tau)$). تتقارب البكسلات التي تنتمي إلى نفس التاج عند نقطة ثابتة مستقرة مشتركة، مما يشكل قناع المثال. وتعمل هذه الآلية على فصل الأمثلة المتلامسة بشكل طبيعي دون الحاجة إلى خطوات معالجة لاحقة مثل تحويلات "واترشيد" (watershed) أو تقنية "عدم أقصى التجاوز" (NMS).

المساهمات الرئيسية

• إطار عمل خالٍ من التدريب: يلغي FG-TreeSeg الحاجة إلى التوصيفات الخاصة بالمهمة أو الضبط الدقيق (fine-tuning) من خلال نقل الأولويات الهندسية من التصوير الطبي الحيوي (Cellpose-SAM) إلى الاستشراف عن بعد.
• الفصل الطوبولوجي: من خلال نمذجة تيجان الأشجار كأجسام محدبة نجمياً ضمن حقل تدفق، ينجح الأسلوب في فصل المظلات الكثيفة والمتداخلة حيث تفشل الطرق التقليدية القائمة على الحدود.
• بنية هجينة: يقلل دمج أولوية دلالية (SegFormer) مع نموذج أمثلة قائم على التدفق (Cellpose-SAM) من ضوضاء الخلفية بفعالية مع ضمان فصل قوي للأمثلة.
• القابلية للتوسع: يوفر النهج حلاً قابلاً للتوسع لتوليد أقنعة أمثلة أولية، مما ينقل عبء التوصيف من رسم المضلعات اليدوي إلى صقل الحدود.

النتائج

تم تقييم إطار العمل على مجموعات بيانات NEON (صور جوية RGB) و BAMFORESTS (صور UAV عالية الدقة)، بالإضافة إلى التقييم البصري على مجموعة بيانات TCD.

• الأداء الكمي:
  • في مجموعة بيانات NEON، حقق FG-TreeSeg درجة mAP@50 بلغت 42.30%، متفوقاً على نموذج TreePseCo القائم على الإشراف النقطي (41.68%) ومقترباً من نموذج DeepForest الخاضع للإشراف (49.89%).
  • في مجموعة بيانات BAMFORESTS، حقق إطار العمل درجة mAP@50 بلغت 67.31%، حيث كان أداؤه ضمن نطاق 2% من النماذج الخاضعة للإشراف الكامل مثل Mask R-CNN (69.05%) و Mask2Former (68.89%) دون أي توصيف يدوي.
• التقييم النوعي:
  • أظهر النموذج قدرة قوية على التعميم عبر المقاييس المتفاوتة (من الشتلات إلى الأشجار المعمرة) والكثافات المختلفة (من المناطق الحضرية المتفرقة إلى الغابات الكثيفة).
  • كشفت المقارنات البصرية على مجموعة بيانات TCD أنه بينما تميل النماذج الخاضعة للإشراف (مثل Mask R-CNN المدرب على TCD) إلى التقسيم الناقص للمجموعات الكثيفة بسبب تحيزات التوصيف (تجميع عدة أشجار في مضلعات واحدة)، نجح FG-Spec في فصل المراكز الطوبولوجية المتميزة.
  • يتجنب إطار العمل حساسية الخلفية التي تظهر غالباً في النماذج التأسيسية الخام مثل SAM.

الأهمية والادعاءات

يضع البحث FG-TreeSeg ليس كبديل للتعلم الخاضع للإشراف، بل كـ حل سريع وجاهز للاستخدام لتوليد أقنعة أمثلة أولية. تكمن أهميته الرئيسية في:

1. سد فجوة التوصيف: يوفر طريقة خالية من التدريب لتوليد تسميات للبيئات الغابية الكثيفة، مما يسرع بشكل كبير عملية إنشاء مجموعات البيانات الضخمة اللازمة لتدريب النماذج التأسيسية المستقبلية المتخصصة في مجال الغابات.
2. التعميم القوي: يثبت أن الأولويات الهندسية (التقوس النجمي وديناميكيات التدفق) يمكن أن تسد بفعالية الفجوة بين الاستدلال الخالي من التوصيف ودقة التعلم الخاضع للإشراف عبر أنواع مختلفة من المستشعرات وكثافات المظلات.
3. معالجة عدم تطابق الدقة: يشير المؤلفون إلى أن المعايير الكمية القياسية قد تعاقب التنبؤات دقيقة التفاصيل في مجموعات البيانات التي تجمع المجموعات الكثفة في تسميات واحدة. إن قدرة FG-TreeSeg على فصل هذه المجموعات بصرياً تثبت تفوقه في الفصل الدقيق، حتى عندما تكون المقايضات القياسية غير موثوقة.

يقر المؤلفون بأنه على الرغم من أن الأداء المطلق الحالي تنافسي، إلا أنه قد لا يلبي بعد العتبات الصارمة المطلوبة للمحاسبة البيئية الدقيقة. ومع ذلك، يوفر إطار العمل مساراً قابلاً للتوسع لتحسين كفاءة التوصيف ويدعم تطوير نماذج تأسيسية أكثر تقدماً ومتخصصة في المجال.