GMT: Guided Mask Transformer for Leaf Instance Segmentation

تخيل أنك محقق يحاول حل لغز، ولكن بدلاً من البحث عن بصمات الأصابع، أنت تبحث عن الأوراق. هذا هو عالم التنميط الظاهري للنباتات (plant phenotyping)، وهو فرع من العلوم حيث يستخدم الباحثون الكاميرات وأجهزة الكمبيوتر لقياس كيفية نمو النباتات، وكمية الغذاء التي تنتجها، ومدى صحتها. وللقيام بذلك، يحتاج الكمبيوتر إلى تنفيذ مهمة تسمى تجزئة المثيل (instance segmentation). فكر في الأمر كأنه كتاب تلوين حيث تكون كل ورقة شجر شخصية مختلفة. مهمة الكمبيوتر هي تلوين كل ورقة بلون مختلف ليعرف بالضبط أين تنتهي ورقة وتبدأ الأخرى. هذا أمر بالغ الأهمية لأنه إذا لم يستطع الكمبيوتر التمييز بين الأوراق، فلن يتمكن من عدّها أو قياس حجمها، مما يعني أن المزارعين والعلماء لن يتمكنوا من التنبؤ بدقة بإنتاجية المحاصيل أو فهم كيفية استجابة النباتات للإجهاد.

ومع ذلك، فإن هذه المهمة تمثل لغزاً صعباً للغاية. فغالباً ما تتداخل الأوراق، وقد تكون صغيرة جداً أو ضخمة، كما أنها جميعاً تبدو متشابهة بشكل مريب في الشكل واللون الأخضر. علاوة على ذلك، فإن "الكتب المدرسية" (مجموعات البيانات) التي تستخدمها أجهزة الكمبيوتر للتعلم غالباً ما تكون صغيرة جداً، حيث تحتوي فقط على بضع مئات من الصور، مما يجعل من الصعب على عقول الكمبيوتر القوية تعلم القواعد دون أن ترتبك. في هذه الورقة البحثية، يقترح الباحثون حلاً جديداً يسمى محول القناع الموجه (Guided Mask Transformer - GMT). إنهم يقترحون أن السر في حل هذا اللغز ليس مجرد النظر بتركيز أكبر إلى الأوراق، بل فهم أين توجد عادةً في النبات. فمن خلال تعليم الكمبيوتر أن الأوراق تنمو وفق أنماط محددة — مثل الأوراق الصغيرة والفتية التي تتجمع في المركز، والأوراق الأكبر سناً والأكبر حجماً التي تنتشر على الأطراف — فإنهم يخلقون "خريطة" تساعد الكمبيوتر على فصل الأوراق بشكل أفضل بكثير مما سبق.

المشكلة: فوضى خضراء متشابكة

تخيل أنك تحاول فك تشابك كومة من السباغيتي الخضراء حيث تبدو كل قطعة معكرونة تماماً مثل غيرها، وبعضها ملتصق ببعضه البعض، وبعضها صغير جداً لدرجة أنك بالكاد تستطيع رؤيته. هذا هو ما تواجهه الرؤية الحاسوبية عند محاولة تجزئة أوراق النباتات. يشير البحث إلى أن النماذج الحديثة، وتحديداً تلك القائمة على المحولات (Transformers) (وهي نوع من الشبكات العصبية القوية)، لا تزال تعاني مع النباتات.

يوضح البحث أن النماذج القياسية غالباً ما تفشل بطريقتين رئيسيتين: فهي إما تفقد الأوراق الصغيرة والمتداخلة في مركز النبات، أو ترتبك بسبب أشياء خضراء أخرى ليست أوراقاً على الإطلاق. يحدث هذا لأن هذه النماذج تُدرب عادةً على مجموعات بيانات ضخمة لأشياء عامة (مثل السيارات أو الكلاب)، لكن مجموعات بيانات النباتات صغيرة، والنباتات نفسها معقدة للغاية. ويجادل الباحثون بأن المفتاح لإصلاح ذلك ليس مجرد إلقاء المزيد من البيانات على المشكلة، بل استخدام النماذج المكانية المسبقة (spatial priors). وباللغة البسيطة، يعني هذا استخدام المعرفة "بالمنطق السليم" بأن الأوراق لا تظهر عشوائياً؛ بل تتبع نمط نمو محدداً.

الحل: محول القناع الموجه (GMT)

يقدم المؤلفون نموذجاً جديداً يسمى محول القناع الموجه (GMT). لفهم كيفية عمله، تخيل أنك تحاول العثور على أصدقائك في غرفة مزدحمة. إذا كنت تنظر فقط إلى الوجوه، فقد يكون الأمر صعباً. ولكن إذا كنت تعرف أن أصدقاءك يقفون عادةً في دائرة حول طاولة معينة، فإن هذه "المعرفة" تساعدك في العثور عليهم بشكل أسرع. يقوم GMT بنفس الشيء تماماً بالنسبة للأوراق.

يستخدم النموذج ثلاث أدوات خاصة لدمج هذه "المعرفة" بمواقع الأوراق:

1. الترميز الموقعي الموجه (GPE): هذا يشبه إعطاء الكمبيوتر خريطة خاصة. فبدلاً من مجرد معرفة أن "هذا البكسل يقع عند الإحداثيات X، Y"، تخبر الخريطة الكمبيوتر: "هذا البكسل يقع في المركز حيث تنمو الأوراق الفتية عادةً"، أو "هذا البكسل يقع على الحافة حيث تتواجد الأوراق القديمة". يتعلم النموذج مجموعة من الدوال الرياضية (تسمى "دوال التوجيه") التي تعمل كخريطة، مما يساعده على التمييز بين الأوراق بناءً على مكان تواجدها المحتمل.
2. وحدة دمج التضمين الموجه (GEFM): تساعد هذه الأداة الكمبيوتر على تنظيم أفكاره. فهي تأخذ المعلومات المرئية وتمزجها مع معلومات "الخريطة". الهدف هو التأكد من أن التمثيل الداخلي للكمبيوتر لورقة واحدة يختلف تماماً عن تمثيل جارتها، حتى لو بدا شكلهما متطابقاً. إنه يشبه إعطاء كل صديق شارة فريدة تقول "أنا الورقة الموجودة في المركز" حتى لا يختلطوا ببعضهم البعض.
3. الاستعلامات الموقعية الديناميكية الموجهة (GDPQ): هذا هو الجزء الأكثر ديناميكية. بينما ينظر الكمبيوتر إلى الصورة ويقوم بتخمين أماكن الأوراق، فإنه يقوم بتحديث "أسئلة البحث" الخاصة به بناءً على خريطة التوجيه. إذا اعتقد الكمبيوتر أنه وجد ورقة في المركز، فإنه يستخدم الخريطة ليسأل: "هل هذه ورقة فتية؟" ويعدل بحثه بناءً على ذلك. إنها حلقة تغذية راجعة حيث يقوم الكمبيوتر بتحسين تخميناته باستمرار باستخدام القواعد المكانية التي تعلمها.

ما الذي وجدوه؟

اختبر الباحثون نموذج GMT الجديد على ثلاث مجموعات بيانات عامة للنباتات: CVPPP LSC، و MSU-PID، و KOMATSUNA. وقارنوا GMT بأفضل النماذج الحالية، بما في ذلك نموذج شهير يسمى Mask2Former.

تشير النتائج إلى أن GMT بالفعل أفضل في أداء المهمة.

• في مجموعة بيانات CVPPP LSC، حسن GMT دقة التجزئة (التي تُقاس بمقياس يسمى SBD) من 89.5 إلى 90.1، وقلل الخطأ في عد الأوراق (|DiC|) من 0.67 إلى 0.48.
• في MSU-PID، حسن الدقة من 83.1 إلى 83.5.
• في KOMATSUNA، رفع الدقة من 90.9 إلى 91.0.

بينما قد تبدو هذه الأرقام صغيرة، إلا أنه في عالم الرؤية الحاسوبية، يعتبر أي تحسن طفيف أمراً هاماً. والأهم من ذلك، يوضح البحث أن GMT بارع بشكل خاص في الأجزاء الأصعب من المهمة: فصل الأوراق الصغيرة المتداخلة وتجنب الارتباك مع الأشياء الخضراء الأخرى. على سبيل المثال، في الاختبارات البصرية، كانت النماذج القديمة غالباً ما تدمج ورقتين متداخلتين في كتلة واحدة أو تفقد الأوراق الصغيرة تماماً، بينما نجح GMT في فصلهما.

كما أجرى المؤلفون "دراسات الاستئصال" (ablation studies)، وهي تشبه تفكيك آلة لمعرفة وظيفة كل قطعة. ووجدوا أنه إذا أزالوا أي أداة من الأدوات الثلاث الخاصة (GPE أو GEFM أو GDPQ)، فإن أداء النموذج ينخفض. وهذا يشير إلى أن النظام بأكمله يعمل معاً؛ فلا يمكنك استخدام جزء واحد وتوقع نفس النتائج. كما اختبروا "العمود الفقري" (backbone) المختلف (الدماغ الأساسي للنموذج) ووجدوا أن نموذجاً أصغر وأبسط (ResNet-50) كان يعمل بشكل أفضل لهذه المهام النباتية المحددة، ويرجع ذلك على الأرجح إلى أن مجموعات البيانات النباتية صغيرة جداً لتدريب نماذج ضخمة ومعقدة دون أن ترتبك (وهي مشكلة تُعرف باسم الإفراط في التخصيص أو overfitting).

الخلاصة

يخلص البحث إلى أنه من خلال تعليم أجهزة الكمبيوتر احترام "قواعد الطريق" الطبيعية لكيفية نمو الأوراق — باستخدام موقعها كدليل — يمكننا تحسين قدرة الآلات على رؤية وعدّ النباتات بشكل كبير. يشير نموذج GMT إلى أن دمج هذه الأنماط المكانية هو وسيلة قوية للتغلب على قيود مجموعات البيانات الصغيرة وهياكل النباتات المعقدة. وبينما يشير المؤلفون إلى أن طريقتهم تركز حالياً على أنواع ومجموعات بيانات نباتية محددة، فإن نهج استخدام "دوال التوجيه" لدمج المعرفة المسبقة في نماذج الذكاء الاصطناعي يفتح باباً جديداً لجعل الرؤية الحاسوبية أكثر فعالية في الزراعة. وهم حذرون في قولهم إن هذه خطوة للأمام، وليست حلاً نهائياً، وأن العمل المستقبلي سيحتاج إلى التعامل مع سيناريوهات زراعية أكثر تعقيداً.