A Lightweight Multimodal Vision-Language Framework for Early-Stage Anatomical Green Fruit Classification in Commercial Orchards
تقدم هذه الدراسة إطار عمل متعدد الوسائط للرؤية واللغة، خفيف الوزن وقابل للنشر على الحافة، يعتمد على TinyCLIP، ويحقق تصنيفاً وتحديداً دقيقين وقابلين للتفسير للبنى التشريحية لثمار التفاح في مراحلها المبكرة (الكأس، والجسم، والعنق) لدعم عملية التخفيف الروبوتية والإدارة الدقيقة للبساتين.
المؤلفون الأصليون:Ranjan Sapkota, William Bu, Chen Chen, Yunjun Xu, Manoj Karkee
في الأيام الهادئة الأولى من موسم بستان التفاح، وقبل أن تنمو الثمار لتصل إلى حجمها الكامل، تبدأ مهمة حيوية ومجهدة. يتعين على العمال السير عبر صفوف كثيفة من الأشجار وإزالة بعض الثمار الخضراء الصغيرة غير الناضجة بعناية، والتي تُعرف باسم "الثمار الصغيرة" (fruitlets). هذه العملية، التي تسمى "التخفيف" (thinming)، ضرورية لأن أشجار التفاح غالباً ما تنتج ثماراً أكثر بك ever مما تستطيع دعمه. فإذا تُركت دون تدخل، ستتنافس العناقيد المزدحمة على العناصر الغذائية، مما يؤدي إلى تفاح أصغر حجماً وأقل جودة، وقد يضر بقدرة الشجرة على الإزهار في العام التالي. ولعقود من الزمن، تم تنفيذ هذا العمل يدوياً، مما يتطلب من العمال فحص المظلة الشجرية باستمرار واقتلاع الثمار الزائدة بشكل انتقائي. إنها عملية مرهقة بدنياً، بطيئة، وتواجه صعوبة متزايدة في توفير العمالة مع اشتداد نقص العمالة في جميع أنحاء العالم الزراعي. ولحل هذه المشكلة، سعى العلماء طويلاً لبناء روبوتات يمكنها رؤية وأداء هذا العمل الدقيق، لكن بيئة البستان تمثل تحدياً فريداً: فالثمار الخضراء الصغيرة غالباً ما تكون مخفية خلف الأوراق، وتندمج مع أوراق الشجر المحيطة بها، ويصعب على الكاميرات القياسية تمييزها عن الأغصان والسيقان التي تحملها.
لقد طور فريق من الباحثين الآن طريقة جديدة لتعليم الآلات رؤية هذه الهياكل المخفية، منتقلين إلى ما هو أبعد من مجرد التعرف البسيط على الصور إلى طريقة تجمع بين الرؤية واللغة. يعتمد نهجهم على نموذج ذكاء اصطناعي خفيف الوزن يفهم ليس فقط كيف تبدو الصورة، بل ماذا يُفترض أن تمثل. ومن خلال تغذية النظام بأوصاف محددة، مثل "صورة لكأس الزهرة" (calyx) أو "صورة لعنق الثمرة" (peduncle)، يتعلم النموذج تحديد الأجزاء التشريحية المحددة للثمرة: القاعدة التي تشبه النجمة حيث كانت الزهرة ذات يوم، وجسم الثمرة الشاب، والساق الرفيعة التي تربطها بالشجرة. هذا التمييز حيوي لأن الروبوت المصمم لتقليم الشجرة يحتاج إلى معرفة مكان القطع بالضبط. يجب عليه تحديد الثمرة المراد إزالتها، ولكن الأهم من ذلك، يجب عليه تحديد الساق، أو "عنق الثمرة" (peduncle)، وهي النقطة الدقيقة التي يحتاج الذراع الروبوتي إلى قصها دون إلحاق الضرر ببقية العنقود.
اختبر الباحثون نظامهم في بستان تفاح تجاري في ولاية واشنطن، باستخدام صور عالية الدقة لصنفين محددين من التفاح. قاموا بتقسيم هذه الصور الكبيرة إلى مئات المربعات الصغيرة والمتداخلة، مما سمح للكمبيوتر بفحص كل بوصة من المشهد بالتفصيل. لكل مربع، قارن النظام البيانات المرئية مقابل الأوصاف النصية للأجزاء المستهدفة. أثبتت هذه الطة فعاليتها بشكل ملحوظ في العث de على الثمار ومكوناتها حتى عندما كانت مخفية جزئياً أو مغمورة بضوء الشمس المتغير. وعند اختبارها على أجهزة كمبيوتر قوية، حدد النظام جسم الثمرة بشكل صحيح في كل الحالات تقريباً، وقاعدة الزهرة في معظم الحالات. كان أقل تأكداً قليلاً بشأن السيقان الرفيعة، والتي يصعب رصدها بطبيعتها، لكنه حقق مستوى عالياً من الدقة بشكل عام.
والأهم من ذلك، لم يتوقف الفريق عند إثبات نجاح الفكرة على خادم قوي؛ بل قاموا بتحسين النظام ليعمل على أجهزة كمبيوتر صغيرة محمولة تشبه تلك الموجودة في الروبوتات الحديثة. لقد قاموا بتحويل النموذج إلى تنسيق مدمج يمكنه العمل على أجهزة متخصصة مصممة للحوسبة الطرفية (edge computing)، مثل أجهزة NVIDIA Jetson المستخدمة في الروبوتات الميدانية. وحتى بعد ضغط النموذج ليعمل بشكل أسرع ويستهلك ذاكرة أقل، فقد احتفظ بقدرته على اتخاذ القرارات الصحيحة. استطاع النظام معالجة صورة واحدة للبستان في ثوانٍ معدودة، مولداً خريطة مفصلة توضح بالضبط مكان وجود الثمار والسيقان. تعمل هذه الخريطة كدليل للروبوت، حيث تظهر له أين يركز انتباهه وأين يضع أدوات القطع الخاصة به.
توضح الدراسة أن الجمع بين البيانات المرئية والمطالبات اللغوية البسيطة يسمح للآلات بفهم المشاهد الزراعية المعقدة بمستوى من الدقة تفتقر إليه التحليلات الصورية البحتة. فمن خلال تعليم الكمبيوتر البحث عن "صورة لعنق الثمرة" بدلاً من مجرد شكل عام، تعلم النظام تجاهل الخلفية المربكة للأوراق والأغصان. يشير هذا الاختراق إلى أن أنظمة التخفيف الروبوتية المستقبلية لن تحتاج إلى أجهزة كمبيوتر ضخمة تستهلك الكثير من الطاقة لتعمل؛ بل يمكنها الاعتماد على نماذج فعالة وخفيفة الوزن تعمل مباشرة على الروبوت نفسه، مما يسمح باتخاذ قرارات في الوقت الفعلي أثناء تحركها عبر الصفوف. ورغم أن التكنولوجيا ليست مثالية تماماً في العثور على كل ساق رفيعة في كل ظروف الإضاءة الممكنة، إلا أن النتائج تظهر مساراً واضحاً للمستقبل. لقد أثبت الباحثون أنه من الممكن منح الروبوتات الذكاء البصري اللازم لأداء واحدة من أدق المهام في الزراعة، مما يمهد الطريق لأنظمة مؤتمتة يمكنها إدارة أحمال المحاصيل بدقة وعناية العامل البشري الماهر.
ملخص تقني: إطار عمل خفيف الوزن متعدد الوسائط للرؤية واللغة لتصنيف الثمار الخضراء في مرحلة مبكرة من التشريح
بيان المشكلة تعد عملية تخفيف الثمار في مراحلها المبكرة عملية مجهدة بدنياً وتتطلب عمالة كثيفة، وهي عملية حاسمة في بساتين التفاح التجارية تؤثر بشكل مباشر على إدارة حمل المحصول وحجم الثمار وجودتها. إن التخفيف اليدوي الحالي يتطلب جهداً بدنياً كبيراً وعرضة للخطأ البشري، مما يفاقم الحاجة إلى الأتمتة في ظل نقص العمالة العالمي. ومع ذلك، فإن أتمتة هذه العملية تفرض تحديات كبيرة في مجال الرؤية الحاسوبية: فالثمار في مراحلها المبكرة تكون صغيرة، وخضراء، وغالباً ما تكون محجوبة جزئياً بالأوراق والأغصان، مع خصائص بصرية تشبه إلى حد كبير الأوراق المحيطة بها. علاوة على ذلك، تتباين الإضاءة بشكل كبير بسبب الظلال وهندسة المظلة الشجرية. غالباً ما تواجه نماذج الكشف الحالية القائمة على التعلم العميق (الشبكات العصبية الالتفافية CNNs والمحولات Transformers) صعوبة في التعامل مع هذه الهياكل الدقيقة والغامضة بصرياً في البيئات غير المنظمة. بالإضافة إلى ذلك، فإن نماذج الرؤية واللغة (VLMs) عالية السعة، والتي توفر استدلالاً دلالياً فائقاً، تكون عادةً مكلفة حوسبياً للغاية للتشغيل على الأجهزة المدمجة (مثل NVIDIA Jetson) المطلوبة للروبوتات الميدانية.
المنهجية تقترح الدراسة إطار عمل خفيف الوزن ومتعدد الوسائط للرؤية واللغة يعتمد على نموذج TinyCLIP للتصنيف التشريحي الدقيق لثمار التفاح (تحديداً الكأس (calyx)، وجسم الثمرة (fruitlet body)، والعنق (peduncle)).
جمع البيانات وإعدادها: تم جمع مجموعة بيانات مكونة من 600 صورة عالية الدقة (RGB) من بساتين تجارية (أصناف Scifresh وScilate) في ولاية واشنطن. تم تمييز الصور بصناديق إحاطة (bounding boxes) للفئات التشريحية الثلاث. ولمعالجة نقص العينات السلبية على مستوى الصورة، قام المؤلفون بتوليد عينات سلبية اصطناعية عن طريق قص مناطق الخلفية الخالية من الهياكل المستهدفة.
خط معالجة الاستدلال القائم على الرقع (Patch-Based): بدلاً من معالجة الصور الكاملة مباشرة، يقوم إطار العمل بتفكيك صور البساتين إلى رقع (patches) متداخلة بحجم 224×224 بكسل باستخدام نافذة منزلقة بخطوة قدرها 112 بكسل (تداخل بنسبة 50%). يضمن ذلك تغطية كاملة ويقلل من آثار الحدود.
المحاذاة متعددة الوسائط: يستخدم نموذج TinyCLIP المعدل بنية مشفر مزدوج. يقوم المشفر البصري (vision encoder) بمعالجة كل رقعة صورة، بينما يقوم المشفر النصي (text encoder) بتحويل المطالبات (prompts) الخاصة بالمجال (مثل "صورة لكأس"، "صورة لثمرة"، "صورة لعنق") إلى تضمينات دلالية (semantic embeddings).
التصنيف والتحديد الموضعي: يتم حساب تشابه جيب التمام (Cosine similarity) بين تضمين الرقعة وتضمينات النصوص الخاصة بكل فئة. ينتج رأس تنشيط سيجمويد (sigmoid activation head) احتمالات مستقلة متعددة الملصقات لكل فئة تشريحية. يتم تجميع تنبؤات مستوى الرقعة هذه في خرائط حرارية مكانية خاصة بكل فئة، مما يسمح بتحديد المواقع على مستوى الصورة الكاملة بشكل قابل للتفسير.
تحسين النشر: لضمان الأداء في الوقت الفعلي على الأجهزة الطرفية، تم تصدير نموذج PyTorch إلى صيغة ONNX وتحسينه باستخدام NVIDIA TensorRT. قيمت الدراسة كلاً من التكميم بنظام FP16 (نصف الدقة) و INT8 (العدد الصحيح 8 بت) للموازنة بين الدقة والكفاءة الحوسبية.
المساهمات الرئيسية
تكييف TinyCLIP: نجح في تكييف نموذج VLM خفيف الوزن للتصنيف التشريحي الدقيق في بيئات البساتين شديدة الحجب، مما أثبت أن التأسيس الدلالي عبر المطالبات اللغوية يحسن التمييز بين الهياكل المتشابهة بصرياً.
خط معالجة متعدد الوسائط بنظام النافذة المنزلقة: صمم استراتيجية استدلال قائمة على الرقع تحول تنبؤات النموذج إلى خرائط حرارية تشريحية قابلة للتفسير، مما يسهل تحديد المواقع على مستوى الصورة الكاملة دون الحاجة إلى آليات اقتراح مناطق معقدة.
أداء قابل للنشر على الأجهزة الطرفية: أثبت أن إطار العمل يحقق أداء تصنيف قوياً (Macro F1 = 0.93) مع بقائه قابلاً للنشر على الأجهزة الطرفية محدودة الموارد مثل NVIDIA Jetson Nano.
تحليل التكميم (Quantization): قدم تقييماً موجهاً للنشر يقارن بين تحسينات FP16 وINT8 في TensorRT، موضحاً أن التكميم بنظام INT8 يحافظ على الدقة للفئات الأساسية مع تقليل زمن الاستجابة بشكل كبير، وإن كان مع ملاحظة وجود مقايضة في استدعاء (recall) العنق.
التحقق من التأسيس الدلالي: حلل فعالية التأسيس متعدد الوسائط مقارنة بالنماذج المرجعية البصرية الصرفة، مبيناً تحسناً في الأداء للهياكل الصعبة مثل الأعناق.
النتائج
دقة التصنيف: على وحدة معالجة الرسومات NVIDIA T4، حقق نموذج FP16 درجة F1 بلغت 0.95 للكأس، و0.98 للثمرة، و0.85 للعنق (Macro F1 = 0.93). حافظ نموذج INT8 المكمم على أداء تنافسي (Macro F1 = 0.8881)، رغم انخفاض استدعاء العنق قليلاً إلى 0.6786 بسبب فقدان ميزات التفاصيل الدقيقة.
التحديد الموضعي (Localization): نجحت تجميعات الخرائط الحرارية في تحديد المكونات التشريحية. أظهر تحليل التقاطع فوق الاتحاد (IoU) على مجموعة محدودة متوسط درجات IoU بلغ 0.67 للثمرة، و0 .61 للكأس، و0.49 للعنق. يعكس الـ IoU المنخفض للأعناق طبيعتها الطويلة والنحيفة وكثرة حجبها.
الكفاءة: حقق خط معالجة TensorRT المحسن إنتاجية بلغت 96.33 إطاراً في الثانية (FP16) و112.02 إطاراً في الثانية (INT8) على وحدة معالجة الرسومات T4. على جهاز Jetson Nano، عالج الاستدلال المجمع صور البستان الكاملة في حوالي 5-6 ثوانٍ، مما يتيح التشغيل القريب من الوقت الفعلي لعملية التخفيف الروبوتي.
دراسات الاستئصال (Ablation Studies): أدى تضمين المطالبات النصية إلى تحسين Macro F1 بنسبة 6-10% مقارنة بالنماذج المرجعية البصرية فقط. كما قلل تضمين الرقع السلبية من الإيجابيات الكاذبة بنسبة 20-30%.
الأهمية والادعاءات يزعم البحث أن نماذج الرؤية واللغة خفيفة الوزن يمكن أن توفر إدراكاً قابلاً للتفسير وقابلاً للنشر على الأجهزة الطرفية لتحليل الثمار، مما يسد الفجوة بين الاستدلال عالي السعة لنماذج VLM والقيود المواردية للروبوتات الزراعية. يوفر إطار العمل حلاً عملياً لعملية التخفيف الروبوتي المدرك للعنق (peduncle-aware)، حيث يعد تحديد نقطة القطع الدقيقة (العنق) أمراً حاسماً للإزالة الآمنة والفعالة للثمار. ومن خلال الجمع بين الفهم الدلالي والاستدلال الفعال، يتيح النظام التعرف التشريحي الدقيق في بيئات البساتين المعقدة وغير المنظمة دون العبء الحوسبي للنماذج واسعة النطاق. ويضع المؤلفون هذا العمل كأساس لعمليات التخفيف الروبوتية القابلة للتوسع وتقييم حمل المحصول المؤتمت، مؤكدين أنه بينما توفر الخرائط الحرارية الحالية تحديداً مكانياً تقريبياً بدلاً من التجزئة على مستوى الحالة (instance-level segmentation)، إلا أنها توفر معلومات مكانية كافية لتوجيه التلاعب الروبوتي واتخاذ القرار في المراحل اللاحقة.