RoMu4o: A Robotic Manipulation Unit For Orchard Operations Automating Proximal Hyperspectral Leaf Sensing
تقدم هذه الورقة RoMu4o، وهي وحدة تلاعب روبوتية أرضية مجهزة بذراع ذات 6 درجات من الحرية ومستشعر طيفي مدمج، تقوم بالإمساك بالأوراق ذاتياً وإجراء تحليل طيفي عالي الدقة في بيئات البساتين غير المهيكلة، محققة معدلات نجاح تصل إلى 95% في التجارب المختبرية و70% في التجارب الميدانية.
المؤلفون الأصليون:Mehrad Mortazavi, David J. Cappelleri, Reza Ehsani
في الإيقاع الهادئ للزراعة الحديثة، لطالما هدد تحدٍ مستمر الحصاد: وهو نقص الأيدي العاملة البشرية. ومع نمو السكان وندرة العمالة، يتطلع القطاع إلى الآلات لسد هذه الفجوة، ليس فقط لنقل الأحمال الثقيلة، بل لأداء المهام الدقيقة والمتكررة التي تحافظ على صحة المحاصيل. ومن بين أكثر هذه المهام حيوية هي مراقبة صحة الأوراق الفردية؛ إذ يحتاج المزارعون لمعرفة ما إذا كانت الشجرة عطشى، أو إذا كانت تفتقر إلى عنصر غذائي معين، أو ما إذا كان هناك مرض بدأ يستشري قبل أن ينتشر. وبينما يمكن للأقمار الصناعية والطائات بدون طيار (الدرونز) مسح حقول كاملة من الأعلى، إلا أنها غالباً ما تغفل عن علامات الإنذار المبكرة والخفية المختبئة داخل المظلة النباتية الكثيفة. ولرؤية هذه العلامات بوضوح، يستخدم العلماء تقنية تسمى الاستشعار الفائق الطيفي (hyperspectral sensing)، والتي تقرأ البصمة الضوئية الفريدة للورقة لتكشف عن كيميائها الداخلية. ومع ذلك، فإن القيام بذلك يدوياً هو أمر بطيء ومرهق، ويتطلب من الشخص السير صفاً تلو الآخر، ممسكاً بمستشعر مقابل كل ورقة يرغب في اختبارها. وكان السؤال الذي واجه الباحثين هو ما إذا كان يمكن تعليم آلة القيام بهذا العمل بنفس العناية والدقة التي يقوم بها البشر، عبر التنقل وسط الأغصان المتشابكة والفوضوية لبستان ما للعثور على الأوراق المناسبة وقياسها بمفردها.
لقد أجاب فريق من المهندسين على هذا السؤال بابتكار "RoMu4o"، وهي وحدة روبوتية صُممت خصاً للتجول في البساتين والقيام بعمل الاستشعار الدقيق هذا. بُنيت الآلة على قاعدة متينة تشبه الدبابة يمكنها التدحرج فوق الأرض غير المستوية، وتحمل ذراعاً روبوتية سداسية المفاصل تحاكي مرونة الطرف البشري. وفي نهاية هذه الذراع، توجد يد مخصصة، أو قابض، يحمل كاميرا متخصصة ومصدراً للضوء. يسمح هذا الإعداد للروبوت بالوصول إلى داخل الشجرة، والإمساك بورقة واحدة برفق، وتثبيتها بينما يقرأ المستشعر بصمتها الضوئية. لم يكن التحدي في بناء الروبوت فحسب، بل في تعليمه كيفية "الرؤية". فالبستان مكان مربك بالنسبة للآلة؛ حيث تتداخل الأوراق، وتحجب الأغصان الرؤية، وتغير الرياح أوراق الشجر باستمرار. ولحل هذه المشكلة، برمج الباحثون الروبوت بنظام يقوم أولاً بمسح مجموعة من الأوراق، وتحديد الأوراق الأكثر وضوحاً والأقل انغلاقاً، ثم يحسب بدقة كيفية تحريك ذراعه للمسها دون الاصطدام بالأغصان المجاورة.
يعمل "عقل" الروبوت بتسلسل يحاكي الطريقة التي قد يتبعها الإنسان في أداء المهمة. أولاً، يلتقط صورة لمجموعة من الأوراق ويستخدم نموذجاً رقمياً مدرباً لاختيار أفضل المرشحين. ثم يبني خريطة ثلاثية الأبعاد للورقة المختارة، مستنتجاً شكلها واتجاهها في الفضاء. وبناءً على هذه الخريطة، يقترح الروبوت عدة طرق مختلفة للاقتراب من الورقة، حاسباً المسارات التي تتجنب الاصطدام بالأغصان والأوراق المحيطة. ثم يحرك ذراعه على طول المسار الأكثر أماناً، ويغلق قابضه حول الورقة، ويفعل مستشعره. ولضمان دقة القراءات بغض النظر عن الوقت من اليوم أو سطوع الشمس، يحمل الروبوت مصدر ضوء مستقلاً خاصاً به، يسلط الضوء على الورقة لتوفير مرجع ثابت للقياس. يسمح هذا النظام المستقل للروبوت بجمع بيانات عالية الجودة دون الحاجة إلى معايرته من قبل إنسان في كل مرة يتحرك فيها.
اختبر الباحثون هذا النظام في بيئتين مختلفتين تماماً لمعرفة مدى صموده. أولاً، أحضروا الروبوت إلى بيئة مختبرية محكومة للعمل مع نباتات الماغنوليا، التي تمتلك أوراقاً ذات بنية مشابهة لأشجار الفستق التي أرادوا دراستها. في هذه البيئة الداخلية الهادئة، أدى الروبوت بشكل استثنائي، حيث نجح في الإمساك بالأوراق وقياسها في 95 بالمائة من محاولاته. وأظهرت نسبة النجاح العالية هذه أن التكنولوجيا الأساسية المتمثلة في الرؤية والتخطيط والحركة كانت سليمة. ثم نقل الفريق الروبوت إلى بستان فستق حقيقي، حيث كانت الظروف أقل قابلية للتنبؤ بكثير. كانت الأشجار أكثر طولاً، والأغصان أكثر تشابكاً، وضوء الشمس كان حارقاً، مما أربك أحياناً كاميرا استشعار العمق الخاصة بالروبوت. ورغم هذه الصعوبات، تمكن الروبوت من الإمساك بالأوراق وقياسها بنجاح في 79 بالمائة من محاولاته في الميدان. وعند النظر إلى الأداء العام للنظام في البستان، حقق نسبة نجاح قدرها 70 بالمائة في المهمة الكاملة المتمثلة في العثور على الورقة، والإمساك بها، وأخذ القياس.
تثبت هذه النتائج أن الآلة يمكنها بالفعل التنقل في الفوضى غير المنظمة لبستان حقيقي لأداء عمل علمي دقيق. لم يتحرك الروبوت بشكل عشوائي؛ بل استخدم عملية متطورة لاختيار أفضل الأوراق، وتخطيط مسارات آمنة، وتنفيذ عملية الإمساك بدقة. وكانت البيانات التي جمعها عالية الجودة، حيث أظهرت بصمات ضوئية واضحة يمكن استخدامها للكشف عن نقص العناصر الغذائية أو العلامات المبكرة للمرض. وبينما لا يزال النظام غير مثالي، ولا تزال الشمس الخارجية القوية تشكل تحديات لكاميراته، إلا أن الدراسة تثبت أن المفهوم قابل للتطبيق. لاحظ الباحثون أنه مع ارتفاع درجة الحرارة خلال النهار، واجهت المكونات الإلكترونية بعض العقبات في الأداء، كما أدى ضوء الشمس الساطع أحياناً إلى تدهور قياسات العمق عند حواف الأوراق. ومع ذلك، فإن القدرة على تحقيق نسبة نجاح 70 بالمائة في بستان حقيقي عامل، تشير إلى أن هذه التكنولوجيا جاهزة للانتقال من المختبر إلى الميدان. ومن خلال أتمتة المهمة المرهقة لأخذ عينات الأوراق، يوفر "RoMu4o" مساراً نحو المراقبة المستمرة والدقيقة لصحة المحاصيل، مما قد يسمح للمزارعين بالتدخل في وقت مبكر وبشكل أكثر فعالية من أي وقت مضرب المثال. ويؤكد هذا العمل أنه مع الجمع الصحيح بين الرؤية والتخطيط والتصميم الميكانيكي الدقيق، يمكن للروبوتات أن تتعلم التعامل مع الطبيعة الدقيقة وغير المتوقعة للنباتات الحية.
ملخص تقني: RoMu4o – وحدة مناولة روبوتية لعمليات البساتين
1. بيان المشكلة
يواجه القطاع الزراعي نقصاً حاداً في العمالة وحاجة ملحة لحلول زراعة دقيقة قابلة للتوسع لدعم النمو السكاني. وبينما يُعد الاستشعار الطيفي الفائق على مستوى الأوراق طريقة مثبتة للنمذو الظاهري (phenotyping)، ومراقبة صحة المحاصيل، واكتشاف نقص المغذيات أو الإجهاد المائي، إلا أن طرق جمع البيانات الحالية تشكل عائقاً كبيلاً. فالمراقبة عن بُعد (عبر الطائرات بدون طيار/الأقمار الصناعية) تعاني من صعوبات في المعايرة بسبب الإضاءة الخارجية المتغيرة، بينما تفتقر طرق الجمع اليدوية المحمولة إلى القابلية للتوسع وتتطلب جهداً بشرياً مكثفاً.
إن أتمتة هذه العملية باستخدام المناولات الروبوتية في بيئات البساتين غير المنظمة يفرض تحديات تقنية محددة:
الغطاء النباتي غير المنظم: عدم يقين عالٍ في اكتشاف الأوراق والمناولة داخل الأوراق الكثيفة.
التباين البيئي: تؤثر ظروف الإضاءة الديناميكية على أداء المستشعرات، كما يمكن لدرجات الحرارة المحيطة المرتفعة أن تؤدي إلى تدهور مخرجات المستشعر الطيفي الفائق.
القيود الفيزيائية: تزيد كثافة الأوراق المتغيرة والأغصان المخفية من مخاطر الاصطدام.
الضوضاء الديناميكية: يمكن للاضطرابات الطفيفة، مثل النسيم الخفيف، أن تزيح الأوراق، مما يضعف معدلات نجاح الإمساك.
2. المنهجية
يقدم البحث نظام RoMu4o، وهو نظام روبوتي أرضي مصمم للاستشعار الطيفي الفائق للورقة عن قرب وبشكل مستقل. يدمج النظام خطوط إنتاج الأجهزة والبرمجيات للتنقل في البساتين غير المنظمة، وتحديد الأوراق المستهدفة، وإجراء أخذ عينات طيفية عالية الدقة.
أ. بنية الأجهزة (Hardware Architecture)
المنصة المتحركة: روبوت أرضي مخصص يعمل بالدفع المجنزر (1.5م × 1.0م × 0.4م) مع بطارية بجهد 24 فولت تيار مستمر. يتميز بمنصة علوية قابلة للتعديل توفر امتداداً رأسياً إضافياً يتراوح بين 1 إلى 1.5 متر للوصب إلى تيجان الأشجار التي يصل ارتفاعها إلى 6-9 أمتار.
المناول (Manipulator): ذراع روبوتية تعاونية ذات 6 درجات حرية (TM5M-900) مثبتة على القاعدة المتحركة.
المستشعر وأداة الإمساك:
قابض مكون من إصبعين (RG2) تم تصنيعه خصيصاً ويحتوي على المكونات البصرية.
الاستشعار الطيفي: مطياف طيفي فائق (NanoLambda) في نطاق 350–1010 نانومتر مدمج مع مصدر ضوء مستقل في نطاق 350–2500 نانومتر. يسمح هذا المصدر المستقل بالمعايرة الذاتية وتحقيق اتساق في الحصول على البيانات بغض النظر عن الضوء المحيط.
الحوسبة: وحدة Intel NUC خارجية (الجيل الحادي عشر، ذاكرة 64 جيجابايت) تعمل بنظام ROS2 وMoveIt2 للمعالجة والتحكم.
ب. خطوط إنتاج البرمجيات (Software Pipelines)
يعمل النظام عبر مسارين متكاملين: الإدراك (Perception) والمناولة الروبوتية (Robotic Manipulation).
1. مسار الإدراك
تقسيم النسخ (Instance Segmentation): تم تدريب نموذجين من نوع YOLOv8-x بشكل منفصل لأوراق نبات الماغنوليا (للاستخدام الداخلي) وأوراق الفستق (للاستخدام الخارجي). تميز النماذج الأوراق عن الخلفية وتحدد المرشحات المثلى والأقل تعرضاً للعوائق.
استخراج البنية ثلاثية الأبعاد: يتم قناع خرائط العمق بواسطة مخرجات التقسيم لتوليد سحب النقاط (point clouds) لكل ورقة على حدة.
تصفية الضوضاء: تستخدم طريقة رفض القيم المتطرفة القائمة على التوزيع الطبيعي (Gaussian-based) بعتبة (z-score) قدرها 2.33 لإزالة النقاط الخاطئة الناتجة عن أخطاء التقسيم أو العوائق.
تقدير الوضعية السداسية (6D Pose Estimation):
الموقع: يتم حساب النقطة المركزية لسحابة النقاط المصفاة.
الاتجاه: يحدد تحليل المكونات الرئيسية (PCA) الناظم السطحي للورقة. ويتم إنشاء نظام إحداثيات محلي متعامد باستخدام متجه الناظم ومتجه مرجعي يشير نحو الساق.
توليد الوضعية: لزيادة قوة الإمساك، يولد النظام خمس وضعيات مرشحة سداسية الأبعاد لكل ورقة: وضعية أساسية واحدة وأربع وضعيات إضافية مشتقة من تدوير الوضعية الأساسية عكس عقارب الساعة حول الناظم (α={−π/4,−π/2,−3π/4,π}).
2. مسار المناولة الروبوتية
تحويل الإحداثيات: يتم تحويل الوضعيات المستهدفة من إطار الكاميرا إلى إطار قاعدة الروبوت.
التخطيط الواعي بالاصطدام:
يتضمن مشهد التخطيط تمثيلات مبسطة هندسياً للأوراق كأشكال أولية للاصطدام لمنع الذراع من إزعاج النباتات المحيطة.
الحركية العكسية (IK): يقوم حل عددي قائم على "جاكوبي" (Jacobian-based) بحساب تكوينات المفاصل الصالحة.
تخطيط المسار: تقوم خوارزمية (RRTC) بتوليد مسارات خالية من الاصطدام بين الحالة الابتدائية والحالة المستهدفة.
التنفيذ: يحاول النظام تجربة الوضعيات الخمس بالتتابع. إذا كان المسار قابلاً للتنفيذ، تقوم الذراع بتنفيذ المسار، والإمساك بالورقة، وتفعيل المستشعر الطيفي الفائق.
3. المساهمات الرئيسية
وحدة روبوتية متكاملة: تصميم RoMu4o، الذي يجمع بشكل فريد بين ذراع ذات 6 درجات حرية ومستشعر طيفي فائق مدمج وصغير الحجم مع مصدر إضاءة مستقل، مما يتيح الحصول على بيانات عالية الدقة في الميدان.
مسار إدراك ومناولة قوي: سير عمل مبتكر يجمع بين التقسيم القائم على التعلم العميق واستراتيجية توليد وضعية سداسية الأبعاد متعددة المرشحين وتخطيط حركة واعٍ بالاصطدام مصمم خصيصاً للنباتات الكثيفة وغير المنظمة.
التحقق الميداني: أول عرض لنظام مستقل قادر على إجراء استشعار طيفي فائق قريب لأوراق أشجار الفستق الحقيقية في بيئة بستان غير منظمة، متجاوزاً المختبرات أو البيئات المحكومة.
4. النتائج التجريبية
تم تقييم النظام في بيئتين: بيئة مختبرية داخلية باستخدام شجيرات الماغنوليا، وبيئة ميدانية خارجية باستخدام بستان فستق عمره 11 عاماً.
معدلات نجاح الإمساك:
المختبر (الماغنوليا): معدل نجاح إجمالي بنسبة 63% عبر 75 محاولة.
الميدان (الفستق): معدل نجاح إجمالي بنسبة 70% عبر 56 محاولة.
المجموع: معدل نجاح إجمالي بنسبة 66%.
أداء الأوراق لكل دفعة (LPB):
1-LPB (ورقة واحدة على الأقل لكل دفعة): نجاح بنسبة 95% في تجارب المختبر؛ 79% في التجارب الميدانية.
2-LPB (ورقتان على الأقل لكل دفعة): نجاح بنسبة 77% في المختبر؛ 70% في الميدان.
3-LPB (ثلاث أوراق على الأقل لكل دفعة): نجاح بنسبة 41% في المختبر؛ 60% في الميدان.
جودة البيانات: نجح النظام في جمع بيانات طيفية فائقة (في نطاق 400–1010 نانومتر) مصححة الأساس، مما أظهر القدرة على التقاط نفاذية طيفية عالية الدقة مناسبة للنمذجة الظاهرية واكتشاف الإجهاد.
5. الأهمية والقيود
يدعي البحث أن RoMu4o يثبت جدوى المناولة الروبوتية للأوراق للمراقبة المستمرة والآلية للبساتين، مما يسد الفجوة بين دقة البيانات وقابلية التوسع التشغيلية. كما يعالج الطبيعة الكثيفة للعمل اليدوي في أخذ العينات الطيفية مع التخفيف من مشا_كل المعايرة المرتبطة بالاستشعار عن بعد.
ومع ذلك، حافظ المؤلفون على نبرة متواضعة فيما يتعلق بالقيود:
الحساسية البيئية: تؤدي أشعة الشمس القوية إلى تدهور أداء كاميرا العمق عند حدود الأوراق، كما تؤثر درجات الحرارة المحيطة المرتفعة سلباً على أداء الأجهزة الإلكترونية.
التعميم: نماذج التقسيم الحالية خاصة بمحاصيل معينة (مدربة على الماغنوليا والفستق)، مما يترك تعميمها عبر الأنواع الأخرى غير مختبر.
القيود التشغيلية: حدت التكاليف العالية المرتبطة بالتجارب الميدانية من عدد المحاولات ضمن الدورة الفينولوجية للمحصول.
العمل المستقبلي: يقترح المؤلفون أن الإصدارات المستقبلية قد تستكشف دمج المستشعرات متعدد الوسائط، والتحكم البصري في الحلقة المغلقة (closed-loop visual servoing) للتعامل مع إزاحة الأوراق، ودمج البنى القائمة على المحولات (VLA/WMA) لتحسين الإنتاجية، رغم إشارتهم إلى التساؤل المفتوح حول ما إذا كانت هذه النماذج يمكن أن تلبي قيود الحوسبة وزمن الاستجابة على الأجهزة الطرفية (edge hardware).