Multi-Scale Fruit Capsules: Dilated Convolutions and Dynamic Routing for In-the-Wild Explainable Fruit Recognition
تقدم هذه الورقة البحثية FruitCapsNet، وهي شبكة كبسولة متعددة المقاييس تستخدم التلافيف المتسعة والمعلمات الفائقة المحسنة بايزياً لتحقيق التعرف على الفاكهة بأسلوب رائد وقابل للتفسير في ظروف متنوعة في الطبيعة، وذلك من خلال الحفاظ على معلومات الوضع المكاني والتركيز على مناطق الثمرة الكاملة بدلاً من الحواف.
في عالم الزراعة الحديثة الصاخب، أصبحت رحلة الفاكهة من الشجرة إلى المائدة تُدار بشكل متزايد بواسطة الآلات. يعتمد المزارعون ومرافق التعبئة والتغليف على الأنظمة المؤتمتة لفرز المحاصيل، وفحص النضج، وتحديد العيوب بسرعة واتساق لا يمكن للأيدي البشرية مضاهاتهما. ولكي تعمل هذه الآلات، يجب أن تكون قادرة على "رؤية" الفاكهة كما يراها البشر، بحيث تتعرف على التفاحة سواء كانت معلقة على غصن، أو موضوعة في كيس بلاستيكي، أو مقطعة على طبق، أو تعرضت لكدمة جراء سقوطها. هذه المهمة صعبة بشكل مخادع لأن الفاكهة نفسها يمكن أن تبدو مختلفة جذرياً اعتماداً على حالتها، والإضاءة، وما يحيط بها. وبينما أصبحت الحواسيب بارعة للغاية في رصد الأجسام في الصور، إلا أنها غالباً ما تواجه صعوبة عندما لا يكون الجسم في وضعية مثالية ومعزولة. تميل أنظمة الرؤية الحاسوبية التقليدية إلى التركيز على التفاصيل المحلية الصغيرة، مثل انحناء القشرة أو بقعة لونية محددة، ثم تجميع تلك الأجزاء معاً. هذا النهج يعمل جيداً في البيئات الخاضعة للتحكم، لكنه غالباً ما يفشل في الواقع الفوضوي وغير المتوقع للمزرعة أو متجر البقالة، حيث تتداخل الفواكه، وتسقط الظلال، وتزدحم الخلفيات.
لقد طور فريق من الباحثين طريقة جديدة لتعليم الحواسيب رؤية الفاكهة تحاكي القدرة البشرية على فهم الشيء ككل بدلاً من مجرد أجزائه. لقد أنشأوا نظاماً يسمى "FruitCapsNet"، مصمماً خصيصاً للتعامل مع التنوع الفوضوي لتصوير الفاكهة في العالم الحقيقي. وبدلاً من استخدام الطرق القياسية التي هيمنت على المجال لسنوات، والتي غالباً ما تتجاهل معلومات مهمة حول موقع جزء من الشيء، يقوم هذا النظام الجديد بتتبع موضع واتجاه كل قطعة من الفاكهة. وهو يفعل ذلك باستخدام نوع متخصص من المرشحات الرقمية التي تسمح للحاسوب برؤية مساحة أوسع بكثير حول كل نقطة اهتمام دون الحاجة إلى زيادة قوة المعالجة. ومن خلال الجمع بين هذه الرؤية الواسعة وطريقة تتحقق من مدى توافق الأجزاء المختلفة للفاكهة مع بعضها البعض لتشكيل كيان كامل، يمكن للنظام التعرف على الفاكهة حتى عندما تكون مخفية جزئياً أو محاطة بأشياء أخرى.
اختبر الباحثون نظامهم على أربع مجموعات مختلفة من صور الفاكهة، تتراوح من الصور النظيفة ذات طابع الاستوديو إلى مجموعة جديدة وتحديّة تضم أكثر من عشرة آلاف صورة ملتقطة في الطبيعة. هذه المجموعة الجديدة، التي أطلقوا عليها اسم "PD-19"، تحتوي على صور لثمار متعددة في إطار واحد، وإضاءة غير متساوية، وفواكه في حالات مختلفة مثل المقشرة، أو المعبأة في أكياس، أو المقطعة. وعندما قارنوا نظامهم بعشرة من أقوى نماذج الرؤية الحاسوبية الموجودة، تفوق "FruitCapsNet" في الأداء على كل مجموعة بيانات. وكان الفرق أكثر وضوحاً في الصور الصعبة الواقعية، حيث تفوق النظام الجديد على أقرب منافسيه بنحو ثلاث نقاط مئوية. وفي عالم الفرز الآلي، حيث تتم معالجة ملايين العناصر، يمكن حتى لتحسن طفيف في الدقة أن يمنع هدراً كبيراً وخسائر مالية. ووجد الباحثون أن نظامهم لم يكن مجرد تخمين؛ بل كان ينظر بالفعل إلى الفاكهة بأكملها لاتخاذ قراره، بدلاً من التركيز على الحواف أو ضجيج الخلفية، وهو خطأ شائع ترتكبه الأنظمة القديمة.
لفهم سبب نجاح ذلك، يجب النظر في كيفية معالجة النظام للصورة. غالباً ما تقوم الأنظمة التقليدية بتجزئة الصورة إلى بلاطات صغيرة وتقرر ما إذا كان هناك ميزة موجودة في بلاطة ما، متجاهلة الموقع الدقيق لتلك الميزة داخل البلاطة. يشبه هذا التعرف على وجه ما من خلال شكل الأنف فقط، دون الاهتمام بما إذا كان الأنف على اليسار أم اليمين. ومع ذلك، يستخدم النظام الجديد هيكلاً يحافظ على العلاقة بين الأجزاء. فهو يستخدم تقنية تسمى "التلافيف المتسعة" (dilated convolution)، والتي تعمل مثل عدسة توسع رؤية الحاسوب، مما يسمح له برؤية السياق المحيط بالفاكهة دون فقدان التفاصيل الدقيقة. وهذا يعني أنه عندما ينظر النظام إلى برتقالة مقطعة، فإنه يفهم أن الفصوص تنتمي إلى جسم مستدير واحد، حتى لو كانت الخلفية عبارة عن سطح مطبخ مزدحم. ثم يستخدم النظام عملية تسمى "التوجيه الديناميكي" للتصويت على ما إذا كانت هذه الأجزاء تتوافق مع بعضها البعض لتشكيل نوع معين من الفاكهة. وإذا اتفقت الأجزاء على شكل ووضعية الفاكهة الكاملة، يصبح النظام واثقاً في تعريفه لها.
أمضى الفريق أيضاً وقتاً طويلاً في ضبط الإعدادات الداخلية للنظام، ليس عن طريق التخمين أو تجربة كل الاحتمالات الممكنة، بل باستخدام طريقة بحث رياضية ذكية تتعلم من كل محاولة. سمح لهم ذلك بإيجاد التوازن المثالي لكيفية وزن أنواع الأخطاء المختلفة وكيفية تعديل تعلمهم بمرور الوقت. والنتيجة هي نموذج أصغر وأسرع بك كثيراً من الأنظمة الضخمة المطلوبة عادةً لهذا المستوى من الدقة، حيث يستخدم جزءاً ضئيلاً فقط من العمق الحسابي. وعندما نظر الباحثون في "خرائط الحرارة" التي أنشأها النظام لمعرفة ما كان يركز عليه، رأوا فرقاً واضحاً. فبينما كانت الأنظمة القديمة تميل إلى تسليط الضوء على حواف الفاكهة أو الظلال حولها، كان النظام الجديد يسلط الضوء باستمرار على الفاكهة بأكملها، من مركزها إلى قشرتها. وهذا يشير إلى أن النظام يتعلم حقاً مفهوم الفاكهة ككائن كامل، مما يجعله أكثر متانة ضد ارتباك البيئات الواقعية.
تؤكد الدراسة أنه من خلال تغيير كيفية معالجة شبكة حاسوبية للمعلومات البصرية، يمكن تحقيق مستوى من الفهم كان بعيد المنال للأنظمة المؤتمتة. لقد أثبت الباحثون أن نهجهم يعمل عبر مجموعة متنوعة من أنواع وظروف الفاكهة، من 15 فئة في مجموعة بيانات واحدة إلى 19 فئة في مجموعة بياناتهم الجديدة في الطبيعة. وبينما لا يعد النظام مثالياً ولا يزال يواجه تحديات مع البيانات شديدة الضجيج أو التكلفة العالية لتشغيل الحسابات المعقدة على الأجهزة الصغيرة، فإن النتائج تظهر مساراً واضحاً للمستقبل. ويشير العمل إلى أن مستقبل التعرف الآلي على الفاكهة لا يكمكن في جعل الأنظمة أكبر وأعمق، بل في جعلها أكثر ذكاءً في كيفية تجميع العالم المرئي. ومن خلال احترام العلاقات المكانية بين الأجزاء وفهم سياق الكل، يمكن للآلات أخيراً أن تتعلم رؤية الفاكهة كما نفعل نحن، لتكون جاهزة للتعامل مع الواقع الفوضوي والجميل للحصاد.
ملخص تقني: كبسولات الفاكهة متعددة المقاييس للتعرف القابل للتفسير على الفاكهة في الظروف الواقعية
بيان المشكلة يواجه التصنيف الآلي للفاكهة في الظروف الواقعية (AFCW) تحديات كبيرة بسبب التباين العالي داخل الفئة الواحدة والتمايز الضيق بين الفئات. تظهر الفواكه مظاهر متنوعة بناءً على مراحل النضج، والمواسم، والمنشأ، وغالبًا ما تُصور في حالات مختلفة: غير مقشرة، أو مقشرة، أو مقطعة إلى شرائح، أو موضوعة في أكياس، أو مقطعة على طبق. تعاني الشبكات العصبية الالتفافية (CNNs) القياسية من هذه التباينات لأن آليات التوجيه الخاصة بها (التجميع - pooling) تتخلص من الموقع والهيئة الدقيقة للميزات، حيث تعامل الأجسام كأنها "حقائب من الرقع". وبناءً على ذلك، تفتقر الشبكات العصبية الالتفافية إلى القدرة على تمثيل العلاقات المكانية بين الأجزاء والكل، وهو أمر بالغ الأهمية للتمييز، على سبيل المثال، بين فاكهة مقطعة على طبق وبين نفس الفاكهة داخل كيس. وبينما توجد طرق استشعار بديلة (مثل التصوير الطيفي الفائق أو الحراري)، إلا أنها غالبًا ما تكون باهظة التكلفة أو غير جراحية، مما يجعل التصوير الملون هو الخيار الاقتصادي الأساسي ويضع عبء المتانة على بنية النموذج.
المنهجية يقترح المؤلفون FruitCapsNet، وهي شبكة كبسولات مصممة لمعالجة قيود الشبكات العصبية الالتفافية القياسية من خلال ثلاثة ابتكارات هيكلية ومنهجية أساسية:
كبسولات الفاكهة المتسعة (Dilated Fruit Capsules): تم استبدال الواجهة الأمامية الالتفافية القياسية لشبكات الكبسولة بـ التلافيف المتسعة (dilated convolutions). بينما يكون المجال الاستقبالي للتلافيف القياسية محدودًا بحجم النواة والعمق، تقوم التلافيف المتسعة بتوسيع المجال الاستقبالي بشكل أسي بتكلفة ثابتة للمعلمات. يسمح هذا لكل كبسولة بتجميع سياق متعدد المقاييس (يمتد من الفاكهة إلى خلفيتها المباشرة) قبل أن تقوم عملية التوجيه الديناميكي بحل الاتفاق المكاني بين الجزء والكل. هذا السياق السابق للتوجيه يعد أمرًا حاسمًا للتعامل مع حالات الحجب والمشاهد متعددة الأجسام.
التوجيه الديناميكي مع التغليف الشعاعي (Dynamic Routing with Vector Encapsulation): على عكس الشبكات العصبية الالتفافية التي تنتج خرائط ميزات قياسية (scalar)، تستخدم FruitCapsNet كبسولات شعاعية في المدخلات والمخرجات (vector-in/vector-out). يمثل طول المتجه احتمالية وجود الفئة، بينما يشفر الاتجاه معلمات التجسيد (الهيئة، التشوه، والإنعكاس الضوئي/Albedo). يستبدل التوجيه الديناميكي عملية التجميع، حيث يقوم بتكرار تحسين معاملات الاقتران بين الكبسولات الابنة والأم لضمان أن الكبسولات الابنة التي تتفق على هيئة متسقة للجسم ككل هي فقط التي تساهم بشكل كبير في تنشيط الكبسولة الأم.
تحسين المعلمات الفائقة باستخدام الاستدلال البايزي (Bayesian Hyper-parameter Optimization): يستخدم النموذج تحسينًا بايزيًا مع نموذج بديل لعملية غاوس (Gaussian-process surrogate) لاختيار المعلمات الفائقة، بما في ذلك ثوابت خسارة الهامش (m+,m−,λ,α)، وعوامل التوسع، وجداول التدريب. يستبدل هذا النهج البحث الشبكي اليدوي، حيث يعمل على تحسين التفاعل بين أربعة ثوابت خسارة جنبًا إلى جنب مع عمق الشبكة، وأحجام المرشحات، ومعدلات التعلم.
تتكون البنية من مشفر (ثلاث طبقات تلافيف متسعة، وطبقة PrimaryCaps، وطبقة DigitCaps) وفك تشفير يعيد بناء الصورة المدخلة ليعمل كمنظم ضد الإفراط في التخصيص (overfitting).
المساهمات الرئيسية
الابتكار الهيكلي: يقدم البحث أول تطبيق للتلافيف المتسعة ضمن الواجهة الأمامية لشبكة الكسبولات. يتيح هذا التصميم للكبسولات التقاط سياق متعدد المقاييس قبل التوجيه الديناميكي، وهي فجوة لم يتم معالجتها سابقًا في أدبيات الكبسولات.
معيار PD-19: قدم المؤلفون PD-19، وهو مجموعة بيانات جديدة للظروف الواقعية تضم 10,639 صورة عبر 19 فئة. على عكس مجموعات البيانات الحالية (SMP, FruitsGB, Fruits-360) التي تتميز غالبًا بوجود فواكه مفردة على خلفيات متجانسة، تتضمن PD-19 فئات متعددة في الصورة الواحدة، وخلفيات غير متجانسة، وحالات حجب، وعروض تقديمية متنوعة (مقطعة، موضوعة في أطباق، أو في أكياس).
القابلية للتفسير عبر Grad-CAM: قام الباحثون بتكييف تقنية Grad-CAM لتناسب شبكات الكبسولات من خلال نشر التدرجات من طبقة DigitCaps عائدة إلى الطبقة الالتفافية. يوفر هذا دليلاً بصريًا على أن قرارات النموذج تُعزى إلى مناطق الفاكهة الكاملة وليس فقط حواف الجسم.
استراتيجية التحسين: استخدام التحسين البايزي لضبط مشهد الخسارة المعقد وغير القابل للاشتقاق لشبكات الكبسولات، وتحديدًا ثوابت خسارة الهامش وعوامل التوسع.
النتائج التجريبية تم تقييم النموذج على ثلاث مجموعات بيانات عامة (SMP, FruitsGB, Fruits-360) ومجموعة بيانات PD-19 الجديدة.
الأداء: تفوقت FruitCapsNet على عشرة نماذج تعتمد على التعلم بنقل الخبرة (transfer-learning) تم ضبطها بدقة (بما في ذلك متغيرات ResNet, VGG, DenseNet, و MobileNet) عبر جميع مجموعات البيانات. والجدير بالذكر أنها حققت هذه النتائج بعمق شبكة يبلغ 7 طبقات فقط مقارنة بـ 201 طبقة لأقرب منافس لها (DenseNet-201).
تدرج الصعوبة: تدرج هامش الأداء مع صعوبة المشهد. في مجموعات البيانات العامة المشبعة، كانت التحسينات طفيفة (على سبيل المثال، +0.32% في FruitsGB). ومع ذلك، في مجموعة بيانات PD-19 الأكثر تحديًا، تجاوزت FruitCapsNet أقرب منافس لها بنسبة +2.67%.
دراسات الاستئصال (Ablation Studies):
التوسع (Dilation): أدى ضبط عامل التوسع عند d=2 إلى تحقيق 50-62% من إجمالي التحسن في مجموعات البيانات العامة و70% في PD-19. أدى رفع العامل إلى d=3 إلى تدهور الأداء بسبب عيوب الشبكة (gridding artifacts) وتداخل ضوضاء الخلفية المفرطة.
التحسين البايزي: وفر دفعة إضافية مستقلة عن مجموعة البيانات تتراوح بين +0.29% إلى +0.69%، حيث ركز على تحسين جدول التعلم بدلاً من السياق المكاني.
التحليل البصري: أظهرت تصورات Grad-CAM أنه بينما انهار تركيز Saliency في DenseNet على حواف الأجسام، فإن FruitCapsNet عزت القرارات إلى منطقة الفاكهة الكاملة. ظل هذا الإسناد للكل (whole-object attribution) قويًا تحت ظروف الحجب، والازدحام، وتغير الهيئة، بينما أصبحت خرائط الحرارة (heatmaps) في النماذج المرجعية غامضة أو انحرفت نحو الخلفية.
الأهمية والادعاءات يزعم البحث أن المصدر الرئيسي لزيادة الأداء هو قدرة النموذج على إسناد القرارات إلى مناطق الفاكهة الكاملة بدلاً من الحواف المحلية. من خلال توسيع المجال الاستقبالي عبر التلافيف المتسعة قبل التوجيه الديناميكي، يمكن للشبكة حل الاتفاقات المكانية بين الجزء والكل حتى في السيناريوهات المعقدة التي تشمل الحجب وتعدد الأجسام. يؤكد المؤلفون أن هذا النهج يوفر دليلًا لاحقًا (post-hoc) على أن مكاسب الأداء ليست ناتجة عن خصائص في مجموعة البيانات بل تنبع من تمثيل أكثر متانة للبنية المكانية.
يسلط العمل الضوء على أنه بينما تتقيد الشبكات العصبية الالتفافية القياسية بآليات التجميع الخاصة بها في سيناريوهات "الظروف الواقعية"، فإن شبكات الكبسولات المعززة بالتلافيف المتسعة والضبط الدقيق للمعلمات يمكنها تحقيق دقة فائقة بعدد أقل بكثير من المعلمات. يقر المؤلفون بوجود قيود، بما في ذلك عدم تحديد ضجيج التسمية (label noise) في مجموعة بيانات PD-1j المجموعة من الويب، والتكلفة الحسابية لعملية التوجيه، مما يحد حاليًا من النشر على الأجهزة الطرفية (edge deployment). ويُقترح للعمل المستقبلي التركيز على مقايسات التحديد الكمي للقابلية للتفسير، والتدريب المسبق العدائي (adversarial pre-training)، والتعلم من أمثلة قليلة (few-shot learning) للأصناف غير المرئية.