When One Modality Is Not Enough: Multimodal Sex and Life-Stage Classification of Red Deer from Aerial RGB-Thermal Video

تخيل أنك محقق في الحياة البرية تحاول حل لغز في أحجية عملاقة حية. مهمتك لا تقتصر فقط على عد كم حيوان يوجد في الغابة؛ بل تحتاج إلى معرفة من هم. هل هم الآباء الضخام بقرونهم؟ أم الأمهات؟ أم الصغار سريعي النمو؟ هذا هو التحدي اليومي لمديري الحياة البرية الذين يحتاجون إلى فهم "شجرة العائلة" لقطيع ما للحفاظ على صحته. ولكن، ثمة عقبة: الغابات مخادعة. فالأشجار تلقي بظلالها التي تخفي الحيوانات، ويمكن للأرض أن تبدو تماماً مثل فراء الغزال. ولحل هذه المعضلة، يستخدم العلماء طائرات بدون طيار (درونز) تحلق عالياً في السماء، تحمل نوعين مختلفين من "العيون". عين ترى العالم بالألوان، مثل البشر (RGB)، وأخرى ترى العالم بالحرارة، مثل كاميرا الرؤية الليلية (Thermal). المشكلة هي أن أياً من العينين ليس مثالياً بمفرده. فالعين الملونة ترتبك في الظل، بينما ترى عين الحرارة بقعة ساطعة وضبابية تفقد كل التفاصيل الدقيقة اللازمة للتمييز بين الأب والأم. يستكشف هذا البحث حيلة ذكية: ماذا لو لم يكن علينا الاختيار بين العينين، بل جعلنا تعملان معاً كفريق خارق؟

قرر الباحثون وراء هذه الدراسة اختبار هذه الفكرة على الأيائل الحمراء، وهي تلك الحيوانات المهيبة ذات القرون الكبيرة. أرادوا معرفة ما إذا كان بإمكانهم بناء نظام حاسوبي يوجه طائرة بدون طيار فوق غابة، ويرصد كل غزال بمفرده، ثم يحدد نوعه وجنسه وعمره تلقائياً. السؤال الكبير كان: هل يمكن لدمج كاميرات الألوان والحرارة أن يخلق "رؤية خارقة" أفضل من أي منهما بمفرده، خاصة عندما تتغير الفصول وتتغير الأدلة معها؟

العينان اللتان تريان عوالم مختلفة

فكر في كاميرات الطائرة بدون طيار مثل محققين لديهما مهارات مختلفة تماماً. المحقق الملون (RGB) بارع في رصد التفاصيل مثل شكل القرون أو نمط الفراء، لكنه يرتبك بسهولة بسبب الظلال. إذا كان الغزال مختبئاً تحت شجرة، فلن يرى المحقق الملون سوى بقعة مظلمة من الأوراق. أما محقق الحرارة (Thermal)، فهو يرى الحرارة. لا تهمه الظلال؛ فالغزال الواقف في الظلام يبدو بالنسبة لهذا المحقق كنجم ساطع ومتوهج. ومع ذلك، فإن محقق الحرارة يتسم ببعض الخرق في التفاصيل. فهو يرى الغزال كبقعة ساطة وضبابية، ولا يمكنه بسهولة تمييز ما إذا كانت تلك البقعة تمتلك قروناً أم لا، وأحياناً يرتبك بسبب الصخور الدافئة أو الأرض.

وجد الباحثون أن هذين المحققين يفشلان بطرق متعاكسة. في الصيف، عندما تكون قرون الذكور ناعمة ومغطاة بـ "المخمل" الوبري، تكون دافئة. يمكن لمحقق الحرارة رؤية توهجها، لكن المحقق الملون قد يفتقدها إذا كان الغزال في الظل. في الخريف، تصبح القرون صلبة وتبرد. الآن، لا يرى محقق الحرارة أي شيء مميز فيها، لكن المحقق الملون يمكنه رؤية الشكل العظمي الصلب بوضوح. إذا كنت تملك محققاً واحداً فقط، فستفقد نصف الأدلة اعتماداً على الوقت من السنة.

استراتيجية العمل الجماعي

بدلاً من الثقة في محقق واحد فقط، بنى الفريق مسار عمل حيث تعمل الكاميرتان معاً في كل خطوة. لم يكتفوا بمجرد خلط الصور معاً، بل جعلوا الحواسيب "تتحدث" مع بعضها البعض باستخدام لغة خاصة تسمى ميزات DINOv3. فكر في هذا كدفتر ملاحظات مشترك حيث يدون كلا المحققين ما يريانه، ويتحقق الحاسوب مما إذا كانت قصصهما متطابقة.

إليك كيف يعمل نظامهم، خطوة بخطوة:

1. التحقق المزدوج: لا يعتبر النظام أي غزال "حقيقياً" إلا إذا رأته كلتا الكاميرتين. إذا رأت الكاميرا الملونة بقعة ولكن كاميرا الحرارة لم ترَ شيئاً، يفترض النظام أنه مجرد ظل غريب أو صخرة، وليس غزالاً. هذا يمنع النظام من عد حيوانات وهمية.
2. المصفاة: ليست كل صورة للغزال جيدة. بعضها ضبابي، وبعضها مغطى بالأوراق، وبعضها بعيد جداً. يعمل النظام كمحرر صارم، حيث يستبعد الإطارات السيئة التي تفتقر إلى الأدلة. هو لا يستبعد الغزال نفسه؛ بل يستبعد فقط الصور السيئة لذلك الغزال.
3. التصويت: بالنسبة للغزلان التي نجت من المصفاة، ينظر النظام إلى جميع الصور الجيدة ويجري عملية تصويت. إذا ظهر ذكر غزال في 10 صور، و6 منها تظهر قروناً واضحة، يصوت النظام بـ "ذكر". حتى لو بدت 4 صور وكأنها لأنثى بسبب اختفاء القرون، فإن التصويت هو الذي يربح.
4. فحص الحجم: لتمييز الغزال الصغير (الوليد) عن الأم (البالغة)، يقيس النظام حجم الغزال. وبما أن الطائرة تحلق على ارتفاع ثابت، فإن الغزال الصغير سيبدو أصغر بكثير في الصورة مقارنة بالغزال البالغ. يستخدم النظام هذا الفرق في الحجم لرصد الصغار.

النتائج: فريق منتصر

اختبر الفريق نظامهم عبر أربع رحلات طيران مختلفة للطائرات بدون طيار فوق غابة في النمسا. وكان لديهم "مفتاح إجابة" سري من أشخاص على الأرض يعرفون بالضبط أي غزلان كانت موجودة وما هي.

كانت النتائج مبهرة. عندما استخدموا الكاميرا الملونة وحدها أو كاميرا الحرارة وحدها، حددوا الجنس بشكل صحيح لحوالي 20 غزالاً من أصل 26. ولكن عندما دمجوا الاثنين؟ نجحوا في تحديد 25 من أصل 26 غزالاً. كانت نسبة النجاح في تحديد النوع هي 96.0%، وجعل دمج المستشعرين عملية تحديد الجنس أكثر موثوقية عبر المواسم المختلفة.

كان النظام جيداً بشكل خاص في التعامل مع الحالات "المخادعة". على سبيل المثال، كان هناك ثلاثة ذكور ظنت الكاميرات المنفردة أنها إناث لأن الأدلة كانت مخفية. ولكن لأن النظام نظر إلى الأدلة المجمعة، أدرك قائلاً: "مهلاً، رأت كاميرا الحرارة بقعة دافئة هنا، والكاميرا الملونة رأت شكلاً هناك"، وحددهم بشكل صحيح كذكور.

لماذا يهم هذا الأمر؟

يظهر هذا البحث أننا لسنا مضطرين للاختيار بين كاميرا ملونة أو كاميرا حرارية. فمن خلال دمجهما، يمكننا إنشاء تعداد أكثر ذكاءً من مجرد إحصاء بسيط. فبدلاً من القول فقط "هناك 50 غزالاً"، يمكن لرحلة الطائرة بدون طيار أن تقول الآن: "هناك 5s غزال: 15 أباً، 30 أماً، و5 صغار".

هذا أمر بالغ الأهمية لمديري الحياة البرية. حالياً، يتطلب الحصول على مثل هذه المعلومات التفصيلية غالباً من البشر النظر يدوياً في الصور، وهو أمر يستغرق وقتاً طويلاً ولا يمكن القيام به في كل رحلة. هذه الطريقة الجديدة تجعل العملية آلية، محولةً مجرد عملية عد بسيطة إلى تقرير مفصل عن صحة القطيع. إنها تثبت أنه عندما لا تكون طريقة واحدة لرؤية العالم كافية، فإن الجمع بين وجهات نظر مختلفة يمكن أن يكشف عن الصورة الكاملة، حتى عندما تختبئ الحيوانات في الظلال أو تتغير الفصول. النظام ليس مثالياً تماماً—فهو لا يزال يعاني قليلاً مع الغزلان الصغيرة جداً أو عندما تحلق الطائرة على ارتفاع عالٍ جداً—لكنه يثبت أنه مع العمل الجماعي الصحيح، يمكننا قراءة قصة الغابة من السماء.