WildLIFT: Lifting monocular drone video to 3D for species-agnostic wildlife monitoring
إنّ WildLIFT هو إطار عمل حوسبي يحوّل فيديوهات الطائرات بدون طيار أحادية العدسة إلى تمثيلات ثلاثية الأبعاد مهيكلة مع تجزئة مثالية للنماذج ذات المفردات المفتوحة، مما يتيح الكشف والتتبع ثلاثي الأبعاد المستقل عن نوع الأنواع، والتحليل الكمي لسلوك الحياة البرية وديناميكيات أعدادها، مع تقليل جهد التوسيم اليدوي بشكل كبير.
المؤلفون الأصليون:Vandita Shukla, Fabio Remondino, Blair Costelloe, Benjamin Risse
تخيل أنك تشاهد فيلماً وثائقياً عن الطبيعة تم تصويره بواسطة طائرة بدون طيار (درون). ترى قطيعاً من الحمر الوحشية يركض، وفيلة ترعى، وزرافات تسير عبر الأشجار. بالنسبة للعين البشرية، هو فيلم ثنائي الأبعاد (2D) جميل. ولكن بالنسبة لعالم الحاسوب، فإن هذا الفيديو يفتقر إلى طبقة حاسمة: العمق. يرى الحاسوب صورة مسطحة حيث قد تتداخل الحيوانات فوق بعضها البعض، مما يجعل من الصعب معرفة من هو كل حيوان أو أين يتواجد بالضبط في الفضاء ثلاثي الأبعاد (3D).
تقدم الورقة البحثية WildLIFT، وهي "أداة سحرية" جديدة تأخذ فيديوهات الطائرة بدون طيار المسطحة ذات الكاميرا الواحدة، و"ترفعها" لتصبح عالماً ثلاثي الأبعاد، دون الحاجة إلى كاميرات ثلاثية الأبعاد خاصة أو أجهزة ليزر.
إليك كيف يعمل WildLIFT، مقسماً إلى ثلاث خطوات بسيطة باستخدام تشبيهات من الحياة اليومية:
1. "المحقق المسافر عبر الزمن" (WildLIFT-RT)
المشكلة: في الفيديو المسطح، إذا مر اثنان من الحمر الوحشية بجانب بعضهما البعض، فإن أجسادهما تتداخل. قد يرتبك نظام تتبع الحاسوب العادي، فيظن أن الحمرين اندمجا في واحد، أو أن أحدهما اختفى وظهر آخر جديد. الحل: يستخدم WildLIFT "محققاً" لا ينظر فقط إلى الصورة؛ بل يبني نموذلاً شبحياً ثلاثي الأبعاد للمشهد.
كيف يعمل: يستخدم ذكاءً اصطناعياً ذكياً (يسمى CUT3R) لتخمين عمق كل بكسل، مما ينشئ سحابة من النقاط ثلاثية الأبعاد للفيديو بأكلى.
التشبيه: تخيل أنك تشاهد مسرحية على شاشة تلفزيون ثنائية الأبعاد. إذا مشى ممثل خلف عمود، ستفقد رؤيته. قد يقول نظام التتبع العادي: "لقد اختفى الممثل!". لكن WildLIFT يشبه المحقق الذي يعرف الشكل الثلاثي الأبعاد الدقيق للمسرح. حتى عندما يختبئ الممثل خلف العمود، يعرف المحقق تماماً أين يسير في الفضاء ثلاثي الأبعاد خلفه. وعندما يخرج الممثل، يقول المحقق: "آه، ها أنت ذا، لم تغادر أبداً!".
النتيجة: إنه يتتبع الحيوانات بشكل مثالي، حتى عندما تختبئ خلف الأشجار أو خلف بعضها البعض، ويفعل ذلك دون الحاجة لأن يتم تعليمه أنواعاً محددة (فهو يعمل مع الحمر الوحشية، والفيلة، ووحيد القرن، والزرافات بنفس الكفاءة).
2. "باني الصناديق الذكي" (WildLIFT-A)
المشكلة: بمجرد أن يعرف الحاسوب مكان الحيوانات، فإنه يحتاج إلى تسميتها. عادةً، يقضي البشر ساعات في رسم صناديق ثلاثية الأبعاد حول الحيوانات في الفيديو، وهو أمر مرهق للغاية. الحل: يمتلك WildLIFT "باني صناديق ذكي" يقوم بـ 93% من العمل تلقائياً.
كيف يعمل: يقوم برسم صندوق ثلاثي الأبعاد تلقائياً (مثل صندوق كرتوني) حول كل حيوان. وهو يحدد طول الحيوان، وعرضه، وارتفاعه، والاتجاه الذي يواجهه.
التشبيه: فكر في الأمر كخياط يمكنه قياس شخص متحرك فوراً وقص بدلة مثالية له. يقوم الحاسوب بهذا لكل إطار (frame).
اللمسة البشرية: أحياناً لا تناسب البدلة الشخص تماماً (ربما يكون خرطوم الفيل في وضع غريب). يحتاج الإنسان فقط إلى إصلاح بعض "اللحظات الرئيسية" (keyframes). ثم يستخدم الحاسوب هذه الإصلاحات لضبط الصناديق لجميع الإطارات بينها، مثل أداة تحريك (animation) ذكية. هذا يقلل وقت العمل البشري بنحو 20 ضعفاً.
3. "مفتش زوايا الكاميرا" (WildLIFT-V)
المشكلة: غالباً ما يحتاج باحثو الحياة البرية إلى صور محددة لتحديد الحيوانات (على سبيل المثال، عرض جانبي واضح لخطوط الحمار الوحشي أو رقبة الزرافة). في فيديو الدرون الطويل، قد تطير الطائرة على جانب واحد فقط من القطيع، مما يعني أنها تفوت الجانب الآخر. فحص ذلك يدوياً في ساعات من الفيديو أمر مستحيل. الحل: يعمل WildLIFT كـ "مفتش لزوايا الكاميرا" يقوم بمسح الفيديو وإنشاء تقرير تقييم.
كيف يعمل: ينظر إلى كل حيوان ويسأل: "هل حصلنا على صورة جيدة لمقدمته؟ ظهره؟ جانبه الأيسر؟ جانبه الأيمن؟".
التشبيه: تخيل أنك تلتقط صوراً لصديق من أجل جواز السفر. التقطت 100 صورة، لكنك التقطتها جميعاً من الجانب الأيسى فقط. WildLIFT هو المساعد الذي ينظر إلى كومة الصور لديك ويقول: "لديك 100 صورة رائعة للجانب الأيسر، ولكن ليس لديك أي صورة للجانب الأيمن. أنت بحاجة لالتقاط المزيد من الصور من الجانب الأيمن".
النتيجة: يخبر الباحثين بالضبط أي الحيوانات تفتقر إلى رؤى معينة، وأي أجزاء من الفيديو "محجوبة" بواسطة حيوانات أخرى، مما يوفر على الباحثين الوقت الضائع في لقطات غير قابلة للاستخدام.
لماذا هذا مهم (وفقاً للورقة البحثية)
إنه "غير مرتبط بنوع معين" (Species-Agnostic): لست بحاجة لتدريب الحاسوب على كل حيوان جديد. فقط اكتب "فيل" أو "حمار وحشي"، وسيتكيف. إنه يعمل مع وحيد القرن، والزرافات، والفيلة مباشرة دون إعداد مسبق.
إنه يوفر الوقت: يحول ساعات من الفحص اليدوي إلى دقائق من التحليل الآلي.
إنه يعمل على اللقطات القديمة: يمكنك استخدام هذا على فيديوهات الدرون التي تم تصويرها منذ سنوات بكاميرات عادية، وتحويلها إلى بيانات ثلاثية الأبعاد غنية دون الحاجة للذهاب مجدداً وتصويرها من جديد.
باختصار، يأخذ WildLIFT فيديو الدرون المسطح والمربك ويحوله إلى خريطة ثلاثية الأبعاد منظمة حيث يتم تتبع كل حيوان، وقياسه، والتحقق من أفضل زوايا الكاميرا، مما يجعل أبحاث الحياة البرية أسرع وأكثر دقة.
1. بيان المشكلة
تُعد الكاميرات أحادية العدسة (RGB) المثبتة على الطائرات بدون طيار (الدرونز) الأداة القياسية لمراقبة الحياة البرية، ومع ذلك، تظل المسارات التحليلية الحالية محصورة إلى حد كبير في الفضاء الصوري ثنائي الأبعاد (2D). هذا القصور يؤدي إلى إهدار المعلومات الهندسية القيمة المتأصلة في فيديو الدرون، مثل الموقع المكاني، والتوجه (Orientation)، وترتيب العمق.
عيوب الـ 2D: تعاني التتبع في الفضاء ثنائي الأبعاد من مشكلات مثل الحجب المتبادل (Mutual Occlusion)، وتجزؤ الهوية أثناء الحجب طويل الأمد (مثل الاختباء خلف النباتات)، ولا يمكنها قياس زوايا الرؤية.
تحيز وجهة النظر (Viewpoint Bias): يتطلب تحديد الهوية التصويري (مثل حالات الحمار الوحشي أو الزرافة) زوايا رؤية محددة (مثل الجانب الأيمن). وتفتقر سير العمل الحالية إلى آلية منهجية لقياس تغطية وجهة النظر أو تحديد الفجوات في تسلسل الفيديو دون فحص يدوي لكل إطار على حدما.
انزياح النطاق (Domain Shift): تفشل نماذج تقدير العمق أحادية العدسة التقليدية المدربة على بيانات من مستوى سطح الأرض عند تطبيقها على زوايا رؤية جوية مائلة. علاوة على على ذلك، فإن طرق إعادة البناء ثلاثية الأبعاد القائمة على الأمثلة (Optimization-based) غالباً ما تفشل عندما تهيمن الحيوانات المتحركة على الإطار.
عنق زجاجة التوسيم (Annotation Bottleneck): يُعد إنشاء بيانات تدريب ثلاثية الأبعاد للحياة البرية مكلفاً للغاية بسبب نقص مجموعات البيانات الموجودة والتكلفة العالية للتوسيم اليدوي ثلاثي الأبعاد.
2. المنهجية: إطار عمل WildLIFT
WildLIFT هو إطار عمل حوسبي يرفع فيديو الدرون أحادي العدسة من 2D إلى 3D عبر ثلاث مراحل متتالية ونمطية. يقوم بدمج إعادة البناء ثلاثي الأبعاد التنبئي (Feed-forward) مع التجزئة مفتوحة المفردات (Open-vocabulary segmentation)، مما يتيح تحليلاً لا يعتمد على نوع النوع (Species-agnostic) دون الحاجة لإعادة التدريب.
المرحلة 1: WildLIFT-RT (إعادة البناء والتتبع)
إعادة البناء ثلاثي الأبعاد: يستخدم CUT3R، وهو محول تنبئي (Transformer) يعمل عبر الإنترنت، لاستعادة خرائط النقاط لكل إطار (Pt) ووضعيات الكاميرا (Tt) من فيديو غير معاير. وبخلاف الطرق القائمة على الأمثلة، يحافظ CUT3R على حالة مستمرة عبر الإطارات، مما يضمن الاتساق الزمني ويتعامل مع المشاهد الديناميكية دون الحاجة لمحاذاة لاحقة.
التجزئة مفتوحة المفردات: يستخدم Grounded-SAM لإنشاء أقنعة تجزئة مثالية (Instance segmentation) بناءً على مطالبات لغوية طبيعية (مثل "zebra"). وهذا يسمح للمسار بالتكيف مع أنواع جديدة ببساطة عن طريق تغيير المطالبة النصية.
الرفع والتتبع ثلاثي الأبعاد:
يتم رفع الأقنعة ثنائية الأبعاد إلى ثلاثة أبعاد عن طريق اختيار النقاط المعاد بناؤها التي تقع إسقاطاتها ضمن القناع.
يقوم متتبع مرشح كالمان (Kalman-filtered tracker) (نموذج السرعة الثابتة) بربط مجموعات النقاط ثلاثية الأبعاد عبر الإطارات.
دالة التكلفة (Cost Function): تجمع بين المسافة الإقليدية ثلاثية الأبعاد المعيارية وتداخل القناع ثنائي الأبعاد (IoU)، ويتم حلها عبر خوارزمية هنجاريان (Hungarian algorithm).
التعامل مع الحجب: ينفذ نظام إدارة تتبع ثنائي المستويات (نشط/خامل)؛ حيث تدخل المسارات التي تفقد الكشف لفترة زمنية معينة (kmiss) في حالة "خاملة"، وتستمر في نشر توقعات السرعة. ويمكن إعادة تنشيطها عند إعادة التعرف عليها، مما يمنع تجزؤ الهوية.
المرحلة 2: WildLIFT-A (التوسيم)
صناديق الإحاطة ثلاثية الأبعاد الآلية: يقوم بملاءمة صناديق الإحاطة ثلاثية الأبعاد الموجهة (OBBs) لكل مجموعة نقاط متتبعة باستخدام تحليل المكونات الرئيسية (PCA).
القيود: يدمج بيانات التوجيه (Telemetry) الخاصة بجيمبال الدرون (الميل الطولي والعرضي) لتقييد المحور الرأسي، مما يثبت التوجه ويحل غموض إشارة PCA.
التحسين بمشاركة العنصر البشري (Human-in-the-Loop): تتيح أداة قائمة على المتصفح للمستخدمين تحسين التوسيم عبر استكمال الإطارات الرئيسية (Keyframe interpolation):
دلاليًا: يقوم المستخدمون بتعيين تسميات (أمام، أعلى، يسار) لوجوه محددة، ويتم استنتاج الوجوه المقابلة تلقائيًا.
الفصل: يتم فصل التصحيح الهندسي عن التوسيم الدلالي، مما يسمح للمستخدمين بإصلاح انقلابات الاتجاه دون الحاجة لإعادة تحرير الملاءمة المكانية.
المرحلة 3: WildLIFT-V (العرض)
تحليل تغطية وجهة النظر: يستخدم تسميات الوجه الدلالية لحساب الرؤية لكل إطار بناءً على حاصل الضرب النقطي بين النواظم (Normals) لـ "الوجه" واتجاه رؤية الكاميرا.
تسجيل الجودة: يولد درجة جودة (Q) مستمرة تجمع بين زاوية الرؤية، والمساحة المسقطة، والمركزية، وتقصير المنظور (Foreshortening) لتحديد الإطارات "النموذجية".
تكميم الحجب: يستخدم اختبارات تقاطع الأشعة مع OBB للتمييز بين الرؤية الهندسية (الوجه موجه نحو الكاميرا) والرؤية الفعلية (الوجه غير محجوب بواسطة حيوانات أخرى).
توليد البيانات الوصفية: ينتج ناقلات التغطية، ومؤشرات التنوع القائمة على إنتروبيا شانون، والدرجات الحرفية (A–F) لتلخيص توزيع وجهات النظر لمجموعات الفيديو الكبيرة.
3. المساهمات الرئيسية
مسار ثلاثي الأبعاد لا يعتمد على النوع: أول إطار عمل يدمج إعادة البناء ثلاثي الأبعاد الكثيف مع التجزئة مفتوحة المفردات للحياة البرية، مما يلغي الحاجة لبيانات تدريب خاصة بكل نوع أو قوالب شبكية (Mesh templates).
تتبع متعدد الحيوانات قوي: يثبت أن الاستدلال الهندسي ثلاثي الأبعاد يتفوق بشكل كبير على أفضل أدوات التتبع ثنائية الأبعاد في السيناريوهات المعقدة (الحجب الطويل، أحداث التقاطع)، محققاً استدعاءً كاملاً وأعلى اتساق للهوية (IDF1).
أداة توسيم فعالة: يقدم أداة تحسين قائمة على الإطارات الرئيسية تقلل من جهد التوسيم اليدوي ثلاثي الأبعاد بنحو 20 ضعفاً مقارنة بتوسيم LiDAR التقليدي، مع نسبة قبول تصل إلى 93% للصناديق (OBBs) الآلية.
بيانات وصفية مدركة لوجهة النظر: يوفر طريقة منهجية لقياس تغطية وجهة النظر وحجب الحيوانات لبعضها البعض، مما يتيح للباحثين تصفية الأرشيفات برمجياً للحصول على مشاهد تشريحية محددة.
القابلية للتوسع: يعمل على أجهزة استهلاكية (6 جيجابايت من ذاكرة VRAM)، مما يجعله متاحاً لمجموعات البحث البيئي التي لا تمتلك مجموعات حوسبة عالية الأداء.
4. النتائج
تم تقييم إطار العمل على 27 تسلسلاً للفيديو تحتوي على 77 فرداً من أربعة أنواع من الثدييات الكبيرة (وحيد القرن، الفيلة، الحمار الوحشي، الزرافة) بإجمالي 2,581 إطاراً موسوماً.
أداء التتبع:
حقق WildLIFT-RT نسبة استدعاء 100% و IDF1 قدره 0.982، متفوقاً على أفضل متتبع ثنائي الأبعاد (BotSORT) بمقدار 2.2 نقطة مئوية.
قلل من تجزؤ الهوية بنسبة 53% مقارنة بأفضل طريقة ثنائية الأبعاد تالية.
في تسلسلات الزرافة التي شهدت حجب نباتي لمدة 30-80 إطاراً، حافظ WildLIFT على الهوية، بينما تعرضت المتتبعات ثنائية الأبعاد لتجزؤ المسارات.
في أحداث تقاطع الحمار الوحشي، حلت الهندسة ثلاثية الأبعاد غموض الهوية حيث تداخلت الأقنعة ثنائية الأبعاد.
كفاءة التوسيم:
93% من صناديق OBB الآلية لم تتطلب أي تصحيح هندسي.
كانت نسبة استكمال الإطارات الرئيسية هي 2.3% فقط (قام المستخدمون بتحرير 14 إطاراً لتوسيم 601 إطاراً).
بلغ إجمالي وقت التوسيم 3.6 ثانية لكل إطار، وهو انخفاض بنحو 20 ضعفاً مقارنة بتوسيم LiDAR اليدوي.
تحليل وجهة النظر:
كشف التحليل الآلي عن تحيزات كبيرة في التغطية (مثل تسلسل قطيع حمار وحشي حيث افتقر 4/5 الأفراد للمناظر الأمامية/اليسرى/العلوية) وهو أمر يستحيل اكتشافه عبر الفحص اليدوي.
تراوحت دقة تصنيف وجهة النظر بين 0.86 و 0.95، مع استدعاء شبه كامل (لا توجد وجوه مرئية مفقودة).
5. الأهمية والأثر
إطلاق العنان للبيانات القديمة: يتيح WildLIFT استخراج بيانات ثلاثية الأبعاد مهيكلة من أرشيفات ضخمة من فيديوهات الدرون ثنائية الأبعاد الموجودة، والتي لم تُجمع أصلاً للتحليل ثلاثي الأبعاد.
أبحاث السلوك: من خلال توفير مسارات ثلاثية الأبعاد دقيقة وبيانات وصفية لوجهة النظر، يدعم إطار العمل الدراسات السلوكية المتقدمة (مثل التفاعلات الاجتماعية، وإعادة تحديد الهوية) التي تتطلب زوايا رؤية محددة وبيانات غير محجوبة.
توليد بيانات التدريب: يكسر المسار "الاعتماد الدائري" في ذكاء الحياة البرية الاصطناعي: فهو يولد بيانات تدريب ثلاثية الأبعاد عالية الجودة (بصيغة KITT) لنماذج الكشف ثلاثي الأبعاد الخاضعة للإشراف مستقبلاً، مما يسرع تطوير أنظمة مراقبة الحياة البرية ذاتية القيادة.
القدرة على التعميم: إن استخدام OBBs والتجزئة مفتوحة المفردات يجعل النظام قابلاً للتطبيق على أي نوع يمكن رصده بواسطة نموذج التجزية، من الحيوانات الضخمة إلى الأنواع الأصغر، دون الحاجة لقوالب شبكية مخصصة.
باختصار، يحول WildLIFT فيديوهات الدرون القياسية ثنائية الأبعاد إلى تمثيلات ثلاثية الأبعاد مهيكلة ومدركة لوجهة النظر، مما يسد الفجوة بين المراقبة الجوية والتحليل البيئي الكمي.