WildFin: An In-the-Wild Dataset for Fish Behavioral Recognition
تقدم هذه الورقة WildFin، وهي مجموعة بيانات ضخمة وموسومة من قبل خبراء لسلوك الأسماك في بيئتها الطبيعية تشمل نماذج تسجيل ثابتة وديناميكية، والتي تعمل كمعيار للكشف عن فجوات أداء كبيرة في نماذج الرؤية الحاسوبية الحالية فيما يتعلق بالتحليل الإيكولوجي المعقد تحت الماء.
المؤلفون الأصليون:Abigail G. Grassick, Jerome Tze-Hou Hsu, Ethan Lin, Ziang Liu, Max Whitton, Madelyn Hair, Liam Gutierrez, Haozheng Yu, Kristin Branson, Vivek Jayaraman, Michael A. Gil, Andrew M. Hein, Jennifer J. Sun
المؤلفون الأصليون: Abigail G. Grassick, Jerome Tze-Hou Hsu, Ethan Lin, Ziang Liu, Max Whitton, Madelyn Hair, Liam Gutierrez, Haozheng Yu, Kristin Branson, Vivek Jayaraman, Michael A. Gil, Andrew M. Hein, Jennifer J. Sun
تعتمد صحة محيطاتنا على الحياة اليومية للكائنات التي تسكنها. ولفهم كيفية بقاء الشعاب المرجانية، أو كيف تجد الأسماك طعامها، أو كيف تتفاعل الأنواع مع بعضها البعض، يجب على العلماء مراقبة سلوكياتها الطبيعية. لعقود من الزمن، تطلبت هذه المراقبة من الباحثين قضاء ساعات لا حصر لها تحت الماء، يراقبون ويدونون الملاحظات يدوياً. واليوم، غيرت التكنولوجيا حجم هذا العمل؛ إذ يمكن للكاميرات المثبتة على الشعاب المرجانية أو التي يحملها الغواصون الآن تسجيل آلاف الساعات من الفيديو، مما يلتقط الواقع المعقد والفوضوي للعالم تحت الماء. ومع ذلك، فقد خلق هذا الوفرة في اللقطات مشكلة جديدة؛ فالحجم الهائل للبيانات يفوق قدرة الخبراء البشريين على المراجعة يدوياً، ومع ذلك غالباً ما تفشل الأدوات الآلية المتاحة حالياً عند مواجهة الظروف الضبابية والمتغيرة والمزدحمة للشعاب المرجانية الحقيقية. إن الفجوة بين البيانات التي يمكننا جمعها والقدرة على تحليلها قد أدت إلى عرقلة التقدم في علوم البحار.
ولسد هذه الفجوة، قدم فريق من الباحثين من جامعة كورنيل، وجامعة كولورادو بولدر، ومعهد هاوارد هيوز الطبي، مورداً جديداً يسمى "WildFin". هذا ليس مجموعة من مقاطع الفيديو المثالية ذات النمط المختبري، بل هو مجموعة بيانات ضخمة ومنسقة بعناية من لقطات حقيقية تحت الماء. أمضى الباحثون 1350 ساعة في الميدان و600 ساعة أخرى مع خبراء لتصنيف سلوك الأسماك إطاراً تلو الآخر. والنتيجة هي معيار مرجعي يحتوي على أكثر من تسع ساعات من الفيديو عالي الدقة وأكثر من مليوني تسمية فردية. تلتقط هذه الفيديوهات الأسماك في سيناريوهين مختلفين تماماً: أحدهما حيث تراقب كاميرات ثابتة مجموعات كبيرة من الأسماك مقابل خلفية مرجانية، والآخر حيث يتبع الغواصون سمكة واحدة أثناء سباحتها عبر موائل متغيرة. كان الهدف هو إنشاء اختبار واقعي لرؤية الحاسوب، مما يجبر الذكاء الاصطناعي على مواجهة نفس الصعوبات التي يواجهها المراقبون البشر، مثل ضعف الرؤية، والحركة السريعة، والتداخل المستمر للعديد من الأسماك في إطار واحد.
استخدم الباحثون مجموعة البيانات هذه لاختبار أكثر نماذج رؤية الحاسوب تقدماً المتاحة اليوم. أرادوا معرفة ما إذا كانت هذه الأنظمة القوية، التي تم تدريبها على مليارات الصور ومقاطع الفيديو من الإنترنت، يمكنها حقاً فهم سلوك الأسماك في البرية. كانت النتائج كاشفة؛ حيث وجدت الدراسة أن النماذج المصممة لفهم الوقت والحركة — تلك التي تنظر إلى تسلسل من الإطارات بدلاً من مجرد صورة واحدة — أدت أداءً أفضل بشكل عام. ويعود ذلك إلى أن العديد من سلوكيات الأسماك، مثل الهجوم المفاجئ أو جلسة التغذية الطويلة، تُعرف بكيفية تحرك الحيوان بمرور الوقت، وليس فقط بما يبدو عليه في لحظة واحدة. ومع ذلك، أظهرت الدراسة أيضاً أنه بالنسبة لبعض السلوكيات، التي تتعلق في الغالب بما تبدو عليه السمكة في لحظة محددة، فإن النماذج الأبسط القائمة على الصور كانت تعمل بشكل جيد تماماً. وهذا يشير إلى عدم وجود أداة واحدة "مثلى" للمهمة؛ فالنهج الصحيح يعتمد كلياً على السلوك المحدد الذي تتم دراسته.
وعلى الرغم من هذه التطورات، تؤكد الورقة البحثية أن التكنولوجيا الحالية ليست جاهزة بعد لاستبدال الخبراء البشريين بالكامل. فحتى أفضل النماذج واجهت صعوبة مع الجوانب الأكثر تعقيداً في البيئة تحت المائية. فغالباً ما فشلت في التمييز بين الأفعال المتشابهة أو في تتبع سمكة عندما تختفي لفترة وجيزة خلف سمكة أخرى. وسلط الباحثون الضوء على تحدٍ محدد يتعلق بالبيانات نفسها: ففي البرية، السلوكيات النادرة لا تقل أهمية عن السلوكيات الشائعة، لكنها تحدث بشكل غير متكرر مما يجعل الحواسيب نادراً ما تحصل على أمثلة كافية لتعلمها. وأظهرت الدراسة أن طرق التدريب القياسية غالباً ما تتجاهل هذه الأحداث النادرة، وتركز فقط على السلوكيات الشائعة التي تهيمن على اللقطات. اختبر الفريق تقنيات مختلفة لإصلاح هذا الخلل، ووجد أن بعض الطرق ساعدت النماذج على إعطاء المزيد من الاهتمام للأفعال النادرة، رغم أن المشكلة لا تزال قائمة.
في نهاية المطاف، يعمل "WildFin" كاختبار واقعي صارم لمجال الذكاء الاصطناعي. فهو يثبت أنه بينما تصبح الحواسيب أفضل في "الرؤية"، إلا أنها لا تزال تفتقر إلى الفهم العميق والسياقي الذي يمتلكه علماء البيئة البشر. وتثبت مجموعة البيانات أن الطبيعة الفوضوية وغير المتوقعة للعالم الحقيقي أصعب بكثير في المعالجة من البيئات المحكومة للدراسات السابقة. ومن خلال توفير مجموعة قياسية من الأمثلة الواقعية الصعبة، يأمل الباحثون في توجيه التطوير المستقبلي نحو نماذج يمكنها حقاً التعامل مع تعقيدات الحياة البحرية. لا يدعي هذا العمل حل مشكلة التحليل الآلي للأسماك، ولكنه قدم أول خريطة واضحة لمكان وقوف التكنولوجيا اليوم وإلى أين يجب أن تذهب بالضبط لتصبح أداة مفيدة لحماية محيطاتنا.
ملخص تقني: WildFin: مجموعة بيانات للتعرف على سلوك الأسماك في البيئات الطبيعية
بيان المشكلة
يواجه مجال الإيكولوجيا البحرية حاليًا عقبة حرجة: فبينما أحدثت أنظمة الفيديو القابلة للنشر ميدانيًا ثورة في حجم جمع البيانات، إلا أن حجم اللقطات يتجاوز بكثير القدرة البشرية على التحليل اليدوي. وتكافح حلول الرؤية الحاسوبية الحالية لسد هذه الفجوة لأن النماذج الحالية، التي غالبًا ما يتم تدريبها على مجموعات بيانات مخبرية أو برية محكومة، تفشل في البيئات المائية المعقدة "في الطبيعة" (in-the-wild). وتفرض هذه البيئات تحديات فريدة، بما في ذلك الإضاءة الديناميكية، والتشتت الخلفي (back-scatter)، ووضوح المياه المتغير، والانسداد متعدد الوكلاء الشديد، والافتقار إلى المعالم التشريحية الثابتة للأسماك. علاوة على ذلك، فإن المعايير العامة المتاحة حاليًا لسلوك الحيوان شحيحة، لا سيما فيما يتعلق بالتحليل القائم على الفيديو، وغالبًا ما تفتقر إلى التصنيفات السلوكية الدقيقة والموسومة من قبل الخبراء والمطلوبة للاكتشاف الإيكولوجي.
المنهجية
لمعالجة هذه الفجوات، قدم المؤلفون WildFin، وهو معيار جديد مشتق من بيانات إيكولوجية ميدانية حقيقية بدلاً من كونه مخصصًا خصيصًا للرؤية الحاسوبية. تتكون مجموعة البيانات من حوالي 9.2 ساعة من الفيديو عالي الدقة (1080p و4K) تحتوي على أكثر من مليوني تسمية (label) لكل إطار، موسومة من قبل خبراء عبر 23 فئة سلوكية.
تكوين مجموعة البيانات
تم هيكلة WildFin حول نموذجين متميزين لجمع البيانات يعكسان البروتوكولات الإيكولوجية القياسية:
CoralCam (ثابت): 1.2 ساعة من الفيديو متعدد الوكلاء من 12 موطنًا للشعاب المرجانية. تلتقط هذه المجموعة الفرعية أسرابًا من نوع Azurina multilineata (الكروميس البني) باستخدام كاميرات ثابتة مثبتة على حامل ثلاثي القوائم. يتضمن خط أنابيب التوسيم (annotation pipeline) كشف الأجسام (YOLOv8)، وتتبع الأجسام المتعددة (BoTSort)، والتحقق الخبير من 213 مسارًا لسلوكيات مثل التغذية (عض/فتح/إغلاق) والعدوانية (الهجوم).
FishFollow (ديناميكي): 8 ساعات من فيديو التتبع البؤري (focal-follow) الذي يتتبع أفرادًا منفردين (سمك الببغاء وسمك الجراح) باستخدام كاميرات محمولة باليد. هذا يحاكي لقطات الغواصين أو العلماء المواطنين، ويتميز بحركة الكاميرا الذاتية المستمرة، وتغيرات سريعة في زاوية الرؤية، وخلفيات ديناميكية. تغطي التوسيمات 20 سلوكًا تشمل التفاعلات الاجتماعية، والأفعال المنفردة، والتفاعلات مع الموطن.
بروتوكول الاختبار المعياري (Benchmarking)
يقيم المؤلفون مجموعة متنوعة من نماذج التأسيس الرؤية (vision foundation models) والبنى الهيكلية لقياس المقايضات بين النهج الاستاتيكي والنهج الزماني المكاني (spatiotemporal).
النماذج الأساسية (Backbones): تقارن الدراسة بين نماذج التأسيس ذات التعلم الذاتي الحديثة (DINOv3, VideoMAE, V-JEPA 2) مقابل نموذج مرجعي كلاسيكي خاضع للإشراف (ResNet50).
البنى الهيكلية: تقيم الدراسة التباين بين المعالجة الاستاتيكية (إطار بإطار) باستخدام نماذج أصلها الصور، مقابل المعالجة الزمانية المكانية باستخدام نماذج أصلها الفيديو (مقاطع من 16 إطارًا).
استراتيجيات التكيف: يتم اختبار النماذج باستخدام نماذج أساسية مجمدة (frozen backbones) مع رؤوس تجميع خفيفة الوزن (Mean Pooling مقابل Cross-Attention Pooling) ونموذج ResNet50 تم ضبطه بالكامل (fully fine-tuned).
عدم توازن الفئات: نظرًا للتوزيع طويل الذيل للسلوكيات الإيكولوجية، اختبر المؤلفون تقنيات مثل العينات المتوازنة (Balanced Sampling) وفقدان التركيز (Focal Loss) للتخفيف من هيمنة السلوكيات الشائعة على السلوكيات النادرة ذات الأهمية الإيكولوجية.
المقاييس: يتم قياس الأداء باستخدام متوسط F1 الكلي (macro-averaged F1)، والدقة (precision)، والاستدعاء (recall)، مع سماحية زمنية قدرها 7 إطارات (حوالي ±0.1 ثانية عند 60 إطارًا في الثانية) لمراعاة الغموض في حدود السلوكيات.
النتائج الرئيسية
تكشف نتائج الاختبار المعياري عن فجوات كبيرة بين قدرات النماذج الحالية ومتطلبات التحليل تحت المائي في العالم الحقيقي:
الإشارات الزمنية مقابل الإشارات الاستاتيكية: تتفوق النماذج التي تلتقط الديناميكيات الزمانية المكانية بشكل صريح (VideoMAE, V-JEPA 2) عمومًا على النماذج القائمة على الصور، لا سيما بالنسبة للسلوكيات القائمة على التفاعل مثل العدوانية. على سبيل المثال، فشلت النماذج القائمة على الصور في اكتشاف فئة "العدوانية" في CoralCam، بينما حققت نماذج الفيديو أداءً ملموسًا. ومع ذلك، بالنسبة للسلوكيات المحددة بلقطات بصرية استاتيكية (مثل "العض" أو "الموطن")، ظلت النماذج القائمة على الصور تنافسية، مما يشير إلى أن المعلومات الزمنية ليست مطلوبة عالميًا لجميع الفئات السلوكية.
نماذج التأسيس مقابل الشبكات العصبية التلافيفية (CNNs) المضبوطة بدقة: في مجموعة CoralCam الأبسط والثابتة، كان نموذج ResNet50 الذي تم ضبطه بالكامل تنافسيًا بشكل مفاجئ، بل وتفوق على نموذج DINOv3-L المجمد. ومع ذلك، في مجموعة FishFollow الأكثر تعقيدًا وديناميكية، بدا أن نموذج ResNet50 الذي تم ضبطه بالكامل يعاني من الإفراط في التخصيص (overfitting)، بينما أثبتت الميزات القوية والمجمدة لنموذج DINOv3-L تفوقها.
التخفيف من عدم توازن الفئات: أدى تطبيق فقدان التركيز (Focal Loss) عمومًا إلى تحسين الأداء من خلال تعزيز الاستدعاء للسلوكيات النادرة، رغم أنه أدى أحيانًا إلى الإفراط في التخصيص للفئات النادرة للغاية (مثل العدوانية في CoralCam). كما كان أخذ العينات المتوازنة (Balanced Sampling) أمرًا بالغ الأهمية، حيث أدى أخذ العينات العشوائي إلى أداء يقترب من الصفر في السلوكيات النادرة.
قيود مجموعة البيانات: يشير المؤلفون إلى أن مسار CoralCam عرضة لانتشار الخطأ من مرحلة كشف الأجسام الأولية (AP@0.5 بلغ 74.5)، كما تفتقر مجموعة FishFollow إلى التحديد المكاني الصريح (صناديق الإحاطة)، مما يجبر النماذج على الاعتماد على أولويات تمركز الكاميرا الضمنية والتي يمكن أن تفشل أثناء حالات الانسداد.
الأهمية والادعاءات
تضع الورقة البحثية WildFin ليس مجرد مجموعة بيانات، بل كمنصة اختبار صارمة لتعلم التمثيل الزماني المكاني تحت ظروف إيكولوجية واقعية. ويدعي المؤلفون أن المساهمة الأساسية لـ WildFin هي تمثيل الطبيعة "الفوضوية" لبيانات الإيكولوجيا في العالم الحقيقي، بما في ذلك الإضاءة الديناميكية، والانسداد، وبروتوكولات الجمع المتنوعة.
وتجادل الدراسة بأن:
نماذج التأسيس الرؤية الحالية، رغم قوتها، لا تزال تواجه فجوة كبيرة عند نشرها في البيئات البحرية المعقدة.
نهج "الحجم الواحد الذي يناسب الجميع" غير كافٍ؛ إذ تتطلب الفئات السلوكية المختلفة استراتيجيات استدلال بصري مختلفة جذريًا (المظهر الاستاتيكي مقابل الديناميكيات الزمنية).
إن الاختبار المعياري على بيانات تم جمعها عبر بروتوكولات إيكولوجية قياسية (بدلاً من كونها منسقة خصيصًا للرؤية الحاسوبية) أمر ضروري لإعداد طرق الرؤية الحاسوبية للنشر العلمي الحقيقي.
معالجة عدم توازن الفئات وتطوير طرق فعالة للبيانات ومدركة لعدم التوازن هي متطلبات أساسية مسبقة للفهم الآلي لسلوك الأسماك في الإعدادات الإيكولوجية.
يخلص المؤلفون إلى أن WildFin تسهل البحث في التقاطع بين الإيكولوجيا البحرية وفهم الفيديو، مما يوفر البنية التحتية اللازمة للانتقال من المختبرات المحكومة نحو التحليل القابل للتوسع والآلي للأنظمة البيئية البحرية.