⚡ electrical engineering

Weakly Supervised Detection and Temporal Localization of Whale Calls in Long-Duration Bioacoustic Data

يقدم البحث إطار عمل DSMIL-LocNet، وهو إطار تعلم متعدد الحالات ضعيف الإشراف يتيح كلاً من التصنيف والتحديد الزمني الدقيق لنداءات الحيتان في التسجيلات الصوتية الحيوية طويلة المدة باستخدام ملصقات الوجود/الغياب على مستوى التسجيل فقط، مما يتغلب على قيود القابلية للتوسع التي تفرضها الأساليب الخاضعة للإشراف الكامل والتي تتطلب توصيفات شاملة على مستوى الإطارات.

المؤلفون الأصليون: Ragib Amin Nihal, Benjamin Yen, Runwu Shi, Takeshi Ashizawa, Kazuhiro Nakadai

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ragib Amin Nihal, Benjamin Yen, Runwu Shi, Takeshi Ashizawa, Kazuhiro Nakadai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك عالم أحياء بحرية تحاول الاستماع إلى محادثة حوت. لديك جهاز "هيدروفون" (ميكروفون يعمل تحت الماء) يسجل أصوات المحيط دون توقف لعدة أشهر. هذا يخلق شريطاً ضخماً ومستمراً من الأصوات، يصل حجم بياناته إلى تيرابايتات.

المشكلة: معضلة "الإبرة في كومة القش"
أغلب أصوات المحيط هي ضجيج خلفية هادئ. نداءات الحيتان نادرة وقصيرة مثل "إبر" مخفية داخل "كومة قش" ضخمة من الساعات الصامتة.

لدراسة هذه الحيتان، تحتاج إلى شيئين:

إجابة "نعم/لا": هل حدث نداء حوت في هذه القطعة التي مدتها 30 دقيقة؟
الطابع الزمني الدقيق: متى بالضبط بدأ النداء ومتى انتهى؟

إليك العقدة:

إعطاء تسمية "نعم/لا" لملف مدته 30 دقيقة يستغرق من الخبير البشري ثوانٍ معدودة.
لكن تحديد وقت البداية والنهاية بدقة لكل نداء في نفس الملف يستغرق ساعات من العمل المكثف والدقيق.

إذا كان لديك آلاف الساعات من التسجيلات، فإن مطالبة الخبراء بتحديد كل طابع زمني هو أمر مستحيل؛ لأنه مكلف جداً وبطيء للغاية.

الطريقة القديمة: "الكاميرا المقربة"
البرامج الحاسوبية السابقة (مثل الذكاء الاصطناعي القياسي) كانت تعمل مثل كاميرا لا يمكنها إلا التقاط صور لقطات صغيرة مدتها 10 ثوانٍ فقط. لتحليل تسجيل مدته 30 دقيقة، كان على الكمبيوتر تقطيع التسجيل إلى آلاف القطع الصغيرة، وتحليل كل قطعة منها، ثم محاولة إعادة تجميع النتائج معاً.

العيب: عندما تقطع تسجيلاً طويلاً إلى قطع صغيرة، فإنك تفقد "الصورة الكبيرة". يصاب الكمبيوتر بالارتباك، وتنخفض دقته بشكل حاد في التسجيلات الطويلة. كما أن هذه البرامج القديمة كانت لا تزال بحاجة إلى تلك الطوابع الزمنية التي تستغرق ساعات من عمل الخبراء لتتعلم كيف تعمل.

الحل الجديد: DSMIL-LocNet
ابتكر المؤلفون نظاماً جديداً يسمى DSMIL-LocNet. فكر فيه كأنه محقق ذكي يستخدم استراتيجية مختلفة.

بدلاً من النظر إلى لقطات صغيرة، ينظر المحقق إلى التسجيل الكامل لمدة 30 دقيقة كـ "حقيبة" واحدة من الأدلة.

الإشراف الضعيف (الدليل): يقدم الخبير البشري للمحقق ملاحظة واحدة فقط: "هناك نداء حوت موجود في مكان ما داخل هذه الحقيبة التي مدتها 30 دقيقة". وهو لا يخبر المحقق بمكانه بالضبط.
مفهك "الحقيبة": يعامل الكمبيوتر التسجيل الذي مدته 30 دقيقة كـ "حقيبة" تحتوي على مئات من "النماذج" الأصغر (القطع الزمنية القصيرة).
آلية الانتباه (العدسة المكبرة): ينظر الذكاء الاصطناعي إلى جميع القطع الصغيرة داخل الحقيبة. ويتعلم تخصيص "وزن" أو درجة أهمية لكل قطعة.
- إذا كانت القطعة تبدو كضجيج خلفية، يحصل على درجة منخفضة.
- إذا كانت القطعة تبدو كصوت حوت، يعطيها الذكاء الاصطناعي درجة عالية.
الخدعة السحرية: من خلال تعلم كيفية اختيار القطع ذات "الدرجة العالية" للإجابة على سؤال "نعم/لا" (التصنيف)، يتعلم الذكاء الاصطناعي بالصدفة تحديد أين تقع تلك القطع ذات الدرجات العالية في الزمن (التحديد المكاني/الزمني).

الأمر يشبه معلماً يسأل طالباً: "هل يوجد خطأ مطبعي في هذه المقالة بأكملها؟" فيقوم الطالب بقراءة المقالة كاملة، ويجد الخطأ، ثم يضع حوله دائرة. لم يكن على المعلم أن يشير إلى الخطأ مسبقاً؛ بل استطاع الطالب اكتشاف مكانه بمجرد محاولته الإجابة على سؤال وجود الخطأ.

كيف يعمل (المساران)
يستخدم النظام "مسارين" من المعلومات لضمان عدم تفويت أي شيء:

المسار الأول (المخطط الطيفي - Spectrogram): ينظر إلى الصوت كخريطة بصرية (التردد مقابل الزمن)، مثل رؤية شكل صوت الحوت.
المسار الثاني (الزمني - Temporal): ينظر إلى الإيقاع الخام وطاقة الصوت (مدى قوته، ومدى سرعة تغيره).
من خلال الجمع بين هذين المنظورين، يصبح النظام بارعاً في رصد الحيتان حتى في المياه المليئة بالضجيج.

النتائج: لماذا يهم هذا؟
اختبر الباحثون هذا النظام على بيانات حقيقية من المحيط (تصل إلى 30 دقيقة).

الذكاء الاصطناعي القديم (الإشراف الكامل): عندما يصبح التسجيل طويلاً (أكثر من 300 ثانية)، يصاب الذكاء الاصطناضي القديم بالارتباك وتنهار دقته (لتصل إلى 19% فقط). كما لم يكن بإمكانه إخبارك بمتى غنى الحوت لأنه لم يُدرب على فعل ذلك بدون طوابع زمنية دقيقة.
الذكاء الاصطناعي الجديد (DSMIL-LocNet): حتى في التسجيلات التي تصل لـ 30 دقيقة، حافظ على دقة عالية (88-91% نسبة نجاح). والأهم من ذلك، كان بإمكانه إخبارك بالضبط متى نادى الحوت، رغم أنه تم تعليمه فقط باستخدام تسميات "نعم/لا" البسيطة.

الخلاصة
تثبت هذه الورقة البحثية أنك لست بحاجة إلى تسميات خبيرة مكلفة تستغرق ساعات لتحديد الأوقات بدقة للعثور على نداءات الحيتان وتوقيتها. يمكنك تدريب ذكاء اصطناعي قوي باستخدام تسميات "نعم/لا" السريعة والرخيصة، وسيقوم الذكاء الاصطناعي بتحديد التوقيت الدقيق من تلقاء نفسه. وهذا يجعل تحليل شهور من تسجيلات المحيط أمراً ممكناً لأول مرة على نطاق واسع.

ملخص تقني: الكشف والتموضع الزمني لنداءات الحيتان باستخدام الإشراف الضعيف

بيان المشكلة
تنتج أنظمة الرصد الصوتي السلبي (PAM) تسجيلات مستمرة ومتعددة الأشهر للمناظر الصوتية البحرية، والتي يصل حجمها غالباً إلى تيرابايت من البيانات. وبينما يعد اكتشاف نداءات الحيتان أمراً حيوياً لمراقبة الجماعات وحماية البيئة (دعمًا للهدف 14 من أهداف التنمية المستدامة)، إلا أن التحليل الآلي يواجه عقبة كبيرة: تكلفة التوسيم (Annotation). تتطلب مناهج التعلم العميق الحالية، وبشكل أساسي الشبكات العصبية الالتفافية (CNNs)، جهدين منفصلين ومكلفين للتوسيم: تسميات ثنائية (وجود/غياب) للتصنيف، وتحديد حدود زمنية دقيقة (وقت البداية والنهاية) للتموضع.

التباين: يستغرق تعيين تسمية ثنائية لتسجيل مدته 30 دقيقة ثوانٍ معدودة، بينما يتطلب تحديد الطوابع الزمنية لكل نداء فردي داخل ذلك التسجيل ساعات من جهد الخبراء.
قصور المناهج الحالية: تعمل الشبكات العصبية الالتفافية القياسية والنماذج التأسيسية عادةً على مدخلات ذات حجم ثابت وقصيرة المدة (على سبيل المثال، ≤ 15 ثانية). ولمعالجة التدفقات طويلة المدة (دقائق إلى ساعات)، تعتمد هذه الأساليب على ضغط زمني أو استدلالات اختيار النوافذ، مما يؤدي إلى تدهور الأداء ويفشل في توفير التموضع الزمني دون إشراف على مستوى الإطار (frame-level). وبناءً على ذلك، تعاني النماذج الخاضعة للإشراف الكامل من انخفاض كبير في الأداء (على سبيل المثال، انخفاض درجات F1 من ~0.8 إلى ~0.2 في التسجيلات التي تبلغ 1800 ثانية) ولا يمكنها تحديد مواقع النداءات دون توسيم دقيق على مستوى الحالة (instance-level).

المنهجية: DSMIL-LocNet
يقترح المؤلفون DSMIL-LocNet (شبكة التعلم متعدد الحالات مزدوجة المسار للتموضع - Dual-Stream Multiple Instance Learning-Localization Network)، وهو إطار عمل للإشراف الضعيف يقوم بكل من التصنيف والتموضع الزمني باستخدام تسميات وجود/غياب على مستوى التسجيل (مستوى الحقيبة - bag-level) فقط.

صياغة التعلم متعدد الحالات (MIL):
- يُعامل كل تسجيل طويل المدة كـ "حقيبة" ( $B_i$ ) تحتوي على عدة مقاطع قصيرة غير متداخلة تسمى "حالات" ( $x^j_i$ ).
- يتلقى النموذج تسمية ثنائية واحدة فقط $y_i \in \{0, 1\}$ للحقيبة بأكملها (تشير إلى ما إذا كان أي نداء موجوداً أم لا)، بينما تظل تسميات الحالات المحددة مجهولة (كامنة) أثناء التدريب.
- الهدف هو تعلم أوزان الانتباه ( $\alpha^j_i$ ) التي تخصص احتمالية عالية للحالات التي تحتوي على نداءات واحتمالية منخفضة لضوضاء الخلفية.
البنية مزدوجة المسار:
- المسار الطيفي (Spectral Stream): يعالج مخططات ميل (Mel-spectrograms) (المشتقة من تحويل STFT) باستخدام مشفر CNN مع كتل متبقية (residual blocks) لالتقاط التعديل الترددي.
- المسار الزمني (Temporal Stream): يعالج الميزات الزمنية المصنوعة يدوياً والمستخرجة مباشرة من الموجة الصوتية، بما في ذلك طاقة جذر متوسط المربع (RMS)، ومعدل عبور الصفر (ZCR)، وذروة السعة، وإحصائيات الغلاف، والمركز الزمني.
- الدمج (Fusion): تقوم وحدة دمج بوزن ودمج الميزات من كلا المسارين ديناميكياً للتكيف مع ظروف الضوضاء المتغيرة وأنواع النداءات المختلفة.
الانتباه والتموضع:
- يستخدم النموذج آلية انتباه حيث يتم حساب الوزن $\alpha^j_i$ لكل حالة عبر دالة softmax على الحقيبة.
- التصنيف: تنبؤ الحقيبة هو مجموع مرجح لتمثيلات الحالات (embeddings).
- التموضع: يتم تحقيق التموضع الزمني من خلال تحديد الحالات التي يتجاوز فيها وزن الانتباه $\alpha^j_i$ عتبة معينة. وهذا يسمح للنموذج بإخراج الطوابع الزمنية دون رؤية أي تسميات على مستوى الإطار أثناء التدريب.
دالة الخسارة (Loss Function):
تجمع هدف التدريب بين أربعة مكونات لمعالجة تحديات محددة في علم الصوتيات الحيوية طويل المدة:
- الخسارة الثنائية المتقاطعة المركزة (Focal Binary Cross-Entropy - $L_{BCE}$ ): تعالج عدم التوازن في الفئات (النداءات الإيجابية النادرة).
- النعومة الزمنية (Temporal Smoothness - $L_{temp}$ ): تشجع على وجود انتباه متماسك عبر الحالات المتجاورة لتعكس استمرارية النداء.
- التشتت (Sparsity - $L_{sparsity}$ ): تضمن تركيز النموذج على جزء صغير من المقاطع ذات الصلة.
- اتساق الحالة (Instance Consistency - $L_{inst}$ ): تعزز تمثيلات الميزات المتسقة.

المساهمات الرئيسية

صياغة الإشراف الضعيف: صاغ المؤلفون تحليل نداءات الحيتان طويلة المدة كمسألة MIL تتطلب فقط تسمية ثنائية واحدة لكل تسجيل متعدد الدقائق، مما يلغي الاعتماد على التوسيم المكلف على مستوى الحالة.
البنية مزدوجة المسار: قدموا شبكة تجمع بين ميزات CNN الطيفية والميزات الزمنية المصنوعة يدوياً، باستخدام دالة خسارة متعددة المكونات للتعامل مع تشتت الانتباه، وعدم التوازن في الفئات، والتماسك الزمني في الحقائب الطويلة.
التصنيف والتموضع المتزامن: يثبت الإطار أن مجموعة واحدة من أوزان الانتباه المتعلمة يمكن أن تخدم كلاً من تصنيف مستوى الحقيبة والتموضع الزمني على مستوى الحالة.

النتائج التجريبية
تم تقييم الطريقة على مكتبة AcousticTrends BlueFinLibrary، التي تضم 1,880.25 ساعة من تسجيلات الحيتان في القارة القطبية الجنوبية مع ضوضاء خلفية عالية (73–99.9%).

الأداء على المدد الطويلة: حقق DSMIL-LocNet درجات F1 تتراوح بين 0.88 و0.91 في التسجيلات التي تتراوح مدتها بين 300 و1800 ثانية. وفي المقابل، تدهورت نماذج CNN المرجعية الخاضعة للإشراف الكامل (مثل ANIMAL-SPOT وDeepWhaleNet، إلخ) بشكل كبير إلى درجات F1 تتراوح بين 0.19 و0.64 عند هذه المدد بسبب فقدان المعلومات الناتج عن الضغط الزمني.
قدرة التموضع: على عكس النماذج المرجعية الخاضعة للإشراف، والتي لم توفر تموضعاً زمنياً بدون توسيم إضافي، نجح DSMIL-LocNet في تحديد مواقع النداءات.
مقايضات المدة:
- التصنيف: تحسن الأداء مع زيادة مدة الحقيبة (حتى 1800 ثانية) مع زيادة احتمالية احتواء الحقيبة على نداء.
- التموضع: بلغت الدقة ذروتها عند مدد الحقيبة الأقصر (60–120 ثانية)، وتدهورت قليًا عند المدد الأطول (0.5–0.6 عند 600 ثانية) بسبب تشتت الانتباه عبر المزيد من الحالات. ومع ذلك، يشير المؤلفون إلى أن التموضع منخفض الدقة لا يزال أكثر قيمة من "عدم وجود تموضع" الذي توفره النماذج المرجعية القوية على المدد الطويلة.
دراسة الاستئصال (Ablation Study): أدى إزالة تصميم المسار المزدوج أو دالة الخسارة متعددة المكونات إلى انخفاض كبير في الأداء، مما يؤكد ضرورة التكامل بين الطيفي/الزمني وقيود الخسارة المحددة.

الأهمية والادعاءات
يزعم البحث أن DSMIL-LocNet يقدم حلاً عملياً لعمليات الرصد الصوتي السلبي (PAM) واسعة النطاق حيث يكون وقت الخبراء محدوداً. فمن خلال تمكين الكشف والتموضع من تسميات غير مكلفة على مستوى التسجيل، يسد هذا المنهج الفجوة بين تحسين النماذج ذات المقاطع القصيرة وواقع المراقبة المستمرة وطويلة المدة في البيئة البحرية.

يؤكد المؤلفون أن هذا النهج لا يقتصر على علم الصوتيات الحيوية البحرية، بل يقترحون أن المبدأ الأساسي — تحويل التسميات غير المكلفة على مستوى الحقيبة إلى تنبؤات زمنية مهيكلة — ينطبق على أي مجال يتميز بتدفقات بيانات مستمرة، وأحداث مستهدفة نادرة، وتكاليف توسيم عالية، مثل علم الزلازل، وعلم الصوتيات الطبية، ومسوحات التنوع البيولوجي البري. يوضح العمل أن الإشراف الضعيف يمكن أن يوفر قدرات (التصنيف والتموضع المشترك على مدد طويلة) تفشل البنى ذات المدخلات الثابتة الخاضعة للإشراف القوي في دعمها.

أبحاث مشابهة