ملخص تقني: الاستقصاء الانتباهي متعدد الطبقات للمؤشرات الصوتية الحيوية

بيان المشكلة

تعتمد أبحاث الصوتيات الحيوية (Bioacoustics) بشكل كبير على مشفرات التعلم العميق لتعلم التمثيلات من أصوات الحيوانات لمهام مثل تصنيف الأنواع، والكشف، وتحديد الأفراد. ومع ذلك، فإن معايير التقييم الحالية (مثل BEANs وBirdSet) تعتمد في الغالب على استراتيجية استقصاء ثابتة ومنخفضة السعة: طبقة خطية بسيطة تُطبق فقط على طبقة المشفر النهائية. يجادل المؤلفون بأن هذا التوحيد، رغم أنه يتيح المقارنة، يؤدي إلى تحيز كبير. فمن خلال تثبيت تصميم المستقصي (probe)، قد تخلط المعايير بين جودة المشفر وبنية المستقصي، مما قد يؤدي إلى التقليل من قدر النماذج التي تتوزع فيها المعلومات المفيدة عبر طبقات أو خطوات زمنية متعددة، والمبالغة في تقدير تلك التي لا تفعل ذلك. تشير هذه المشكلة، التي لوحظت سابقاً في تعلم تمثيلات الكلام، إلى أن معايير الصوتيات الحيوية الحالية قد تعطي صورة مضللة للقدرات الحقيقية للتمثيلات المتعلمة.

المنهجية

يقترح البحث إطار عمل تقييمي منهجي لفصل آثار بنية النموذج الأساسي، ونموذج التدريب (التعلم ذاتي الإشراف [SSL] مقابل التعلم تحت الإشراف [SL])، واستراتيجيات الاستقصاء. تستخدم الدراسة معيارين رئيسيين: BEANs (يغطي فئات ومهام متنوعة) وBirdSet (يركز على كشف أنواع الطيور مع تغير النطاق).

تقارن عملية التقييم ثلاث استراتيجيات رئيسية:

1. استقصاء الطبقة الأخيرة (Last-Layer Probing): النهج القياسي حيث يتم تجميد معاملات النموذج الأساسي، ويتم تدريب المستقصي فقط على تمثيلات الطبقة النهائية.
2. الاستقصاء متعدد الطبقات (Multi-Layer Probing): يتم استخراج التمثيلات من جميع كتل النموذج الأساسي. وللتعامل مع الأبعاد غير المتجانسة للطبقات (على سبيل المثال، بين الشبكات العصبية الالتفافية CNNs والمحولات Transformers)، قدم المؤلفون وحدات تكييف (adapter modules). تقوم هذه الوحدات بإسقاط مخرجات الطبقات إلى تنسيق ثنائي الأبعاد موحد $(T_{max}, F_{max})$ عبر الإسقاط الخطي والاستكمال (interpolation). ثم يتم تجميع التمثيلات باستخدام مجموع مرجح، حيث يتم تعلم الأوزان ($\alpha_l$) عبر تطبيع "softmax"، مما يسمح للنموذج بتحديد الطبقات الأكثر أهمية لمهمة معينة.
3. الضبط الدقيق الكامل (Fully Fine-Tuning): خط الأساس الأعلى أداءً حيث يتم تحديث النموذج الأساسي بالكامل ورأس المستقصي أثناء التدريب.

ضمن هذه الاستراتيجيات، يتم تقييم بنيتين لرأس المستقصي:

• المستقصيات الخطية (Linear Probes): تقوم بمتوسط التمثيلات عبر البعد الزمني وتطبق طبقة خطية واحدة.
• مستقصيات الانتباه (Attention Probes): تستخدم الانتباه الناعم (soft attention) لتخصيص أوزان قابلة للتعلم لخطوات الزمن، مع الحفاظ على التبعيات الزمنية قبل المرور عبر طبقة التطبيع (layer normalization) والإسقاط (dropout).

تختبر الدراسة مجموعة متنوعة من النماذج الأساسية، بما في ذلك نماذج SSL (مثل BEATs، EAT، BirdAVES) ونماذج SL (مثل EfficientNet، ونماذج BEATs/EAT بعد التدريب النهائي)، مع تنوع في البنية (المحولات مقابل CNN) وبيانات ما قبل التدريب.

النتائج الرئيسية

تنتج التجارب عدة نتائج حاسمة فيما يتعلق بنقل التمثيلات الصوتية:

• تفوق الاستقصاء متعدد الطبقات: عبر جميع النماذج والمعايير المختبرة، أدى استخراج وتجميع التمثيلات من جميع الكتل باستمرار إلى تفوق الاعتماد فقط على الطبقة الأخيرة. بالنسبة للنماذج المحولة (Transformer)، أدى الاستقصاء متعدد الطبقات إلى تحسين دقة التصنيف والكشف في BEANs بنحو 00.08 وفي BirdSet (mAP) بنحو 0.03. وبالنسبة لـ EfficientNet (وهي شبكة CNN)، كان التحسن أكثر وضوحاً (0.09 في دقة BEANs). يشير هذا إلى أن المعلومات ذات الصلة بالمهام اللاحقة موزعة عبر الشبكة، وليس فقط عند المخرج.
• مستقصيات الانتباه لنماذج SSL: تفوقت مستقصيات الانتباه بشكل كبير على المستقصيات الخطية عند اقترانها بالنماذج المحولة القائمة على SSL (مثل BEATs، EAT، BirdAVES). ويعزو المؤلفون ذلك إلى طبيعة تدريب SSL، الذي ينمذج صراحة التبعيات الزمنية في الصوت. أما المستقصيات الخطية، التي تعتمد على متوسط الوقت، فهي تهمل هذه التبعيات. وعلى العكس من ذلك، لم تحقق مستقصيات الانتباه تحسينات لـ EfficientNet (CNN)، ويرجع ذلك على الأرجاً لأن شبكات CNN تعامل المخططات الطيفية (spectrograms) كصور ثنائية الأبعاد بدلاً من نمذجة التسلسلات الزمنية صراحة بنفس الطريقة.
• التخصص الطبقي (Layer Specialization): كشف تحليل أوزان الطبقات المتعلمة عن أنماط متميزة بين نماذج SSL ونماذج SL. بالنسبة لنماذج SL المدربة على بيانات الطيور، أصبحت الطبقات العليا متخصصة للغاية لمهام تصنيف الطيور. في المقابل، اعتمدت نماذج SSL بشكل أكبر على الطبقات الوسطى لمهام الطيور، بينما كانت الطبقات الدنيا أكثر أهمية لمهام محددة مثل تحديد الأفراد من الخفافيش. يشير هذا إلى أن نماذج SSL تحافظ على تمثيل أكثر توزيعاً للمعرفة مقارنة بالتمثيلات المتخصصة في المهام لنماذج SL.
• الضبط الدقيق الكامل: كما هو متوقع، وفر الضبط الدقيق الكامل أفضل أداء، لا سيما لنماذج SSL، ولكن بتكلفة حوسبية أعلى بكثير.

الأهمية والادعاءات

يزعم الورقة أن الممارسة السائدة لاستخدام مستقصيات خطية بسيطة في طبقة الأخيرة في معايير الصوتيات الحيوية تخاطر بتقديم تقييم غير دقيق لجودة المشفر. يجادل المؤلفون بأن:

1. المعايير بحاجة إلى تطور: يجب أن تتبنى معايير الصوتيات الحيوية إعدادات استقصاء أغنى، وتحديداً الاستقصاء متعدد الطبقات ورؤوس الانتباه، لتعكس بشكل أفضل قدرات المشفرات الحديثة.
2. السياق مهم: تعتمد استراتيجية الاستقصاء المثلى على بنية النموذج الأساسي ونموذج التدريب. وتحديداً، فإن اقتران نماذج Transformer القائمة على SSL مع مستقصيات الانتباه يعظم الاستفادة من أنماطها الزمنية المتعلمة.
3. توصيات عملية: يجب على الممارسين استخدام المستقصيات متعددة الطبقات للمهام التي تتجاوز مجرد تصنيف أنواع الطيور، واستخدام رؤوس الانتباه عند العمل مع نماذج Transformer القائمة على SSL.

يخلص المؤلفون إلى أن عملهم يوفر تقييماً أكثر شمولاً لخيارات التصميم لنقل التمثيلات في الصوتيات الحيوية، ويدعون إلى جعل كود البرمجة الخاص بهم مفتوح المصدر لتسهيل معايير التقييم المحسنة هذه.