Robust Audio-Text Retrieval via Cross-Modal Attention and Hybrid Loss

ملخص تقني: استرجاع صوتي-نصي قوي عبر الانتباه المتبادل عبر الوسائط وفقدان هجين

1. بيان المشكلة

تعتمد نماذج استرجاع الصوت والنص الحالية (مثل CLAP وWav2CLIP) بشكل أساسي على التعلم التبايني (Contrastive Learning) ضمن إطار عمل المشفر المزدوج (Dual-Encoder). ورغم فعاليتها، تواجه هذه النماذج ثلاثة تحديات حرجة:

• ندرة التوصيف وضعف الإشراف: غالبًا ما تحتوي التسجيلات الصوتية في العالم الحقيقي على أحداث متعددة ومتداخلة (مثل المطر، والطيور، والثرثرة)، لكن التوصيفات النصية (Captions) قد تصف مجموعة فرعية منها فقط. يؤدي هذا إلى "عدم تطابق في الإشراف"، حيث تُعامل الأزواج ذات الصلة دلاليًا كأزواج سالبة (Negatives) بشكل خاطئ أثناء التدريب.
• محدودية المتانة تجاه الضجيج: تجد استراتيجيات المحاذاة العالمية (Global Alignment) صعوبة في التقاط الدلالات الدقيقة في التسجيلات الصاخبة أو متعددة الأحداث، مما يؤدي إلى تدهور الأداء في البيئات ذات نسبة الإشارة إلى الضجيج (SNR) المنخفضة.
• الاعتماد على الدفعات الكبيرة (Large-Batch Dependency): تتطلب خسائر التباين (Contrastive losses) أحجام دفعات كبيرة جدًا لتوفير ما يكفي من "السلبيات داخل الدفعة" لتقدير التدرج المستقر. تؤدي الدفعات الصغيرة إلى تدرجات عالية التباين ومنحازة، وهو أمر إشكالي نظرًا للتكلفة العالية للذاكن عند معالجة الملفات الصوتية الطويلة.

2. المنهجية

يقترح المؤلفون إطار عمل للاسترجاع متعدد الوسائط مصمم لتحسين المحاذاة الدلالية أثناء التدريب دون التضحية بكفاءة الاستنتاج للمشفرات المزدوجة.

أ. وحدة صقل التضمين عبر الوسائط (Cross-Modal Embedding Refinement Module)
للانتقال لما هو أبعد من مجرد الإسقاطات الخطية، قدم المؤلفون وحدة إسقاط ثلاثية المراحل تُستخدم فقط أثناء التدريب:

1. الإسقاط القائم على المحول (Transformer-based Projection): يستخدم الانتباه الذاتي متعدد الرؤوس وشبكة تغذية أمامية لصقل تضمينات الوسائط الأولية.
2. التحويل الخطي: يقوم بإسقاط التضمينات المصقولة إلى فضاء تضمين مشترك.
3. الانتباه المتبادل عبر الوسائط (Cross-Modal Attention): آلية انتباه ثنائية الاتجاه حيث ينتبه التضمين الصوتي إلى التضمين النصي والعكس صحيح. يسمح هذا بالتفاعل العميق والواعي بالسياق، مما يمكّن النموذج من تعلم العلاقات الدقيقة بين مقاطع صوتية محددة والأوصاف النصية.

ب. دالة الفقد الهجينة (Hybrid Loss Function)
لتقليل الاعتماد على أحجام الدفعات الكبيرة وتخفيف تأثير التسميات المشوشة، استبدل المؤلفون خسارة التباين القياسية بمزيج موزون من ثلاثة أهداف:
$$\mathcal{L}_{\text{hybrid}} = \lambda_1 \mathcal{L}_{\text{dir}} + \lambda_2 \mathcal{L}_{\text{L1}} + \lambda_3 \mathcal{L}_{\text{con}}$$

• خسارة الاتجاه ($\mathcal{L}_{\text{dir}}$): تشابه جيب التمام لمحاذاة الاتجاهات الدلالية.
• خسارة L1 ($\mathcal{L}_{\text{L1}}$): تفرض الاتساق المحلي بين الأزواج المتطابقة، وتعمل كمنظم ضد الضجيج.
• الخسارة التباينية ($\mathcal{L}_{\text{con}}$): تحافظ على القدرة التمييزية بين الأزواج المتطابقة وغير المتطابقة.

ج. استراتيجية الصوت الطويل (Long-Audio Strategy)
للتعامل مع التسجيلات الممتدة، يستخدم إطار العمل ما يلي:

• التقطيع الواعي بالصمت (Silence-aware Chunking): يزيل فترات الصمت الطويلة ويقسم الصوت إلى مقاطع ثابتة الطول.
• التجميع القائم على الانتباه (Attention-based Pooling): بدلاً من المتوسط البسيط، يستخدم النموذج آلية انتباه لتجميع تضمينات المقاطع. أثناء التدريب، ينتبه إلى الاستعلام النصي؛ وأثناء الاستنتاج، يستخدم متجهًا متعلمًا ومستقلاً عن الاستعلام ($q_{\text{pool}}$)، مما يسمح بالحساب المسبق الفعال.

3. المساهمات الرئيسية

• التفاعل عبر الوسائط المخصص للتدريب فقط: طريقة مبتكرة للاستفادة من المحاذاة العميقة للمشفرات المتقاطعة (Cross-encoders) مع الحفاظ على سرعة الاستنتاج $O(n)$ للمشفرات المزدوجة.
• التحسين المتين: دالة الفقد الهجينة تعمل على استقرار التدريب تحت قيود الدفعات الصغيرة وضجيج التسميات.
• التعامل القابل للتوسع مع الصوت الطويل: مزيج من التقطيع الواعي بالصمت والتجميع القائم على الانتباه الذي يدير بفعالية الأصوات طويلة المدة ومتعددة الأحداث.

4. النتائج التجريبية

تم تقييم النموذج على مجموعات بيانات مرجعية (Clotho, AudioCaps, ESC-50, FSD50K) ومقارنته بنماذج Microsoft-CLAP و LAION-CLAP.

• أداء متفوق: تفوق النموذج المقترح باستمرار على النماذج المرجعية في كل من استرجاع الصوت-إلى-النص (a2t) والنص-إلى-الصوت (t2a) عبر جميع مجموعات البيانات. على سبيل المثال، في AudioCaps (a2t)، حقق mAP@10 قدره 0.486، وهو أعلى بكثير من LAION-CLAP الذي حقق 0.438.
• المتانة تجاه الضجيج: في الاختبارات مع نسب SNR متفاوتة (من 5 إلى 15)، أظهر النموذج المقترح انخفاضات أقل بكثير في الأداء مقارنة بالنماذج المرجعية، مما يثبت مرونته تجاه الضجيج البيئي.
• الأهمية الإحصائية: أكدت اختبارات Wilcoxon لترتيب الرتب المزدوجة أن التحسينات كانت ذات دلالة إحصائية ($p < 0.05$).
• عدم فعالية الاسترجاع القائم على التوصيف: أظهر المؤلفون أيضًا أن خط العمل المكون من خطوتين "توليد وصف $\leftarrow$ البحث عن نص" (باستخدام نماذج مثل Gemini أو AudioGPT) يؤدي أداءً أسوأ من نهج الاسترجاع المباشر الخاص بهم.

5. الأهمية

يوفر هذا العمل مخططًا لبناء أنظمة استرجاع متعددة الوسائط أكثر متانة يمكنها العمل في الظروف الواقعية ("in-the-wild"). من خلال فصل التفاعل العميق عبر الوسائط (المستخدم للتعلم) عن بنية المشفر المزدوج البسيطة (المستخدمة للاسترجاع)، نجح المؤلفون في حل المقايضة الأساسية بين جودة المحاذاة والقابلية للتوسع الحسابي. لهذا آثار مباشرة على البحث في الوسائط المتعددة، وأدوات الوصول، وأنظمة المراقبة الآلية.