RA-SSU: Towards Fine-Grained Audio-Visual Learning with Region-Aware Sound Source Understanding

إليك ملخص تقني مفصل للورقة البحثية بعنوان "RA-SSU: نحو فهم دقيق لمصدر الصوت المعتمد على المنطقة"، المقبولة للنشر في مجلة IEEE Transactions on Multimedia (فبراير 2026).

1. تعريف المشكلة

يركز معظم الأبحاث الحالية في مجال التعلم السمعي البصري (AVL) على المهام خشنة الحبيبات (coarse-grained)، مثل:

• التوافق السمعي البصري (AVC): مطابقة الصوت والفيديو على مستوى كلي.
• تحديد موقع مصدر الصوت (SSL): تحديد المنطقة العامة لمصدر الصوت.
• تحديد موقع الأحداث السمعية البصرية (AVEL): اكتشاف الحدود الزمنية للأحداث باستخدام تسميات محددة مسبقاً.

القصور: تفتقر هذه النهج إلى الفهم المكاني والدلالي الدقيق (fine-grained). فهي غالباً ما تفشل في توفير تحديد الموقع على مستوى البكسل، أو الاتساق الزمني إطاراً بإطار، أو الأوصاف الدلالية التفصيلية لما هو الشيء المحدد الذي يصدر صوتاً وكيف يتصرف في المشاهد المعقدة والديناميكية.

الحل المقترح: قدم المؤلفون مهمة RA-SSU (فهم مصدر الصوت المعتمد على المنطقة)، وهي مهمة جديدة دقيقة الحبيبات. تهدف RA-SSU إلى تحقيق:

1. تحديد الموقع المعتمد على المنطقة: تقسيم (segmentation) الكائنات المنتجة للصوت على مستوى البكسل.
2. الفهم على مستوى الإطار: ضمان الاتساق الزمني عبر إطارات الفيديو.
3. الوصف الدلالي: توليد أوصاف نصية مفصلة للمناطق الصوتية المحددة.

2. المنهجية

أ. بناء مجموعات البيانات

لدعم مهمة RA-SSU، أنشأ المؤلفون مجموعتي بيانات جديدتين عالي الجيل بجودة عالية مع أقنعة (masks) على مستوى الإطار وأوصاف نصية:

1. f-Music (الموسيقى دقيقة الحبيبات): 3,976 عينة موزعة على 22 نوعاً من الآلات الموسيقية. تركز على المزيج الصوتي المعقد والمشاهد الموسيقية.
2. f-Lifescene (مشاهد الحياة دقيقة الحبيبات): 6,156 عينة موزعة على 61 سيناريو مختلفاً من الحياة اليومية. تتميز بالتفاعلات الديناميكية بين عدة أجسام مصدرة للصوت.

• استراتيجية التوسيم: تم استخدام نماذج الرؤية الضخمة (SAM, TAM) ونماذج اللغة الضخمة (LLaVA) للتوليد الأولي، متبوعة بتنقيح يدوي صارم لضمان الحصول على أقنعة وأوصاف عالية الجودة مرتبطة بالمناطق.

ب. إطار عمل SSUFormer

اقترح المؤلفون SSUFormer، وهو بنية Transformer متعددة الوسائط مصممة لمدخلات متعددة الوسائط (صوت + فيديو) ومخرجات متعددة الوسائط (أقنعة التقسيم + الأوصاف النصية).

المكونات الهيكلية الرئيسية:

1. المشفرات (Encoders):
   • الصوت: VGGish (مدرب مسبقاً على AudioSet).
   • الفيديو: PVT-v2 (محول الرؤية الهرمي، مدرب مسبقاً على ImageNet-1K).
2. التكامل متعدد الوسائط:
   • يستخدم آليات الانتباه المتقاطع (Cross-Attention) حيث تعمل ميزات الصوت كاستعلامات ($Q$) وتعمل ميزات الفيديو كمفاتيح ($K$) وقيم ($V$) لمواءمة التمثيلات الزمنية والمكانية.
3. مفككات المهام (Task Decoders):
   • مفكك التقسيم (Segmentation Decoder): يعتمد على MaskFormer، ويستخدم ميزات الصوت كاستعلامات للتنبؤ بأقنعة مصدر الصوت على مستوى البكسل.
   • مفكك الوصف (Description Decoder): نموذج Transformer ذاتي الانحدار لتوليد النصوص.
4. وحدة تعاون الأقنعة (MCM):
   • الوظيفة: تعزيز الاتساق الدلالي بين التقسيم والوصف.
   • الآلية: تأخذ أقنعة مصدر الصوت المتوقعة كإرشاد مكاني لمفكك النصوص. وتستخدم مشفر CLIP البصري لمواءمة ميزات المنطقة المقنعة مع تضمينات النص، مما يضمن أن يكون الوصف مرتبطاً بدقة بالمنطقة المرئية.
5. مزيج الخبراء ذوي الهيكل الهرمي (MoHE):
   • الوظيفة: ضمان الاتساق الزمني والتوسع في الشرح في التسلسلات الطويلة.
   • الآلية: يدمج LLaVA (كـ "خبير لغوي" للتمثيل الزمني طويل الأمد) مع الميزات البصرية لكل إطار في مفكك الـ Transformer. يقوم موجه هرمي بموازنة الأوزان تكيفياً بين المعرفة العامة للنموذج الكبير ومفكك المهمة المحدد، مما ينتج تعليقات توضيحية متماسكة ومتسقة زمنياً.

ج. دوال الهدف (Objective Functions)

يتم تدريب النموذج باستخدام دالة فقد مركبة:

• $L_{seg}$ (فقد Dice): للتنبؤ بالقناع.
• $L_{tex}$ (فقد Focal): لتوليد النصوص.
• $L_{clip}$ (قيد الاتساق الإقليمي): فقد مبتكر يقلل المسافة بين الميزات المرئية للقناع المتوقع والميزات النصية للوصف (باستخدام مشفرات MaskCLIP).
• الفقد الإجمالي: $L_{ssu} = L_{ada} + L_{clip}$، حيث $L_{ada}$ هي مجموع أوزان تكيفي لفقد التقسيم وفقد النصوص.

3. المساهمات الرئيسية

1. تعريف المهمة: تحديد RA-SSU، مما ينقل النموذج من تحديد الأحداث خشن الحبيبات إلى فهم مصدر الصوت الدقيق، المعتمد على المنطقة، وعلى مستوى الإطار.
2. مجموعات البيانات: إصدار f-Music و f-Lifescene، وهما أول مجموعتي بيانات توفران أقنعة مصدر صوت متزامنة على مستوى الإطار وأوصافاً نصية مفصلة لسيناريوهات متنوعة.
3. البنية (SSUFormer): اقتراح إطار عمل Transformer موحد يتميز بـ:
   • MCM: للمواءمة المكانية-الدلالية بين الأقنعة والنصوص.
   • MoHE: لضمان الاتساق الزمني وتوليد أوصاف عالية الجودة باستخدام مزيج من الخبراء.
4. التقييم المرجعي: وضع معيار شامل يثبت أن الضبط الدقيق للمهام المحددة يتفوق على النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) في هذا المجال المحدد.

4. النتائج التجريبية

الأداء الكمي

تم تقييم SSUFormer على كلتا مجموعتي البيانات مقابل نماذج المهمة الواحدة (مثل AVSBench، AVIS) والنماذج اللغوية الكبيرة متعددة الوسائط (مثل NExT-GPT، PG-Video-LLaVA).

• التقسيم: حقق 0.6280 mIoU في f-Music و 0.6530 mIoU في f-Lifescene، متفوقاً على نماذج التقسيم المتخصصة.
• توليد النصوص: حقق تحسينات كبيرة في درجات BLEU و ROUGE-L و METEOR مقارنة بـ MLLMs. على سبيل المثال، في مجموعتي البيانات معاً، حقق SSUFormer درجة BLEU 0.4676 مقابل 0.2300 لنموذج PG-Video-LLaVA.
• دراسات الاستئصال (Ablation Studies): أكدت أن إضافة MCM، وقيد الاتساق الإقليمي (RCC)، و MoHE تزيد الأداء بشكل تدريجي، حيث قدم MoHE أكبر دفعة للاتساق الزمني (ارتفع ROUGE-L من 0.4728 إلى 0.5388).

التحليل النوعي

• حالات النجاح: نجح النموذج في تحديد آلات موسيقية محددة في المشاهد الموسيقية ووصف سيناريوهات الحياة المعقدة (مثل "الولد الذي يرتدي الأبيض على اليسار يعزف على الغيتار، والفتاة التي ترتدي الوردي على اليمين تعزف على الغوزينغ").
• حالات الفشل: لوحظ بعض عدم الاتساق الزمني (مثل وصف جسم بأنه "على الطاولة" بعد خروجه من الإطار)، مما يشير إلى وجود مجال للتحسين في تتبع الأجسام طويل الأمد.

الكفاءة

• المعلمات (Parameters): يحتوي SSUFormer على 319.62 مليون معلمة، وهو أقل بكثير من نماذج MLLMs (التي تتراوح بين 6.7 مليار إلى 7.9 مليار).
• الاستدلال: رغم أنه أبطأ قليلاً من بعض النماذج خفيفة الوزن، إلا أنه فعال للغاية مقارنة بالنماذج الكبيرة، مما يجعله مناسباً للنشر في السيناريوهات التي تتطلب دقة عالية.

5. الأهمية والأثر

• تعزيز الذكاء الاصطناعي المجسد (Embodied AI): توفر RA-SSU الإدراك الدقيق اللازم للروبوتات أو الوكلاء للتفاعل مع مصادر صوت محددة في بيئات معقدة.
• التطبيقات النهائية: تحسن المخرجات دقيقة الحبيبات بشكل مباشر من الاسترجاع السمعي البصري (البحث عن أجسام محددة تصدر أصواتاً) و وصف الفيديو (توليد أوصاف أكثر دقة وتفصيلاً).
• قصور النماذج العامة: تسلط الدراسة الضوء على أنه بينما تعد نماذج MLLM قوية، إلا أنها تعاني في التحديد المكاني والوصف السمعي البصري الدقيق، مما يؤكد الحاجة إلى بنيات متخصصة مثل SSUFormer.
• العمل المستقبلي: يخطط المؤلفون لتوسيع فئات مجموعات البيانات، وتطبيق التعلم مفتوح المفردات (open-vocabulary learning)، وتحسين الاستمرارية الزمنية بشكل أكبر.

باخت hol، تضع هذه الورقة معياراً جديداً للفهم السمعي البصري دقيق الحبيبات من خلال تحديد مهمة صارمة، وتوفير بيانات عالية الجودة، واقتراح بنية متخصصة تتفوق على كل من الطرق التقليدية والنماذج الكبيرة العامة في سيناريوهات محددة ومعقدة.