💻 computer science

LightAVSeg: Lightweight Audio-Visual Segmentation

يُعد LightAVSeg إطار عمل خفيف الوزن للتجزئة السمعية البصرية يحقق كفاءة وأداءً رائدين من خلال استبدال الانتباه المتقاطع الكثيف والمكلف حوسبياً بتصميم مفكك ذي تكلفة خطية للترشيح الدلالي والتمركز المكاني، إلى جانب فقدان محاذاة مساعد لتعزيز اتساق التدريب.

المؤلفون الأصليون: Qing Zhong, Guodong Ding, Lingqiao Liu, Zaiwen Feng, Lin Yuanbo Wu, Angela Yao

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qing Zhong, Guodong Ding, Lingqiao Liu, Zaiwen Feng, Lin Yuanbo Wu, Angela Yao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك في حفلة صاخبة. هناك الكثير من الناس يتحدثون، والموسيقى تعزف، وأصوات ارتطام الكؤوس مسموعة. هدفك هو توجيه كاميرا نحو الشخص الذي يتحدث حالياً، وتسليط الضوء عليه على الشاشة مع تجاهل الجميع غيره. هذا ما يحاول تجزئة الصوت والصورة (AVS) القيام به: فهو يجد "الجسم الصوتي" في الفيديو ويرسم حوله تحديداً دقيقاً.

المشكلة هي أن أفضل أجهزة الكمبيوتر الحالية للقيام بذلك تشبه أجهزة السوبر كمبيوتر الضخمة والثقيلة. فهي تحاول مقارنة كل بكسل في الفيديو بكل موجة صوتية في آن واحد. الأمر يشبه محاولة إجراء محادثة مع كل شخص في الغرفة في نفس اللحظة لمعرفة من يتحدث. هذا يتطلب الكثير من الطاقة والوقت، مما يجعل من المستحيل تشغيله على هاتف ذكي عادي.

LightAVSeg هو حل جديد خفيف الوزن مصمم لإصلاح ذلك. إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. الطريقة القديمة: "الشبكة الضخمة"

حاولت النماذج السابقة بناء شبكة ضخمة حيث يتم فحص كل اتصال ممكن بين الصوت وبكسل الصورة.

التشبيه: تخيل أنك تحاول العثود على صديق في حشد من خلال سؤال كل شخص في الغرفة: "هل أنت تتحدث؟" ثم مطابقة ذلك مع كل وجه في الغرفة. هذا دقيق، لكنه مرهق وبطيء.
النتيجة: هذه النماذج ثقيلة جداً بالنسبة للهواتف المحمولة.

2. طريقة LightAVSeg: "الفلتر الذكي"

أدرك المؤلفون أنك لست بحاجة إلى فحص كل بكسل مقابل كل صوت. يمكنك تقسيم المهمة إلى خطوتين أبسط: ما هو الشيء الذي يصدر الصوت، وأين هو؟

الخطوة أ: "الفلتر الدلالي" (الـ "ماذا")

بدلاً من الشبكة الضخمة، يستخدم LightAVSeg مشفر صوتي بصري تبادلي (Reciprocal Audio-Visual Encoder). فكر في هذا كأنه حارس ذكي (Bouncer) عند الحفلة.

الحارس يستمع إلى الصوت.
الحارس يلقي نظرة خاطفة على الفيديو (المشهد البصري).
إذا أظهر الفيديو كلباً ينبح، يقول الحارس: "حسناً، أنا أستمع لنباح كلب". إذا أظهر الفيديو سيارة، يقول الحارس: "حسناً، أنا أستمع لصوت سيارة".
السحر: لا يحتاج الحارس إلى فحص كل بكسل. هو فقط يقوم بفلترة نوع الصوت الذي يبحث عنه بناءً على ما يراه. هذا يسمى الفلترة الدلالية (Semantic Filtering). إنها عملية سريعة لأنها مجرد فحص بسيط لـ "نعم/لا" فيما يتعلق بنوع الكائن، وليس خريطة معقدة لكل موقع.

الخطوة ب: "التحديد المكاني" (الـ "أين")

بمجرد أن يعرف الحارس ماذا يبحث عنه، يعمل مفكك الدمج عبر الوسائط (Cross-Modal Fusion Decoder) مثل كشاف الضوء (Spotlight).

يأخذ الـ "ماذا" (مثلاً: "كلب") ويسلط كشاف الضوء على الفيديو ليجد بالضبط أين يوجد الكلب.
بدلاً من بناء خريطة معقدة، يقوم ببساطة بإضافة "تلميح" إلى طبقات الفيديو، قائلاً: "مهلاً، ابحث عن الكلب هنا".
السحر: هذه الخطوة خطية (Linear)، مما يعني أنه إذا أصبح الفيديو أكبر، فإن العمل يزداد قليلاً فقط، وليس بشكل أسّي. الأمر يشبه المشي في غرفة للعثيد على الكلب، بدلاً من فحص كل بوصة من الأرضية.

3. "ورقة الغش للتدريب" (الخسارة المساعدة)

تذكر الورقة البحثية خدعة خاصة تُستخدم فقط أثناء تعلم الكمبيوتر (التدريب)، تسمى خسارة المحاذاة متعددة المقاييس بين الصوت والصورة (Multi-Scale Audio-Visual Alignment Loss).

التشبيه: تخيل معلماً يساعد طالباً على تعلم كيفية العثيد على الكلب. يشير المعلم إلى الكلب ويقول: "أرأيت؟ الصوت موجود هنا تماماً".
هذا يساعد الطالب على تعلم الربط بين الصوت والمكان بسرعة.
نقطة حاسمة: بمجرد أن يتعلم الطالب (الذكاء الاصطناعي) الدرس، يذهب المعلم (دالة الخسارة الإضافية) إلى المنزل. لا يحتاج الطالب إلى المعلم أثناء الاختبار الفعلي. هذا يعني أن التطبيق النهائي يعمل بنفس سرعة ما لو لم يكن المعلم موجوداً أبداً، لكن الطالب أصبح أكثر ذكاءً.

النتائج: سريع ودقيق

تزعم الورقة البحثية أن LightAVSeg يغير قواعد اللعبة للأجهزة المحمولة:

الحجم: إنه صغير جداً. يبلغ حجمه حوالي 1/7 من حجم النماذج الأفضل سابقاً (مثل AVSegFormer).
السرعة: على شريحة هاتف محمول متطورة (Snapdragon 8 Elite)، يعمل في حوالي 163 مللي ثانية. هذا أسرع بحوالي 8 مرات من النماذج الثقيلة.
الدقة: رغم صغره وسرعته، إلا أنه في الواقع أكثر دقة من النماذج الثقيلة في الاختبارات المعقدة. فقد تمكن من إيجاد الجسم الصوتي بدقة (mIoU) بلغت 50.4، متفوقاً على المنافسين الثقلاء.

الملخص

باختاً، يتوقف LightAVSeg عن محاولة فعل كل شيء في وقت واحد. بدلاً من الحساب الضخم والبطيء، يستخدم عملية من خطوتين: أولاً، فلتر ذكي لتحديد ما هو الصوت الذي يجب الاستماع إليه، وثانياً، كشاف ضوء بسيط للعثور على أين هو. إنه يتعلم مع معلم أثناء التدريب، لكنه يعمل بمفرده أثناء المباراة الحقيقية، مما يجعله أول نموذج قوي بما يكفي ليعمل بسلاسة على هاتفك بينما يجد بالضبط ما يصدر الضجيج.

ملخص تقني لـ LightAVSeg: تقسيم صوتي-بصري خفيف الوزن

بيان المشكلة
يهدف التقسيم الصوتي-البصري (AVS) إلى تحديد مواقع الأجسام المصدرة للصوت في المتواليات الفيديوية على مستوى البكسل. وبينما تحقق أساليب الحالة الراهنة (SOTA) دقة عالية من خلال نمذجة التبعيات عبر الوسائط المتعددة باستخدام آليات الانتباه القائمة على المحولات (Transformer) الكثيفة، إلا أنها تعاني من تكاليف حوسبة باهظة. تعتمد هذه النماذج عادةً على وحدات تفاعل ذات تعقيد تربيعي ( $O(N^2)$ )، حيث يتناسب $N$ مع الدقة المكانية. وهذا يجعلها غير مناسبة للأجهزة الطرفية محدودة الموارد، مثل الهواتف المحمولة وسماعات الواقع الافتراضي (VR)، حيث يكون الاستدلال الفعال على الجهاز مطلوباً لتطبيقات مثل تحرير الفيديو والواقع المعزز. وغالباً ما تركز النهج الحالية الموجهة نحو الكفاءة على تقليل العمود الفقي البصري فقط، متجاهلةً وحدة التفاعل التي تمثل العائق الأساسي.

المنهجية
يقترح البحث إطار عمل LightAVSeg، وهو إطار عمل خفيف الوزن مصمم لفصل التصفية الدلالية عن التمركز المكاني، وبالتالي استبدال الانتباه الكثيف بعمليات ذات تعقيد خطي. تتكون البنية من ثلاثة مكونات رئيسية:

المشفر الصوتي-البصري المتبادل (Reciprocal Audio-Visual Encoder):
بدلاً من الدمج الساكن، تقوم هذه الوحدة بإجراء تحديثات ثنائية الاتجاه هرمية لتنقية الحالة الصوتية العالمية.

التصفية الدلالية (ماذا): تقوم بتنقية الحالة الصوتية العالمية ( $A_i$ ) بشكل تكراري باستخدام السياق البصري. ومن خلال إجراء عملية تجميع قصوى (max-pooling) مكانية للميزات البصرية ( $V_i$ ) إلى واصف $1\times1$ ، يتخلص النموذج من معلومات الموقع للتركيز فقط على الاختيار الدلالي. يتم تحديث رمز الصوت العالمي هذا عبر إعادة وزن بوابي ( $\sigma_h$ ) بناءً على الواصف البصري، مما يؤدي إلى كبح قنوات الصوت المقابلة للأجسام غير المرئية.
التعقيد: يتجنب هذا التصميم مصفوفات التقارب بين الرمز والرمز الكثيفة، محققاً تعقيداً خطياً صارماً ( $O(N)$ ) بالنسبة للرموز المكانية.
التعزيز البصري الموجه صوتياً: يتم بث الحالة الصوتية العالمية المنقحة إلى الدقة المكانية للميزات البصرية ودمجها عبر إضافة متبقية (residual addition). يعمل هذا على حقن الإشارات الدلالية العالمية كتحيز على مستوى القنوات دون إدخال ضوضاء مكانية أو طبقات إسقاط ثقيلة.

مفكك دمج الوسائط المتعددة (Cross-Modal Fusion Decoder):
تقوم هذه الوحدة برفع دقة الميزات البصرية المعززة صوتياً تدريجياً لتوليد قناع التقسيم النهائي.

تحافظ الوحدة على مسار حالة صوتية تكراري يوازي عملية رفع الدقة البصرية. يتم تحديث الحالة الصوتية عن طريق دمج حالة مفكك التشفير السابقة مع حالة المشفر الحالية، ثم إعادة وزنها بواسطة واصف بصري عالمي.
يتم حقن الحالة الصوتية المحدثة في المسار البصري عبر بقايا بث خفيفة الوزن، مما يضمن الاتساق الزمني وتوجيه مفكك التشفير للتركيز على الأجسام المصدرة للصوت أثناء استعادة الدقة.

خسارة المحاذاة متعددة المقاييس بين الصوت والبصر ( $L_{msa}$ ):
للتخفيف من خطر تعلم الارتباطات الزائفة بين الوسائط في النماذج خفيفة الوزن، تم تقديم خسارة مساعدة.

تفرض هذه الخسارة محاذاة صريحة على مستوى البكسل بين الإشارة الصوتية العالمية والمناطق البصرية الصالحة عند مقاييس متعددة.
تقوم بحساب خريطة تشابه جيب التمام المكانية بين الميزات البصرية المعيرة والتمثيل الصوتي العالمي، والتي يتم شحذها بواسطة معامل درجة الحرارة، وتتم مراقبتها مقابل قناع مقدمة ثنائي باستخدام الخسارة التقاطعية الثنائية (BCE).
من المهم ملاحظة أن هذا الفرع يتم التخلص منه أثناء الاستدلال، مما يؤدي إلى صفر من التكاليف الإضافية.

المساهمات الرئيسية

تصميم التفاعل المفكك: يقدم البحث إطار عمل يفصل التصفية الدلالية (التي يتم التعامل معها بواسطة المشفر الصوتي-البصري المتبادل) عن التمركز المكاني (الذي يتم التعامل معه بواسطة مفكك دمج الوسائط المتعددة). هذا يستبدل الانتباه التربيعي بتعديل هرمي على مستوى القنوات، محققاً تعقيداً خطياً ( $O(N)$ ) مع الحفاظ على التوجيه الصوتي الفعال.
خسارة المحاذاة المساعدة: اقترح المؤلفون خسارة محاذاة متعددة المقاييس بين الصوت والبصر ( $L_{msa}$ ) لفرض الاتساق الدلالي أثناء التدريب، مما يوجه مفكك التشفير لتحديد "أين" يتم التقسيم دون زيادة تكلفة الاستدلال.
الأداء الأمثل للهواتف المحمولة: تم تصميم الإطار خصيصاً للنشر على الهواتف المحمولة، باستخدام أعمدة فقارية خفيفة الوزن (SeaFormer للرؤية، وMobileNetV2 للصوت) وآليات تفاعل فعالة.

النتائج التجريبية
أُجريت تجارب مكثفة على معايير AVS (وهي S4 وMS3 وAVSS) باستخدام وحدة معالجة مركزية محمولة من نوع Snapdragon 8 Elite لقياس زمن الاستجابة.

المقايضة بين الدقة والكفاءة: يحقق LightAVSeg حالة جديدة من نوعها (SOTA) بين الطرق خفيفة الوزن. في معيار MS3، يصل إلى 50.4 mIoU بـ 20.5 مليون معلمة فقط (حوالي 1/7 من نموذج AVSegFormer-R50 الثقيل).
زمن الاستجابة (Latency): يحقق النموذج زمن استجلال قدره 163.4 مللي ثانية على وحدة معالجة مركزية للهاتف المحمول، مما يمثل تسريعاً بنحو 8 أضعاف مقارنة بـ AVSegFormer-R50 (الذي يستغرق أكثر من 1.2 ثانية لكل إطار).
المقارنة: يتفوق LightAVSeg على غيره من النماذج المرجعية خفيفة الوزن (مثل AVSBench-SeaFormer-L) وينافس النماذج الثقيلة القائمة على ResNet-50 في الدقة مع الحفاظ على أداء الوقت الفعلي.
دراسات الاستئصال (Ablation Studies): تؤكد التجارب أن المشفر المتبادل (تحديداً التكرار الصوتي الهرمي) وخسارة $L_{msa}$ ضروريان للأداء. وقد ثبت أن التفاعل الخطي المقترح أكثر فعالية للنشر على الهواتف المحمولة من مجرد استبدال العمود الفقي البسيط.

الأهمية والادعاءات
يدعي البحث أن LightAVSeg يسد الفجوة بين نماذج الأبحاث عالية الأداء والنشر العملي على الهواتف المحمولة. ومن خلال معالجة عنق زجاجة وحدة التفاعل مباشرة، يوضح المؤلفون أن الدمج الفعال للوسائط المتعددة ممكن دون الاعتماد على آليات انتباه ثقيلة. يضع هذا العمل حجر الأساس لجعل AVS قابلاً للتطبيق على الأجهزة الطرفية، رغم أنهم لم يتكهنوا بتطبيقات مستقبلية محددة بخلاف السياق العام لتحرير الفيديو على الجهاز والواقع المعزز.