⚡ electrical engineering

Unlocking Spatial Grounding in Large Audio-Visual Retrieval models

تقدم هذه الورقة البحثية إطار عمل LAIP، الذي يستفيد من الرموز المرئية الوسيطة والتجميع المكاني المستنير صوتياً لفتح قدرات التمركز المكاني دقيق التفاصيل من نماذج الاسترجاع السمعي البصري واسعة النطاق دون الحاجة إلى إشراف على مستوى البكسل، محققاً أداءً هو الأفضل في فئته في اختبارات تحديد المواقع.

المؤلفون الأصليون: Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

نُشر 2026-07-29

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فهم العالم، ليس فقط من خلال النظر إليه، بل من خلال الاستماع إليه أيضاً. هذا هو عالم التعلم السمعي البصري، وهو فرع من فروع الذكاء الاصطناعي حيث تحاول الحواسيب اكتشاف كيفية ارتباط الصوت بالرؤية. فكر في الأمر كأنك محقق لا يكتفي برؤية مسرح الجريمة فحسب، بل يسمع أيضاً صفارات الإنذار، وتحطم الزجاج، والصراخ، محاولاً تجميع الخيوط لمعرفة مصدر الضجيج بدقة.

لفترة طويلة، كان تعليم الروبوتات القيام بذلك يشبه محاولة بناء منزل بدون مخطط هندسي. لتعليم الكمبيوتر الإشارة بدقة إلى مكان صدور صوت ما في فيديو، ستحتاج عادةً إلى إنسان يرسم مربعاً حول مصدر الصوت في كل إطار من إطارات الفيديو. يُسمى هذا "التوسيم المكاني الكثيف" (dense spatial-annotation)، وهو أمر ممل للغاية، ومكلف، وبطيء. إنه يشبه طلب من صديق لك أن يرسم تحديداً دقيقاً لكل طائر في سرب من الطيور لمدة ساعة كاملة. ولأن هذا صعب للغاية، ظل معظم الباحثين عالقين في استخدام أدلة ضعيفة، مثل معرفة وجود صوت ما في الفيديو فقط، دون معرفة مكانه بالضبط.

ومع ذلك، قام العلماء مؤخراً ببناء "نماذج استرجاع" ضخمة. هذه الأنظمة هي أنظمة ذكاء اصطناعي فائقة الذكاء، تم تدريبها على ملايين الفيديوهات والأصوات للإجابة على أسئلة مثل: "جد لي المقطع المرئي الذي يطابق هذا الصوت". إنها ممتازة في مطابقة "الجو العام" لصوت ما مع فيديو كامل، لكنها سيئة جداً في الإشارة إلى البقعة المحددة التي يحدث فيها الصوت. فهي ترى الغابة بأكملها لكنها تخطئ في تحديد الشجرة المعينة التي تصدر الضجيج. والسؤال الكبير كان: هل يمكننا أخذ هذه النماذج العملاقة والمُدربة مسبقاً، والتي تجيد العثور على الفيديوهات، ونقوم بطريقة ما بفتح قدرتها على الإشارة إلى المصدر المحدد للصوت، دون الحاجة إلى استئجار جيش من البشر لرسم المربعات؟

الفكرة الكبرى للورقة البحثية: فتح الخريطة المخفية

الورقة البحثية التي تقرأها، بعنوان "فتح التوطين المكاني في نماذج الاسترجاع السمعي البصري الضخمة" (Unlocking Spatial Grounding in Large Audio-Visual Retrieval models)، تقول: نعم، يمكننا ذلك. فقد اكتشف المؤلفون، وهم فريق من الباحثين من فرنسا وشركة ميتا (Meta) وشركة إنفيديا (NVIDIA)، أن هذه النماذج الضخمة للاسترجاع تعرف في الواقع أين توجد الأصوات، لكنها فقط تخفي هذه المعلومات في أعماق عقلها قبل أن تتخلص منها.

تخيل مكتبة ضخمة (نموذج الاسترجاع) قرأت ملايين الكتب (الفيديوهات) واستمعت إلى ملايين الكتب الصوتية (الأصوات). عندما تسأل أمين المكتبة: "هل لديك كتاب عن نباح كلب؟" يمكنه فوراً العثور على الرف المناسب. ولكن إذا سألته: "أين بالضبط في صورة الكلب يوجد الفم الذي ينبح؟" فغالباً ما يهز كتفيه ويقول: "أنا أعرف فقط أنها صورة كلب".

أدرك المؤلفون أن أمين المكتبة ليس جاهلاً في الواقع. فأمين المكتبة لديه خريطة مفصلة لفم الكلب في رأسه، لكنه يتخلص من تلك الخريطة في اللحظة التي يقرر فيها إعطائك إجابة بسيطة مثل "نعم، لدي كتاب عن الكلب". تقدم الورقة البحثية حيلة ذكية تسمى LAIP (التوطين عبر التجميع المستند إلى المعلومات السمعية) للإمساك بتلك الخريطة قبل أن يتم التخلص منها.

كيف تعمل LAIP: المحقق السمعي

الجوهر الأساسي لطريقتهم هو وحدة جديدة يسمونها التجميع المكاني المستند إلى الصوت (AiSP). وإليك كيف تعمل بلغة بسيطة:

الإعداد: ينظر الذكاء الاصطناعي إلى الفيديو إطاراً تلو الآخر. داخل الذكاء الاصطناعي، توجد آلاف "الرموز" الصغيرة (قطع صغيرة من البيانات) التي تمثل أجزه مختلفة من الصورة. عادةً، يقوم الذكاء الاصطناعي بسحق كل هذه القطع الصغيرة في رمز ملخص واحد ضخم ليقرر ما إذا كان الفيديو يطابق الصوت. هذا يشبه أخذ بيتزا كاملة وعجنها لتصبح كرة واحدة من العجين لترى ما إذا كان طعمها يشبه الببروني. في هذه العملية، تفقد موقع قطع الببروني.
التدخل: بدلاً من ترك الذكاء الاصطناعي يعجن كل شيء معاً فوراً، يضع المؤلفون "علامة توقف" مباشرة قبل الملخص النهائي. يأخذون الصوت (صوت النباح) ويستخدمونه كـ استعلام (Query).
السحر: يسألون الصوت: "يا أيها الصوت، أي من قطع الصورة الصغيرة هذه تتحدث عنها؟" يعمل الصوت مثل كشاف ضوئي، يسلط الضوء على رموز الصورة المحددة التي تتوافق مع الصوت. يقوم الذكاء الاصطناي بعد ذلك بجمع تلك القطع ذات الصلة فقط في ملخص جديد.
النتيجة: لأن الذكاء الاصطناعي أُجبر على الانتباه للأجزاء المحددة من الصورة التي تطابق الصوت، فإنه يتعلم بالصدفة رسم خريطة لمكان مجيء الصوت. الأمر يشبه لو أن أمين المكتبة، بدلاً من مجرد تسليمك الكتاب، اضطر إلى الإشارة إلى الصفحة والفقرة المحددة التي تظهر فيها كلمة "نباح"، فقط ليثبت أنه وجد الكتاب الصحيح.

ما الذي وجدوه

النتائج قوية بشكل مدهش. اختبر المؤلفون طريقتهم على ثلاثة اختبارات معيارية (اختبارات قياسية للذكاء الاصطناعي):

AVATAR: في هذا الاختبار، الذي يبحث عن الأصوات في فيديوهات معقدة ومتحركة، ضاعفت طريقتهم أداء أفضل النماذج السابقة تقريباً. فقد قفزوا من درجة حوالي 13-14% إلى 27.63% (CIoU) و 27.77% (AUC).
AVSBench: حققوا أفضل النتائج في هذا الاختبار أيضاً، حيث سجلوا درجة F-score بلغت 65.18 للأصوات ذات المصدر الواحد، متفوقين على أفضل نتيجة سابقة وهي 45.33.
ADE-SP: لقد سحقوا المنافسة هنا أيضاً، حيث وصلوا إلى 33.35 m-IoU و 53.57 mAP.

تشير الورقة البحثية إلى أن هذا ينجح لأن نماذج الاسترجاع الضخمة قد تم تدريبها بالفعل على كميات هائلة من البيانات، لذا تعلمت روابط غنية بين الصوت والرؤية. لم يكن على المؤلفين تعليم الذكاء الاصطناعي ماهية الكلب أو السيارة من الصفر؛ بل كان عليهم فقط تعليمه كيفية النظر إلى الجزء الصحيح من الصورة عندما يسمع الصوت.

ما الذي استبعدوه

كان المؤلفون حذرين في إظهار ما لا يعمل. جربوا بعض الأفكار الأخرى ووجدوا أنها ناقصة:

استخدام الطبقة النهائية فقط: إذا حاولت القيام بذلك في نهاية عملية معالجة الذكاء الاصطناعي (بعد أن قام بالفعل بسحق الصورة في كتلة واحدة)، فسوف يفشل. التفاصيل المكانية تكون قد ضاعت. يجب عليك القيام بذلك في الطبقات الوسطى، حيث لا تزال الصورة مفصلة.
الانتباه البسيط: مجرد طلب من الذكاء الاصطناعي النظر إلى الصورة مرة واحدة ليس كافياً. وجدوا أن استخدام نهج هرمي (القيام بذلك في خطوات، مثل التكبير من عرض واسع إلى لقطة قريبة) هو أمر ضري.
خرائط التدرج (Gradient maps): جربوا بعض الحيل الرياضية القياسية لمعرفة ما كان ينظر إليه الذكاء الاصطناعي (تسمى خرائط التدرج)، لكنها كانت سيئة جداً في العثور على الصوت، حيث سجلت 4.14 فقط مقارنة بـ 26.22 لطريقتهم. وهذا يثبت أن طريقتهم المحددة في "التجميع" هي ما يصنع الفرق، وليس مجرد النظر إلى الرياضيات الداخلية للذكاء الاصطناعي.

العقبة (القيود)

الورقة البحثية صريحة بشأن أحد القيود. في حين أن هذه الطريقة تجعل الذكاء الاصطناعي بارعاً في معرفة أين يوجد الصوت، إلا أنها تجعل من الصعب قلياً استخدام نفس الذكاء الاصطناعي للوظيفة الأصلية وهي العثور على الفيديوهات بسرعة. لأن الذكاء الاصطناعي الآن يجب أن ينظر إلى الصوت ليقرر أي جزء من الفيديو يجب التركيز عليه، فلا يمكنك حساب "بصمة" الفيديو مسبقاً وتخزينها في قاعدة بيانات للبحث الفوري. يجب عليك إعادة حسابها في كل مرة تطرح فيها سؤالاً. يشير المؤلفون إلى أن نموذج الاسترجاع الأصلي لا يزال يعمل بشكل جيد للبحث، لكن نسخة "المحدد المحلي" (localizer) الجديدة أبطأ قليلاً بالنسبة لقواعد البيانات الضخمة.

الخلاصة

باختاً، تثبت هذه الورقة البحثية أنك لست بحاجة لبناء ذكاء اصطناعي جديد من الصفر للعثور على مصادر الصوت. يمكنك أخذ نموذج ذكاء اصطناعي ضخم مُدرب مسبقاً، وهو بارع بالفعل في مطابقة الأصوات مع الفيديوهات، ومن خلال إضافة ذكية (LAIP)، يمكنك فتح قدرته الخفية على الإشارة بدقة إلى مكان مجيء الضجيج. إنه تذكير بأنه في بعض الأحيان، الحل ليس في بناء دماغ أكبر، بل في تعليم الدماغ الموجود بالفعل كيفية الانتباه للتفاصيل الصحيحة.

ملخص تقني: فك شفرة التمركز المكاني في نماذج الاسترجاع السمعي البصري الضخمة

بيان المشكلة

يهدف تحديد موقع مصدر الصوت السمعي البصري (AV-SSL) إلى تحديد المناطق المكانية داخل إطار الفيديو التي تتوافق مع إشارة صوتية متزامنة. وتعد هذه المهمة صعبة بطبيعتها بسبب ندرة مصادر الصوت في المشاهد البصرية الكثيفة والمزدحمة. ويتمثل العائق الرئيسي في ندرة التوصيفات المكانية الكثيفة (الأقنعة على مستوى البكسل) المطلوبة للتدريب الخاضع للإشراف، حيث إن إنشاءها لمقاطع فيديو طويلة أمر مكلف للغاية. وبناءً على ذلك، اعتمد المجال على الأساليب الخاضعة للإشراف الضعيف التي تستخدم فقط أزواج الفيديو والصوت المتزامنة زمنياً.

بينما أنتج التدريب المسبق التبايني واسع النطاق نماذج استرجاع متعددة الوسائط قوية (مثل PE-AV) تعمل على محاذاة التضمينات العالمية للصوت والفيديو، إلا أن هذه النماذج مُحسّنة للمطابقة العالمية بدلاً من التوافق المكاني الدقيق. وفي بنى الاسترجاع القياسية، تُفقد المعلومات المكانية الكثيفة تدريجياً من خلال آليات التجميع العالمي في الطبقات العليا من العمود الفقري (backbone)، مما يؤدي إلى ميزات إطارية وفيديو تفتقر إلى الدقة اللازمة للتحديد الدقيق للمواقع. والسؤال المركزي الذي يعالجه هذا العمل هو ما إذا كان يمكن تكييف نماذج الاسترجاع الضخمة هذه، التي تتجاهل بطبيعتها التفاصيل المكانية، لاستعادة التمركز المكاني دقيق التفاصيل باستخدام الإشراف الضعيف فقط.

المنهجية: إطار عمل LAIP

يقترح المؤلفون إطار عمل LAIP (التجميع عبر التجميع المستنير صوتياً - Localization via Audio-Informed Pooling)، وهو إطار مصمم لحقن المعلومات الصوتية المتزامنة زمنياً في العمود الفقري البصري لنموذج استرجاع مدرب مسبقاً قبل التجميع الزمني.

البنية الأساسية

يعمل LAIP على عمود فقري للاسترجاع واسع النطاق (تحديداً PE-AV)، والذي يتكون من مشفرات للصوت والإطارات والفيديو. وبدلاً من تدريب نموذج تحديد الموقع من الصفر أو إرفاق رأس (head) ثقيل بالميزات المجمدة، يقوم LAIP بتعديل الواجهة بين مشفر الإطارات ومشفر الفيديو.

استخراج الميزات المتوسطة: إدراكاً بأن التفاصيل المكانية يتم كبتها في الطبقات النهائية من مشفر الإطار، يقوم LAIP باستخراج الرموز البصرية المتوسطة ( $V_t^\ell$ ) من طبقة مبكرة (تحديداً الطبقة 16 من مشفر مكون من 24 طبقة).
المحاذاة السمعية البصرية: بما أن الصوت والفيديو يعملان بدقات زمنية مختلفة، يقوم مجمع محلي خفيف الوزن (شبكة تلافيفية أحادية البعد تتبعها عملية متوسط حسابي زمني) بمحاذاة التدفق الصوتي مع معدل إطارات الفيديو، مما ينتج عنه تضمين صوتي متزامن $a_t$ لكل إطار.
التجميع المكاني المستنير صوتياً (AiSP): الابتكار الجوهري هو وحدة AiSP، التي تحل محل التجميع العالمي القياسي. وهي تعتمد تصميماً هرمياً يتكون من ثلاث طبقات AiSP متراكمة، تتبع كل منها كتلة تكييف تلافيفية خفيفة الوزن.
- الآلية: في كل مرحلة، يعمل الرمز الصوتي كاستعلام (query) للانتباه إلى الرموز البصرية المكانية. تشكل أوزان الانتباه خريطة تجزئة، ويتم تجميع الرموز البصرية داخل كتل مكانية محلية ( $K \times K$ ) موزونة بأوزان درجات الانتباه هذه.
- الرمز الفارغ (Null Token): للتعامل مع الحالات التي لا يتوافق فيها الصوت مع أي جسم مرئي (مثل الأصوات خارج الشاشة)، يتم إلحاق رمز فارغ قابل للتعلم ( $x_\emptyset$ ) بالقيم المفتاحية (keys). وهذا يسمح للاستعلام الصوتي بـ "الامتناع" عن اختيار الرموز البصرية إذا لم يكن هناك مصدر ذي صلة موجود.
- التحسين التدريجي: يعمل التراكم الهرمي على تقليل الدقة المكانية للرموز البصرية تدريجياً، ودمجها في رمز بصري واحد مستنير صوتياً ( $\tilde{c}_t$ ) يكون متوافقاً مع مشفر الفيديو الأصلي.

هدف التدريب

يتم تدريب النموذج باستخدام هدف تبايني عالمي مستوحى من SigLIP و FLAIR، ومكيف للمجال السمعي البصري:

خسارة التباين ( $L_{SIG}$ ): يتم محاذاة تمثيل الفيديو المجمع (الناتج عبر LAIP) مع رمز [CLS] الصوتي العالمي باستخدام خسارة تباين قائمة على الدوال السيجمويدية (sigmoid)، حيث يتم تشكيل الأزواج السلبية عن طريق عدم التطابق بين الصوت والفيديو.
التنظيم متعدد الدقة ( $L_{MRes}$ ): لضمان اتساق خرائط الانتباه مكانياً، يفرض حد الخسارة اتساقاً بين خرائط الانتباه في مراحل التجميع المختلفة (رفع دقة الخرائط ذات الدقة المنخفضة لتتطابق مع الخرائط ذات الدقة الأعلى).
تنظيم الرمز الفارغ ( $L_\emptyset$ ): يتم تطبيق عقوبة على الانتباه الموجه للرمز الفارغ للأزواج السلبية، مما يشجع النموذج على الامتناع عن اختيار المناطق البصرية عندما لا يكون هناك مصدر صوتي موجود.
المكيفة (Adapters): تُضاف مكيفات صغيرة إلى كتل MLP في مشفر الفيديو لمنع النموذج من الانهيار نحو تقليد رمز [CLS] الأصلي، بينما تظل بقية الأوزان المدربة مسبقاً مجمدة.

المساهمات الرئيسية

استغلال تمثيلات الاسترجاع: يوضح المؤلفون أن نماذج الاسترجاع السمعي البصري واسعة النطاق، رغم كونها مُحسّنة للمحاذاة العالمية، تحتفظ بمعلومات مكانية مهيكلة قابلة للاستغلال في الرموز البصرية المتوسطة. وهذا يسمح بالتمركز دون الحاجة إلى توصيفات مكانية كثيفة.
إطار عمل LAIP: تقديم بنية خفيفة الوزن مستنيرة صوتياً تقوم بحقن استعلامات صوتية في العمود الفقري البصري قبل التجميع الزمني. وهذا يتيح تآزراً سمعياً بصرياً قوياً مع الحفاظ على التوافق مع مسار الاسترجاع المدرب مسبقاً.
الإشراف العالمي للمهام المحلية: يظهر العمل أن الهدف التبايني العالمي، عند دمجه مع البنية المحددة (التجميع الهرمي) والتنظيم (الاتساق متعدد المقاييس والتعامل مع الرمز الفارغ)، كافٍ لتعلم تمثيلات سمعية بصرية مكانية غنية.

النتائج التجريبية

تم تقييم الطريقة على ثلاثة معايير مرجعية: AVATAR، و AVSBench، و ADE-SP.

معيار AVATAR: حقق LAIP أداءً هو الأفضل في جميع السيناريوهات الأربعة (الصوت الواحد، الصوت المختلط، الكيانات المتعددة، خارج الشاشة). ومن الجدير بالذكر أنه ضاعف أداء النماذج السابقة على معيار AVATAR تقريباً (على سبيل المثال، تحقيق ~27.6% CIoU مقارنة بـ ~13.4% لأفضل نموذج سابق TAVLO). كما تفوق على النماذج المرجعية حتى عندما كانت تلك النماذج تعمل بمعدلات إطارات أعلى.
معيار AVSBench: في مجموعات اختبار المصدر الواحد (S4) والمصادر المتعددة (MS3)، حقق LAIP أفضل درجات F-scores بفارق كبير وأفضل mask-IoU في تقسيم MS3 الصعب.
معيار ADE-SP: تفوق النموذج على جميع النماذج المرجعية، بما في ذلك تلك المصممة خصيصاً للتجزئة المستندة إلى الصوت (مثل TACO و DenseAV)، محققاً 33.35 m-IoU و 53.57 mAP.
دراسات الاستبعاد (Ablation Studies): أكدت التجارب ضرورة تصميم التجميع الهرمي، والتنظيم متعدد الدقة، وآلية الرمز الفارغ. وقد أدى استبدال الـ AiS الهرمي بطبقة انتباه واحدة أو استخدام ميزات من الطبقة النهائية للمشفر إلى انخفاض كبير في الأداء.

الأهمية والادعاءات

يزعم البحث أن تحديد موقع مصدر الصوت بدقة لا يحتاج إلى التعلم من الصفر على مجموعات بيانات صغيرة ومنسقة، بل يمكن "فك شفرته" من تمثيلات الاسترجاع الضخمة الموجودة بالفعل. ومن خلال التدخل قبل مرحلة التجميع النهائي لعمود فقري للاسترجاع، يوفر المؤلفون مساراً موحداً لكل من مهام الاسترجاع والتمركز.

يسلط العمل الضوء على أنه بينما تقوم نماذج الاسترجاع بضغط المعلومات المكانية، فإن الطبقات المتوسطة تحتوي على هيكل كافٍ يمكن استعادته عبر آلية تجميع مستنيرة صوتياً. ويقدم هذا النهج نظاماً عملياً لـ AV-SSL يتجنب تكلفة التوصيف الكثيف مع الاستفادة من الثراء الدلالي للتدريب المسبق الهائل.

القيود: يشير المؤلفون إلى قيد يتعلق بقابلية التوسع في الاسترجاع؛ نظرًا لأن الميزات البصرية في LAIP تعتمد على المدخلات الصوتية، فلا يمكن حساب تمثيلات الفيديو بشكل مستقل عن الاستعلام. وبينما يمكن استخدام نموذج PE-AV الأصلي لعمليات الاسترجاع القياسية، فإن مسار LAIP المعزز يتطلب إعادة حساب مشفر الفيديو لكل زوج من الصوت والفيديو، وهو أمر غير عملي حسابياً لأنظمة الاسترجاع واسعة النط scales. ويُقترح في العمل المستقبلي استعادة الاسترجاء القابل للتوسع مع الاحتفاظ بفوائد التمركز.