Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation

تخيل أنك في معرض شارع صاخب. عيناك مشغولتان بمسح الحشد، فتلمحان لاعب خفة، وساحرًا، وعازف موسيقى شارع. لكن أذنيك تسمعان مزيجًا فوضويًا: رنين العملات المعدنية، وهمهمة الغيتار، وهدير الحشد، وكلها ممتزجة في موجة صوتية واحدة كبيرة وفوضوية. لفترة طويلة، كانت الحواسيب بارعة في رؤية العالم، لكنها تعاني عندما تحاول "سماع" ما يدور حولها. يمكنها أن تخبرك بأن هناك صوتًا، لكنها غالبًا لا تستطيع إخبارك من الذي يصدره، خاصة عندما يتحدث عدة أشخاص أو يعزفون آلات موسيقية في نفس الوقت. هذا هو لغز الفهم "السمعي-البصري": تعليم الآلات كيفية ربط ما تراه بما تسمعه، ليس فقط كشعور عام، بل لتتبع أشياء محددة مثل غيتار معين أو مغني معين. الأمر يشبه محاولة متابعة محادثة واحدة في غرفة صاخبة مع إبقاء عينيك على الشخص المتحدث، حتى لو توقف عن الكلام للحظة.

هذا هو التحدي الذي عالجه نموذج حاسوبي جديد يسمى "Hear to See" (H2S). أدرك الباحثون وراء هذا العمل أن الحواسيب الحالية كانت ترتبك بسبب مشكلتين رئيسيتين. أولاً، عندما تختلط الأصوات المتعددة، يفقد الحاسوب التفاصيل اللازمة للتمييز بينها. ثانياً، الصوت والرؤية لا يحدثان دائمًا بنفس السرعة؛ فقد يتوقف شخص عن الغناء بينما لا يزال واقفًا في مكانه، أو يبدأ في الغناء قبل أن تركز الكاميرا عليه. يقترح البحث طريقة جديدة ذكية لحل ذلك من خلال منح الحاسوب "قوتين خارقتين" خاصتين: واحدة لفك تشابك "حساء الصوت" الفوضوي، وأخرى لتغيير "سرعة استماعه" اعتمادًا على ما إذا كانت الأمور فوضوية أم هادئة.

المشكلة: عالم صاخب وفوضوي

لفهم سبب تميز هذا النموذج الجديد، دعونا ننظر إلى كيفية محاولة الحواسيب حل هذه المشكلة عادةً. تخيل محققًا يحاول مطابقة بصمة إصبع (الصوت) بمشتبه به (الجسم المرئي). حاولت الطرق القديمة أخذ بصمة الإصبع كاملة، ثم جعلها ضبابية قليلاً لتسهيل التعامل معها، ثم التخمين لمن تنتمي. ولكن عندما يكون لديك ثلاثة مشتبه بهم يتركون بصمات أصابعهم في نفس الوقت، فإن جعلها ضبابية ومدمجة يجعل من المستحيل معرفة صاحب كل بصمة. ينتهي الأمر بالحاسوب وهو يخمن: "أوه، هناك صوت، إذًا لا بد من وجود شخص ما"، لكنه لا يستطيع تحديد أي شخص، أو ما إذا كان الصوت قد توقف.

علاوة على ذلك، كان هؤلاء المحققون القدامى جامدين للغاية. كانوا ينظرون إلى العالم في كتل زمنية ثابتة، مثل التحقق من الساعة كل ثانية. إذا توقف شخص عن الغناء في منتصف تلك الثانية، فسيظل الحاسوب يعتقد أنه يغني لأنه كان عالقًا في جدوله الزمني الجامد. لم يكن بإمكانه التكيف مع حقيقة أن الصوت قد اختفى، مما يؤدي إلى جعل الحاسوب "يهلوس" بأن جسمًا صامتًا لا يزال يصدر ضجيجًا.

الحل: فك تشابك "الحساء" وتغيير التروس

يصلح نموذج "Hear to See" (H2S) هذا الأمر باستخدام حيلتين رئيسيتين، أطلق عليهما المؤلفون اسم المسقط السمعي-الدلالي (ASP) ومعدل الديناميكيات غير المتزامنة (ADM).

1. فكاك الصوت (ASP)
تخيل الإشارة الصوتية كأنها "سموذي" ضخم مكون من الفراولة والموز والتوت الأزرق ممزوجة معًا. حاولت الطرق القديمة تخمين نكهة "السموذي" لمعرفة نوع الفاكهة الموجودة بداخله. أما H2S، فيستخدم أداة خاصة تسمى المسقط السمعي-الدلالي (Acoustic-Semantic Projector) لفصل "السموذي" مرة أخرى إلى فواكهه الأصلية. إنه يأخذ ذلك الصوت المختلط والفوضوي ويقسمه إلى مسارات متميزة: مسار للغيتار، ومسار لليوكيليلي، ومسار للمغني.

بمجرد فصل الأصوات، لا يكتفي النموذج بالنظر إلى الصوت فحسب؛ بل يبني جسرًا بين "معنى" الصوت و"موقع" الجسم. الأمر يشبه مطابقة فكرة صوت الغيتار مع شكل الغيتار في الفيديو. من خلال فصل الأصوات أولاً ثم مطابقتها مع العالم المرئي عبر خطوات، يمكن للحاسوب أخيرًا أن يقول: "هذا الصوت ينتمي إلى ذلك الغيتار تحديدًا"، حتى لو كانت ثلاثة غيتارات تعزف في آن واحد.

2. المتحكم الذكي في السرعة (ADM)
تتعلق الحيلة الثانية بالتوقيت. تخيل أنك تقود سيارة. عندما تكون على طريق مستقيم وخالٍ، تسير بسرعة ثابتة وتستمتع بالمناظر الطبيعية أمامك. ولكن عندما تصطدم بفجوة مفاجئة في الطريق أو طفل يركض فجأة في الشارع، تضغط على المكابح بقوة وتركز تمامًا على الخطر المباشر.

يقوم معدل الديناميكيات غير المتزامنة (ADM) بالضبط بهذا الأمر لعقل الحاسوب. فهو يستخدم نوعًا خاصًا من أنظمة الذاكرة (يعتمد على شيء يسمى Mamba) يمكنه تغيير سرعته.

• عندما تكون الأمور فوضوية: إذا بدأ صوت فجأة أو توقف (مثل صراخ شخص أو انغلاق باب بقوة)، يشعر النموذج بهذا التغيير ويسرع من وتيرة انتباهه. يركز بشدة على اللحظة الحالية لالتقاط التغيير المفاجئ، مما يضمن عدم تفويت صوت جديد أو الاستمرار في تتبع جسم صامت.
• عندما تكون الأمور هادئة: إذا كان المشهد مستقرًا والأصوات متسقة، يهدئ النموذج من سرعته وينظر إلى الماضي. يتذكر ما رآه قبل لحظة للحفاظ على تتبع سلس وثابت.

هذه القدرة على التبديل بين "رد الفعل السريع" و"الذاكرة المستقرة" تسم تسمح للحاسوب بالتعامل مع الطبيعة غير المتزامنة للحياة الواقعية، حيث لا يتوافق الصوت والرؤية دائمًا بشكل مثالي.

ما وجدوه

اختبر الباحثون نموذجهم الجديد على مجموعة بيانات تسمى AVISeg، والتي تحتوي على مئات الفيديوهات ذات السيناريوهات الصوتية والبصرية المعقدة. وقارنوا نموذج "Hear to See" الخاص بهم بأفضل الأساليب الموجودة حاليًا.

كانت النتائج مثيرة للإعجاب حقًا. باستخدام هيكل كاميرا قياسي (ResNet50 مدرب على مجموعة بيانات ضخمة تسمى COCO)، حقق نموذجهم درجة 48.54 mAP (وهي مقياس لمدى جودة اكتشاف الأشياء وتتبعها). كانت هذه قفزة كبيرة، حيث تفوق على أفضل طريقة سابقة بنسبة 7.8%.

وعندما نظروا تحديدًا إلى السيناريوهات الأكثر صعوبة — حيث تكون الأصوات غير متزامنة (تبدأ وتتوقف في أوقات غريبة) ومتداخلة معًا — تفوق نموذجهم بشكل أكبر. ففي "مجموعة فرعية غير متزامنة" من البيانات، سجل نموذجهم 46.75 mAP، بينما لم تتمكن أفضل طريقة سابقة من تحقيق أكثر من 32.66 mAP. هذا تحسن هائل قدره 14.09 mAP، مما يظهر أن قدرة النموذج على تعديل سرعته وفك تشابك الأصوات تتألق حقًا عندما تصبح الأمور فوضوية.

لماذا يهم هذا الأمر؟

تثبت الورقة البحثية أنه من خلال منح الحواسيب القدرة على "فك تشابك" الأصوات و"تغيير التروس" بناءً على كيفية حركة العالم، يمكننا جعلها أفضل بكثير في فهم الفيديو. بدلًا من مجرد رؤية ضباب من النشاط، يمكن للحاسوب الآن التمييز بين غيتار صامت وآخر يعزف، أو تتبع مغني يتوقف في منتص الكلام دون أن يفقد أثره.

يشير المؤلفون إلى أنه على الرغم من أن هذا يعمل بشكل رائع عند مشاهدة الفيديوهات المسجلة (غير المتزامنة/التي تُعالج لاحقًا)، إلا أنه لم يتم اختباره بعد في المواقف المباشرة واللحظية (Online)، حيث لا يمكن للحاسوب النظر للأمام ليرى ما سيحدث لاحقًا. ولكن في الوقت الحالي، يثبت "Hear to See" أنه مع المزيج الصحيح من فصل الصوت والتوقيت الذكي، يمكن للآلات أخيرًا أن تتعلم الاستماع إلى العالم بوضوح كما تراه.