Listen, See and Track: Spatio-Temporal Audio-Visual Sound Event Reasoning for Omni-Modal Language Models
تقدم هذه الورقة ST-OmniQA، وهو معيار مرجعي واسع النطاق صوتي-بصري زماني-مكاني يضم 40 ألف فيديو بانورامي وصوت أمبيسونيكس (Ambisonics)، وتقترح ST-Omni-R1، وهو نموذج يتفوق بشكل كبير على النماذج المرجعية من خلال دمج الإشارات الصوتية الاتجاهية مع السياق البصري عبر التعلم المنهجي التدريجي والتعلم المعزز للاستنتاج حول هوية مصادر الصوت وموقعها وحركتها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير في شارع مزدحم وعيناك مغمضتان. تسمع نباح كلب، وصوت بوق سيارة، وضحكة شخص ما. دماغك لا يكتفي فقط بسماع "ضجيج"؛ بل يدرك فوراً ما الذي يصدر هذا الصوت، ومن أين يأتي، وإلى أين يتجه. إنه يعرف أن الكلب يركض يساراً، وأن السيارة تقترب من اليمين، وأن الضحكة صادرة من شخص لا تراه بعد. هذه القدرة على مزج السمع والرؤية لتتبع الأشياء المتحركة هي "قوة خارقة" يمتلكها البشر، لكنها تمثل كابوساً للحواسيب.
لفترة طويلة، كانت البرامج الحاسوبية التي تفهم الصوت (نماذج اللغة والصوت) مثل الأشخاص الذين يغمضون أعينهم: يمكنها إخبارك أن هناك كلباً ينبح، لكن لا يمكنها إخبارك ما إذا كان الكلب يتحرك باتجاهك أو يهرب بعيداً عنك. ومن ناحية أخرى، كانت البرامج التي تفهم الفيديو (نماذج اللغة والرؤية) مثل الأشماء الذين يسدون آذانهم: يمكنها رؤية كلب، لكنها لا تعرف ما إذا كان هذا الكلب تحديداً هو من ينبح أم أنه واقف بصمت فحسب. التحدي الكبير في العلم حالياً هو بناء "دماغ روبوتي" يمكنه القيام بكل ذلك في وقت واحد—الاستماع إلى الصوت، ومشاهدة الفيديو، ومعرفة بالضبط كيف يتحرك مصدر الصوت عبر المكان والزمان. تتناول هذه الورقة البحثية هذا المشكل تحديداً، محاولةً تعليم الآلات كيف "تسمع، وترى، وتتتبع" في آن واحد.
المشكلة: الروبوتات "العمياء" و"الصماء"
لاحظ مؤلفو هذه الورقة فجوة في كيفية تفكير الحواسيب الذكية حالياً. بعض النماذج بارعة في فهم الصوت، لكنها تعامل مقطع الفيديو بأكته كحدث صوتي واحد ضبابي؛ فهي تغفل عن التفاصيل المتعلقة بـ أين يأتي الصوت أو كيف يتحرك. ونماذج أخرى بارعة في مشاهدة الفيديوهات، لكنها تعتمد على أصوات بسيطة تفتقر إلى المعلومات "المكانية" (مثل الاتجاه أو المسافة) لمعرفة مكان الأشياء.
فكر في الأمر كأنك تحاول العثج بصديق في حديقة مزدحمة. إذا كان لديك فقط وصف لصوته (صوت)، فقد تعرف أنه موجود، لكن لا يمكنك الإشارة إليه. وإذا كان لديك فقط صورة (فيديو)، فيمكنك رؤيته، لكنك لن تعرف ما إذا كان هو المتحدث. لكي تفهم المشهد حقاً، تحتاج إلى مطابقة الصوت مع الشخص، وتتبع حركته أثناء مشيه خلف شجرة أو حول زاوية. تعاني النماذج الحالية من مشكلة "الربط" هذه—فهي لا تستطيع بسهولة ربط صوت متحرك بكائن متحرك في الفيديو.
الحل: ملعب جديد ودماغ جديد
لإصلاح ذلك، أنشأ الباحثون شيئين: اختباراً ضخماً جديداً يسمى ST-OmniQA ونموذج ذكاء اصطعي جديد يسمى ST-Omni-R1.
1. الاختبار: ST-OmniQA
تخيل لعبة فيديو ضخمة تدور فيها الكاميرا بزاوية 360 درجة (فيديو بانورامي) ويتم تسجيل الصوت بميكروفونات خاصة تعرف بدقة من أين تأتي الأصوات (تسمى الصوت المحيطي من الدرجة الأولى أو FOA). بنى الباحثون مجموعة بيانات تحتوي على 40,000 مقطع فيديو من هذه، و400,000 سؤال حولها.
تزداد الأسئلة صعوبة عبر أربعة مستويات، مثل ألعاب الفيديو:
- المستوى A (الأساسيات): "ما هذا الصوت؟" أو "كم يبعد؟"
- المستوى B (الزحام): "هناك كلبان ينبحان؛ أي منهما على اليسار؟"
- المستوى C (المطاردة): "أي مصدر صوت يتحرك باتجاه الشخص الواقف هناك؟"
- المستوى D (اللغز): "سُمع صوت بين الثانية 2 والثانية 3، لكن المصدر لم يكن مرئياً بعد. دخل من الباب الأيسل بين الثانية 3 و5. من كان هو؟"
هذا الاختبار يجبر الذكاء الاصطناعي ليس فقط على التخمين، بل على التفكير في الزمان والمكان وكيفية تطابق الصوت والرؤية معاً.
2. الدماغ: ST-Omni-R1
بنى الباحثون نموذج ذكاء اصطناعي جديداً لخوض هذا الاختبار. بدلاً من مجرد الاستماع إلى ملف صوتي مسطح، يستخدم هذا النموذج "مترجماً" خاصاً (المشفر STA) يحول بيانات الصوت ثلاثية الأبعاد إلى قائمة من "رموز المسار" (trajectory tokens). فكر في هذه الرموز كآثار فتات الخبز التي تخبر الذكاء الاصطناعي بدقة كيف تحرك الصوت عبر الزمن.
يتعلم النموذج في مراحل، مثل الطالب الذي يمر بالمراحل الدراسية:
- المرحلة A: يتعلم تحديد الأصوات البسيطة وأماكنها.
- المرحلة B: يتعلم التعامل مع أصوات متعددة في وقت واحد.
- المرحلة C: يتعلم مقارنة كيفية تحرك الأصوات المختلفة بالنسبة لبعضها البعض.
- المرحلة D: يتعلم ربط الصوت بكائن محدد في الفيديو، حتى لو اختفى الكائن خلف جدار (الاحتجاب) ثم ظهر مرة أخرى.
ولجعل النموذج أكثر ذكاءً، استخدموا تقنية "تعلم التعزيز القائم على شجرة الاستنتاج". تخيل أن الذكاء الاصطناعي يحل لغزاً؛ بدلاً من مجرد إعطائه الإجابة، يقوم النظام بالتحقق من كل خطوة من خطوات تفكيره. إذا قال الذكاء الاصطناعي: "الكلب على اليسار"، فإن النظام يتحقق مما إذا كان الذكاء الاصطناعي قد حدد الكلب بشكل صحيح، ورأى بشكل صحيح أنه على اليسار، وربط النباح بالكلب بشكل صحيح. إذا لم تتطابق الخطوات، يتلقى الذكاء الاصطناعي تصحيحاً بـ "قلم أحمر". هذا يساعد النموذج على التعلم ليكون متسقاً ومنطقياً.
النتائج: قفزة هائلة للأمام
عندما وضعوا نموذج ST-Omni-R1 في اختبار ST-OmniQA، حقق أداءً مذهلاً.
- النماذج الحالية الأفضل (مثل أذكى ذكاء اصطناعي عام متاح) لم تحصل إلا على حوالي 37.28% من الإجابات الصحيحة في المتوسط.
- حقق ST-Omni-R1، بعد تدريبه الخاص، دقة بلغت 77.83%.
هذا ليس مجرد تحسن طفيف؛ بل هو قفزة هائلة. أثبت النموذج قدرته على التعامل مع سيناريوهات معقدة، مثل تتبع مصدر صوت يختبئ خلف جسم ثم يظهر مرة أخرى، أو التمييز بين صوتين متشابهين يتحركان في اتجاهات مختلفة.
كما اختبر الباحثون نموذجهم على ثلاث مجموعات بيانات صوتية أخرى من العالم الحقيقي (TAU-NIGENS، L3DAS22، وSTARSS23) لم يسبق له رؤيتها. وحتى دون التدريب خصيصاً على تلك المجموعات، تفوق ST-Omni-R1 على النماذج السابقة الأفضل. وهذا يشير إلى أن الطريقة التي تعلم بها النموذج فهم المكان والحركة هي مهارة يمكنه استخدامها في مواقف مختلفة، وليس فقط في الاختبار الذي صمموه.
لماذا يهم هذا؟
تظهر هذه الورقة البحثية أننا نقترب من منح الحواسيب القدرة البشرية على "سماع ورؤية" العالم كقصة واحدة متحركة. من خلال تعليم الآلات تتبع رحلة مصدر الصوت—معرفة من أين بدأ، وإلى أين ذهب، وكيف بدا حتى عندما كان مختبئاً—نحن نبني أساساً للروبوتات والمساعدين الافتراضيين الذين يمكنهم حقاً فهم عالمنا الديناميكي، الصاخب، والبصري. يشير المؤلفون إلى أن هذا النهج المتمثل في الجمع بين الصوت ثلاثي الأبعاد والفيديو البانورامي وتعليم الذكاء الاصطنا Cut step-by-step هو المفتاح لفتح المستوى التالي من الذكاء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.