JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments

ملخص تقني: JAEGER – الربط والاستدلال المشترك بين الصوت والفيديو ثلاثي الأبعاد

بيان المشكلة
تواجه النماذج اللغوية الكبيرة الصوتية-البصرية (AV-LLMs) الحالية قيوداً جوهرية ناتجة عن عدم تطابق الأبعاد؛ فهي تعتمد على فيديو RGB ثنائي الأبعاد وصوت أحادي القناة (monaural). هذا التصميم يمنع التحديد الموثوق لمصدر الصوت والاستدلال المكاني في البيئات الفيزيائية المعقدة ثلاثية الأبعاد. غالباً ما تتعامل النهج الحالية مع الإشارات المكانية البصرية والسمعية بشكل منعزل، أو تعتمد على مسارات برمجية مجزأة تفصل بين معالجة الإشارات والتعلم الشامل (end-to-end)، مما يؤدي إلى الفشل في تحقيق فهم موحد للمشهد ثلاثي الأبعاد. علاوة على ذلك، فإن غياب مجموعات البيانات الضخمة وعالية الدقة ذات الهندسة المترية المتزامنة (RGB-D)، والصوت المكاني متعدد القنوات، والتعليقات التوضيحية ثلاثية الأبعاد الدقيقة، يعيق تدريب النماذج القادرة على الاستدلال المكاني القوي.

المنهجية
يقترح المؤلفون إطار عمل JAEGER، وهو إطار عمل شامل (end-to-end) يوسع نطاق النماذج اللغوية الكبيرة الصوتية-البصرية ليشمل البيئات ثلاثية الأبعاد من خلال نمذجة العمق البصري والصوت متعدد القنوات بشكل صريح. يتم تهيئة النظام انطلاقاً من نموذج Qwen2.5-Omni وتكييفه عبر تقنية التكيف منخفض الرتبة (LoRA).

• البنية الهيكلية: يدمج JAEGER مسارين أساسيين:
  1. المسار البصري: يعالج مدخلات RGB-D. ويستخدم استراتيجية ترميز موضعي مدركة للبعد الثالث، حيث يتم إسقاط السحب النقطية المترية (metric point clouds)، المستعادة من خرائط العمق، في ترميزات جيبية (sinusoidal encodings). تُدمج هذه الترميزات مع الرموز البصرية لربط التمثيلات بالمساحة المترية.
  2. المسار الصوتي: يعالج نظام "أمبيسونيكس" من الدرجة الأولى (FOA) رباعي القنوات. ويستخدم تصميماً مزدل المسار: مسار يستخرج المحتوى الدلالي من القناة متعددة الاتجاهات (W)، بينما يستخرج المسار الآخر الإشارات الاتجاهية المكانية.
• متجه الكثافة العصبية (Neural Intensity Vector): هو ابتكار جوهري يحل محل ميزات الكثافة التقليدية القائمة على تحويل فوريه قصير المدى (STFT). على عكس "متجه الكثافة الكلاسيكي" الذي يعتمد على معالجة إشارات ثابتة، فإن "متجه الكثافة العصبية" هو تمثيل قابل للتعلم. يستخدم هيكلاً خلفياً من نوع CNN أحادي الأبعاد (مستوحى من data2vec) لترميز موجات FOA الخام، حيث يحسب نواتج الضرب العنصري بين الميزات الكامنة متعددة الاتجاهات والميزات الاتجاهية. ثم يقوم طبقة MLP بإسقاط هذه التفاعلات في تمثيل مكاني قوي، مصمم للحفاظ على دقة الاتجاه في حالات الصدى وتداخل المصادر.
• هدف التدريب: يتم تدريب النموذج لأداء مهام الربط ثلاثي الأبعاد (التنبؤ بصناديق الإحاطة ثلاثية الأبعاد) والاستدلال (مطابقة المصادر الصوتية مع الأجسام البصرية) من خلال الضبط الدقيق للتعليمات (instruction tuning).

المساهمات الرئيسية

1. إطار عمل JAEGER: أول إطار عمل شامل للنماذج اللغوية الكبيرة الصوتية-البصرية يدمج هندسة RGB-D مع صوت FOA متعدد القنوات للربط والاستدلال المكاني المشترك، مما يعالج الفجوة في الأبعاد التي تعاني منها النماذج الحالية المتمحورة حول البعدين.
2. متجه الكثافة العصبية (Neural IV): تمثيل مكاني صوتي جديد وقابل للتعلم، يتفوق على الطرق الكلاسيكية القائمة على STFT في تقدير اتجاه الوصول (DoA)، لا سي la سيما في الظروف الصعبة مثل تداخل المصادر الصوتية والصدى.
3. مجموعة بيانات SpatialSceneQA: معيار مرجعي جديد يضم 61,000 عينة للضبط الدقيق للتعليمات، تم إنتاجها في بيئات فيزيائية محاكات (باستخدام SoundSpaces 2.0 و Habitat-Sim). تجمع المجموعة بين مشاهد RGB-D عالية الدقة وصوت FOA رباعي القنوات وتعليقات توضيحية ثلاثية الأبعاد كثيفة. تغطي المجموعة مهام تشمل تقدير اتجاه الوصول (DoA) لمصدر واحد أو متداخل، والربط البصري ثلاثي الأبعاد للأجسام المصدرة للصوت، والمطابقة الصوتية-البصرية متعددة المتحدثين.

النتائج التجريبية
أظهرت التجارب المكثفة على SpatialSceneQA تفوق JAEGER على النماذج المرجعية المتمحورة حول البعدين والنماذج المتخصة:

• التوطين الصوتي: يحقق JAEGER باستخدام Neural IV متوسط خطأ زاوي (MAE) يبلغ 2.21 درجة للمصادر الفردية و 4.11 درجة للمصادر المتداخلة. وهذا يتفوق بشكل كبير على نموذج BAT المتخصص في سيناريوهات التداخل (حيث خفض الخطأ من 19.09 درجة إلى 4.11 درجة) مع مضاهاة أدائه في مهام المصدر الواحد.
• الربط البصري ثلاثي الأبعاد: يحقق النموذج نسبة تقاطع فوق الاتحاد (IoU) ثلاثية الأبعاد تبلغ 0.32 مع متوسط خطأ في التوطين (Visual Offset) يبلغ 0.16 متراً. وتؤكد دراسات الاستئصال (Ablation studies) أن الترميز الصريح للعمق أمر بالغ الأهمية، حيث حسن نسبة 3D IoU من 0.29 إلى 0.32.
• الاستدلال المشترك: في مهام الاستدلال متعدد المتحدثين، يحقق JAEGER دقة تقارب الكمال (99.2% للمصادر المتداخلة)، بينما تنهار النماذج التي تفتقر إلى الأبعاد الثلاثية أو مدخلات FOA إلى أداء يقارب العشوائية (~45%).
• رؤى الاستئصال: أدى حذف مشفر FOA إلى انخفاض أداء الاستدلال إلى مستويات التخمين العشوائي، مما يثبت تجريبياً أن الصوت أحادي القناة غير كافٍ لفك الالتباس المكاني. وبالمثل، أدى حذف ترميز العمق إلى تدهور كبير في دقة الربط.

الأهمية والادعاءات
يزعم البحث أن النمذجة الصريحة للعمق البصري والصوت المكاني أمر لا غنى عنه للنهوض بالذكاء الاصطناعي في البيئات الفيزيائية. يثبت JAEGER أن النماذج اللغوية الكبيرة الصوتية-البصرية الحالية، حتى بعد الضبط الدقيق، تمتلك فجوة جوهرية في الأنماط تمنع الاستدلال الموثوق ثلاثي الأبعاد دون هذه الإشارات الصريحة. ومن خلال سد هذه الفجوة عبر Neural IV ومعيار SpatialSceneQA، يوفر هذا العمل نموذجاً موحداً للإدراك الشامل ثلاثي الأبعاد. يضع المؤلفون هذا العمل كخطوة ضرورية نحو تطوير وكلاء ماديين (embodied agents) ذوي قدرات تفاعل مكاني قوية، مع ملاحظة أن النتائج الحالية قائمة على المحاكاة وتتطلب مزيداً من التحقق للنشر في العالم الحقيقي فيما يتعلق بمعايرة المستشعرات والانتقال الصوتي.