⚡ electrical engineering

PhaseCoder: Microphone Geometry-Agnostic Spatial Audio Understanding for Multimodal LLMs

تقدم الورقة البحثية PhaseCoder، وهو مشفر محول (transformer encoder) غير مرتبط بهندسة معينة، يقوم بتحويل الصوت متعدد القنوات الخام وإحداثيات الميكروفونات إلى تضمينات مكانية، مما يمكّن النماذج اللغوية الكبيرة متعددة الوسائط من إجراء تحديد مواقع قوي واستدلال مكاني معقد عبر تكوينات الأجهزة المتنوعة.

المؤلفون الأصليون: Artem Dementyev, Wazeer Zulfikar, Sinan Hersek, Pascal Getreuer, Anurag Kumar, Vivek Kumar

نُشر 2026-08-07

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Artem Dementyev, Wazeer Zulfikar, Sinan Hersek, Pascal Getreuer, Anurag Kumar, Vivek Kumar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك في حفلة صاخبة. يمكنك بسهولة تمييز صوت صديقك من عبر الغرفة، حتى بينما تضج الموسيقى وتتداخل أصوات الناس. هذه هي "القوة الخارقة" التي يمتلكها البشر وتسمى "تأثير حفلة الكوكتيل". نحن لا نسمع الصوت فحسب؛ بل نشعر من أين يأتي. نحن نعرف ما إذا كان الصوت خلفنا، أو على يسارنا، أو بعيداً عنا. هذا الوعي المكاني طبيعي جداً بالنسبة لنا لدرجة أننا نادراً ما نفكر فيه، لكن بالنسبة للروبوتات والمساعدات الذكية، يعد هذا لغزاً كبيراً. حالياً، معظم الأجهزة الذكية "عمياء صوتياً" تجاه الموقع؛ فهي تسمع تدفقاً واحداً مسطحاً من الصوت، مثل الاستماع إلى راديو عبر سماعة أذن واحدة. يمكنها إخبارك بـ ماذا قيل، لكن ليس لديها أدنى فكرة عن أين يقف المتحدث.

ولإصلاح ذلك، حاول العلماء تعليم الحواسيب فهم اتجاه الصوت. ومع ذلك، هناك عقبة: معظم برامج "السمع المكاني" هذه تشبه الأحذية المصنوعة خصيصاً؛ فهي تناسب زوجاً واحداً محدداً من الأقدام فقط. إذا كان الجهاز يحتوي على أربعة ميكروفونات مرتبة في مربع، فإن البرنامج يعمل. أما إذا كان جهاز آخر يحتوي على ثمانية ميكروفونات في دائرة، فإن البرنامج يتعطل. وذلك لأن البرنامج تم تدريبه على شكل محدد ولا يمكنه التكيف مع شكل جديد. علاوة على ذلك، فإن هذه البرامج عادة ما تكتفي بالإشارة بإصبعها وتقول "هناك"، لكنها لا تستطيع إجراء محادثة حول ذلك أو استخدام معلومات الموقع تلك لمساعدة روبوت على التنقل في غرفة. إنها بارعة في الإشارة، لكنها سيئة في التفكير.

هنا يأتي دور PhaseCoder، وهو اختراع جديد من قبل باحثين في Google DeepMind وMIT يعمل كمترجم عالمي للصوت. فكر في PhaseCoder كأنه زوج سحري من الأذنين لا يهتم بالشكل الذي اتصلت به "آذان" الميكروفونات. سواء كانت الميكروفونات مبعثرة في دائرة فوضوية، أو مصطفة في صف، أو مثبتة بنمط غريب على رأس روبوت، يستطيع PhaseCoder تحديد مكان الصوت بدقة. وهو يفعل ذلك من خلال الاستماع إلى الفروق الدقيقة في توقيت (أو "طور") الموجات الصوتية التي تصطدم بكل ميكروفون، تماماً كما يستخدم دماغك التأخير الزمني الضئيل بين أذنك اليمنى واليسرى لتحديد موقع الصوت.

لكن PhaseCoder لا يتوقف عند حد الإشارة فحسب. فقد ربط الباحثون هذا النظام بـ "دماغ" قوي يسمى نموذج لغة كبير (LLM)، وتحديداً نسخة من Gemma. تخيل منح هذا الدماغ حاسة جديدة: القدرة على رؤية العالم بصوت ثلاثي الأبعاد. الآن، بدلاً من مجرد سماع "مرحباً"، يمكن للذكاء الاصطناعي فهم "مرحباً، وأنا أقف على بعد ثلاثة أمتار إلى يسارك". لقد درب الباحثون هذا النظام باستخدام ملايين السيناريوهات الصوتية المولدة حاسوبياً، لتعليمه تجاهل شكل مصفوفة الميكروفونات والتركيز فقط على الصوت نفسه.

النتائج مبهرة. في اختبارات باستخدام تسجيلات من العالم الحقيقي من أجهزة مختلفة، حدد PhaseCoder مواقع الأصوات بدقة تبلغ حوالي 7.44 درجة في مجموعة بيانات صعبة، متفوقاً على النماذج الرائدة السابقة التي كانت عالقة في أشكال ميكروفونات محددة. والأهم من ذلك، عندما سألوا الذكاء الاصطناعي أسئلة معقدة، استطاع التفكير في الصوت. كان بإمكانه الإجابة على: "هل المتحدث على يساري؟" أو "انسخ فقط كلام الشخص الذي يقف خلفي"، مع تجاهل الجميع بنجاح. يعمل النظام مع أي عدد من الميكروفونات من ثلاثة إلى ثمانية، مما يثبت أنه يفهم حقاً هندسة الصوت بدلاً من مجرد حفظ تخطيط معين. وبينما لا يزال النظام يعاني قليلاً في تقدير المسافات الدقيقة (وهي مهمة صعبة للغاية بالاعتماد على الصوت وحده)، فقد نجح في سد الفجوة بين البيانات الصوتية الخام والتفكير الذكي، مما منح الآلات القدرة على "سماع" العالم من حولها حقاً.

PhaseCoder: Microphone Geometry-Agnostic Spatial Audio Understanding for Multimodal LLMs

ملخص تقني: PhaseCoder

بيان المشكلة

المنهجية

1. بنية مشفر PhaseCoder

2. استراتيجية التدريب

المساهمات الرئيسية

النتائج

الأهمية والادعاءات