Teaching Foundation Models to Read mmWave: Pose-Guided Kinematic Representation for Human Behavior Understanding
تقدم الورقة البحثية mmMind، وهو نموذج راداري لغوي يستفيد من التدريب المسبق الموجه بالوضعية لمواءمة بيانات رادار الموجات المليمترية (mmWave) مع النماذج اللغوية الكبيرة من أجل فهم سلوك الإنسان بطريقة صديقة للخصوصية، وقد تم التحقق من ذلك عبر معيار جديد من الواقع الفعلي وأداء متفوق في مهام الوصف والإجابة على الأسئلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم مساعد روبوت فائق الذكاء كيف يفهم ما يفعله الأشخاص في الغرفة، ولكن مع شرط واحد: لا يمكنك السماح للروبوت باستخدام عينيه. الكاميرات رائعة، لكنها قد تبدو وكأنها انتهاك للخصوصية في أماções مثل غرف النوم أو الحمامات، كما أن ارتداء أجهزة استشعار خاصة أمر مزعج. لذا، يلجأ العلماء إلى نوع آخر من "الرؤية" يسمى رادار الموجات المليمترية (mmWave). فكر في هذا الرادار كخفاش يستخدم تحديد الموقع بالصدى؛ فهو يرسل موجات راديو غير مرئية ترتد عن الأجسام وتعود، مما يخلق سحابة من النقاط توضح أين يوجد الجسم وكيف يتحرك. إنه يحافظ على الخصوصية، ولا يتطلب تلامساً، ولا يلتقط صوراً يمكن التعرف على ملامحها.
ومع ذلك، هناك مشكلة كبيرة: هذه النقاط الرادارية فوضوية، ومتباعدة، ويصعب على عقل الروبوت (نموذج لغوي كبير، أو LLM) فهمها. النموذج اللغوي الكبير يشبه طالباً عبقرياً يستطيع قراءة الكتب وكتابة القصص، ولكن إذا قدمت له حفنة من النقاط المبعثرة والمشوشة، فلن يدرك معناها أبداً. الأمر يشبه محاولة شرح رقصة لشخص ما عبر إعطائه فقط قائمة بإحداثيات عشوائية دون أي إيقاع أو تدفق. السؤال الكبير هو: كيف نحول هذه النقاط الرادارية المربكة وغير المرئية إلى قصة واضحة يمكن لروبوت يجيد اللغة أن يقرأها ويفهمها، بحيث يمكنه إخبارك بالضبط بما يفعله الشخص دون أن يراه أبداً؟
هنا يأتي مشروع جديد يسمى mmMind. لقد قام الباحثون في جامعة بكين وجامعة ETH Zurich ببناء نظام ذكي يعلم روبوتاً يستشعر بالرادار كيف "يقرأ" الحركة البشرية باستخدام حيلة تدريب سرية. تخيل أنك تعلم طالباً وصف رقصة ما. عادةً، قد تعرض عليه الفيديو الفوضوي وتطلب منه التخمين. ولكن مع mmMind، يعرض المعلمون على الطالب الرقصة جنباً إلى جنب مع رسم هيكلي مثالي ومتزامن لمفاصل الراقص. يتعلم الطالب ربط نقاط الرادار الفوضوية بهذا الهيكل العظمي الواضح. وبمجرد أن يتعلم الطالب الإيقاع وشكل الجسم من خلال دروس "الهيكل العظمي" هذه، يسحب المعلمون رسومات الهيكل العظمي بعيداً. الآن، عندما يرى الطالب فقط نقاط الرادار الفوضوية، يمكنه "رؤية" الهيكل العظمي في ذهنه ووصف الرقصة بشكل مثالي.
تقدم الورقة البحثية نموذج mmMind، وهو نموذج يستخدم طريقة التدريب "الموجهة بالوضعية" (pose-guided). خلال مرحلة التدريب، ينظر النظام إلى بيانات الرادار والوضعية ثلاثية الأبعاد (الهيكل العظمي) المقابلة لشخص يتحرك. إنه يتعلم ترجمة نقاط الرادار المتفرقة والمشوشة إلى لغة حركة سلسة ومستمرة تحافظ على بنية الجسم وكيفية تغيره بمرور الوقت. وبمجال انتهاء عملية التعلم هذه، يتخلص النظام من بيانات الهيكل العظمي. ومنذ ذلك الحين، لا يحتاج إلا إلى إشارات الرادار الخام لفهم السلوك البشري. ثم علم الباحثون هذا النموذج المتمرس في الرادار كيف يتحدث مع نموذج لغوي كبير، مما يسمه بالإجابة على الأسئلة، وكتابة الأوصاف، وحتى إجراء محادثات حول ما "يراه".
ولإثبات نجاح ذلك في العالم الحقيقي، لم يكتفِ الفريق باستخدام عمليات محاكاة حاسوبية فحسب؛ بل بنوا قاعدة بيانات ضخمة جديدة تسمى mmMind-Bench. لقد سجلوا 17.9 ساعة من حركة أشخاص حقيقيين في سبعة بيئات داخلية مختلفة، مثل غرف المعيشة والمكاتب. وسجلوا تحركات 23 مشاركاً وهم يقومون بكل شيء، من المشي والجلوس إلى تمارين القفز (jumping jacks) والسقوط. والأهم من ذلك، أنهم لم يكتفوا بتسمية هذه الأفعال بكلمات بسيطة مثل "القفز"؛ بل أنشأوا أوصافاً مفصلة وثنائية اللغة (الإنجليزية والصينية)، وأسئلة، وحوارات متعددة الأدوار تصف بدقة كيف تحرك الجسم، واتجاه الحركة، وتسلسل الأحداث.
تشير النتائج إلى أن هذا النهج يمثل خطوة كبيرة للأمام. فعند اختباره في مهام مثل وصف حركة ما، والإجابة على أسئلة حول الحركة، والتعرف على أفعال لم يسبق له رؤيتها، تفوق mmMind باستمرار على الطرق السابقة. على سبيل المثال، في وصف الأفعال، حقق درجة 86.8، متفوقاً على أفضل طريقة تالية بفارق كبير. وفي التعرف على أفعال جديدة لم يراها من قبل، كانت دقة النموذج 91.2%. ووجد الباحثون أن إزالة خطوة تدريب "الهيكل العظمي" تسببت في انخفاض أداء النموذج بشكل كبير، مما يشير إلى أن تعلم بنية الجسم أمر ضروري لفهم الحركة. كما اكتشفوا أن محاولة ضغط بيانات الرادار في أكواد بسيطة ومنفصلة (مثل تحويل الحركة إلى قائمة من الأرقام) جعلت النموذج أقل دقة، مما يؤكد أن الحفاظ على الحركة كتدفق مستمر وسلس هو الأفضل.
بينما يعد النظام مثيراً للإعجاب، إلا أن المؤلفين يشيرون بحذر إلى حدوده. فهو ليس مثالياً في عد الأرقام الدقيقة، مثل عدد مرات قفز شخص ما أو السرعة الدقيقة للدوران، خاصة إذا كانت إشارة الرادار ضعيفة أو إذا كان الشخص مرئياً جزئياً فقط. كما أشاروا إلى أن النظام يحتاج حالياً إلى مساعدة لفصل عدة أشخاص في غرفة واحدة؛ فهو يعتمد على أداة خارجية لفرز نقاط الرادار المختلطة إلى أفراد قبل أن يبدأ mmMind في تحليلها. ومع ذلك، فإن هذا العمل يشير إلى أنه من خلال تعليم الذكاء الاصطعي فهم "الكينماتيكا" (فيزياء الحركة) لجسم الإنسان من خلال الرادار، يمكننا بناء مساعدين يحترمون الخصوصية ويعرفون ما نفعله دون الحاجة أبداً لالتقاط صورة لنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.