ملخص تقني: هل يمكن للنماذج اللغوية فهم بيانات الموجات المليمترية (mmWave)؟

بيان المشكلة

لقد تقدم دمج النماذج اللغوية الكبيرة (LLMs) في أنظمة الإدراك البشري بشكل كبير في المجالات البصرية (RGB) والصوتية، ومع ذلك لا يزال هذا المجال غير مستكشف إلى حد كبير فيما يتعلق بالرادار ذو الموجات المليمترية (mmWave). وبينما توفر استشعار الموجات المليمترية مزايا متميزة — مثل المتانة في ظروف الإضاءة المنخفضة، والانسداد، والحفاظ على الخصوصية بسبب اعتمادها على الانعكاسات الكهرومغناطيسية بدلاً من المظهر — تواجه النهج الحالية ثلاث عقبات رئيسية:

1. ندرة البيانات: هناك نقص في أزواج الرادار واللغة العامة؛ حيث إن مجموعات البيانات الموجودة صغيرة، ومحددة معملياً، وتفتقر إلى التعليقات التوضيحية باللغة الطبيعية.
2. التباين (Heterogeneity): تختلف ملاحظات الموجات المليمترية بشكل كبير عبر الأجهزة (تردد الموجة الحاملة، عدد الهوائيات)، والظروف البيئية (الضجيج، تعدد المسارات)، والإعدادات التجريبية، مما يسبب انزياحات توزيعية شديدة تعيق التعميم.
3. نقص المشفرات التأسيسية: يفتقر المجال إلى أدوات ترميز (tokenizers) معيارية أو مشفرات تأسيسية لربط تنسورات الموجات المليمترية الخام مع النماذج اللغوية الأساسية، مما يجبر الأنظمة الحالية على إعادة التدريب لكل مجموعة بيانات أو سيناريو جديد.

وبناءً على ذلك، فإن نماذج إدراك البشر الحالية القائمة على الموجات المليمترية هي نماذج "معدلة حسب السيناريو"، تتطلب إعادة تدريب لكل مجموعة بيانات وتفشل في الاستفادة من قدرات الاستنتاج "صفرية المعرفة" (zero-shot reasoning) للنماذج اللغوية الكبيرة الحديثة.

المنهجية

1. بناء معيار mmWave-QA

لمعالجة هذه الفجوات، قدم المؤلفون mmWave-QA، وهو أول معيار مصمم لتقييم الإدراك البشري للموجات المليمترية المشروط باللغة. تتضمن عملية البناء ما يلي:

• تكامل البيانات: تجميع ثلاثة مجموعات بيانات عامة متباينة (mmBody، وMM-Fi، وmRI) تغطي أجهزة متنوعة (سلسلة TI IWR، ولوحات Phoenix المخصصة)، ومواضيع، وبيئات مختلفة.
• التحويل النصي (Textualization): تقوم واجهة نصية دنيا بتحويل إطارات السحابة النقطية خماسية الأبعاد $[x, y, z, \text{Doppler}, \text{intensity}]$ إلى سلاسل نصية بتنسيق الإحداثيات. يسمح هذا للنماذج اللغوية الكبيرة الجاهزة بمعالجة بيانات الرادار دون الحاجة إلى مشفرات رادار متخصصة.
• التصنيف وتوليد الأسئلة والأجوبة (QA): يحدد المعيار خمسة أنواع أساسية من الأسئلة لاستقصاء جوانب مختلفة من فهم الحركة:
  1. ActRec: التعرف على الفعل (تحديد الفعل الممارس).
  2. TrajCheck: التحقق من الحركة المكانية (تحديد ما إذا كان المركز قد تغير موقعه).
  3. ActOrder: تسلسل الأفعال الزمنية (تحديد ترتيب الأفعال).
  4. ActNum: تقدير عدد الأفعال (عد الأفعال المتميزة).
  5. LimbFocus: كشف حركة الأطراف الأساسية (تحديد جزء الجسم المتحرك).
• ضبط الجودة: تعمل عملية "الإنسان في الحلقة" (human-in-the-loop) على تحسين التعليقات التوضيحية، وموازنة توزيع الأفعال، وضمان الوضوح الدلالي عبر ستة سيناريوهات: طبيعي، مؤثث، مطر، دخان، ظلام، وانسداد.

2. إطار التقييم

تُقيم الدراسة النماذج اللغوية الكبيرة التجارية (Gemini 2.5، وGPT-4o، وGPT-5) على معيار mmWave-QA باستخدام ثلاث استراتيجيات للتلقين (prompting):

• Zero-shot (صفر معرفة): الاستدلال المباشر من نص السحابة النقطية والسؤال.
• Few-shot (معلومات قليلة): التعلم داخل السياق باستخدام أزواج من الأسئلة والأجوبة كأمثلة.
• Chain-of-Thought (CoT - سلسلة الأفكار): توليد خطوات استدلال وسيطة قبل الإجابة النهائية.
• Hybrid (هجين): الجمع بين أمثلة الـ few-shot واستدلال الـ CoT.

يقارن التقييم الأداء عبر فئات حركية مختلفة (الجزء العلوي من الجسم، الجزء السفﻲ، الجذع، كامل الجسم) وأنواع الأجهزة المختلفة، ويقارن أداء الموجات المليمترية مقابل نماذج الرؤية واللغة (VLMs) القائمة على RGB تحت ظروف بيئية متغيرة.

النتائج الرئيسية

1. قدرة الاستدلال صفر المعرفة (Zero-Shot)

تُظهر النماذج اللغوية الكبيرة القدرة على تفسير السحب النقطية النصية للموجات المليمترية دون تدريب متخصص للمهمة.

• مكاسب الأداء: يتحسن الدقة باستمرار من استراتيجية zero-shot إلى few-shot، ثم CoT، وأخيرًا استراتيجية Few-shot CoT عبر جميع النماذج. على سبيل المثال، حقق GPT-5 أعلى دقة (38.37%) في فئة حركة كامل الجسم باستخدام إعداد Few-shot CoT.
• التعميم: تُظهر النماذج قدرة قوية على الاستنتاج عبر الأجهزة والظروف البيئية المتباينة، مما يشير إلى قدرات تعميم قوية حتى بدون تدريب خاص بالرادار.

2. الأداء الخاص بالمهمة

• ActRec وTrajCheck: تحقق هذه المهام أعلى أداء. تميزت النماذج في التمييز بين الحالات المتحركة والثابتة عند تزويدها بسياق few-shot (على سبيل المثال، تحسنت دقة الحالة الثابتة لـ GPT-4o إلى 32.0% مع few-shot، بينما تحسنت Gemini 2.5-flash إلى 27.2%).
• LimbFocus: تؤدي النماذج بشكل جيد في حركات الطرف الواحد، لكنها تعاني في سيناريوهات الأطراف المتعددة، ويرجع ذلك على الأرجح إلى تداخل المسارات المتعددة والانعكاسات الشبحية في بيانات الرادار.
• الاستدلال الزمني (ActOrder/ActNum): يكون الأداء في أعلى مستوياته عند تحديد وجود الفعل (Present)، ولكنه ينخفض عند تحديد الأفعال "السابقة/التالية" وأعداد الأفعال العالية، مما يشير إلى تحديات في التقاط التبعيات الزمنية طويلة المدى في تسلسلات السحابة النقطية الكثيفة.

3. المتانة مقابل نمط RGB

من النتائج الحاسمة هي المتانة النسبية لبيانات الموجات المليمترية تحت ظروف التدهور البصري:

• الظروف الصافية: في البيئات الطبيعية والمؤثثة، تتفوق نماذج VLM القائمة على RGB على نماذج الموجات المليمترية، ويرجع ذلك على الأرجح إلى الإشارات البصرية الغنية ومجموعات البيانات الضخمة المستخدمة في التدريب المسبق للرؤية.
• الظروف المتدهورة: في سيناريوهات الظلام والانسداد، يتفوق الاستدلال القائم على الموجات المليمترية بشكل كبير على RGB. غالبًا ما تهلوس نماذج VLM أو تفشل عندما تتعرض الإشارات البصرية للفساد، بينما تحافظ النماذج اللغوية التي تستفيد من تأثير دوبلر وتغيرات الإحداثيات على استدلال مستقر وقائم على أسس فيزيائية.
• الطقس: في حالات المطر والدخان، يؤدي كلا النمطين أداءً متماثلاً، مما يثبت مرونة الرادار تجاه مشاكل الرؤية.

4. الحساسية لعدد الإطارات

يصل الأداء إلى ذروته عند استخدام حوالي 16 إطارًا. الإطارات الأقل تحد من السياق الزمني، بينما تؤدي الإطارات الزائدة (مثل 64 إطارًا) إلى إدخال معلومات زائدة أو ضوضاء تعيق الاستدلال، مما يشير إلى ضرية وجود توازن زمني أمثل لتحليل الحركة القائم على الرادار.

الأهمية والادعاءات

يزعم البحث ثلاث مساهمات رئيسية:

1. معيار mmWave-QA: وضع أول معيار موحد يوفق بين مجموعات بيانات الموجات المليمترية المتباينة في مهام أسئلة وأجوبة باللغة الطبيعية، مما يتيح تقييمًا معياريًا عبر الأجهزة والسيناريوهات.
2. جدوى التكامل صفر المعرفة بين الرادار والنماذج اللغوية الكبيرة: أثبت أن النماذج اللغوية الكبيرة الجاهزة، عند تزويدها ببيانات سحابة نقطية نصية، يمكنها إجراء استدلال قوي "صفر المعرفة" على حركة الإنسان، مما يتحدى الفكرة القائلة بأن بيانات الرادار تتطلب مشفرات متخصصة أو تدريبًا كثيفًا.
3. المتانة في البيئات محدودة الرؤية: قدمت الدراسة دليلًا تجريبيًا على أن نمط الموجات المليمترية، عند اقترانه بالنماذج اللغوية الكبيرة، يوفر متانة فائقة مقارلة بـ RGB في بيئات الإضاءة المنخفضة والانسداد، مما يسلط الض الضوء على إمكاناته للإدراك البشري الموثوق في الإعدادات الواقعية، أو الحساسة للخصوصية، أو المتدهورة بصريًا.

خلص المؤلفون إلى أنه بينما تُظهر النماذج الحالية الواعدة، يجب أن يركز العمل المستقبلي على ضبط النماذج مفتوحة المصدر ودمج التوليد المعزز بالاسترجاع (RAG) لتعزيز الربط بين الاستشعار غير البصري والذكاء القائم على اللغة.