💻 computer science

Expanding mmWave Datasets for Human Pose Estimation with Unlabeled Data and LiDAR Datasets

تقترح الورقة البحثية إطار عمل EMDUL، وهو إطار عمل مبتكر يعمل على توسيع مجموعات بيانات تقدير وضعية جسم الإنسان باستخدام الموجات المليمترية (mmWave) الشحيحة من خلال الاستفادة من بيانات الموجات المليمترية غير المصنفة ومجموعات بيانات ليدار (LiDAR) المتنوعة عبر التسمية المستعارة والتحويل ذي الصيغة المغلقة، مما يحسن بشكل كبير أداء النموذج وقدرته على التعميم في كل من الإعدادات داخل النطاق وخارجه.

المؤلفون الأصليون: Zhuoxuan Peng, Boan Zhu, Xingjian Zhang, Wenying Li, S. -H. Gary Chan

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhuoxuan Peng, Boan Zhu, Xingjian Zhang, Wenying Li, S. -H. Gary Chan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فهم حركات البشر باستخدام نوع خاص من "الرؤية الخارقة" يسمى رادار موجات المليمتر (mmWave radar). هذا الرادار رائع لأنه يعمل في الظلام، ولا يهتم بالخصوصية (فهو يرى الأشكال لا الوجوه)، ويعمل عبر الدخان أو الضباب. ومع ذلك، هناك مشكلة كبيرة: ليس لدينا ما يكفي من بيانات التدريب.

فكر في بيانات رادار موجات المليمتر الحالية كأنها مكتبة صغيرة ومملة. فهي تحتوي فقط على كتب عن أشخاص يقفون ساكنين أو يمشون ببطء في خط مستقيم. إذا دربت الروبوت على هذه المكتبة الصغيرة، فسيصاب بالارتباك عندما يرى شخصًا يقوم بحركة شقلبة خلفية، أو يرقص، أو يتحرك بطريقة غريبة في سيناريو من العالم الحقيقي.

من ناحية أخرى، لدينا بيانات LiDAR (نوع آخر من المستشعرات ثلاثية الأبعاد المستخدمة في السيارات ذاتية القيادة) وبيانات رادار موجات مليمتر غير مصنفة.

بيانات LiDAR هي مثل مكتبة ضخمة ومثيرة تحتوي على كل حركة يمكن تخيلها، لكن الكتب مكتوبة بلغة مختلفة (أي أن "فيزياء" البيانات مختلفة).
بيانات رادار موجات المليمتر غير المصنفة هي مثل كومة من الكتب الفارغة باللغة الصحيحة، لكن لم يكتب أحد القصص (التصنيفات) داخلها بعد.

يقدم البحث نظامًا ذكيًا يسمى EMDUL (والذي يبدو وكأنه اسم روبوت، لكنه اختصار لـ توسيع مجموعات بيانات موجات المليمتر باستخدام البيانات غير المصنفة وLiDAR). إنه يشبه أمين مكتبة فائق الذكاء يحل مشكلة نقص البيانات باستخدام خدعتين سحريتين.

الخدعة رقم 1: آلة "التخمين الذكي" (التسمية المستعارة - Pseudo-Labeling)

المشكلة: لدينا كومة من كتب موجات المليمتر الفارغة (البيانات غير المصنفة). لا يمكننا استخدامها لأن الروبوت لا يعرف القصص الموجودة داخلها.
الحل: يستخدم النظام "آلة تخمين ذكية".

يقرأ الكتب القليلة التي يعرفها بالفعل (البيانات المصنفة).
ينظر إلى الكتب الفارغة ويقوم بعمل أفضل تخمين للقصة الموجودة بداخلها.
السر العظيم: للتأكد من أن التخمينات متسقة، يستخدم النظام قاعدة تسمى "الاتساق الزمني" (Temporal Consistency). تخيل مشاهدة فيديو لشخص يلوح بيده. إذا كانت اليد قريبة من الجسم، فمن المحتمل أنها تتحرك. وإذا كانت بعيدة، فمن المحتمل أنها ساكنة. يتحقق النظام مما إذا كانت تخميناته منطقية بمرور الوقت. إذا خمن الروبوت أن يدًا تتحرك بينما هي في الواقع ساكنة، فإن النظام يقول: "انتظر، هذا ليس منطقيًا!" ويقوم بتصحيح التخمين.
بمجرد أن تصبح التخمينات جيدة بما يكفي، يتم ملء الكتب الفارغة وإضافتها إلى المكتبة.

الخدعة رقم 2: آلة "المترجم" (تحويل LiDAR)

المشكلة: لدينا مكتبة LiDAR الضخمة، لكن الروبوت لا يستطيع قراءتها لأن "الحبر" (نقاط البيانات) يبدو مختلفًا. يرى LiDAR كل شيء بوضوح؛ بينما رادار موجات المليمتر يرى فقط الأشياء التي تتحرك.
الحل: يعمل النظام كـ مترجم يعيد كتابة قصص LiDAR إلى لغة موجات المليمتر.

يأخذ سحابة نقاط LiDAR (صورة ثلاثية الأبعاد لشخص).
يطبق مرشحًا يسمى "ترشيح النقاط القائم على التدفق" (Flow-based Point Filtering). هذا هو الجزء الأهم. بما أن رادار موجات المليمتر "يرى" فقط الأجزاء المتحركة، فإن المترجم يقوم عمدًا بـ مسح الأجزاء الثابتة من صورة LiDAR (مثل جذع الشخص إذا لم يكن يتحرك كثيرًا) ويحتفظ بالأجزاء المتحركة (مثل الأيدي التي تلوح).
بعد ذلك، يضيف بعض "الضجيج" ويجعل الصورة محببة قليلاً، تمامًا كما تبدو بيانات موجات المليمتر الحقيقية.
الآن، تبدو بيانات LiDAR تمامًا مثل بيانات موجات المليمتر، ويمكن للروبوت أخيرًا قراءتها!

النتيجة: المكتبة الخارقة

من خلال الجمع بين هاتين الخدعتين، حول الباحثون مكتبة صغيرة مملة إلى موسوعة ضخمة ومتنوعة للحركة البشرية.

قبل: كان الروبوت مثل طالب درس لاختبار الرياضيات عبر حفظ الرقم "2" فقط. وعندما جاء الاختبار وسأل عن الرقم "3"، فشل.
بعد: درس الروبوت باستخدام المكتبة الموسعة. رأى أشخاصًا يركضون، يقفزون، يرقصون، ويتحركون في الظلام.

النتيجة النهائية:
عندما اختبروا الروبوت الجديد، ارتكب أخطاءً أقل بنسبة 15% إلى 19% مما كان عليه في السابق. لقد استطاع التعامل مع المواقف التي لم يرها من قبل (مثل غرفة جديدة أو نوع جديد من الحركة) بشكل أفضل بكثير.

باخت-اختصار

EMDUL هو نظام ذكي يقوم بـ:

ملء الفراغات في بيانات الرادار الموجودة من خلال تقديم تخمينات مدروسة ومتسقة.
ترجمة البيانات من مستشعر مختلف (LiDAR) إلى لغة الرادار عبر محاكاة كيفية "رؤية" الرادار للحركة.

يتيح لنا هذا بناء روبوتات وأنظمة أمنية أكثر ذكاءً وموثوقية دون الحاجة لقضاء سنوات في جمع بيانات مثالية ومكلفة من الصفر. الأمر يشبه تعليم طفل التعرف على الحيوانات ليس فقط من خلال إظهار بعض الصور له، بل بالسماسة بقراءة موسوعة كاملة وتعلم كيفية تخمين الباقي!

إليك ملخص تقني مفصل لورقة البحث بعنوان "توسيع مجموعات بيانات الموجات المليمترية لتقدير وضعية الجسم البشري باستخدام البيانات غير المصنفة ومجموعات بيانات ليدار (LiDAR)" من إعداد تشوكسوان بينج وآخرون.

1. بيان المشكلة

يكتسب تقدير وضعية الجسم البشري (HPE) باستخدام رادار الموجات المليمترية (mmWave) زخماً كبيراً نظراً لطبيعته التي تحافظ على الخصوصية، وقدرته على الصمود أمام ظروف الإضاءة، وإمكانياته ثلاثية الأبعاد. ومع ذلك، يواجه هذا المجال عقبتين حرجتين:

ندرة البيانات: مجموعات بيانات الموجات المليمترية المصنفة محدودة للغاية في حجمها.
نقص التنوع: تعاني مجموعات البيانات الحالية من تجانس في مجالين:
- سمات السحابة النقطية (PC): يؤدي نقص تباين الأجهزة وتنوع البيئات إلى توحيد ضوضاء الكشف، وكثافة النقاط، والحساسية للحركة.
- وضعيات الجسم البشري: غالباً ما يؤدي الأشخاص وضعيات بسيطة وموحدة في مواجهة الرادار، مما يفشل في تغطية السيناريوهات المعقدة أو غير المرئية.

تؤدي هذه القيود إلى تدهور شديد في قدرة التعميم للنماذج المدربة عند نشرها في بيئات حقيقية أو غير مرئية. وبينما تتوفر بيانات موجات مليمتريّة غير مصنفة (سهلة الجمع) ومجموعات بيانات ليدار (LiDAR) متنوعة (وفيرة وغنية بالوضعيات)، إلا أنه لا يمكن استخدامها مباشرة لأن:

البيانات غير المصنفة للموجات المليمترية تفتقر إلى الهياكل العظمية (skeletons) التي تمثل الحقيقة الأرضية (ground-truth).
السحب النقطية من نوع "ليدار" تمتلك سمات فيزيائية مختلفة جوهرياً (مبادئ الاستشعار) مقارنة بالموجات المليمترية، مما يسبب انزياحاً في النطاق (domain shift).

2. المنهجية: EMDUL

يقترح المؤلفون EMDUL، وهو مسار مبتكر مصمم لتوسيع مجموعات بيانات الموجات المليمترية الحالية من خلال دمج بيانات الموجات المليمترية غير المصنفة ومجموعات بيانات ليدار المصنفة. يتكون الإطار من وحدتين مستقلتين:

أ. مُقدّر الملصقات الزائفة (Pseudo-Label Estimator) لبيانات الموجات المليمترية غير المصنفة

لاستخدام بيانات الموجات المليمترية غير المصنفة، قام المؤلفون بتدريب مُقدّر ملصقات زائفة ( $\theta_{pl}$ ) لتوليد تسميات الهياكل العظمية.

استراتيجية التدريب: يتم تدريب المُقدّر على مجموعة صغيرة من البيانات المصنفة ( $D_{lab}$ ) باستخدام فقدان متوسط مربع الخطأ (MSE loss)، وعلى البيانات غير المصنفة ( $D_{unlab}$ ) باستخدام فقدان الاتساق الزمني غير الخاضع للإشراف (UTCL) المبتكر.
فقدان الاتساق الزمني غير الخاضع للإشراف (UTCL): يستفيد هذا الفقدان من المبدأ الفيزيائي لرادار الموجات المليمترية: تأثير دوبلر (Doppler effect). حيث تولد أجزاء الجسم المتحركة إشارات أقوى من الأجزاء الثابتة.
- فقدان الاتساق الديناميكي (DCL): يعاقب المفاصل الموجودة ضمن السحابة النقطية (التي يُحتمل أنها متحركة) إذا كان تدفقها المتوقع (السرعة) قريباً من الصفر.
- فقدان الاتساق الساكن (SCL): يعاقب المفاصل البعيدة عن النقاط المكتشفة (التي يُحتمل أنها ساكنة) إذا أظهرت تدفقاً كبيراً.
- يعمل هذا على فرض الاتساق الزمني والمنطق الفيزيائي، مما يحسن موثوقية الملصقات الزائفة.

ب. محول السحابة النقطية ذو الصيغة المغلقة (Closed-Form PC Converter) لبيانات ليدار

لسد الفجوة بين "ليدار" والموجات المليمترية، اقترح المؤلفون محولاً ذا صيغة مغلقة يقوم بترجمة السحب النقطية لـ "ليدار" إلى نظائر اصطناعية للموجات المليمترية ( $D_{conv}$ ). تقوم هذه العملية بمحاكاة سمات الموجات المليمترية من خلال مسار تعزيز متسلسل:

إضافة نقاط الضوضاء (NPA): إضافة نقاط ضوضاء لمحاكاة التشويش البيئي.
تصفية النقاط القائمة على التدفق (FPF): الابتكار الجوهري؛ حيث يقوم باستيفاء (interpolation) ناقلات التدفق بناءً على حركة الهيكل العظمي وتصفية النقاط ذات مقدار التدفق المنخفض. هذا يحاكي ميل رادار الموجات المليمترية لاكتشاف الأجزاء المتحركة مع تفويت الأجزاء الساكنة.
أخذ العينات العشوائي (RS): تقليل كثافة النقاط لتتناسب مع ندرة بيانات الموجات المليمترية.
حقن الضوضاء (NI): إضافة ضوضاء إحداثية لمحاكاة الدقة المكانية المنخفضة.

ج. مسار EMDUL

التحويل: يتم تحويل بيانات ليدار إلى $D_{conv}$ (تشبه الموجات المليمترية).
التوسيم (Labeling): يتم تدريب مُقدّر الملصقات الزائفة على $D_{lab} \cup D_{conv}$ ثم يُستخدم لتوليد ملصقات زائفة لـ $D_{unlab}$ ، مما ينتج $D_{pl}$ .
التوسيع: مجموعة البيانات الموسعة النهائية هي $D_{exp} = D_{lab} \cup D_{conv} \cup D_{pl}$ .
التدريب: يتم تدريب نموذج استنتاج تقدير وضعية الجسم (HPE) النهائي من الصفر على $D_{exp}$ .

3. المساهمات الرئيسية

استراتيجية مبتكرة للملصقات الزائفة: تقديم UTCL، الذي يدمج آلية اكتشاف الحركة القائمة على الفيزياء (تأثير دوبلر) لرادار الموجات المليمترية لفرض الاتساق الزمني في الملصقات الزائفة، مما يحسن جودتها بشكل كبير دون الحاجة إلى حقيقة أرضية.
محول (ليدار-إلى-موجات مليمتريّة) ذو صيغة مغلقة: طريقة للتكيف مع النطاق (domain adaptation) لا تتطلب بيانات مقترنة من "ليدار" والموجات المليمترية. وهي تستخدم تصفية النقاط القائمة على التدفق (FPF) لمحاكاة خصائص الكشف المعتمدة على الحركة لأجهزة استشعار الموجات المليمترية بشكل واقعي.
توسيع شامل لمجموعات البيانات: مسار موحد يزيد من حجم البيانات (عبر البيانات غير المصنفة) والتنوع (عبر تحويل ليدار) في آن واحد، مما يعالج مشكلتي الندرة والتجانس.

4. النتائج التجريبية

قيم المؤلفون EMDUL على مجموعات بيانات الموجات المليمترية القياسية (MM-Fi و mmBody) ومجموعات بيانات ليدار (LiDARHuman26M و HmPEAR).

مكاسب الأداء:
- داخل النطاق (MM-Fi $\to$ MM-Fi): تقليل خطأ MPJPE (متوسط خطأ موضع المفصل) بنسبة 15.1%.
- خارج النطاق (mmBody $\to$ MM-Fi): تقليل MPJPE بنسبة 18.9%، مما يثبت قدرة فائقة على التعميم.
المقارنة مع النماذج المرجعية: تفوق EMDUL باستمرار على أحدث الطرق (بما في ذلك P4T و SPiKE والأساليب شبه الخاضعة للإشراف القائمة على Mean-Teacher) في جميع الإعدادات.
دراسات الاستئصال (Ablation Studies):
- أهمية FPF: أدى إزالة تصفية النقاط القائمة على التدفق من المحول إلى تدهور الأداء بشكل كبير، مما يثبت ضرورة محاكاة اكتشاف الحركة.
- مكونات UTCL: أدى الجمع بين فقدان الاتساق الديناميكي والساكن إلى أفضل النتائج؛ بينما أدى استخدام كل منهما بشكل فردي إلى الانحياز نحو تنبؤات مفرطة في الديناميكية أو السكون.
- ندرة البيانات: أظهر EMDUL التحسن الأكثر أهمية عندما كانت البيانات المصنفة نادرة للغاية (1% من مجموعة البيانات)، حيث قلل الخطأ بفارق كبير مقارنة بالنماذج المرجعية.

5. الأهمية

يعالج هذا العمل عائقاً أساسياً في تقدير وضعية الجسم (HPE) باستخدام الموجات المليمترية: وهو نقص البيانات المصنفة المتنوعة والكبيرة الحجم. من خلال الاستفادة الفعالة من البيانات غير المصنفة وبيانات ليدار عبر النطاقات دون الحاجة إلى تسميات مقترنة مكلفة، يوفر EMDUL حلاً قابلاً للتوسع لتحسين قوة النموذج.

الأثر العملي: يتيح تدريب نماذج HPE تتعمم جيداً على البيئات غير المرئية والوضعيات المعقدة، وهو أمر بالغ الأهمية للنشر في العالم الحقيقي في مجالات الروبوتات، والتفاعل بين الإنسان والحاسوب، والمراقبة.
الرؤية المنهجية: تسلط الورقة الضوء على أن دمج الأولويات الفيزيائية (مثل اكتشاف الحركة القائم على تأثير دوبلر) في وظائف فقدان التعلم العميق ومسارات التكيف مع النطاق أمر ضروري للمهام الخاصة بأجهزة الاستشعار.

الكود متاح للجمهور، مما يسهد البحث المستقبلي في استشعار الموجات المليمترية وتعزيز البيانات عبر النطاقات.