💻 computer science

LiCamPose: Combining Multi-View LiDAR and RGB Cameras for Robust Single-timestamp 3D Human Pose Estimation

تقدم هذه الورقة LiCamPose، وهو مسار عمل لتقدير وضعية جسم الإنسان ثلاثي الأبعاد في زمن أحادي الطابع يتسم بالمتانة، يقوم بدمج بيانات RGB متعددة المشاهد وبيانات ليدار (LiDAR) متفرقة باستخدام بنية حجمية، مستفيداً من مولد بيانات اصطناعية وتكيف النطاق غير الخاضع للإشراف لتحقيق تعميم قوي عبر سيناريوهات متنوعة دون الحاجة إلى تعليقات توضيحية يدوية ثلاثية الأبعاد.

المؤلفون الأصليون: Zhiyu Pan, Zhicheng Zhong, Wenxuan Guo, Yifan Chen, Jianjiang Feng, Jie Zhou

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhiyu Pan, Zhicheng Zhong, Wenxuan Guo, Yifan Chen, Jianjiang Feng, Jie Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول معرفة كيفية تحريك لاعب كرة السلة لجسده في الفضاء ثلاثي الأبعاد بدقة. إذا كان لديك كاميرا واحدة فقط، فالأمر يشبه محاولة تخمين شكل سحابة من خلال النظر إلى ظل واحد فقط؛ قد تخطئ في التقدير إذا كان اللاعب مختبئاً خلف شخص آخر أو إذا كانت الزاوية صعبة. إذا كان لديك عدة كاميرات، فهذا أفضل، ولكن إذا كان اللاعب يرتدي ملابس داكنة أو كانت الإضاءة سيئة، فقد تظل الكاميرات مشوشة.

يقدم هذا البحث LiCamPose، وهو نظام "حاسة فائقة" جديد يجمع بين نوعين مختلفين من "العيون" لحل هذه المشكلة: كاميرات RGB (التي ترى الألوان والأنسجة، مثل عيوننا) ومستشعرات LiDAR (التي تطلق أشعة ليزر غير مرئية لقياس المسافة، مثل الخفاش الذي يستخدم تحديد الموقع بالصدى).

إليك تفصيل لكيفية عمله، باستخدام تشبيهات بسيطة:

١. المشكلة: معضلة "النقطة العمياء"

تعتمد الطرق الحالية غالباً على الكاميرات فقط. ولكن في لعبة سريعة ومزدحمة مثل كرة السلة، يحجب اللاعبون بعضهم البعض (الانسداد)، ولا تستطيع الكاميرات رؤية العمق بشكل جيد. أما الطرق الأخرى التي تستخدم LiDAR، فتكون بياناتها غالباً "متفرقة" — فكر في الأمر كأنه رسم ثلاثي الأبعاد منخفض الدقة مكون من مجرد بعض النقاط. هي رائعة لمعرفة أين يوجد الشيء، ولكن من الصعب معرفة كيفية انثناء مفصل ما بدقة من مجرد نقاط قليلة.

٢. الحل: "الحساء الحجمي" (Volumetric Soup)

لا يقوم LiCamPose بمجرد النظر إلى صورة الكاميرا أو نقاط الليزر بشكل منفصل. بل يمزجهما معاً في شبكة ثلاثية الأبعاد، والتي يسميها المؤلفون "فضاءً حجمياً".

التشبيه: تخيل مكعباً ضخماً غير مرئي من "الجيلي" (Jell-O) يطفو في الهواء حول اللاعب.
- الكاميرات تسقط صورها ثنائية الأبعاد داخل هذا "الجيلي"، لترسم "الجلد" و"الملابس" على الجزء الداخلي من المكعب.
- الـ LiDAR يطلق نقاط الليزر الخاصة به داخل "الجيلي"، ليحدد "العظام" والحواف الفعلية.
- يقوم النظام بعد ذلك بالنظر إلى المكعب بأكło لمرة واحدة. حتى لو لم تستطع الكاميرا رؤية كوع اللاعب لأنه مخفي، فإن نقاط الـ LiDAR قد لا تزال موجودة. وحتى لو كانت نقاط الـ LiDAR متفرقة جداً بحيث لا يمكن رؤية انحناء الذراع، فإن صورة الكاميرا تملأ التفاصيل والنسيج. ومن خلال دمجهما في هذا "الحساء" ثلاثي الأبعاد، يحصل النظام على صورة أوضح للوضعية (Pose).

٣. تحدي التدريب: التعلم بدون معلم

عادةً، لتعليم الكمبيوتر التعرف على الوضعيات، تحتاج إلى معلم بشري يرسم خطوطاً على آلاف الفيديوهات قائلاً: "هذه ركبة، وهذا كوع". القيام بذلك لبيانات ثلاثية الأبعاد في مباراة كرة سلة حقيقية أمر صعب للغاية، ومكلف، وبطيء.

خدعة LiCamPose:
بدلاً من استخدام معلم بشري للمباراة الحقيقية، استخدموا محاكي ألعاب فيديو (يسمى SyncHuman).

التشبيه: فكر في الأمر كتدريب طيار في محاكي طيران. المحاكي ينشئ آلاف المباريات الوهمية لكرة السلة مع هياكل عظمية ثلاثية الأبعاد مثالية تم إنشاؤها بالحاسوب. يتعلم النظام قواعد "كيفية تحرك البشر" في هذا العالم الوهمي أولاً.
الجسر (تكييف النطاق - Domain Adaptation): بمجرد أن يصبح النظام جيداً في اللعبة الوهمية، ينقلونه إلى مباراة كرة السلة الحقيقية. ولكن المباراة الحقيقية تبدو مختلفة (إضاءة مختلفة، أشخاص مختلفون). لسد هذه الفجوة دون معلم بشري، يستخدم النظام التصحيح الذاتي:
1. "مقياس الثقة" (الاعتلاج/Entropy): يخمن النظام الوضعية. إذا كان غير متأكد تماماً (اعتلاج عالٍ أو ارتباك)، فإنه يتجاهل هذا التخمين. وإذا كان واثقاً جداً، فإنه يعامل هذا التخمين كـ "تسمية مستعارة" (حقيقة مؤقتة) ليعلم نفسه.
2. "فحص التشريح" (الأولوية البشرية): لدى النظام قاعدة بيانات داخلية لتشريح جسم الإنسان. هو يعرف، على سبيل المثال، أن ساقيك لا يمكن أن تنثني للخلف مثل العنكبوت، وأن ذراعيك اليمنى واليسرى يجب أن تكونا بنفس الطول تقريباً. إذا توقع النظام وضعية تكسر هذه القواعد، فإنه يتلقى "جزاءً" ويتعلم كيف يصحح الخطأ.

٤. النتائج

اختبر الباحثون هذا النظام على أربع مجموعات بيانات مختلفة، بما في ذلك مباراة كرة سلة حقيقية وتحديّة قاموا بتصويرها بأنفسهم (مجموعة بيانات BasketBall).

النتيجة: من خلال خلط نقاط الليزر وصور الكاميرا، استطاع LiCamPose تتبع اللاعبين بشكل أفضل بكثير من الأنظمة التي تستخدم الكاميرات فقط أو الليزر فقط.
فوز "بدون تسميات": حتى بدون وجود معلمين بشريين يضعون تسميات توضيحية لمباراة كرة السلة الحقيقية، تعلم النظام بفعالية من خلال استخدام "مقياس الثقة" و"فحص التشريح" لتنقية أخطائه ذاتياً.

الملخص

LiCamPose يشبه إعطاء الكمبيوتر نظارات يمكنها رؤية كل من "اللوحة" (صورة الكاميرا) و"الهيكل السلكي" (نقاط الليزر) في نفس الوقت. إنه يتعلم من خلال الممارسة في لعبة فيديو أولاً، ثم ينتقل إلى العالم الحقيقي حيث يعمل كطالب يصحح نفسه بنفسه: فهو لا يثق في تخميناته إلا عندما يشعر بالثقة، ويتحقق باستمرار من عمله مقابل القواعد الأساسية لتشريح جسم الإنسان لضمان عدم القيام بأي شيء مستحيل.

ملخص تقني: LiCamPose

بيان المشكلة

بينما حققت الأساليب القائمة على الصور متعددة الرؤى أداءً مرضياً في تقدير وضعية الجسم ثلاثية الأبعاد تحت الظروف البسيطة، إلا أن هناك فجوة كبيرة في النهج التي تستخرج الهياكل العظمية البشرية ثلاثية الأبعاد من مدخلات متعددة الوسائط، وتحديداً دمج صور RGB مع بيانات سحابية نقطية ليزرية (LiDAR) متفرقة. تفرض السيناريوهات العملية تحديات مثل الحركات البشرية المتنوعة، والانسدادات الشديدة، ونطاقات المشهد الواسعة التي تفشل مجموعات البيانات العامة الحالية غالباً في التقاطها. علاوة على ذلك، فإن ترميز الوضعيات ثلاثية الأبعاد يدوياً لعدة أفراد في مشاهد كبيرة ومعقدة يستغرق وقتاً طويلاً ويعد أمراً صعباً، مما يعيق تدريب نماذج قوية دون الاعتماد على بيانات موسومة مكثفة.

المنهجية

يقترح المؤلفون LiCamPose، وهو مسار (pipeline) مصمم لتقدير وضعيات الجسم ثلاثية الأبعاد القوية من مدخلات LiDAR وRGB متعددة الرؤى وفي زمن واحد. تتم هيكلة المنهجية حول ثلاثة مكونات أساسية:

1. الدمج متعدد الوسائط الحجمي (Volumetric Multi-Modal Fusion)

يعتمد LiCamPose نهجاً من الأعلى إلى الأسفل. أولاً، يستخدم PointPillars للكشف عن صناديق الإحاطة ثلاثية الأبعاد للأفراد. لكل شخص مكتشف، يحدد النظام مساحة حجمية ممركزة حول مركز ثقل السحابة النقطية.

معالجة السحابة النقطية: يتم تقسيم السحابة النقطية المتفرقة إلى شبكة فوكسل ( $X \times Y \times Z$ )، حيث تُخصص قيمة 1 للفوكسلات التي تحتوي على نقاط. تقوم شبكة V2V-Net باستخراج الميزات المتعلقة بالسحابة النقطية ( $f_p$ ).
معالجة RGB: يتم إنشاء خرائط حرارية للوضعية ثنائية الأبعاد من صور RGB لرؤى متعددة باستخدام كواشف جاهزة. يتم إسقاط هذه الخرائط الحرارية عكسياً في نفس المساحة الحجمية، وتقوم V2V-Net باستخراج الميزات المتعلقة بـ RGB ( $f_c$ ).
الدمج: يتم دمج الميزات من كلا الوسائط في الفضاء الميزاتي ثلاثي الأبعاد ومعالجتها بواسطة Fusion-Net لتوليد خريطة حرارية نهائية لوضعية الجسم ثلاثية الأبعاد. يتم اشتقاق إحداثيات المفاصل باستخدام Soft-argmax لتقليل أخطاء التكميم.

2. توليد البيانات الاصطناعية (SyncHuman)

لمعالجة ندرة مجموعات بيانات LiDAR-RGB متعددة الرؤى الموسومة، طور المؤلفون SyncHuman، وهو مولد بيانات اصطناعية يعتمد على محرك Unity.

محاكاة المستشعرات: يقوم بمحاكاة كاميرات RGB وماسحات LiDAR (تحديداً محاكاة أنماط مسح Livox Mid-40 وMid-100) لتوليد سحب نقطية ملونة وخرائط عمق.
تحريك الشخصيات (Avatar Animation): يتم توجيه الشخصيات بواسطة ملفات الحركة أو تسميات النقاط الرئيسية من مجموعات بيانات التقاط الحركة العامة (مثل AMASS)، مما يضمن حركات بشرية متنوعة ومعقدة.
الحقيقة الأرضية (Ground Truth): يوفر النظام حقيقة أرضية دقيقة للوضعية ثلاثية الأبعاد، وتسميات الوضعية ثنائية الأبعاد، والتقسيم الدلالي للسحب النقطية.

3. التكيف غير الخاضع للإشراف مع النطاق (Unsupervised Domain Adaptation)

لنقل النموذج من البيانات الاصطناعية إلى السيناريوهات الواقعية دون تسميات ثلاثية الأبعاد يدوية، يقترح المؤلفون استراتيجية تكيف غير خاضعة للإشراف باستخدام دالة خسارة مركبة:

الإشراف الزائف ثنائي الأبعاد: تولد مقدرات الوضعية ثنائية الأبعاد الجاهزة تسميات ثنائية الأبعاد زائفة، وتقوم خسارة $L_{2D}$ بمحاذاة الوضعيات ثلاثية الأبعاد المسقطة مع هذه التسميات.
الإشراف الزائف ثلاثي الأبعاد الموجه بالإنتروبيا: يحسب النظام إنتروبيا المعلومات لخرائط الحرارة للمفاصل ثلاثية الأبعاد المتوقعة. تشير الإنتروبيا العالية إلى عدم اليقين. يقوم المؤلفون بتصفية التوقعات، واختيار تلك التي تقل إنتروبيا عن عتبة ( $\lambda$ ) فقط لتكون بمثابة تسميات ثلاثية الأبعاد زائفة موثوقة ( $L_{3D}$ ) لدورة التدريب التالية.
خسارة الأولوية البشرية (Human Prior Loss): لضمان المعقولية التشريحية، يتم إدخال خسارة أولوية ( $L_{prior}$ )، والتي تعاقب أطوال العظام غير المعقولة، وأطوال الأطراف غير المتماثلة، وزوايا المفاصل غير المنطقية (تحديداً زوايا الأنف-الرقبة-منتصف الورك، والورك-الركبة-الكاحل).

المساهمات الرئيسية

مسار LiCamPose: إطار عمل مبتكر يدمج السحب النقطية المتفرقة متعددة الرؤى ومعلومات RGB داخل مساحة حجمية لتقدير الوضعيات ثلاثية الأبعاد لعدة أفراد من زمن واحد.
مولد SyncHuman: أداة لتوليد البيانات الاصطناعية قادرة على إنتاج بيانات متعددة الوسائط متنوعة مع حقيقة أرضية دقيقة للوضعية ثلاثية الأبعاد تحت إعدادات مستشعرات مختلفة، جنباً إلى جنب مع إنشاء مجموعة بيانات BasketBall (وهي مجموعة بيانات واقعية لأربع رؤى من LiDAR-كاميرا لمباراة كرة سلة).
استراتيجية التدريب غير الخاضعة للإشراف: طريقة تتجنب التسميات ثلاثية الأبعاد اليدوية من خلال التدريب المسبق على البيانات الاصطناعية والتكيف مع البيانات الواقعية باستخدام التسميات الزائفة الموجهة بالإنتروبيا وقيود الأولوية البشرية.

النتائج التجريبية

تم تقييم الطريقة على أربع مجموعات بيانات: CMU Panoptic Studio، وMVOR، ومجموعة بيانات BasketBall التي تم جمعها ذاتياً، وBasketBallSync الاصطناعية.

الأداء: تفوق LiCamPose على الأساليب الخاضعة للإشراف الحالية (مثل VoxelPose وPlaneSweepPose) من حيث متوسط خطأ موضع المفصل (MPJPE) ومتوسط خطأ موضع المفصل المحاذي لبروكروست (PA-MPJPE)، خاصة في إعدادات المشاهد الكبيرة مثل BasketBallSync.
القدرة غير الخاضعة للإشراف: أظهر النسخة غير الخاضعة للإشراف من LiCamPose قدرة تعميم قوية، بل وتفوقت على بعض الأساليب متعددة الرؤى المعتمدة على RGB فقط في مجموعة بيانات Panoptic.
تحليل الوسائط: أكدت التجارب أنه بينما لا تكفي السحب النقطية المتفرقة وحدها لاستخراج الهيكل العظمي بدقة، فإن دمجها مع بيانات RGB يعزز بشكل كبير من المتانة ضد الانسدادات وأخطاء تقدير الوضعية ثنائية الأبعاد.
دراسات الاستئصال (Ablation Studies): أثبتت الدراسة أن محاذاة إعدادات المستشعرات الاصطناعية مع مجموعة البيانات المستهدفة يحسن أداء النقل. علاوة على ذلك، أكد استئصال دالات الخسارة أن كل من الإشراف ثلاثي الأبعاد الموجه بالإنتروبيا وخسائر الأولوية البشرية ضروريان للأداء.
تحليل الإنتروبيا: لاحظ المؤلفون وجود ارتباط بين قيم الإنتروبيا وعقلانية الوضعية، مما يثبت أن الإنتروبيا يمكن أن تعمل بفعالية كمقياس للثقة لتصفية التوقعات غير الموثوقة.

الأهمية والادعاءات

يدعي البحث أن LiCamPose يظهر "أداء تعميم رائع وإمكانات تطبيقية كبيرة" لتقدير الوضعية البشرية ثلاثية الأبعاد القوية في السيناريوهات الواقعية المعقدة. من خلال دمج بيانات LiDAR وRGB، يستفيد النهج من الطبيعة التكاملية للقياسات العميقة دقيقة المدى والنسيج عالي الدقة، مما يخفف من تأثير الانسدادات التي تعاني منها الأساليب أحادية الرؤية أو المعتمدة على RGB فقط.

يؤكد المؤلفون أن نهجهم يقلل من الاعتماد على التسميات اليدوية المكلفة ثلاثية الأبعاد من خلال استخدام التدريب المسبق الاصطناعي والتكيف غير الخاضع للإشراف مع النطاق. كما يسلطون الض الضوء على الفائدة العملية لنظامهم في سيناريوهات مثل تحليلات الرياضة (كما هو موضح عبر مجموعة بيانات BasketBall) والمراقبة، حيث تكون إعدادات المستشعرات الدنيا ميزة. ويخلص البحث إلى أن البنية الحجمية تحافظ بفعالية على الخصائص الهندسية لكلا الوسائط، مما يسهل التقدير الدقيق للوضعية ثلاثية الأبعاد في زمن واحد.