🤖 AI

JRDB-Pose3D: A Multi-person 3D Human Pose and Shape Estimation Dataset for Robotics

تقدم هذه الورقة البحثية JRDB-Pose3D، وهي مجموعة بيانات شاملة تم التقاطها من منصة روبوتية متنقلة توفر توصيفات غنية لوضعية وشكل جسم الإنسان ثلاثي الأبعاد لمشاهد داخلية وخارجية معقدة ومتعددة الأشخاص، مما يعالج أوجه القصور في مجموعات البيانات الحالية المقتصرة على شخص واحد أو البيئات الخاضعة للتحكم لدعم تطبيقات الروبوتات في العالم الحقيقي بشكل أفضل.

المؤلفون الأصليون: Sandika Biswas, Kian Izadpanah, Hamid Rezatofighi

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sandika Biswas, Kian Izadpanah, Hamid Rezatofighi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يرى العالم كما يراه البشر. في معظم الأوقات، عندما يعلم العلماء الروبوتات كيفية فهم حركة البشر، فإنهم يستخدمون "عجلات تدريب" مساعدة. فهم يعرضون للروبوت مقاطع فيديو لشخص واحد فقط في غرفة هادئة وفارغة، مثل استوديو رقص بإضاءة مثالية. يتعلم الروبوت تمييز ذلك الراقص بسهولة.

لكن الحياة الواقعية ليست استوديو رقص. الحياة الواقعية هي محطة مترو مزدحمة، أو حديقة عامة مكتظة، أو حرم جامعي فوضوي حيث يصطدم الناس ببعضهم البعض، ويختبئ خلف الأعمدة، ويدخلون ويخرجون من مجال رؤية الكاميرا.

يقدم هذا البحث JRDB-Pose3D، وهو "دليل تدريبي" جديد مصمم خصيصاً لتعليم الروبوتات كيفية التعامل مع هذه المواقف الواقعية الفوضوية والمزدحمة.

إليك تفصيل لما يجعل مجموعة البيانات هذه مميزة، باستخدام بعض التشبيهات اليومية:

1. "الغرفة المزدحمة" مقابل "الاستوديو الفارغ"

معظم مجموعات البيانات الموجودة حالياً تشبه صورة لشخص واحد يقف بمفرده. إذا حاولت استخدام تلك الصور لتعليم روبوت كيفية التنقل في حفل موسيقي مزدحم، فسيصاب الروبوت بالارتباك.

JRDB-Pose3D يشبه بث فيديو مباشر من كاميرا مراقبة في منتصف مهرجان صاخب.

النطاق: في اللقطة الواحدة (الإطار)، تعرض مجموعة البيانات هذه عادةً من 5 إلى 10 أشخاص، ولكنها قد تظهر أحياناً ما يصل إلى 35 شخصاً في وقت واحد.
زاوية الرؤية: تم تصويرها بواسطة روبوت متحرك (روبوت JackRabbot) يتجول في حرم جامعي. هذا يعني أن الكاميرا تتحرك، وتميل، وترى العالم من "مستوى العين" (أو مستوى الروبوت)، وليس من طائرة بدون طيار عالية أو من جدار ثابت. إنها تلتقط العالم تماماً كما يراه روبوت يتنقل في الشارع.

2. مشكلة "المانيكان ثلاثي الأبعاد"

لفهم كيفية تحرك الشخص، يحتاج الكمبيوتر إلى أكثر من مجرد هيكل عظمي من الخطوط. يحتاجون لمعرفة شكل جسم الشخص (هل هو طويل؟ قصير؟ عريض؟).

الطريقة القديمة: تقدم العديد من مجموعات البيانات الهياكل العظمية فقط. الأمر يشبه محاولة تخمين كيفية تحرك شخص ما من خلال النظر إلى رسم خطي (wireframe). إنه أمر جيد، لكنه لا يخبرك ما إذا كان الشخص يرتدي معطفاً كبيراً أو ما إذا كانت ذراعه تلمس جداراً بالفعل.
طريقة JRDB: توفر مجموعة البيانات هذه بيانات SMPL التوضيحية. فكر في هذا كـ مانيكان رقمي ثلاثي الأبعاد يناسب كل شخص في الفيديو تماماً.
- هي تتتبع الوضعية (كيف تنثني الأطراف).
- وتتتبع الشكل (حجم الجسم) وتحافظ على اتساقه. إذا كان الشخص يسير وسط الزحام، سيعرف الروبوت أنه نفس الشخص وبنفس شكل الجسم، حتى لو كان مختبئاً جزئياً.

3. تحدي "الغميضة"

في الزحام الحقيقي، يحجب الناس بعضهم البعض باستمرار.

الانسداد (Occlusion): تخيل أنك في زحام، وشخص طويل يقف أمامك. يمكنك رؤية ظهره، لكن ساقيك مختفيتان. في الرؤية الحاسوبية، يسمى هذا الانسداد.
مشكلة "خارج الإطار": أحياناً، يكون الناس قريبين جداً من الروبوت لدرجة أن رؤوسهم أو أقدامهم تُقطع عند حافة شاشة الكاميرا.
لماذا يهم هذا: معظم مجموعات البيانات تتجنب هذه المواقف الفوضوية. أما JRDB-Pose3D فهو يحتضنها. إنه مليء بأشخاص مخفيين جزئياً، أو مقطوعين من الإطار، أو محجوبين بأشخاص آخرين. هذا يجبر الذكاء الاصطناعي على تعلم كيفية "تخمين" الأجزاء المفقودة من جسم الشخص بناءً على السياق، تماماً كما يفعل البشر.

4. حزمة "البيانات الفائقة"

لا تتوقف مجموعة البيانات هذه عند "أين يوجد الشخص؟" بل تأتي مع كم هائل من المعلومات الإضافية، مثل سيرة ذاتية مفصلة لكل مشهد:

المجموعات الاجتماعية: من يمشي مع من؟ (هل هم عائلة، أم مجموعة أصدقاء، أم غرباء؟)
الأنشطة: ماذا يفعلون؟ (يتحدثون، يمشون، يركضون؟)
الخصائص الديموغرافية: العمر، الجنس، والعرق (لمساعدة الذكاء الاصطناعي على فهم التنوع).
المشهد بأكمله: هي لا تكتفي بتسمية الأشخاص فحسب؛ بل تسمي العالم بأكمله من حولهم (السيارات، الأشجار، المباني) لكي يفهم الروبوت البيئة الكاملة.

5. كيف صُنعت؟ (اللمسة البشرية)

قد تتساءل، "هل يمكن للكمبيوتر القيام بذلك تلقائياً؟"
استخدم المؤلفون مزيجاً ذكياً من الذكاء الاصطناعي والجهد البشري:

تخمين الذكاء الاصطناعي: استخدموا نموذجاً حاسوبياً قوياً لتقديم تخمين أولي حول مكان وقوف وتحرك الجميع.
التصحيح البشري: بعد ذلك، قام خبراء بشريون بمراجعة الفيديو. لقد فحصوا عمل الذكاء الاصطناعي، خاصة في الأجزاء الصعبة (مثل عندما يكون شخص ما مختبئاً خلف شجرة). إذا أخطأ الذكاء الاصطناعي، قام البشر بتصحيحه.
فحص الاتساق: تأكدوا من أنه إذا كان الشخص يرتدي "بدلة رقمية" في الإطار رقم 1، فإنه يرتدي نفس البدلة تماماً في الإطار رقم 100، حتى لا يعتقد الروبوت أن الشخص يغير ملابسه في كل ثانية.

الخلاصة

يزعم البحث أن JRDB-Pose3D هو جسر. إنه يربط بين "العالم المثالي" للتجارب المختبرية و"العالم الفوضوي" للحياة الواقعية. من خلال تزويد الروبوتات بمجموعة بيانات مزدحمة، وديناميكية، ومليئة بالتفاصيل المخفية، فإنه يساعدها على التنقل والتفاعل مع البشر بأمان وفعالية في العالم الحقيقي.

الأمر لا يتعلق فقط برصد شخص ما؛ بل يتعلق بفهم حشد كامل من الناس يتحركون معاً في عالم ثلاثي الأبعاد ومعقد.

ملخص تقني: JRDB-Pose3D

بيان المشكلة

تتسم البيئات الواقعية بطبيعتها بأنها مزدحمة وديناميكية، مما يستلزم القدرة على تقدير الوضعيات ثلاثية الأبعاد لعدة أشخاص، وتتبع حركاتهم عبر الزمن، وفهم أنشطتهم ضمن السياقات الاجتماعية والبيئية. وتعد هذه القدرات بالغة الأهمية لتطبيقات مثل القيادة الذاتية، وإدراك الروبوتات، والملاحة، والتفاعل بين الإنسان والروبوت.

ومع ذلك، تعاني مجموعات بيانات تقدير الوضعية البشرية ثلاثية الأبعاد الحالية من قيود كبيرة فيما يتعلق بمدى قابليتها للتطبيق في هذه السيناريوهات الواقعية. فمعظم المعايير المرجعية تركز على أشخاص منفردين أو يتم جمعها في بيئات مختبرية محكومة. وبينما قدمت الجهود الأخيرة مجموعات بيانات متعددة الأشخاص، إلا أن الكثير منها يقتصر على البيانات الاصطناعية، أو يقتصر التفاعل فيها على شخصين فقط، أو يفتقر إلى الاتساق الزمني، أو يتم التقاطه من وجهات نظر محددة (مثل المنظور العلوي) التي لا تعكس منظور روبوت متنقل يتنقل عند مستوى سطح الأرض. وبناءً على ذلك، هناك فجوة في مجموعات البيانات التي توفر توصيفات غنية ومتسقة للوضعية والشكل ثلاثي الأبعاد للمشاهد المعقدة والمزدحمة ومتعددة الأشخاص التي يتم التقاطها من منصة روبوتية متنقلة في العالم الحقيقي.

المنهجية

يقدم المؤلفون JRDB-Pose3D، وهي مجموعة بيانات تم إنشاؤها عن طريق توصيف جميع التسلسلات الفيديوية من مجموعة بيانات JRDB الحالية [17]. تم التقاط البيانات باستخدام منصة الروبوت المتنقل JackRabbot، المجهزة بخمسة أزواج من الكاميرات الستيريو المرتبة في صفين أفقيين، مما يوفر رؤية بانورامية بزاوية 360 درجة. وتتكون مجموعة البيانات من 54 تسلسلاً تم جمعها عبر بيئات داخلية وخارجية في حرم جامعي، بإجمالي 288,435 إطاراً.

تتبع عملية التوصيف لـ JRDB-Pose3D عملية متعددة المراحل لتوليد توصيفات للوضعية والشكل ثلاثي الأبعاد القائمة على نموذج SMPL مع معرفات تتبع متسقة:

تهيئة الوضعية: تبدأ العملية بتهيئة وضعيات SMPL ثلاثية الأبعاد باستخدام نموذج CameraHMR المدرب مسبقاً [22]، والمُحسَّن للمشاهد التي تضم عدة بشر، والذي يتنبأ بمجال رؤية الكاميرا (FoV) مباشرة من الصور المدخلة. ولمعالجة غياب تتبع الهوية في نماذج الصورة الواحدة، تستفيد عملية المعالجة من صناديق الإحاطة (bounding boxes) ثنائية الأبعاد الموجودة في مجموعة بيانات JRDB مع معرفات تتبع متسقة لتهيئة وضعيات SMPL ثلاثية الأبعاد متماسكة ( $P_{init}$ ) لكل مسار فردي عبر الزمن.
التوطين ثلاثي الأبعاد العالمي: بينما يقوم نموذج CameraHMR بتقدير الوضعيات بالنسبة لمجال رؤية (FoV) مُقدّر، توفر مجموعة بيانات JRDB خصائص داخلية دقيقة للكاميرا. تقوم عملية المعالجة بمحاذاة الوضعيات ثلاثية الأبعاد المتوقعة مع المشهد ثلاثي الأبعاد العالمي عن طريق تقدير تحويل صلب ( $R, t$ ) يربط مفاصل الهيكل العظمي ثلاثي الأبعاد الأولية بنقاط المفاتيح (keypoints) الموصوفة في ثنائية الأبعاد في JRDB باستخدام خوارزمية Perspective-n-Point (PnP).
توصيف الشكل المتسق: بما أن التقدير لكل إطار غالباً ما يؤدي إلى أشكال أجسام غير متسقة لنفس الشخص، فإن عملية المعالجة تفرض اتساق الشكل. يقوم الموصِّفون بفحص التوقعات لكل إطار لكل مسار بصرياً، واختيار الإطار الأنسب كشكل ممثل. وإذا لزم الأمر، يتم تنقيح معاملات الشكل يدوياً باستخدام أداة توصيف لضمان تمثيل متسق لكل فرد طوال مساره.
تنقيح الوضعية ثلاثية الأبعاد المحلية: بعد الانتهاء من أشكال المسارات والتوجهات العالمية، يتم تنقيح الوضعيات المحلية. يتم تحسين تهيئة SMPL عن طريق تقليل المسافة بين المفاصل ثلاثية الأبعاد المسقطة ونقاط المفاتيح ثنائية الأبعاد ( $E_{data}$ ). بالإضافة إلى ذلك، يتم تطبيق حد انتظام زمني ( $E_{smooth}$ ) لمعاقبة الاختلافات الزمنية من الدرجة الثانية، مما يضمن مسارات حركة سلسة مع الحفاظ على الديناميكيات.
الفحص والتصحيح اليدوي: تتضمن المرحلة النهائية مراجعة عدة موصِّفين مدربين للوضعيات المولدة. حيث يتحققون من اتجاه الأطراف، والاتساق الزمني، والمعقولية في سياق التفاعلات، مع إعطاء اهتمام خاص للحالات الصعبة مثل حالات الحجب الشديد وأجزاء الجسم خارج الإطار. وتتم التصحيحات باستخدام بروتوكول توصيف مشترك.

المساهمات الرئيسية

تقدم الورقة المساهمات الأساسية التالية:

مجموعة بيانات JRDB-Pose3D: مجموعة بيانات واسعة النطاق من الواقع الحقيقي لتقدير الوضعية والشكل البشري (HPS) ثلاثي الأبعاد متعدد الأشخاص. وتتميز بمعرفات تتبع متسقة لكل موضوع، وتسمبات لكل مفصل (occlusion labels)، وتوصيفات قائمة على SMPL. تحتوي مجموعة البيانات على متوسط 5-10 وضعيات بشرية لكل إطار، مع وجود بعض المشاهد التي تضم ما يصل إلى 35 فرداً في آن واحد.
توصيفات متعددة الوسائط غنية: بالإضافة إلى الوضعيات ثلاثية الأبعاد، ترث مجموعة البيانات جميع التوصيفات من مجموعة بيانات JRDB الأصلية، بما في ذلك الوضعيات ثنائية الأبعاد، والتجميع الاجتماعي، والأنشطة الجماعية، والأقنعة الدلالية للمشهد الكامل مع تتبع متسق للبشر والأشياء، والسمات الفردية التفصيلية (العمر، الجنس، العرق).
تقييم المعايير المرجعية: يقيم المؤلفون طرق تقدير الوضعية، وتتبع الوضعية، وتوقع الوضعية المدرك للعمل (action-aware) متعددة الأشخاص ذات الحالة الراهنة (state-of-the-art) على JRDB-Pose3D لتقييم نقاط قوة مجموعة البيانات والقيود الحالية للطرق الموجودة في التعامل مع السيناريوهات المزدحمة والواقعية.

النتائج وخصائص مجموعة البيانات

تسلط الورقة الضوء على عدة خصائص وتحديات فريدة لـ JRDB-Pose3D مقارنة بمجموعات البيانات الحالية مثل WorldPose:

كثافة الحشود: تظهر مجموعة البيانات توزيعاً ذا ذيل طويل لكثافة الحشود، حيث تحتوي الإطارات على ما يصل إلى 35 وضعية، وهو أعلى بكثير من متوسط الكثافة في مجموعات البيانات المماثلة.
وجهة النظر والمسافة: نظراً لالتقاطها من كاميرا مثبتة على روبوت عند مستوى ارتفاع الإنسان، توفر مجموعة البيانات رؤية بانورامية بزاوية 360 درجة مع توزيع الوضعيات ضمن مسافة متوسطة تتراوح بين 5-10 أمتار. وهذا يتناقض مع مجموعات البيانات ذات المنظور العلوي (مثل WorldPose) حيث يكون الأشخاص غالباً بعيدين (بمتوسط ~80 متراً) ويُنظر إليهم من زاوية محدودة.
الحجب والصعوبة: تتميز مجموعة البيانات بحالات حجب متكررة وشديدة، وأجسام مبتورة، وأجزاء جسم خارج الإطار بسبب قرب الروبوت من الأشخاص والطبيعة المزدحمة للمشاهد. وتشير الإحصائيات إلى انتشار كبير للمفاصل ثنائية الأبعاد المحجوبة وغير المرئية، مما يصنف جزءاً كبيراً من الوضعيات على أنها "صعبة" للاستعادة ثلاثية الأبعاد.
جودة التوصيف: تضمن عملية التحقق اليدوي توصيفات عالية الجودة ومتسقة زمنياً، وهي مناسبة لتقييم تقدير وتتبع الوضعية البشرية ثلاثية الأبعاد متعددة الأشخاص والقوية.

الأهمية

تدعي الورقة أن JRDB-Pose3D تعمل كمورد حيوي لتعزيز البحث في المهام اللاحقة المدركة اجتماعياً. فمن خلال توفير بيئة اختبار تحاكي بدقة تعقيدات الإدراك الروبوتي في العالم الحقيقي — وتحديداً البيئات المزدحمة والديناميكية مع الحجب المتكرر والتفاعلات المتنوعة — فإنها تمكن من تطوير وتقييم طرق أكثر قوة لتقدير الوضعية البشرية ثلاثية الأبعاد وتتبعها والتنبؤ بها لعدة أشخاص. إن الطبيعة الشاملة للتوصيفات (التي تجمع بين HPS والبيانات الاجتماعية والدلالية) تضع مجموعة البيانات كمعيار شامل لفهم المشهد المتمحور حول الإنسان، متجاوزةً بذلك بيئات المختبرات المحكومة لمعالجة تحديات التطبيقات في العالم الحقيقي.