HiPHI: A Large-Scale Benchmark for High-Precision Human Motion and Object-Interaction
تُعدُّ HiPHI مجموعة بيانات مرجعية واسعة النطاق وعالية الدقة، تضم أكثر من 600 ساعة من بيانات حركة جسم الإنسان وتفاعله مع الأشياء، وقد صُممت للتغلب على قيود مجموعات البيانات الحالية المخصصة للنماذج المجسدة عبر الجمع بين دقة تبلغ أجزاءً من المليمتر وتنوع موجه نظرياً لتمكين التدريب والتقييم القابل للتوسع لسياسات الروبوتات البشرية.
المؤلفون الأصليون:Jiahao Ji, Ji Ma, Runhan Zhang, Runyi Yu, Wenjia Wang, Weiheng Chi, Qianqian Peng, Weichao Yan, Yongfei Gu, Ye Tian, Ting Wu, Longwei Li, Chun Yuan, Ruoli Dai, Lei Han
لتعليم روبوت التحرك مثل البشر، يجب على المهندسين أولاً حل معضلة. فهم بحاجة إلى بيانات واسعة بما يكفي لتغطية التنوع الهائل لما قد يفعله الشخص، وفي الوقت نفسه دقيقة بما يكفي لالتقاط الفيزياء الدقيقة لكيفية استقرار قدم أو كيفية إمساك يد بمقبض. لسنوات، ظل هذا المجال عالقاً بين خيارين غير كاملين. فمن ناحية، هناك ملايين الساعات من فيديوهات الإنترنت؛ وهي تُظهر نطاقاً هائلاً من السلوك البشري، لكنها مجرد صور، فهي تفتقر إلى التفاصيل الفيزيائية الخفية، مثل الوزن الدقيق لشيء يتم رفعه أو القوة الدقيقة لخطوة ما. ومن ناحية أخرى، هناك تسجيلات مختبرية تم إجراؤها باستخدام كاميرات خاصة تتبع كل مفصل من مفاصل الجسم؛ وهي دقيقة للغاية، لكنها عادة ما تغطي مجموعة ضيقة فقط من الأفعال، وغالباً ما تفتقر إلى التفاعلات المعقدة والفوضوية مع الأشياء الحقيقية التي تحدث في العالم الواقعي. وبدون وجود جسر بين هذين العالمين، تعاني الروبوتات في تعلم كيفية التحرك بأمان وفعالية في بيئة فيزيائية.
لقد بنى فريق من الباحثين ذلك الجسر من خلال مجموعة بيانات جديدة تسمى HiPHI. لقد أنشأوا مكتبة ضخمة للحركة البشرية، سجلت أكثر من 600 ساعة من الحركة عالية الدقة من 132 شخصاً مختلفاً. وخلافاً للمحاولات السابقة التي اعتمدت على كتاب يقومون يدوياً بابتكار قوائم من الأفعال لتصويرها، استخدم هذا الفريق نظاماً مهيكلاً يعتمد على كيفية تنظيم اللغة للأحداث. لقد بدأوا بإطار لغوي يفكك الأفعال البشرية إلى وحدات محددة وذات معنى، ثم قاموا بتوسيع كل وحدة بشكل منهجي عبر تغيير عوامل مثل السرعة، والاتجاه، والأشياء المستخدمة. والنتيجة هي مجموعة بيانات لا تشمل حركة جسم الإنسان فحسب، بل تشمل أيضاً الحركة المتزامنة للأشياء الحقيقية، من الأثاث إلى المعدات الرياضية. ومن خلال تسجيل الجسم والشيء معاً بدقة تصل إلى أجزاء من المليمتر، ضمن الباحثون أن البيانات تعكس القيود الفيزيائية الحقيقية للعالم، مثل الاحتكاك، والوزن، والتوازن.
تم تصميم عملية الجمع لتكون شاملة بدلاً من أن تكون عشوائية. فبدلاً من تصوير ممثلين يؤدون سيناريوهات عشوائية، عامل الفريق إنشاء مجموعة البيانات كبناء خريطة. بدأوا بمجموعة من مفاهيم الأفعال الأساسية، مثل "المشي" أو "الحمل"، ثم ولدوا مئات المتغيرات لكل منها. فقد تم تصوير مفهوم واحد مثل المشي بسرعات مختلفة، وفي اتجاهات مختلفة، وبأطوال خطوة مختلفة، وأثناء حمل أحمال ذات أوزان متفاوتة. سمح هذا النهج بتغطية كامل مساحة الحركات البشرية الممكنة بطريقة منطقية، مما ضمن عدم ترك أي نوع رئيسي من الحركة دون تسجيل. تحتوي مجموعة البيانات النهائية على أكثر من 200 مليون إطار من الحركة، بما في ذلك ما يقرب من 250 ساعة من التسلسلات حيث يتفاعل الناس مع 40 شيئاً مختلفاً من العالم الحقيقي. وكل مقطع فيديو مصنف بعلامة (Tag) تصف الفعل والسياق بدقة، مما يسهل على الباحثين العث/ تحديد نوع الحركة التي يحتاجون لتعليمها للروبوت بالضبط.
تم اختبار جودة هذه البيانات بصرامة لضمان إمكانية استخدامها فعلياً لتدريب الروبوتات. فقد تحقق الباحثون من الأخطاء الشائعة التي تعيب مجموعات البيانات الأخرى، مثل غوص الأقدام في الأرض أو طفو الأجسام في الهواء دون دعم. وأظهرت قياساتهم أن HiPHI أكثر نظافة واتساقاً من الناحية الفيزيائية مقارنة بمكتبات الحركة الضخمة الموجودة. وعندما استخدموا هذه البيانات لتدريب روبوت بشري في محاكاة حاسوبية، تعلم الروبوت المشي والجلوس وحمل الأشياء بشكل أسرع وأكثر موثوقية مما تعلمه عند التدريب على مجموعات بيانات أخرى. تمكن الروبوت من الحفاظ على توازنه وتنفيذ مهام معقدة، مثل دفع صندوق ثقيل أو قلب حقيبة سفر، بمستوى من الاستقرار كان من الصعب تحقيقه سابقاً. وقد أشارت هذه المحاكاة إلى أن البيانات تلتقط الإشارات الفيزيائية الدقيقة اللازمة لكي تفهم الآلة كيفية تحريك جسمها بالنسبة للعالم من حولها.
تأكد نجاح المشروع بشكل أكبر عندما نقل الفريق الروبوت المدرب من المحاكاة إلى أرض مختبر حقيقي. وبالرغم من التحديات المتعلقة بالحساسات الواقعية والحدود الميكانيكية، نجح الروبوت في أداء السلوكيات المتنوعة التي تعلمها من بيانات HiPHI؛ فقد ركض، وجلس، وزحف، وحمل صندوقاً، وسحب حقيبة سفر، مما أثبت أن التسجيلات عالية الدقة يمكن ترجمتها إلى فعل فيزيائي حقيقي. وقد أثبت هذا أن مجموعة البيانات لا تكتفي بوصف الحركة فحسب، بل توفر أساساً موثوقاً لتعليم الآلات كيفية التفاعل مع العالم المادي. وبينما تركز مجموعة البيانات الحالية على حركات الشخص الواحد ولا تشمل بعد التفاعلات بين عدة أشخاص أو القياسات المباشرة لقوى اللمس، إلا أنها تمثل خطوة كبيرة إلى الأمام. ومن خلال توفير سجل واسع النطاق ومستند إلى أسس فيزيائية للحركة البشرية، تقدم HiPHI معياراً جديداً لتطوير روبوتات يمكنها التحرك بنفس النعمة والقدرة على التكيف التي يتمتع بها البشر الذين صُممت لمساعدتهم.
ملخص تقني: HiPHI - معيار واسع النطاق للحركة عالية الدقة والتفاعل بين الإنسان والأشياء
1. بيان المشكلة
يتعرض تطوير الذكاء البشري (Humanoid Intelligence) حاليًا لعقبة تتمثل في عدم التوافق في مصادر البيانات المتاحة. تندرج مجموعات البيانات الحالية ضمن فئتين، كلتاهما غير كافية لتعلم السياسات البشرية (Humanoid Policy Learning) القابلة للتوسع:
بيانات الفيديو على نطاق الإنترنت: رغم تنوعها، إلا أنها تفتقر إلى الحالات الفيزيائية الدقيقة والارتباط التفاعلي، مما يتطلب الاعتماد على إعادة البناء أو الإشارات التقريبية بدلاً من القياسات الفيزيائية المباشرة.
مجموعات بيانات الحركة المختبرية: توفر دقة عالية ولكنها تعاني من تغطية سلوكية ضيقة، وغالبًا ما تكون مصممة لغرض تخليق الحركة (Motion Synthesis) أو الرسوم المتحركة بدلاً من الذكاء المتجسد (Embodied Intelligence).
قصور التفاعل بين الإنسان والشياء (HOI): العديد من مجموعات بيانات HOI الحالية صغيرة النطاق، وتفتقر إلى بيانات حالة الأشياء المتزامنة (مما يؤدي إلى سيناريوهات مستحيلة فيزيائيًا مثل "الجلوس في الهواء")، وتفشل في التقاط الحمل، والاحتكاك، والقصور الذاتي الذي يشكل استراتيجيات التحكم.
يتطلب تعلم السياسات البشرية بيانات تتسم في آن واحد باتساع التغطية، والأمانة الفيزيائية، والارتباط بالتحكم في كامل الجسم المقيد بالأشياء.
2. المنهجية
2.1 بناء فضاء الحركة بتوجيه من FrameNet
بدلاً من التقييم اليدوي للنصوص السلوكية (الذي يؤدي إلى تراكم عشوائي وتداخل دلالي)، يقترح المؤلفون مسارًا مهيكلًا موجهًا بواسطة FrameNet، وهو إطار لغوي.
السقالة الدلالية (Semantic Scaffold): يستخدم المسار أطر FrameNet (أنواع الأحداث) والوحدات المعجمية (L-Us، وهي معاني الكلمات المحددة) لتحديد بذور الحركة. يضمن هذا نهجًا قائمًا على أسس نظرية لتعداد معاني الحركة دون تكرار.
التوسع المنهجي: يتم توسيع كل بذرة (Frame-LU) عبر أبعاد فيزيائية متعددة، بما في ذلك الاتجاه، والسرعة، والسعة، ووضعية الجسم، وإشراك أجزاء الجسم، وظروف الجسم/التلامس.
القابلية للتوسع: يحول هذا النهج نمو مجموعة البيانات من ابتكار نصوص جديدة إلى توسيع منهجي لفضاء حركة مهيكل، مما يضمن تغطية "فضاء الحركة البشرية الممكن الوصول إليها" ذات الصلة بالروبوتات (مثل التنقل، التوازن، تحمل الأحمال) مع استبعاد السلوكيات غير ذات الصلة (مثل النوم).
2.2 مسار جمع البيانات
الأجهزة: تم التقاط البيانات باستخدام نظام التقاط حركة (MoCap) بصري ضخم يتميز بدقة تتبع مكاني تصل إلى أجزاء من المليمتر.
المؤدون: تم استخدام 132 مؤديًا متميزًا لضمان التباين.
التفاعل مع الأشياء: بالنسبة لتسلسلات التفاعل، تم استخدام أشياء حقيقية. تم التقاط مسارات الأشياء والشبكات (Meshes) المتزامنة جنبًا إلى جنب مع حركة الإنسان للحفاظ على التفاعل الفيزيائي الكامل (الحمل، الاحتكاك، الهندسة).
النطاق: تتكون مجموعة البيانات النهائية من 617.5 ساعة من البيانات (371.8 ساعة من حركة الجسم فقط و245.7 ساعة من التفاعل بين الإنسان والشياء)، تغطي 214 وحدة حركة (Frame-LU) عبر 22 إطارًا و40 جسمًا حقيقيًا متميزًا.
3. المساهمات الرئيسية
مسار بناء موجه بـ FrameNet: طريقة مبتكرة ومنهجية لتصميم تغطية فضاء الحركة، تنتقل من تأليف النصوص اليدوي إلى نهج قابل للتوسع ومسنود لغويًا.
مجموعة بيانات HiPHI: مجموعة بيانات عالية الدقة تبلغ 617.5 ساعة تتميز بـ:
مسارات شبكية (Meshes) وحركة أشياء متزامنة لـ 245.7 ساعة من بيانات التفاعل.
فهرسة Frame-LU وأوصاف باللغة الطبيعية لكل مقطع.
دقة تحت المليمتر لحركة كامل الجسم وتتبع الشبكة للأشياء.
بروتوكول تقييم شامل: مجموعة أدوات معيارية لتقييم تنوع فضاء الحركة، وجودة البيانات (النعومة، تلامس الأرض)، واتساق التفاعل، والأداء اللاحق في تتبع الروبوتات البشرية والنشر في العالم الحقيقي.
4. النتائج التجريبية
4.1 تنوع فضاء الحركة
باستخدام مشفر تلقائي (Autoencoder) مشترك للالتفاف الزمني وتحويل t-SNE، تُظهر HiPHI تغطية حركية أوسع من الخطوط المرجعية الحالية (AMASS, BONES-SEED, Motion-X++, LAFAN1).
تشغل HiPHI خلايا شبكية أكثر في الفضاء الكامن (1620 مقابل 1438 لـ BONES-SEED).
تُظهر استحواذًا فعليًا أعلى وحصة أكبر في "الذيل الطويل" (14.1%)، مما يشير إلى أنها تغطي توزيعًا أوسع وأكثر تجانسًا للحركات بدلاً من مجرد أخذ عينات كثيفة من الأفعال الشائعة.
4.2 جودة البيانات
حركة الجسم: تحقق HiPHI مقاييس متفوقة في التقطع (Jerk)، والتسارع، واختراق الأرض، والطفو غير المدعوم، وانزياح القدم مقارنة بمجموعات البيانات الأخرى.
اتساق التفاعل: في تسلسلات التفاعل مع الأشياء، تحقق HiPHI معدل عدم تعارض بنسبة 98.1% وتلامسًا قريبًا من السطح بنسبة 95.7%، متفوقة بشكل كبير على HIMO (79.0%) وOMOMO (50.4%) في الاتساق الهندسي.
4.3 تعلم الروبوتات البشرية اللاحق
تتبع المحاكاة: حققت السياسات المدربة على HiPHI أعلى معدلات نجاح وأسرع تقارب في التتبع الفيزيائي للروبوتات البشرية (Unitree G1) مقارنة بالسياسات المدربة على AMASS, LAFAN1, Motion-X++, BONES-SEED.
سلوك التوسع: أدى زيادة بيانات تدريب HiPHI من 3 إلى 300 ساعة إلى انخفاض مستمر في متوسط خطأ موضع المفصل (MPJPE) عبر مجموعات البيانات، مما يثبت أن حجم مجموعة البيانات يترجم مباشرة إلى مكاسب في الأداء.
التفاعل مع الأشياء: في المهام التي تتضمن الركل، والحمل، والدفع، والاتكاء، أظهرت السياسات المدربة على HiPHI أفضل أخطاء تتبع الجسم وأعلى دقة في موضع واتجاه الشيء.
النشر في العالم الحقيقي: نجحت السياسات المدربة على HiPHI في الانتقال إلى أجهزة Unitree G1 الحقيقية، حيث نفذت سلوكيات متنوعة تشمل الجري، الجلوس، الزحف، الحمل، التقلب، وسحب حقيبة سفر، رغم وجود فجوات بين المحاكاة والواقع (Sim-to-Real).
5. الأهمية والادعاءات
تضع الورقة البحثية HiPHI كركيزة أساسية لتدريب وتقييم وتعميم السياسات البشرية في المهام المتجسدة في العالم الحقيقي. تكمن أهميتها الأساسية في سد الفجوة بين التقاط الحركة عالي الدقة وتعلم السياسات القابل للتوسع من خلال توفير:
الارتباط الفيزيائي: إن تضمين حالات الأشياء المتزامنة والتفاعلات في العالم الحقيقي يسمح بتعلم استراتيجيات تعتمد على الحمل، وهو ما لا تستطيع حركات التمثيل (Pantomime) التقاطه.
التغطية المنهجية: يوفر النهج الموجه بـ FrameNet طريقة مبدئية لتوسيع تغطية فضاء الحركة، مما يعالج مشكلة "التراكم الأعمى" للتأليف اليدوي.
القابلية للاستخدام: تعمل مجموعة البيانات كبيانات مرجعية قابلة للتنفيذ ليست ضخمة النطاق فحسب، بل أيضًا مستقرة فيزيائيًا ومرتبطة بالتفاعل، مما يمكن الروبوتات من تعلم التوازن، وانتقالات الوضعية، واستراتيجيات التلامس بفعالية.
يشير المؤلفون إلى وجود قيود، بما في ذلك التركيز الحالي على حركة الشخص الواحد (استبعاد التفاعل بين عدة أشخاص) ونقص قياسات قوة التلامس المباشرة، لكنهم يؤكدون أن HiPHI تؤسس لقاعدة بيانات قابلة للتوسع للتقدم المستقبلي في ذكاء الروبوتات البشرية ونماذج أولوية الحركة في رسومات الكمبيوتر.