MRBench: A Comprehensive Benchmark for Human Motion-Text Retrieval
تقدم هذه الورقة MRBench، وهو معيار مرجعي شامل لاسترجاع الحركة البشرية من النصوص يتميز ببيانات متنوعة ومتوازنة ومتعددة المستويات لمعالجة أوجه القصور في مجموعات البيانات الحالية، إلى جانب نموذج خفيف الوزن مدرك للمستويات يحسن بشكل كبير من التعميم عبر المجالات وأداء الاسترجاع عبر مستويات الوصف المختلفة.
تخيل أنك تحاول تعليم روبوت فهم الحركة البشرية، ليس فقط من خلال مشاهدتها، بل عبر الاستماع إلى كيفية وصفنا لها. هذا هو عالم استرجاع الحركة البشرية عبر النصوص، وهو مجال يحاول فيه الكمبيوتر مطابقة فيديو لشخص يرقص أو يمشي مع الكلمات المحددة المستخدمة لوصف ذلك الفعل. فكر في الأمر كأنه أمين مكتبة خارق لا يكتفي بالنظر إلى عنوان الكتاب فحسب، بل يفهم القصة التي بداخله ليجد التطابق الدقيق لطلب مثل: "أرني الفيديو الذي يتعثر فيه الشخص بأربطة حذائه". لفترة طويلة، عمل العلماء على بناء مكتبات لهذه الفيديوهات الحركية وأوصافها لتدريب روبوتاتهم. ومع ذلك، هناك عقبة: إذا كانت المكتبة تحتوي فقط على فيديوهات لأشخاص يمشون في خط مستقيم في غرفة بيضاء، وكانت الأوصاف كلها مجرد "شخص يمشي"، فإن الروبوت سيتعلم نسخة ضيقة ومملة للغاية من العالم. قد يكون بارعاً في العثور على تلك المشية المحددة، لكنه سيضيع تماماً إذا طلبت منه البحث عن شخص يقوم بشقلبة خلفية في منتزه أو تعثر مرتبك في مطبخ.
هذه هي بالضبط المشكلة التي قرر فريق من الباحثين من جامعة شانغهاي جياو تونغ وأكاديمية بكين تشونغ غوانتسون ت tackle (معالجتها). لقد أدركوا أن مكتبات بيانات الحركة القديمة كانت بسيطة للغاية، ومتكررة جداً، ولا تعكس الواقع الفوضوي والمتنوع لكيفية تحرك البشر فعلياً. لذا، قاموا ببناء مكتبة جديدة وضخمة تسمى MRBench. فبدلاً من مجرد "المشي"، تتضمن مكتبتهم 3,390 حركة مختلفة تتراوح من حركات الرقص الداخلية إلى الأفعال الجامحة في العالم الحقيقي الملتقطة من الفيديوهات وحتى الرسوم المتحركة المولدة بالحاسوب. لقد غطوا 118 فئة مختلفة من الحركة، مما يضمن عدم هيمنة نوع واحد من الحركة على المجموعة. لكنهم لم يتوقفوا عند الفيديوهات فحسب؛ بل أعادوا أيضاً كتابة الأوصاف. لقد أنشؤوا ثلاثة مستويات من التفاصيل لكل حركة: ملخص قصير وموجز (مثل "شخص يسقط")، ووصف قياسي (مثل "شخص يسقط للخلف على الأرض")، وسرد دقيق للغاية وتفصيلي (مثل "شخص يبدأ بالوقوف، ثم يميل للخلف، ثم ينهار، ويستقر ساكناً"). وهذا يسمح لهم باختبار ما إذا كان بإمكان الكمبيوتر فهم أمر بسيط مقابل قصة معقدة ومفصلة.
وعندما وضعوا مكتبتهم الجديدة قيد الاختبار، وجدوا أن النماذج الحاسوبية القدة والشائعة كانت على موعد مع صدمة قاسية. هذه النماذج، التي بدت ذكية عند اختبارها على المكتبات القديمة والبسيطة، عانت بشكل كبير عندما واجهت تنوع MRBench. لقد كانوا مثل طالب حفظ الإجابات لاختبار تجريبي محدد، لكنه رسب عندما صيغت الأسئلة بشكل مختلف أو عندما سئل عن مواضيع جديدة. اكتشف الباحثون أن هذه النماذج كانت حساسة للغاية لكيفية تفصيل النص؛ حيث كانت ترتبك غالباً عندما لا يكون الوصف مطابقاً تماماً لما اعتادت عليه. ولإصلاح ذلك، صمم الفريق نموذجاً جديداً خفيف الوزن يعمل كمترجم مرن؛ فهو يحافظ على أساس متين لفهم الأوصاف القياسية، ولكنه يضيف "محولات" خاصة يمكنها التكيف بسرعة لفهم الملخصات القصيرة أو القصص الطويلة والمفصلة دون أن يفقد طريقه. ومن خلال اختبار هذا النهج الجديد، أظهروا أنه من الممكن جعل الحواسيب أفضل في فهم الطيف الكامل للحركة البشرية واللغة، بدءاً من كلمة "قفزة" سريعة وصولاً إلى وصف تفصيلي دقيق لروتين الجمباز، دون نسيان كيفية التعامل مع الأساسيات.
ملخص تقني: MRBench
بيان المشكلة
تعاني معايير قياس أداء استرجاع الحركة البشرية من النص، وتحديداً HumanML3D وKIT-ML، من قيود حرجة تعيق التقييم الموثوق للمحاذاة عبر الوسائط (cross-modal alignment). تهيمن على هذه البيانات سيناريوهات التقاط حركة (MoCap) داخلية متجانسة، مما يؤدي إلى توزيعات حركة ضيقة وغير متوازنة (على سبيل المثال، تشكل "المشي" جزءاً كبيراً من العينات). علاوة على ذلك، غالباً ما تكون الأوصاف النصية في هذه المعايير مبسطة للغاية، ومتكررة، وتفتقر إلى القدرة على التمييز الدلالي. فغالباً ما ترتبط مطالبة نصية واحدة بمئات من حالات الحركة المتميزة، مما يخلق "تصادمات نصية" حيث تفشل مقاييس الاسترجاع القياسية (مثل Recall@K) في التمييز بين نموذج يسترجع حركة صالحة وبين نموذج يسترجع حركة أخرى صالحة ولكنها زائدة عن الحاجة دلالياً. وبناءً على ذلك، لا تستطيع معايير القياس الحالية تقييم التعميم عبر النطاقات (cross-domain generalization) أو حساسية النماذج لمستويات التدرج النصي المتفاوتة (من الملخصات الموجزة إلى التصويرات دقيقة التفاصيل) بشكل فعال.
المنهجية
1. بناء MRBench
قدم المؤلفون MRBench، وهو معيار شامل تم بناؤه من خلال مسار دقيق لتنقية البيانات متعدد المراحل يعتمد على مجموعة بيانات ViMoGen-228K. يتكون المسار من أربع مراحل:
تصفية المرشحين الموجهة بالنص: تعمل التصفية القائمة على القواعد على إزالة التعبيرات العامة والمتكررة. تقوم النماذج اللغوية الكبيرة (LLMs) بتقييم النصوص المتبقية من حيث القدرة على التمييز الدلالي والايجاز، مع استبعاد التفاصيل غير الحركية (مثل أوصاف المشهد أو الأشياء المفرطة) التي تشتت الانتباه عن محاذاة الحركة.
أخذ العينات المتوازن الموجه بالتصنيف: يتم تنظيم المرشحين في تصنيف هرمي (7 فئات عامة، 33 فئة متوسطة، 118 فئة دقيقة التفاصيل). يضمن أخذ العينات الطبقي تغطية متوازنة عبر الفئات، بينما ينظم إلغاء التكرار الدلالي التجانس.
المحاذاة الدلالية وإزالة الغموض: يقوم تقييم المحاذاة الدلالية الهيكلية (SSAE) باستخدام نماذج الرؤية واللغة المتقدمة (مثل Gemini-3-pro-preview) بالتحقق من أن الحركة الأساسية الموصوفة في النص يمكن ملاحظتها في إطارات الفيديو المقابلة. تضمن هذه الخطوة وجود أزواج (حركة-نص) غير غامضة. كما يتم استكمال الفئات ناقصة التمثيل باستخدام حركات مُخلّقة (HY-Motion) بناءً على نصوص مولدة بواسطة النماذج اللغوية الكبيرة.
التوسع النصي متعدد التدرج: باستخدام إعادة الكتابة المرتكزة بصرياً، يتم وصف كل حركة بثلاث مستويات من التدرج النصي: الموجز (دلالات مكثفة)، القياسي (وصف متوازن)، ودقيق التفاصيل (ديناميكيات تفصيلية لأجزاء الجسم والزمن). ويتم التحقق من هذه المستويات يدوياً لضمان اتساقها مع الحركة الملحوظة.
إحصائيات مجموعة البيانات: يحتوي MRBench على 3,390 تسلسلاً حركياً يغطي 118 فئة دقيقة التفاصيل. مصادر البيانات غير متجانسة: 43.8% التقاط حركة (MoCap)، 26.5% فيديو من الواقع، 22.7% فيديو اصطناعي، و7.0% حركات مولدة. ينتج عن هذا 10,170 وصفاً نصياً في الإجمالي.
الأساس المرتكز: يتم أولاً تدريب نموذج ثنائي المشفر (مشفرات الحركة والنص مع رؤوس إسقاط عالمية) على أزواج النصوص القياسية، ثم يتم تجميده ليعمل كمرتكز للمحاذاة العالمية.
الوحدات الخاصة بالتدرج: بالنسبة للتدرجات غير القياسية (الموجزة والدقيقة)، يتم إدخال وحدات خفيفة الوزن:
مستخرجات الحركة: تقوم ناقلات الاستعلام القابلة للتعلم بإجراء تجميع بالانتباه (attention pooling) على رموز الحركة لاستخراج تمثيلات خاصة بالتدرج.
مهايئات النصوص: تقوم مهايئات الإسقاط الخاصة بالتدرج برسم خرائط لتمثيلات النصوص إلى الفضاء المشترك للاسترجاع.
الإشراف الزائف: يتم توسيع مجموعة التدريب باستخدام نصوص موجزة ودقيقة التفاصيل أعيدت كتابتها بواسطة النماذج اللغوية الكبيرة (Qwen2.5-7B-Instruct) لتعمل كعناوين زائفة لتدريب هذه الوحدات المحددة.
استراتيجية الاستدلال: أثناء الاستدلال، يحدد تدرج النص الفرع النشط. بالنسبة للاستعلامات غير القياسية، تقوم آلية دمج درجات التدرج بدمج درجة التشابه العالمية مع درجة التشابه المُكيّفة. يحافظ هذا الدمج على قابلية مقارنة الدرجات عبر مستويات الوصف المختلفة دون الحاجة إلى نصوص قياسية مقترنة وقت الاستدلال.
المساهمات الرئيسية
معيار MRBench: أول معيار واسع النطاق ومتعدد المصادر مصمم خصيصاً لتقييم استرجاع الحركة البشرية والنص بشكل شامل. يتميز بتوزيعات حركة غير متجانسة ويدعم بطبيعته التقييم عبر التدرجات المختلفة (الموجز، القياسي، دقيق التفاصيل).
مسار تنقية البيانات: مسار متعدد المراحل يجمع بين التصفية القائمة على القواعد، وأخذ العينات المتوازن الموجه بالتصنيف، والتقييم الدلالي عبر الوسائط، وإعادة الكتابة متعددة التدرج مع التحقق البشري لضمان محاذات عالية الجودة وغير غامضة.
النموذج المدرك للتدرج: بنية استرجاع تقوم بتجميد مشفر ثنائي متوافق مع النصوص القياسية، مع استخدام نصوص معاد كتابتها بواسطة النماذج اللغوية الكبيرة للإشراف على المستخرجات والمهايئات الخاصة بالتدرج. يحسن هذا التصميم الأداء في الاستعلامات غير القياسية مع الحفاظ على أداء المرتكز الخاص بالنصوص القياسية.
النتائج التجريبية
تكشف التقييمات المكثفة على MRBench عن فجوات كبيرة في الطرق الحالية:
فجوة التعميم: تظهر النماذج المدربة على مجموعات بيانات متجانسة (مثل HumanML3D) انخفاضاً كبيداً في الأداء عند تقييمها على MRBench، مما يشير إلى أن النجاح في النطاق المحلي لا يضمن القوة في التعامل مع مصادر الحركة المتنوعة.
الحساسية للتدرج: تظهر النماذج المرجعية الحالية (TEMOS, TMR, MoPatch, SGAR) حساسية واضحة لتدرج الاستعلام، حيث يتدهور الأداء بشكل كبير للاستعلامات الموجزة ودقيقة التفاصيل مقارنة بالقياسية.
أداء النموذج: نجح النموذج المقترح المدرك للتدرج، المبني على مرتكز MoPatch، في تحسين أداء الاسترجاع للاستعلامات دقيقة التفاصيل والمختلطة التدرج (النص إلى الحركة والحركة إلى النص) دون المساس بأداء النصوص القياسية.
النقل عبر مجموعات البيانات: تحقق النماذج المدربة على مجموعة MRBench-Train (40,168 زوجاً) أقوى أداء إجمالي، مما يشير إلى أن تغطية الحركة الأوسع والتعليقات الموجهة للاسترجاع أكثر فائدة للمحاذاة القوية من مجرد حجم البيانات الضخم وحده.
الأهمية
يفترض البحث أن MRBench يوفر بيئة اختبار ضرورية وشاملة للتقدم في تقييم المحاذاة بين الحركة واللغة. ومن خلال كشف حدود معايير القياس الحالية — وتحديداً عدم قدرتها على التعامل مع مصادر الحركة غير المتجانسة والنصوص متعددة التدرجات — يرى المؤلفون أن التقدم الموثوق في هذا المجال يتطلب تحولاً نحو بروتوكولات تقييم متنوعة ومتوازنة وتمييزية. يوضح النموذج المدرك للتدرج المقترح أن تحقيق القوة في التعامل مع الأوصاف غير القياسية يمكن أن يتم دون التضحية بقدرات المحاذاة الراسخة، مما يوفر أساساً عملياً لتطوير أنظمة الحركة واللغة التي تتجاوز مجموعات البيانات الضيقة وأنماط التعليقات الثابتة.