Multi-Camera Self-Calibration in Sports Motion Capture: Leveraging Human and Stick Poses
تقدم هذه الورقة طريقة فعالة لمعايرة الكاميرات المتعددة ذاتياً دون الحاجة لأدوات في الرياضات التي تعتمد على العصي، حيث تستفيد بشكل مشترك من نقاط مفاتيح جسم الإنسان والطول المعروف للأدوات الصلبة لاستعادة المعلمات الخارجية والمقياس العالمي بدقة، وهو ما تم التحقق منه من خلال مجموعة بيانات اصطناعية جديدة وأداء يضاهي أحدث التقنيات المتاحة.
المؤلفون الأصليون:Fan Yang, Changsoo Jung, Ryosuke Kawamura, Hon Yung Wong
تخيل أنك تحاول تصوير حركة لاعب جولف محترف من عشر زوايا مختلفة في آن واحد. تريد دمج جميع لقطات الفيديو هذه معاً لإنشاء صورة هولوغرام ثلاثية الأبعاد مثالية للحركة. لكن المشكلة تكمن في أنه قبل أن تتمكن من دمجها، يجب أن تعرف بالضبط أين تقف كل كاميرا وإلى أين تتجه.
تقليدياً، لمعرفة ذلك، سيتعين عليك إحضار لوحة شطرنج ضخمة ومربكة أو عصا خاصة، ووضعها في منتصف ملعب الجولف، وتكليف شخص ما بالتلويح بها ذهاباً وإياباً. الأمر يشبه محاولة معايرة تلسكوب عبر رفع مسطرة أمام العدسة؛ إنها عملية دقيقة، لكنها مرهقة، خاصة إذا كنت تصور في الهواء الطلق أو في ملعب مزدحم.
تقدم هذه الورقة البحثية "خدعة سحرية" ذكية تسمح للكاميرات بمعايرة نفسها باستخدام الرياضة ذاتها.
إليك شرح مبسط لكيفية عمل ذلك، باستخدام تشبيهات من الحياة اليومية:
١. المشكلة: الكاميرات "العمياء"
فكر في إعداد الكاميرات المتعددة لديك كمجموعة من الأصدقاء يحاولون وصف سيارة متحركة لبعضهم البعض عبر الهاتف.
الإنسان: يمكنهم رؤية السيارة وهي تتحرك، لكنهم لا يعرفون حجم السيارة الفعلي. هل هي سيارة لعبة أم شاحنة حقيقية؟ بدون معرفة الحجم، لن يتمكنوا من الاتفاق على مدى بُعد السيارة عنهم. وهذا ما يسمى بـ "غموض المقياس" (Scale Ambiguity).
العصا (مضرب الجولف/المضرب): هي السلاح السري. في رياضات مثل الجولف، أو البيسبول، أو الهوكي، يمسك الرياضي بعصا لها طول ثابت ومعروف. فمضرب البيسبول دائماً ما يكون بنفس الحجم تقريباً.
٢. الحل: "الرقصة ذات الخطوات الثلاث"
ابتكر المؤلفون خوارزمية حاسوبية تعمل كمدير ذكي، يوجه الكاميرات عبر ثلاث خطوات لتحديد مواقعها دون الحاجة إلى أدوات خاصة.
الخطوة ١: "المسودة الأولية" (ضبط الحزمة غير المقيّس - Unscaled Bundle Adjustment) تخيل أن الكاميرات تقوم برسم مشهد على ورقة. إنها ترى جسم الإنسان والعصا، ويمكنها رؤية كيف تتحرك العصا بالنسبة للجسم، لكن رسمها ليس سوى "مسودة أولية". هن يعرفن أن العصا أطول من الذراع، لكنهن لا يعرفن بعد ما إذا كان المشهد بأكمله بحجم بيت دمى أم بحجم ملعب حقيقي. إنهن يضبطن "الشكل" فقط في البداية.
الخطوة ٢: "فحص المسطرة" (استعادة المقياس - Scale Recovery) الآن، ينظر الكمبيوتر إلى العصا في الرسم التخطيطي ويقول: "مهلاً، نحن نعلم أن مضرب الجولف الحقيقي طوله ١.٢ متر بالضبط". يقيس العصا في الرسم، ويرى أنها مرسومة حالياً بطول ٠.٦ متر، فيقول: "آها! نحتاج لمضاعفة حجم كل شيء!". فجأة، يتحول بيت الدمى إلى ملعب حقيقي. يصبح طول الإنسان صحيحاً، وتستقر المسافات بين الكاميرات في مقياسها المتري الحقيقي.
الخطوة ٣: "التلميع النهائي" (التحسين المدرك للمقياس - Scale-Aware Refinement) الرسم التخطيطي الآن بالحجم الصحيح، لكنه قد يظل مهتزاً قليلاً لأن اكتشاف الكاميرا قد لا يكون مثالياً. يقوم الكمبيوتر بعملية تلميع نهائية، مستخدماً قاعدتين: ١. قاعدة العصا: يجب أن تظل العصا صلبة؛ لا يمكنها أن تتمدد أو تتقلص مثل المطاط. ٢. قاعدة السلاسة: لا يمكن للإنسان والعصا الانتقال آنياً أو الاهتزاز؛ يجب أن تكون حركتهما سلسة وطبيعية بمرور الوقت. من خلال فرض هذه القواعد، يقوم الكمبيوتر بتدقيق العمليات الحسابية، مما يجعل إعادة البناء ثلاثي الأبعاد دقيقاً للغاية.
٣. لماذا يعد هذا أمراً هاماً؟
لا مزيد من المعدات الثقيلة: لا تحتاج لحمل لوحات شطرنج ثقيلة أو المعايرة باستخدام عصي خاصة. كل ما تحتاجه هو الرياضي ومعداته.
يعمل في أي مكان: سواء كنت في ملعب جولف مشمس، أو ملعب بيسبول طيني، أو حلبة هوكي داخلية، فإن هذه الطريقة تعمل لأن "العصا" موجودة دائماً.
دقة فائقة: اختبرت الورقة البحثية هذه الطريقة باستخدام مجموعة بيانات جديدة (محاكاة فيديو لألعاب رياضية) ووجدت أنها كانت أكثر دقة بكثير من الطرق السابقة التي حاولت تخمين الحجم بناءً على طول الإنسان (الذي يختلف من شخص لآخر) أو المستشعرات المكلفة.
الخلاصة
فكر في هذه الطريقة كتعليم الكاميرات كيفية استخدام معدات الرياضي كمسطرة مدمجة. بدلاً من إحضار مسطرة إلى المباراة، تجلب المباراة المسطرة إلى الكاميرات. هذا يسمح لعلماء الرياضة والمدربين بالحصول فوراً على بيانات حركة ثلاثية الأبعاد مثالية لتحليل الأداء، وكل ذلك دون مقاطعة اللعبة بأدوات المعايرة.
إليك ملخص تقني مفصل لورقة البحث بعنوان: "المعايرة الذاتية متعددة الكاميرات في التقاط الحركة الرياضية: الاستفادة من وضعيات البشر والعصي."
1. بيان المشكلة
تعد أنظمة الكاميرات المتعددة ضرورية لالتقاط الحركة ثلاثي الأبعاد في التحليلات الرياضية (مثل الغولف، والبيسبول، والهوكي)، مما يتيح التحليل الميكانيكي الحيوي وتقييم الأداء. ومع ذلك، تبرز المعايرة الخارجية (تحديد الموقع والاتجاه النسبي للكاميرات) كعائق حرج.
محدودية الطرق الحالية:
القائمة على الأدوات: تتطلب الطرق التقليدية أدوات معايرة فيزيائية (لوحات مربعات أو قضبان معايرة). هذه الأدوات صعبة النقل، ويصعب نشرها في البيئات الخارجية، وغير عملية في السيناريوهات التي تتغير فيها مواضع الكاميرات بشكل متكرر.
الخالية من الأدوات (البشر فقط): تستخدم الطرق الحديثة حركة الإنسان للمعايرة، لكنها تعاني من غموض المقياس (Scale Ambiguity). تختلف نسب الجسم البشري، وافتراض متوسط الطول يؤدي إلى أخطاء كبيرة (على سبيل المثال، خطأ بنسبة 10% في افتراض الطول يؤدي إلى خطأ في المقياس يتجاوز 10%).
القائمة على المستشعرات: تؤدي الطرق التي تستخدم تقنية "ليدار" (LiDAR) أو وحدات قياس القصور الذاتي (IMUs) إلى تكاليف عالية، وتعقيد، ومتطلبات مزامنة صارمة.
القائمة على التعلم: تفتقر مناهج التعلم العميق غالبًا إلى ضمانات المقياس المتري وتتطلب تدريبًا خاصًا بمجالات محددة.
الهدف: تطوير طريقة معايرة خالية من الأدوات، ودقيقة متريًا، لا تتطلب أي أجهزة مخصصة، أو مستشعرات إضافية، أو تدريب، وتستهدف تحديدًا الرياضات التي تتضمن أدوات صلبة تشبه العصا.
2. المنهجية
يقترح المؤلفون خط معالجة تحسين مكون من ثلاث مراحل يقوم بتقدير المعلمات الخارجية للكاميرات والمسارات ثلاثية الأبعاد لكل من الرياضي (البشري) والأداة (العصا) بشكل مشترك، باستخدام فيديوهات RGB متزامنة ونقاط مفتاحية ثنائية الأبعاد فقط.
الرؤية الجوهرية
تستغل الطريقة قيدًا هندسيًا فريدًا يوجد في الرياضات التي تستخدم العصي: الطول الفيزيائي المعروف (L) للأداة (مثل مضرب الغولف أو عصا البيسبول). ومن خلال الجمع بين الحركة المفصلية للإنسان (التي توفر ارتباطات هندسية غنية) والقيد المتري الصلب للعصا، تتحول المشكلة من كونها غير محددة القيود إلى مشكلة محددة جيدًا.
خط المعالجة المكون من ثلاث مراحل
المرحلة الأولى: ضبط الحزمة المشترك غير المقياس (التهيئة)
المدخلات: النقاط المفتاحية ثنائية الأبعاد (المفاصل البشرية + أطراف العصا) من كاميرات متزامنة.
العملية:
تهيئة وضعيات الكاميرا باستخدام المصفوفات الأساسية (Essential Matrices) ونهج الشجرة الممتدة القصوى.
تثليث المواضع ثلاثية الأبعاد الأولية لنقاط المفاتيح البشرية وأطراف العصا.
إجراء ضبط حزمة مشترك (Joint Bundle Adjustment - BA) لتقليل خطأ إعادة الإسقاط.
المخرجات: إعادة بناء ثلاثي الأبعاد متسق هندسيًا، ولكن مع مقياس عالمي مجهول.
المرحلة الثانية: استعادة المقياس بصيغة مغلقة
العملية: حساب متوسط الطول المُعاد بناؤه (Lˉ) للعصا من مخرجات المرحلة الأولى.
الحساب: حساب عامل المقياس s=L/Lˉ، حيث L هو الطول الحقيقي المعروف للعصة.
الإجراء: إعادة تحجيم جميع ناقلات الإزاحة (ti) والإحداثيات ثلاثية الأبعاد (Y,X) بمعامل s. هذا يحل غموض المقياس المتري.
المرحلة الثالثة: ضبط الحزمة المدرك للمقياس (التحسين)
العملية: خطوة تحسين نهائية تعمل على صقل المعلمات الخارجية والمسارات في الفضاء المتري.
دالة الهدف: تقلل من مجموع أوزان ثلاثة حدود:
خسارة إعادة الإسقاط (Reprojection Loss): الخطأ القياسي بين النقاط ثنائية الأبعاد المرصودة والنقاط ثلاثية الأبعاد المسقطة.
قيد طول العصا (Llength): يعاقب الانحرافات عن طول العصا المعروف L لفرض الصلابة.
النعومة الزمنية (Lsmooth): يعاقب التسارع العالي (الفروق من الدرجة الثانية) لضمان مسارات حركة منطقية فيزيائيًا.
التحسين: يستخدم بناء "جاكوبي" (Jacobian) متفرقًا من أجل الكفاءة، مع التعامل مع أقنعة الرؤية ودوال الخسارة القوية (مثل دالة Cauchy) للتخفيف من تأثير القيم المتطرفة.
3. المساهمات الرئيسية
أول معيار مرجعي لمعايرة الرياضات القائمة على العصي: أنشأ المؤلفون مجموعة بيانات Sports-Stick-Syn، وهي معيار مرجعي اصطناعي يتضمن أربع رياضات (الغولف، البيسبول، الهوكي، الكيندو)، من 3 إلى 10 كاميرات، ومستويات ضجيج متفاوتة. تتضمن المجموعة حقائق أرضية (Ground Truth) لوضعيات الكاميرا، والمفاصل البشرية، ومسارات العصي.
معايرة مترية خالية من الأدوات: طريقة مبتكرة تحقق معلمات خارجية ذات مقياس حقيقي دون أدوات معايرة، أو مستشعرات إضافية، أو تدريب بالتعلم العميق. وهي تستفيد بشكل فريد من "العصا" كمرساة مترية.
أداء يضاهى أحدث المعايير (State-of-the-Art): تتفوق الطريقة على الأساليب التقلية القائمة على الأدوات والأساليب المرجعية الخالية من الأدوات في كل من دقة الدوران ودقة الإزاحة.
4. النتائج التجريبية
تم تقييم الطريقة مقابل الطرق التقليدية القائمة على الأدوات (ArucoCalib) والأساليب المرجعية الخالية من الأدوات (الوضع البشري فقط، وطرق SfM القائمة على التعلم).
الدقة:
خطأ الدوران: حققت 0.020 درجة، وهي أقل بكثير من ArucoCalib (0.087 درجة) والطرق المعتمدة على البشر فقط (~0.24 درجة).
خطأ الإزاحة: حققت 0.001 متر، مقارنة بـ 0.007 متر لـ ArucoCalib وحوالي 0.04–0.11 متر للأساليب الأخرى الخالية من الأدوات.
التحسن: قللت أخطاء الدوران والإزاحة بنسبة تقارب 77% و 86% على التوالي مقارنة بأفضل مرجع قائم على الأدوات.
دراسات الاستئصال (Ablation Studies):
الإنسان مقابل العصا: أدت عملية استخدام الوضعيات البشرية فقط (حتى مع افتراض الطول) إلى تباين وخطأ مرتفعين. أما استخدام العصا فقط فقد وفر المقياس ولكنه افتقر إلى التغطية الهندسية الكافية للوصة الدوران المثلى. الاستخدام المشترك لكليهما أعطى أفضل النتائج، حيث قلل خطأ الدوران بنسبة 13% إضافية مقارنة باستخدام العصا وحدها.
القيود: أدى إزالة قيد طول العصا أو النعومة الزمنية إلى تدهور الأداء بشكل كبير، مما يثبت أن كليهما ضروري للاستقرار والدقة.
المتانة: حافظت الطريقة على دقة عالية عبر أعداد كاميرات متغيرة (3–10) وظلت متينة تجاه اكتشافات النقاط ثنائية الأبعاد المشوبة بالضجيج (محاكاة انحياز الوضعية).
التحقق من العالم الحقيقي: تم اختبارها في بيئة خارجية مع لاعب غولف. نجح النظام في إعادة بناء تسلسلات حركة الغولف بمقياس متري، مما مكن من التحليل اللاحق لزوايا المفاصل ومراحل التأرجح.
5. الأهمية
سهولة الوصول: تلغي الحاجة إلى أجهزة معايرة باهظة الثمن وصعبة النقل، مما يجعل التقاط الحركة ثلاثي الأبعاد عالي الدقة أمرًا ممكنًا في الرياضات الخارجية والبيئات الديناميكية.
القابلية للتوسع: الطريقة فعالة حوسبيًا (تحسين متفرق) وتتوسع بشكل جيد مع زيادة عدد الكاميرات.
الأثر اللاحق: توفر أساسًا موثوقًا للتحليل الميكانيكي الحيوي، ودراسات الوقاية من الإصابات، وتدريب الأداء من خلال تقديم بيانات ثلاثية الأبعاد دقيقة ذات مقياس متري من كاميرات RGB قياسية.
التعميم: رغم التركيز على رياضات العصي، إلا أن الإطار يوضح نموذجًا قويًا لحل غموض المقياس في إعادة البناء متعدد المشاهد من خلال الاستفادة من قيود الأجسام الصلبة المعروفة.