Gesture-Aware Pretraining and Token Fusion for 3D Hand Pose Estimation

إليك ملخص تقني مفصل لورقة البحث "Gesture-Aware Pretraining and Token Fusion for 3D Hand Pose Estimation" للباحثين روي هونج وجانا كوشيكا.

1. بيان المشكلة

تتناول الورقة تحدي تقدير وضعية اليد ثلاثية الأبعاد من صور RGB أحادية العدسة. ورغم أهمية هذه المهمة لتطبيقات مثل الواقع المعزز والافتراضي (AR/VR)، والتفاعل بين الإنسان والحاسوب، والتعرف على لغة الإشارة، إلا أنها تظل مهمة صعبة بسبب:

• الانسداد الذاتي الشديد (self-occlusions) وانسداد الأجسام.
• نطاقات الحركة الواسعة وتقاصر المنظر (foreshortening).
• غموض العمق في عملية الإسقاط من 2D إلى 3D.

تعتمد الطرق الحالية غالبًا على نموذج MANO البارامتري والقيود الهندسية (مثل اتساق طول العظام)، لكنها كثيرًا ما تفشل في الاستفادة من الانتظامات الدلالية لإيماءات اليد. ففي مجالات مثل لغة الإشارة، تقابل أشكال معينة لليد وحدات معجمية، مما يوفر تكوينات فرعية متكررة يمكن أن تساعد في إزالة الغموض عن الوضعيات تحت ظروف الانسداد. ويفترض المؤلفون أن دمج هذه الأوليات الدلالية (semantic priors) يمكن أن يعمل كتحيز استقرائي (inductive bias) قوي لتحسين دقة التقدير.

2. المنهجية

الإطار المقترح هو نهج ذو مرحلتين يربط بين التدريب المسبق المدرك للإيماءات ودمج الرموز الموجه بالإيماءات.

المرحلة الأولى: التدريب المسبق المدرك للإيماءات (Gesture-Aware Pretraining)

• العمود الفقري (Backbone): يستخدم المؤلفون شبكة HRNet (High-Resolution Network)، التي تحافظ على خرائط ميزات عالية الدقة طوال الشبكة، مما يجعلها مناسبة لمهام التنبؤ الكثيف.
• المهمة: تم تدريب مشفر HRNet مسبقًا على مجموعة بيانات InterHand2.6M باستخدام مهمة تصنيف الإيماءات الهرمي.
• بناء الملصقات (Labels): قام المؤلفون بتنسيق 54 فئة إيماءات "خشنة" (coarse) و70 فئة "دقيقة" (fine) من مجموعة البيانات يدويًا. تشترك الإيماءات المتشابهة بصريًا في الملصقات، بينما تُخصص للمتغيرات الطفيفة (مثل وضعية الإبهام) ملصقات دقيقة متميزة تحت فئة خشنة مشتركة.
• البنية:
  • يتم استخراج الميزات العالمية ($g$) من خريطة الميزات F5.
  • تتنبأ رأسان تصنيفيان خفيفان بـ لوجيتات (logits) الإيماءات الخشنة ($\gamma_{coarse}$) والدقيقة ($\gamma_{fine}$).
  • استراتيجية التدريب: تُستخدم دالة خسارة "الإنتروبيا المتقاطعة" (cross-entropy) مدمجة مع جدول وزن تدريجي. يبدأ وزن الخسارة الدقيقة ($\alpha$) منخفضًا ثم يزداد عبر العصور (epochs)، مما يسمح للنموذج أولًا بتعلم الفصل الدلالي الخشن قبل صقل التمايزات الدقيقة.

المرحلة الثانية: تقدير الوضعية ثلاثية الأبعاد الموجه بالإيماءات

تقوم هذه المرحلة بتنقية تقدير الوضعية باستخدام التضمينات الدلالية التي تم تعلمها في المرحلة الأولى.

• ترميز لكل مفصل (الاستدلال الحجمي 2.5D):
  • يتم دمج الميزات متعددة المقاييس (F4, F5) وتسطيحها في تسلسل رموز عالمي.
  • يتنبأ رأس حجمي بحجم خريطة حرارية 2.5D ($H$) لكل مفصل من المفصلين الـ 21. يمثل المحور $z$ العمق النسبي (بالنسبة للمعصم) بدلاً من العمق المتري المطلق.
  • يتم تقدير مواقع المفاصل عبر soft-argmax فوق هذا الحجم.
  • يتم أخذ عينات من الرموز لكل مفصل ($U$) من خريطة الميزات المكانية باستخدام الإحداثيات ثنائية الأبعاد المقدرة.
• المحول الموجه بالإيماءات (Gesture-Guided Transformer):
  • يتم إسقاط لوجيتات الإيماءات من المرحلة الأولى إلى مساحة التضمين ($e_{coarse}, e_{fine}$).
  • يتم دمج هذه التضمينات مع تضمينات النوع القابلة للتعلم لتشكيل رموز توجيه الإيماءات ($c^*$).
  • يقوم مشفر المحول (Transformer encoder) بمعالجة دمج رموز كل مفصل ($Q$) ورموز توجيه الإيماءات ($S = [Q; c_{coarse}; c_{fine}]$).
  • يقوم المحول بتنقية رموز المفاصل، مستخدمًا الدلالات الإيمائية كتمثيلات وسيطة لتوجيه عملية الاستدلال.
• الانحدار (Regression): يتم فك تشفير الرموز المنقحة عبر شبكات MLP للتنبؤ بمعاملات MANO:
  • الوضعية (Pose): دورات المفاصل سداسية الأبعاد (لضمان الاستمرارية).
    تعداد الشكل (Shape): 10 معاملات شكل ($\beta$).

هدف التدريب

دالة الخسارة الإجمالية هي مجموع مرجح لمستويات إشراف متعددة:

• على مستوى المعاملات: خسارة $\ell_1$ على معاملات وضعية وشكل MANO.
• على مستوى المفاصل: خسائر $\ell_1$ على مواضع المفاصل ثلاثية الأبعاد (من حركية MANO)، وإحداثيات الخريطة الحرارية 2.5D، وأخطاء إعادة الإسقاط ثنائية الأبعاد.
• هيكلي: خسارة الاستمرارية ($L_{cont}$) التي تعاقب الانقطاعات في دورات المفاصل المتتالية لضمان وضعيات سلسة تشريحيًا.

3. المساهمات الرئيسية

1. استراتيجية التدريب المسبق المدركة للإيماءات: طريقة مبتكرة لتزويد المشفرات عالية الدقة بدلالات الإيماءات من الخشنة إلى الدقيقة، مدفوعة بالارتباط بين وضعية اليد والمعنى اللغوي في لغة الإشارة.
2. إطار دمج موجه بالإيماءات: آلية تستخدم تضمينات الإيماءات كتمثيلات وسيطة داخل المحول لتوجيه تنقية رموز كل مفصل، مما يحقن بفعالية الأوليات الدلالية في مسار الانحدار.
3. القابلية للنقل المستقلة عن البنية: أثبتت الورقة أن العمود الفقري المدرب مسبقًا على الإيماءات يمكن دمجه في بنيات موجودة (تحديدًا EANet) دون تعديل، مما يقلل معدلات الخطأ باستمرار.

4. النتائج التجريبية

أُجريت التجارب على المجموعة الفرعية لليد الواحدة من InterHand2.6M.

• مقاييس الأداء: سجل المؤلفون متوسط خطأ موضع المفصل (MPJPE) ومتوسط خطأ موضع الرأس (MPVPE).
• المقارنة مع أحدث التقنيات (SOTA):
  • EANet (النموذج المرجعي): 4.94 مم (MPJPE).
  • النموذج المقترح (النموذج الكامل): 4.84 مم (MPJPE) و 5.19 مم (MPVPE).
  • النقل عبر البنيات (Cross-Architecture Transfer): استبدال ResNet-50 المدرب مسبقًا على ImageNet في EANet بعمود HRNet المدرب مسبقًا على الإيماءات الخاص بالمؤلفين (دون تغييرات أخرى) قلل خطأ EANet من 4.94 مم إلى 4.86 مم.
• التحليل النوعي:
  • تصور t-SNE: أظهرت الميزات المدربة مسبقًا فصلًا أفضل بكثير بين الفئات مقارنة بالنموذج المرجعي، مما يؤكد أن المشفر تعلم ميزات دلالية تمييزية.
  • التعامل مع الانسداد: تحت ظروف انسداد اليد بالأجسام أو الانسداد الذاتي، أنتجت الطريقة المقترحة شبكات أكثر ملاءمة تشريحيًا مع أخطاء أقل في تداخل الأجسام مقارنة بالنموذج المرجعي.

5. الأهمية

تجسّر هذه الدراسة الفجوة بين دلالات الإيماءات وتقدير الوضعية ثلاثية الأبعاد. ومن خلال معاملة ملصقات الإيماءات ليس فقط كأهداف تصنيف بل كـ تحيزات استقرائية، يوضح المؤلفون أن الفهم الدلالي لتكوينات اليد يمكن أن يحل حالات الغموض الناتجة عن الانسداد وعدم اليقين في العمق.

الخلاصة الأساسية هي أن الأوليات الدلالية قابلة للنقل. إن فوائد التدريب المسبق المدرك للإيماءات لا تقتصر على البنية المحددة المستخدمة في التدريب؛ بل تمتد لتشمل نماذج أخرى حديثة (مثل EANet)، مما يشير إلى وجود مكون قابل للتعميم لأنظمة تقدير وضعية اليد ثلاثية الأبعاد في المستقبل. كما تسلط الورقة الضوء على إمكانية توسيع هذا النهج ليشمل التفاعلات بين اليدين والتفاعلات في "العالم الحقيقي".