Fast-HaMeR: Boosting Hand Mesh Reconstruction using Knowledge Distillation

1. بيان المشكلة

يعد إعادة بناء اليد ثلاثية الأبعاد بدقة وفي الوقت الفعلي أمراً بالغ الأهمية لتطبيقات الواقع الافتراضي/الواقع المعزز (VR/AR)، والروبوتات، والتفاعل بين الإنسان والحاسوب. ومع ذلك، فإن الأساليب المتطورة (SOTA)، وخاصة تلك القائمة على بنيات المحولات (Transformer) الضخمة مثل HaMeR (الذي يستخدم عمود فقري من نوع ViT-H)، مكلفة حوسبياً. تعاني هذه النماذح الثقيلة في العمل بالوقت الفعلي على الأجهزة محدودة الموارد مثل الهواتف الذكية، وسماعات الرأس، والأنظمة المدمجة. التحدي الجوهري يكمن في تسريع هذه النماذج وتقليل عدد معاملاتها مع الحفاظ على دقة إعادة البناء العالية المطلوبة للمهام المعقدة مثل التعامل مع حالات الاحتجاب (occlusions) ووضعيات اليد المتنوعة.

2. المنهجية

يقترح المؤلفون إطار عمل لـ تقطير المعرفة (Knowledge Distillation - KD) مصمم لنقل المعرفة من نموذج "معلم" (Teacher) كبير وعالي السعة إلى نموذج "طالب" (Student) خفيف الوزن.

• النموذج المعلم (Teacher Model): النموذج المرجعي هو HaMeR، وهو طريقة متطورة تستخدم عموداً فقرياً من نوع ViT-Huge (ViT-H). يقوم هذا النموذج باسترجاع معاملات MANO ($\theta, \beta$) ومعاملات الكاميرا لإنشاء نماذج شبكية لليد ثلاثية الأبعاد ومواقع المفاصل.
• نماذج الطالب (Student Models): استبدل المؤلفون العمود الفقري الثقيل ViT-H بأربعة بدائل خفيفة الوزن:
  • MobileNet (تلافيف بعمق التلافيف - depthwise convolutions)
  • MobileViT (محول هجين خفيف الوزن)
  • ConvNeXt (شبكة عصبية تلافيفية حديثة)
  • ResNet (روابط متبقية - residual connections)
  • قللت هذه الأعمدة الفقريّة حجم النموذج إلى حوالي 35% من حجم HaMeR الأصلي.
• استراتيجيات التقطير (Distillation Strategies): يتم تدريب شبكة الطالب لمحاكاة المعلم على ثلاثة مستويات:
  1. التقطير على مستوى المخرجات (Output-Level Distillation): يتعلم الطالب مطابقة تنبؤات المعلم النهائية (المفاصل ثلاثية الأبعاد $K^{3D}$، والمفاصل ثنائية الأبعاد $K^{2D}$، ومعاملات MANO) بدلاً من مجرد مطابقة الحقيقة الأرضية (ground truth).
  2. التقطير على مستوى الميزات (Feature-Level Distillation): يتعلم الطالب محاكاة خرائط الميزات الوسيطة للمعلم. حيث تقوم عملية تلافيف $1\times1$ قابلة للتعلم بمحاذاة أبعاد القنوات، بينما تقوم الاستيفاء الثنائي الخطي (bilinear interpolation) بمحاذاة الأبعاد المكانية.
  3. التقطير المشترك (Combined Distillation): نهج هجين يستخدم خسائر المخرات والميزات في آن واحد.
• هدف التدريب (Training Objective): تجمع دالة الخسارة الإجمالية بين الإشراف القياسي على الحقيقة الأرضية ($L_{GT}$) وخسائر التقطير ($L_{KD}$)، الموزونة بمعاملات فائقة $\lambda_{KD}$ و $\gamma_{feat}$.

3. المساهمات الرئيسية

• استبدال البنية بكفاءة: أثبت بنجاح أن استبدال العمود الفقري ViT-H بأعمدة فقريّة خفيفة الوزن (تحديداً ConvNeXt-L) يمكن أن يحقق أداءً يقارب الأساليب المتطورة مع تقليل التكلفة الحوسبية بشكل كبير.
• تحليل التقطير: تم تقييم كيفية استجابة بنيات الطلاب المختلفة لأنواع التقطير المختلفة بشكل منهجي:
  • أثبت التقطير على مستوى المخرجات أنه الأكثر فعالية للنماذج الأصغر أو المتوافقة هيكلياً (مثل MobileViT).
  • حقق التقطير على مستوى الميزات نتائج متفوقة للطلاب ذوي السعة الأعلى (مثل ConvNeXt-L)، مما سمح لهم بالتقاط الإشارات المكانية والدلالية للمعلم بشكل أفضل.
• قياس الأداء (Benchmarking): حقق توازناً جديداً بين السرعة والدقة، حيث حقق سرعة استدلال أسرع بمقدار 1.5 مرة مع انخفاض قدره 0.4 مم فقط في الدقة مقارنة بـ HaMeR الأصلي.

4. النتائج التجريبية

أُجريت التجارب على مجموعة بيانات HO3D-v2 باستخدام وحدة معالجة رسوميات RTX 4060 Ti.

• أداء النموذج المرجعي (Baseline): بدون التقطير، أظهرت الأعمدة الفقريّة خفيفة الوزن مقايضة: كان MobileViT-S أسرع بمقدار 1.55 مرة ولكن أقل دقة بمقدار 1.6 مم؛ وكان ResNet-50 أسرع بمقدار 1.85 مرة ولكن أقل دقة بمقدار 1.0 مم.
• تأثير التقطير:
  • على مستوى المخرجات: حسّن MobileViT-S بمقدار 0.4 مم عند $\lambda_{KD}=0.5$.
  • على مستوى الميزات: تم تحقيق أفضل النتائج باستخدام ConvNeXt-L باستخدام التقطير على مستوى الميزات ($\lambda_{KD}=0.8, \gamma_{FD}=12$). حقق هذا التكوين تحسناً في الدقة بمقدار 0.2 مم عن خط الأساس غير المقطّر له.
• المقاييس النهائية (أفضل نموذج: ConvNeXt-L + Feature KD):
  • خطأ المفصل (PA-MPJPE): 8.1 مم (مقابل 7.7 مم لـ HaMeR).
  • خطأ الرأس (PA-MPVPE): 8.3 مم (مقابل 7.9 مم لـ HaMeR).
  • سرعة الاستدلال: 40 إطاراً في الثانية (مقابل 27 إطاراً في الثانية لـ HaMeR)، مما يمثل تسريعاً بمقدار 1.48 مرة.
  • حجم النموذج: انخفض من 671 مليون معلمة (HaMeR) إلى 240 مليون معلمة.
• المقارنة: يتفوق الأسلوب المقترح على الأساليب المتطورة الأخرى مثل HandOccNet وMETRO وArtiBoost من حيث المقايضة بين السرعة والدقة، مقترباً من أداء أحدث نماذج Hamba وWiLoR ولكن مع زمن انتقال (latency) أقل بكثير.

5. الأهمية

يسد هذا العمل الفجوة بين إعادة البناء عالي الدقة لليد ثلاثية الأبعاد والنشر في العالم الحقيقي على الأجهزة الطرفية. من خلال إثبات أن تقطير المعرفة يمكن أن يضغط بفعالية نماذج إعادة البناء ثلاثية الأبعاد القائمة على المحولات، يُمكّن المؤلفون من:

• تطبيقات الوقت الفعلي على أجهزة الهاتف المحمول وأجهزة الواقع المعزز/الافتراضي دون الحاجة إلى معالجة سحابية.
• كفاءة الطاقة، وهو أمر بالغ الأهمية للأجهزة التي تعمل بالبطاريات.
• القابلية للتوسع، مما يوفر مساراً عملياً لنشر مهام الرؤية ثلاثية الأبعاد المعقدة في البيئات محدودة الموارد.

الكود والنماذج متاحة للعموم، مما يسهل المزيد من الأبحىث في مجال الرؤية ثلاثية الأبعاد الفعالة.