💻 computer science

StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video

تُعد StableHand إطار عمل لمطابقة التدفق مدركاً للجودة، يعمل على تحسين تقدير حركة اليد المزدوجة في الفضاء العالمي من خلال الفيديو من منظور الشخص الأول عبر التكيف ديناميكياً مع موثوقية الملاحظة لكل إطار من خلال إشارة جودة رباعية القنوات، محققاً أداءً هو الأفضل في حالته في التعامل مع حالات الاحتجاب والبيانات المفقودة.

المؤلفون الأصليون: Huajian Zeng, Chaohua Yao, Yuantai Zhang, Jiaqi Yang, Rolandos Alexandros Potamias, Xingxing Zuo

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Huajian Zeng, Chaohua Yao, Yuantai Zhang, Jiaqi Yang, Rolandos Alexandros Potamias, Xingxing Zuo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك ترتدي كاميرا على رأسك، تسجل يديك أثناء الطبخ، أو البناء، أو اللعب بالأشياء. يُسمى هذا "الفيديو من منظور الشخص الأول" (egocentric video). الآن، تخيل أنك تريد من روبوت أن يتعلم من هذا الفيديو عبر مراقبة كيفية تحرك يديك بدقة في الفضاء ثلاثي الأبعاد.

ما هي المشكلة؟ يديك غالباً ما تختفيان. أحياناً تُدير رأسك فتخرج يداك من مجال رؤية الكاميرا. وأحياناً أخرى، تمسك وعاءً أو كتاباً، فيحجب الجسم الكاميرا عن رؤية أصابعك.

برنامج StableHand هو برنامج حاسوبي جديد صُمم ليكون "المحقق الأفضل" الذي يملأ هذه الأجزاء المفقودة. هو لا يخمن عشوائياً؛ بل يستخدم نظاماً ذكياً ليقرر ما الذي يجب الوثوق به وما الذي يجب إصلاحه.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. "مقياس الثقة" (إشارات الجودة)

كانت معظم البرامج السابقة تعامل كل إطارات الفيديو بنفس الطريقة. إذا رأت الكاميرا يدك، استخدمتها. وإذا كانت اليد ضبابية أو محجوبة، كانت لا تزال تحاول استخدامها، مما يجعل حركات الروبوت تبدو مهتزة أو خاطئة.

StableHand مختلف. فهو يمتلك "مقياس ثقة" مدمجاً لكل جزء من يدك.

يتحقق من معاصمك (المفاصل الكبيرة التي تحرك يدك حول المكان).
يتحقق من أصابعك (المفاصل الصغيرة التي تقوم بعملية الإمساك).
يتحقق من اليد اليسرى واليد اليمنى بشكل منفصل.

ويعطي كل جزء من هذه الأجزاء الأربعة درجة من 0 إلى 1.

درجة عالية (1.0): "أنا أرى هذا بوضوح! أنا أثق في هذه البيانات تماماً".
درجة منخفضة (0.0): "هذا الجزء ضبابي، أو محجوب، أو مفقود. لا يمكنني الوثوق بهذه البيانات".

2. "المحرر الذكي" (مطابقة التدفق - Flow Matching)

بمجرد حصول البرنامج على درجات الثقة هذه، فإنه يعمل كمحرر فيديو ذكي جداً باستخدام تقنية تسمى "مطابقة التدفق" (Flow Matching). فكر في هذا كعملية سحرية يمكنها "تنعيم" فيديو فوضوي أو "إعادة إنشاء" مشهد مفقود.

إليك الخدعة السحرية:

إذا كانت درجة الثقة عالية: يقول البرنامج: "أنا أرى هذا الجزء بوضوح، لذا سأقوم بتثبيته". فهو يحافظ على بيانات الفيديو الأصلية كما هي تماماً، مما يضمن دقة الحركة.
إذا كانت درجة الثقة منخفضة: يقول البرنامج: "لا يمكنني رؤية هذا الجزء جيداً، لذا سأتجاهل البيانات السيئة وسأستخدم ذاكرتي حول كيفية تحرك الأيدي عادةً لـ إعادة إنشاء هذا الجزء".

يقوم البرنامج بذلك لكل جزء صغير من اليد بشكل مستقل. لذا، إذا كان معصمك الأيسر مرئياً ولكن أصابعك اليسرى مخفية خلف كوب، فإنه يثبت المعصم في مكانه ويقوم بـ "تخيّل" (إعادة بناء) الأصابع بناءً على كيفية تحرك الأيدي بشكل طبيعي.

3. "بنك الذاكرة" (النموذج المسبق)

كيف يعرف البرنامج كيفية إعادة إنشاء الأصابع المفقودة؟ لقد درس آلاف الساعات من فيديوهات أشخاص يستخدمون كلتا يديهما. لقد تعلم "بنك ذاكرة" لكيفية تحرك اليدين معاً. عندما تفشل الكاميرا، فإنه يسحب من بنك الذاكرة هذا لملء الفجوات، مما يضمن أن اليد المعاد بناؤها تبدو طبيعية ومتسقة مع اليد الأخرى.

4. لماذا هو أفضل؟ (النتائج)

اختبر الباحثون StableHand على مجموعتين من البيانات الصعبة:

HOT3D: فيديوهات حيث يحرك الأشخاص رؤوسهم كثيراً، مما يتسبب في اختفاء الأيدي من مجال رؤية الكاميرا لفترات طويلة.
ARCTIC: فيديوهات لأشخاص يقومون بمهام معقدة باستخدام أشياء، حيث يتم حجب الأيدي باستمرار بواسطة ما يحملونه.

النتيجة: كان StableHand أكثر دقة بشكل ملحوظ من الطرق السابقة.

قلل الأخطاء بنسبة 20-25%.
كان بارعاً بشكل خاص في الأجزاء الأصعب: عندما تكون الأيدي مخفية تماماً أو محجوبة بشدة.
على عكس الطرق القديمة التي كانت "تنزاح" (حيث تتحرك اليد ببطء بعيداً عن مكانها الصحيح بمرور الوقت)، يظل StableHand مرتبطاً بالواقع.

تشبيه ملخص

تخيل أنك تحاول إنهاء لوحة "بازل" (أحجية صور مقطعة)، لكن بعض القطع مفقودة، وبعض القطع التي لديك ملطخة وضبابية.

الطرق القديمة حاولت فرض القطع الملطخة في مكانها، مما جعل الصورة تبدو مشوهة.
StableHand ينظر إلى كل قطعة. إذا كانت القطعة نظيفة، يضعها في مكانها. أما إذا كانت القطعة ملطخة أو مفقودة، فهو لا يفرض قطعة سيئة مكانها، بل ينظر إلى القطع النظيفة المحيطة بها ويستخدم معرفته بالصورة لـ يرسم الجزء المفقود بدقة تامة.

هذا يسمح للروبوتات بالتعلم من فيديوهات البشر بشكل أكثر موثوقية، حتى عندما تكون رؤية الكاميرا غير مثالية.

ملخص تقني: StableHand

بيان المشكلة

يعد استرداد الحركة رباعية الأبعاد (4D) في الفضاء العالمي لحركتين متفاعلتين لليدين من فيديو منظور الشخص الأول (egocentric) قدرة بالغة الأهمية للإشراف على تعلم سياسات الروبوت، حيث توجه مسارات المعصم الأطراف النهائية وتحدد تمفصل الأصابع وضعيات الإمساك. ومع ذلك، تواجه هذه المهمة تحديين رئيسيين في بيئة منظور الشخص الأول:

فترات ممتدة خارج نطاق الرؤية: غالبًا ما تؤدي حركة الرأس واليد المتزامنة إلى خروج يد واحدة أو كلتيهما من مجال رؤية الكاميرا لفترات طويلة.
الانسدادات المستمرة: تؤدي عمليات التلاعب اليدوي الماهرة والتفاعل بين اليد والأجسام إلى انسدادات شديدة، وغالبًا ما تكون غير متماثلة، لليدين.

تعاني الطرق الحالية من قيود كبيرة في هذه السيناريوهات. فخطوط معالجة SLAM تحول وضعيات إطار الكاميرا لكل إطار إلى الإطار العالمي دون وجود أولويات زمنية، مما يؤدي إلى انحراف كارثي أثناء فترات فقدان اليد. أما طرق الفضاء العالمي الأصلية فتتعلم أولويات الحركة على مستوى التسلسل، لكنها عادة ما تشترط الميزات البصرية بشكل موحد، مما يفشل في مراعاة عدم تجانس موثوقية الملاحظات. وتحديدًا، هي تتجاهل أن أخطاء الانحراف العالمي للمعصم أكبر بكثير من أخطاء تمفصل الأصابع، وأن الانسدادات تضعف اليدين بشكل غير متماثل.

المنهجية

يقترح المؤلفون StableHand، وهو إطار عمل لتدفق المطابقة (flow-matching) مدرك للجودة، مصمم لتخليق مسارات ثنائية لليد في الفضاء العالمي عبر الاستفادة صراحة من جودة الملاحظات لكل مكون. يتكون الإطار من وحدتين متعلمتين يتم تدريبهما بالتتابع:

1. إشارة الجودة التكيفية والشبكة

الرؤية الجوهرية هي أن جودة الملاحظة غير متجانسة عبر المكونات (المعصم مقابل الأصابع) واليدين (اليسرى مقابل اليمنى).

تعريف الجودة: يقوم النظام بتفكيك جودة حركة اليد إلى أربعة قنوات: المعصم الأيسر ( $L_W$ )، الأصابع اليسرى ( $L_F$ )، المعصم الأيمن ( $R_W$ )، والأصابع اليمنى ( $R_F$ ). يتم اشتقاق الجودة $q \in [0, 1]$ من الخطأ بين المفاصل المرصودة والحقيقية باستخدام نواة الدالة الشعاعية الأساسية (RBF): $q = \exp(-e/\sigma)$ .
شبكة الجودة (QN): نظرًا لعدم توفر الأخطاء الحقيقية عند الاستنتاج، تقوم شبكة جودة متعلمة بالتنبؤ بالخطأ لكل مكون $\hat{e}$ $\overset{e}{^}$ (بالميليمتر) مباشرة. تأخذ الشبكة كمدخلات:
- ملاحظات MANO في الفضاء العالمي ( $\bar{y}$ ) من مقدر جاهز ومجمد.
- أعلام الثقة الثنائية لليد ( $\delta$ ).
- وضعية الكاميرا لكل إطار ( $g$ ).
- رمز سياقي قابل للتعلم على مستوى المسار يتم تجميعه عبر الانتباه الذاتي الزمني.
التدريب: تم تدريب QN مسبقًا على ثماني مجموعات بيانات بمانوال (bimanual) لمنظور الشخص الأول (~10 ملايين إطار). يتم الإشراف عليها بواسطة خسارة MSE في الفضاء اللوغاريتمي لمطابقة أحجام الخطأ وخسارة مسافة Wasserstein-1 أحادية البعد المساعدة لمحاذاة التوزيع التجريبي للأخطاء المتوقعة مع الحقيقة، مما يضمن مطابقة عرض النطاق الترددي $\hat{\sigma}$ وقت النشر مع $\sigma$ وقت التدريب.

2. نموذج توليدي لتدفق المطابقة المدرك للجودة

النموذج التوليدي هو محول انتشار (Diffusion Transformer - DiT) مشروط بإشارة الجودة المتوقعة $\hat{q}$ . وهو يستخدم أربع آليات مقترنة للتعامل مع القنوات عالية الجودة ومنخفضة الجودة بشكل مختلف:

جدولة لكل قناة: على عكس تدفق المطابقة القياسي الذي يستخدم جدولة قياسية، يستخدم StableHand جدولة خاصة بكل قناة $\alpha(\tau, \tilde{q})$ . بالنسبة للقنوات عالية الجودة ( $q \approx 1$ )، تقوم الجدولة بتجميد الملاحظة ( $\alpha \equiv 1$ )، مما يثبت المسار. بالنسبة للقنوات منخفضة الجودة ( $q \approx 0$ )، تعاملها الجدولة كضجيج ( $\alpha \approx 0$ )، مما يتطلب إعادة توليد من الأولوية (prior).
هدف السرعة المعدل بالجودة: يقوم هدف التدريب بانحدار هدف السرعة $u_\tau = (1 - \tilde{q}) \odot (x_1 - \varepsilon)$ . يضمن هذا أن النموذج يتعلم ترك القنوات عالية الجودة دون تغيير بينما يعيد بناء القنوات منخفضة الجودة.
تعديل AdaLN: يستخدم منقي DiT تطبيع الطبقة التكيفي (AdaLN) المدفوع بإشارة الجودة لضبط تحديثات رموز المعصم والأصابع بشكل منفصل، مما يطابق هيكل الجودة لكل قناة.
التهيئة المدركة للجودة: عند الاستنتاج، يتم تهيئة ODE العكسي عند $\tau=0$ بـ $x_0 = \tilde{q} \odot \bar{y} + (1 - \tilde{q}) \odot \varepsilon$ . يضمن هذا أن القنوات عالية الجودة تبدأ بالقرب من الملاحظة والقنوات منخفضة الجودة تبدأ بالقرب من الضجيج الصافي، مما يلغي عدم التطابق بين التدريب والاختبار الموجود في العمليات العكسية المبتورة (مثل SDEdit).

المساهمات الرئيسية

صياغة الجودة لكل مكون: يصيغ البحث استرداد حركة اليد المزدوجة في الفضاء العالمي لمنظور الشخص الأول كمسألة توليد مدركة للجودة لكل مكون، مع تحديد صريح لعدم تجانس جودة الملاحظة كأولوية هيكلية كانت تُترك ضمنية سابقًا.
مسار تدفق مطابقة مدرك للجودة: مسار توليدي مبتكر مدفوع بإشارة جودة رباعية القيم، يدمج جدولة أمامية لكل قناة، وهدف سرعة معدل بالجودة، وتعديل AdaLN، وتهيئة ODE مدركة للجودة.
إشارة جودة معايرة: تقديم إشارة جودة معايرة للمجموعة (corpus-adaptive) يتم التنبؤ بها عند الاستنتاج من التدفقات البصرية، مما يفصل انحراف المعصم العالمي عن خطأ تمفصل الأصابع ويتعامل مع الانسدادات غير المتماثلة.
أداء رائد (SOTA): يحقق الأسلوب نتائج متفوقة في الاختبارات التي تتميز بفترات طويلة من فقدان اليد والانسدادات المستمرة.

النتائج التجريبية

قيم المؤلفون StableHand على HOT3D (التي تتميز بفترات طويلة من فقدان اليد) و ARCTIC (التي تتميز بالانسداد المستمر بين اليد والجسم وعدم التماثل في الجودة).

HOT3D: يقلل StableHand من W-MPJPE (متوسط خطأ موضع المفصل لكل مفصل في الفضاء العالمي) بنسبة 20-25% مقارنة بأقوى خط أساس (HaWoR)، محققًا W-MPJPE قدره 57.83 مم مقابل 71.89 مم. التحسن أكثر وضوحًا في المقاطع ذات حصص فقدان اليد العالية.
ARCTIC: يقلل StableHand من W-MPJPE بنسبة ~25% عن أقوى خط أساس، محققًا 124.59 مم مقارنة بـ 171.61 مم. كما يظهر مكاسب كبيرة في MRRPE (متوسط خطأ الجذر النسبي للموضع)، مما يشير إلى تفكير أفضل في العلاقات المكانية النسبية لليدين.
دراسات الاستئصال (Ablation Studies): إزالة جدولة الجودة لكل قناة يؤدي إلى تدهور W-MPJPE بمقدار 1.6 ضعف. استبدال تقسيم الرموز الرباعي (معصم/أصابع لكل يد) برمز واحد يؤدي إلى تدهور الأداء بمقدار 2.1 ضعف، مما يؤكد ضرورة تعديل كل قناة. استخدام إشارة ثابتة أو ثنائية بدلاً من الإشارة المتدرجة المتوقعة يؤدي إلى أداء مشابه أو أسوأ من خطوط الأساس.

الأهمية والادعاءات

يزعم البحث أن تقدير حركة اليد في الفضاء العالمي مرتبط ارتباطًا وثيقًا بجودة الملاحظات لكل إطار. ومن خلال نمذجة عدم تجانس الجودة هذا صراحة، يمكن لـ StableHand "تثبيت" الملاحظات الموثوقة مع "إعادة توليد" الملاحظات غير الموثوقة باستخدام أولوية حركة ثنائية اليد متعلمة.

يضع المؤلفون هذا العمل كخطوة أساسية للإشراف على تعلم سياسة الروبوت من فيديوهات منظور الشخص الأول واسعة النطاق، خاصة لمهام التلاعب الماهرة والثنائية حيث تفشل الطرق الحالية بسبب الانحراف والانسداد. لوحظ أن الإطار قوي عبر مقدري الوضع (pose estimators) مختلفين (مثل WiLoR مقابل HaMeR) بشرط إعادة معايرة أو إعادة تدريب شبكة الجودة.

يعترف البحث بتواضع ببعض القيود: إشارة الجودة معايرة لمقدر علوي محدد، وفي حالات الآفاق الطويلة جدًا منخفضة الجودة حيث لا تُلاحظ اليد، قد ينحرف النموذج نحو تكوينات منطقية ولكنها ليست مرتبطة بالأرضية بدقة. ويُقترح للعمل المستقبلي تضمين نمذجة مشتركة بين الجسم واليد والتدريب من البداية إلى النهاية (end-to-end).