💻 computer science

Prime and Reach: Synthesising Body Motion for Gaze-Primed Object Reach

تقدم هذه الورقة البحثية مجموعة بيانات جديدة مكونة من 23.7 ألف تسلسل حركة محفزة بنظرات العين، ونموذج انتشار مشروط بالنص يولد حركات كاملة الجسم واقعية، حيث ينجح في التقاط السلوك البشري الطبيعي المتمثل في رصد كائن ما قبل الوصول إليه.

المؤلفون الأصليون: Masashi Hatano, Saptarshi Sinha, Jacob Chalk, Wei-Hong Li, Hideo Saito, Dima Damen

نُشر 2026-03-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Masashi Hatano, Saptarshi Sinha, Jacob Chalk, Wei-Hong Li, Hideo Saito, Dima Damen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسير نحو المطبخ لتناول مرطبان من زبدة الفول السوداني من رف مرتفع. قبل أن ترفع يدك حتى، تكون عيناك قد استقرتا بالفعل على ذلك المرطبان. قد تميل رأسك قليلاً أو تغير وضعية وزن جسمك للحصول على زاوية رؤية أفضل. هذه اللحظة الخاطفة من "النظر قبل الوصول" تسمى التمهيد (Primance/Priming). إنها طريقة دماغك لقول: "أنا أرى الهدف، وأنا أستعد للإمساك به".

لفترة طويلة، كانت الحواسيب التي تحاول محاكاة الحركة البشرية (مثل ألعاب الفيديو أو الروبوتات) سيئة للغاية في هذا الأمر. كان بإمكانها جعل الشخصية تمشي أو تركض، ولكن عندما يتعلق الأمر بالإمساك بشيء ما، كانت الشخصية غالباً ما تنقل يدها فجأة إلى الشيء أو تمد يدها بشكل أعمى دون النظر أولاً. بدا الأمر آلياً وغير طبيعي.

هذه الورقة البحثية، "التمهيد والوصول" (Prime and Reach)، تشبه وصفة جديدة لتعليم الحواسيب كيف تكون أكثر بشرية. إليك التفاصيل:

1. المشكلة: "القبضة العمياء"

تخيل روبوتاً يحاول التقاط كوب. إذا قلت له فقط: "اذهب واحصل على الكوب"، فقد يدور الروبوت ويصطدم بيده بالكوب دون أن ينظر إليه أبداً. إنه يفتقر إلى التوقع الذي نمتلكه نحن البشر. نحن لا نتحرك فحسب؛ بل نحن نخطط لحركتنا عبر النظر إلى حيث سنذهب أولاً.

2. الحل: مكتبة ضخمة من "النظر"

أدرك الباحثون أنهم بحاجة لتعليم الكمبيوتر كيف يبدو "النظر قبل الإمساك" في الواقع. لذا، قاموا برحلة بحث في خمس مجموعات بيانات فيديو مختلفة (مجموعات لأشخاص حقيقيين يقومون بمهام يومية).

رحلة البحث: بحثوا عن اللحظات التي تستقر فيها عين الشخص على جسم ما قبل أن تلمسه يده.
النتيجة: قاموا بتنسيق مكتبة ضخمة تضم 23,700 من هذه التسلسلات المحددة لـ "النظر والإمساك". فكر في هذا ككتاب طبخ ضخم لـ "كيف تنظر قبل أن تصل".

3. المعلم: نموذج "الانتشار" (Diffusion Model)

لتعليم الكمبيوتر، استخدموا نوعاً من الذكاء الاصطناعي يسمى نموذج الانتشار.

التشبيه: تخيل منحوتة من الطين هي حالياً مجرد كومة فوضوية من الضجيج (مثل التشويش على تلفاز قديم). يعمل الذكاء الاصطعي مثل النحات الذي يزيل الضجيج خطوة بخوة، حتى يظهر تمثال واضح وناعم.
اللمسة المختلفة: في هذه الحالة، لا يقوم الذكاء الاصطناعي فقط بإزالة الضجيج؛ بل يتم توجيهه بواسطة "هدف". أخبر الباحثون الذكاء الاصطناعي: "ابدأ بهذا الضجيج الفوضوي، ولكن تأكد من أن التمثال النهائي يشبه شخصاً نظر إلى كوب قبل الإمساك به".

4. الطريقتان لإعطاء التعليمات

اختبر الباحثون طريقتين لإخبار الذكاء الاصطناعي بما يجب فعله:

تعليمات "الوضعية" (Pose): "قف هنا، وانتهِ بهذه الوضعية المحددة تماماً وأنت تمسك الكوب". (مثل إعطاء راقص وضعية نهائية محددة).
تعليمات "الموقع" (Location): "الكوب هناك. اذهب واحصل عليه". (وهذا أصعب لأن الذكاء الاصطناعي عليه اكتشاف كيف يقف ويتحرك للوصة إلى هناك).

5. المقياس السحري: "نجاح التمهيد" (Prime Success)

كيف تعرف إذا كان الروبوت يفعل ذلك بشكل صحيح؟ لقد اخترعوا اختباراً جديداً يسمى نجاح التمهيد.

الاختبار: هل استقرت عينا الشخصية (أو اتجاه رأسه) بالفعل على الجسم قبل أن تلمسه اليد؟
النتيجة: سجل ذكاؤهم الاصطناعي الجديد درجات عالية جداً في هذا الاختبار. لقد تعلم كيف "ينظر" إلى الهدف، ويتوقف لبرهة قصيرة لضبط اتجاهه، ثم يصل. لقد توقف عن القيام بـ "القبضة العمياء".

6. لماذا يهم هذا؟

الأمر لا يتعلق فقط بجعل ألعاب الفيديو أفضل.

بالنسبة للروبوتات: إذا كان الروبوت يساعدك في المطبخ أو في المستشفى، فيجب أن ينظر إلى ما يلمسه ليكون آمناً وفعالاً.
بالنسبة للبشر الافتراضيين: إذا كنت في اجتماع واقع افتراضي، فأنت تريد من الشخصية الافتراضية (Avatar) أن تنظر إليك عندما تتحدث، لا أن تحدق في السقف بينما تمد يدها لتناول كوب قهوة.

الخلاصة

لق l أخذ الباحثون سلوكاً بشرياً معقداً (الفن الدقيق للنظر قبل الوصول)، وجمعوا آلاف الأمثلة من الحياة الواقعية، وعلموا الذكاء الاصطناعي كيفية محاكاتها. النتيجة هي إنسان رقمي لا يتحرك فحسب، بل يتوقع. إنه ينظر إلى الوجهة قبل أن يتحرك، مما يجعل الحركة تبدو طبيعية، وانسيابية، وبشرية حقاً.

باخت-القول: لقد علموا الكمبيوتر أنه يجب عليك أن تنظر إلى الكعكة قبل أن تمسك بها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Prime and Reach: Synthesising Body Motion for Gaze-Primed Object Reach" (التمهيد والوصول: توليد حركة الجسم للوصول إلى جسم مُمهد بالنظر).

1. بيان المشكلة

لقد تقدم توليد الحركة البشرية بشكل كبير في ترجمة النصوص إلى حركة والتنقل في البيئات. ومع ذلك، فإن الطرق الحالية تعتمد غالباً على مجموعات بيانات اصطناعية أو تسجيلات مخبرية محكومة، مما يؤدي إلى الفشل في التقاط السلوكيات الطبيعية والاستباقية الموجودة في التفاعلات الواقعية. وتحديداً، فإن سلوك "التمهيد والوصول" (Prime and Reach - P&R) — حيث يقوم الإنسان برصد (تمهيد) كائن ما بصرياً عبر النظر قبل الوصول إليه جسدياً — لا يزال غير مستكشف إلى حد كبير في النماذج التوليدية.

التحديات الحالية تشمل:

نقص البيانات: معظم مجموعات البيانات من منظور الشخص الأول (egocentric) تلتقط حركة العين ولكنها تفتقر إلى حركة الجسم الكامل ثلاثية الأبعاد، بينما تفتقر مجموعات بيانات الجسم الكامل غالباً إلى بيانات النظر.
غياب الاستباقية: تركز النماذج التوليدية عادةً على الهدف النهائي (الوصول) لكنها تتجاهل المرحلة التحضيرية (التمهيد/النظر)، مما ينتج حركات غير طبيعية وآلية.
قيود التحكم: تواجه طرق توليد الحركة القابلة للتحكم الحالية صعوبة في توليد التسلسل المحدد لـ "النظر أولاً، ثم التحرك" بناءً على مواقع الأشياء.

2. المنهجية

يقترح المؤلفون إطار عمل شاملاً يتضمن تنسيق البيانات، ونموذج توليد قائم على الانتشار (Diffusion)، ومقاييس تقييم مبتكرة.

أ. تنسيق البيانات: مجموعة بيانات Prime & Reach

قام المؤلفون بتنسيق 23,728 تسلسلاً من تسلسلات P&R من خمس مجموعات بيانات متاحة علناً (HD-EPIC، وMoGaze، وHOT3D، وADT، وGIMO).

منطق الاستخراج: حددوا أحداث "الالتقاط" (pick-up) و"الوضع" (put-down) ( $t_e$ ) وحللوا نافذة زمنية تسبق الحدث للعثور على وقت التمهيد ( $t_p$ ).
كشف تمهيد النظر: باستخدام بيانات تتبع العين، قاموا بإسقاط شعاع نظر المستخدم في البيئة ثلاثية الأبعاد. يُصنف التسلسل على أنه "مُمهد" (primed) إذا تقاطع شعاع النظر مع الصندوق المحيط ثلاثي الأبعاد بالهدف (أو الموقع المستقبلي لعمليات الوضع) لمدة زمنية دنيا قبل حدوث الوصول.
تقدير الجسم الكامل: بالنسبة لمجموعات البيانات التي تفتقر إلى حركة الجسم الكامل، استخدموا EgoAllo لتقدير وضعيات الجسم الكامل (SMPL-H/SMPL-X) مشروطة بوضعية كاميرا منظور الشخص الأول ونظر المستخدم.
تعريف التسلسل: يمتد كل تسلسل من $t_p - 2s$ إلى $t_e$ ، مما يلتقط المرحلة الاستباقية، والتمهيد، والوصول.

ب. بنية النموذج: الانتشار المشروط بالهدف

النموذج الأساسي هو نموذج انتشار قائم على المحولات (Transformer-based Diffusion Model) مُكيف لتوليد الحركة.

التدريب المسبق: يتم تدريب النموذج أولاً على مجموعة بيانات Nymeria (حركة واسعة النطاق من منظور الشخص الأول مع نصوص) لتعلم سوابق الحركة البشرية الطبيعية.
آلية التكييف:
- النص: يصف نوع الإجراء (مثل "التقاط" مقابل "وضع").
- الحالة الأولية: الوضعية الابتدائية وسرعات المفاصل (وهي ضرورية لأن تسلسلات P&R لا تبدأ من وضعية محايدة).
- شرط الهدف: يتم تدريب النموذج تحت شرطين:
  1. وضعية الهدف: الوضعية الكاملة للجسم في نهاية الحركة.
  2. موقع الكائن: الإحداثيات ثلاثية الأبعاد للهدف فقط ( $o_{3D}$ ).
حقن الشرط: يتم تسطيح الشروط، وإسقاطها إلى فضاء كامن، وإضافتها إلى تضمين النص ( $\tilde{z}_t = z_t + p$ ) عبر الإضافة المتبقية (residual addition) قبل حقنها في وحدة فك التشفير للمحول. هذا يحافظ على السوابق النصية-الحركية المدربة مسبقاً دون تعطيلها بمسارات انتباه جديدة.
تحسين الاستدلال: أثناء الاستدلال، يقوم النموذج بعملية تحسين ضجيج الانتشار الكامن. يعامل الضجيج الأولي كمتغير كامن ويقوم بتحسينه عبر $M$ من التكرارات باستخدام دالة خسارة تفرض الحالة الأولية، والهدف (الوضعية أو الموقع)، وسلاسة الحركة (الارتجاج/jerk).

ج. مقاييس التقييم

قدم المؤلفون مقيماً جديداً لتقييم سلوك التمهيد المحدد:

نجاح التمهيد (Prime Success): يقيس ما إذا كانت الحركة المولدة تظهر تمهيداً مقصوداً للنظر. يتحقق مما إذا كان متجه الرأس الأمامي يتقاطع مع موقع الهدف ضمن نافذة زمنية حول وقت التمهيد الحقيقي، وما إذا كانت السرعة الزاوية للرأس تتباطأ (مما يشير إلى توقف متعمد للنظر).
نجاح الوصول (Reach Success): النسبة المئوية للتسلسلات التي تصل فيها المعصم إلى مسافة 10 سم من الهدف.
المقاييس القياسية: خطأ MPJPE للهدف، خطأ الموقع، انزلاق القدم (Foot Skating)، ومتوسط خطأ موضع المفصل (MPJPE).

3. المساهمات الرئيسية

أول مجموعة بيانات P&R: إنشاء أول مجموعة بيانات واسعة النطاق (23.7 ألف تسلسل) تلتقط صراحةً سلوك "التمهيد بالنظر ثم الوصول" من مجموعات بيانات متنوعة من منظور الشخص الأول.
إطار توليد مبتكر: نموذج قائم على الانتشار قادر على توليد حركة كاملة الجسم تدمج بشكل طبيعي سلوك النظر الاستباقي، مشروطاً إما بوضعية نهائية أو بموقع كائن مستهدف.
مقياس جديد: تقديم مقياس "نجاح التمهيد" (Prime Success) لتقييم الطبيعة الاستباقية للحركة كمياً، وهي قدرة لم تكن تُقاس سابقاً في توليد الحركة.
أداء رائد (SOTA): يتفوق النموذج بشكل كبير على النماذج المرجعية (بما في ذلك MDM، وGMD، وDNO، وDartControl، وWANDR) في كل من قدرات التمهيد والوصول.

4. النتائج التجريبية

تم تقييم النموذج على خمس مجموعات بيانات (HD-EPIC، وMoGaze، وHOT3D، وADT، وGIMO).

نجاح التمهيد: حقق النموذج المقترح أعلى نجاح في التمهيد عبر جميع مجموعات البيانات.
- مثال: في مجموعة بيانات GIMO، حقق 50.0% من نجاح التمهيد (شرط وضعية الهدف)، متفوقاً على أفضل نموذج مرجعي (DNO) بنسبة 18.2%.
- في MoGaze، حسن نجاح التمهيد بنسبة 19.5% فوق النماذج المرجعية عند التكييف مع موقع الكائن.
نجاح الوصول: حقق النموذج نجاحاً يقارب الكمال في الوصول (غالباً 100% في عدة مجموعات بيانات) من خلال الاستفادة من تحسين الضجيج الكامن لضمان وصول اليد إلى الهدف.
المقارنة مع النماذج المرجعية:
- فشلت النماذج المرجعية المعتمدة على النص فقط (مثل MDM) في التمهيد أو الوصول بفعالية بسبب نقص التوجيه المكاني.
- حققت النماذج المرجعية القائمة على التحسين (DNO، وDartControl) نجاحاً عالياً في الوصول، لكنها حققت نجاحاً أقل بكثير في التمهيد، لأنها ركزت على نقطة النهاية بدلاً من الطبيعة الاستباقية للمسار.
- تعلم نموذج P&R المقترح استراتيجية التمهيد من البيانات، وليس مجرد نقطة النهاية.
دراسات الاستئصال (Ablation Studies):
- التدريب المسبق: أدى التدريب المسبق على Nymeria (الغنية بالتفاعلات الطبيعية) إلى نتائج أفضل من HumanML3D.
- الشروط: أدى إزالة الحالة الأولية أو السرعة إلى تقليل نجاح التمهيد بشكل كبير.
- البنية: تفوق المحول القائم على فك التشفير (Decoder-based Transformer) على النهج القائم على الترميز (Encoder-based).

5. الأهمية والأثر

سد الفجوة: يعمل هذا العمل على سد الفجوة بين الرؤية الحاسوبية (تتبع النظر) وتوليد الحركة، مما يتيح إنشاء بشر رقميين يظهرون سلوكاً استباقياً يشبه سلوك البشر.
الروبوتات والواقع الافتراضي: القدرة على توليد حركات "النظر ثم الوصول" أمر بالغ الأهمية للروبوتات (حيث يجب على الروبوتات تحديد الأهداف قبل الإمساك بها) وللأفاتار في الواقع الافتراضي والواقع المعزز ليعملوا بشكل طبيعي.
تحول منهجي: يثبت هذا العمل أن مجرد التحسين للهدف النهائي ليس كافياً للحركة الطبيعية؛ يجب أن تتعلم النماذج التوليدية من عملية التفاعل، بما في ذلك المراحل التحضيرية.
الاتجاهات المستقبلية: يشير المؤلفون إلى أنه بينما يتم توليد حركة الجسم، فإن وضعية اليد (الإمساك) لم تُنمذج بعد، مما يشير إلى عمل مستقبلي في توليد التفاعل الكامل بين اليد والكائن.

باخت ملخص، يضع بحث "Prime and Reach" معياراً جديداً لتوليد الحركة البشرية الطبيعية من خلال نمذجة الرابط المعرفي الحركي بين النظر والفعل صراحةً، مما يثبت أن السلوك الاستباقي يمكن تعلمه وتوليده عبر نماذج الانتشار القائمة على البيانات.