Pose-Anchored Optical Flow for Low-Latency Human Action Anticipation in Human-Robot Teaming
تقدم هذه الورقة البحثية PoseOFF، وهو تمثيل للتدفق البصري المرتكز على الوضعية يلتقط ديناميكيات الحركة الموضعية حول مفاصل الإنسان لتمكين التنبؤ بدقة وبزمن انتقال منخفض بالأفعال البشرية في فرق العمل بين الإنسان والروبوت دون التكلفة الحسابية لمعالجة الإطار الكامل.
المؤلفون الأصليون:Lewis de Zoete Grundy, Chris McCarthy, Christopher Fluke
في عالم الفرق البشرية-الروبوتية الصاخب، تعتمد السلامة والكفاءة على قدرة الروبوت على قراءة عقل الإنسان حتى قبل أن يكتمل الفعل. تخيل ذراعاً روبوتية تعمل جنباً إلى جنب مع نجار بشري؛ إذا انتظر الروبوت حتى ينهي الإنسان أرجحة المطرقة تماماً لكي يستجيب، فسيكون الأوان قد فات بالفعل لمنع تصادم أو لتقديم مساعدة في الوقت المناسب. للتفاعل بشكل طبيعي، يجب على الآلة أن تستنتج القصد من خلال الحركات الأولى والأكثر دقة. لسنوات، حاول الباحثون تعليم الروبوتات هذه المهارة عبر تتبع الهيكل العظمي لجسم الإنسان، ورسم خرائط لمواقع المفاصل مثل المرفقين والركبتين. وبينما تعد هذه الطريقة سريعة وموثوقة، إلا أنها غالباً ما تغفل عن التفاصيل الدقيقة للحركة، مثل دوران المعصم أو الطريقة التي تمسك بها اليد جسماً ما، خاصة في الثواني الأولى من الفعل. وعلى العكس من ذلك، فإن الطرق الأخرى التي تحلل حركة كل بكسل في الفيديو تلتقط هذه التفاصيل، لكنها ثقيلة حسابياً لدرجة أنها تبطئ الروبوت، مما يجعل الاستجابة في الوقت الفعلي أمراً مستحيلاً.
اقترح فريق من الباحثين في جامعة سوينبيرن للتكنولوجيا نهجاً جديداً يسمى "PoseOFF"، والذي يسعى لسد هذه الفجوة عبر الجمع بين سرعة تتبع الهيكل العظمي وتفصيل تحليل الحركة. وبدلاً من مراقبة إطار الفيديو بأكمده أو مجرد نقاط الهيكل العظمي، يركز أسلوبهم تحديداً على الرقع الصغيرة من الحركة المحيطة بكل مفصل مباشرة. ومن خلال ربط بيانات الحركة مباشرة بهيكل الجسم، يلتقط النظام الديناميكيات المحلية لطرف ما — مثل بدء دوران اليد أو بدء رفع المرفق — دون عبء معالجة المشهد بأكمله. تتيح هذه التقنية للروبوت فهم ما على وشك أن يفعله الإنسان في وقت أبكر بكثير من تسلسل الحركة، باستخدام قدر أقل بكثير من قوة الحوسبة مقارنة بالتحليل التقليدي للفيديو.
اختبر الباحثون هذه الفكرة على عدة مجموعات بيانات قياسية تحتوي على آلاف المقاطع المرئية لأشخاص يؤدون مهام متنوعة، من الأنشطة اليومية البسيطة مثل شرب الماء إلى الحركات البدنية الأكثر تعقيداً. ودمجوا أسلوبهم الجديد لالتقاط الحركة في ثلاث بنيات مختلفة ومعروفة لـ "أدمغة الروبوت" المصممة للتعرف على الأفعال البشرية. كانت النتائج واضحة: من خلال إضافة هذه الإشارات الحركية الموضعية، استطاعت النماذج التنبؤ بالفعل الصحيح بنفس مستوى الدقة مع مراقبة جزء ضئيل فقط من الحركة. وفي كثير من الحالات، حقق النظام أفضل أداء له بعد مشاهدة نصف تسلسل الفعل فقط، وهو إنجاز لم تستطع النماذج القياسية مضاهاته إلا عندما يقترب الفعل من الاكتمال. كان هذا التحسن ملحوظاً بشكل خاص في المهام التي تتضمن مهارات حركية دقيقة، مثل الكتابة أو وضع الكريم، حيث تكون التحولات الطفيفة في اليد أو الأصابع هي أولى الأدلة على ما يحدث، قبل وقت طويل من تغير وضعية الجسم الإجمالية.
كما كشفت الدراسة أن هذه الطريقة ليست أكثر دقة فحسب، بل هي عملية للغاية للاستخدام في العالم الحقيقي. فبينما يؤدي تحليل الحركة الكاملة لإطار فيديو ما إلى إنشاء كم هائل من البيانات التي قد يستغرق معالجتها أكثر من عشر ثوانٍ، يقلل الأسلوب الجديد حجم هذه البيانات بعدة مراتب، مما يخفض وقت المعالجة إلى جزء من الثانية. وتعني هذه الكفاءة أن بإمكان الروبوت تشغيل هذا النظام على أجهزة قياسية دون الحاجة إلى حواسيب فائقة باهظة الثمن ومتخصصة. ووجد الباحثون أن النظام لم يضف سوى وقت ضئيل جداً إلى عملية اتخاذ القرار لدى الروبوت، مما يجعله مناسباً للبيئات التي تكون فيها الاستجابات في أجزاء من الثانية حاسمة من أجل السلامة.
ومع ذلك، فقد كان الباحثون حذرين في الإشارة إلى أن هذا النهج ليس حلاً عالمياً لكل موقف. فالطريقة تعتمد بشكل كبير على قدرة الروبوت على تحديد مفاصل الإنسان بشكل صحيح في المقام الأول. وفي السيناريوهات التي يكون فيها الإنسان محجوباً بشكل كبير أو تكون الحركة كبيرة وفوضوية بحيث تشمل الجسم بأكمله في آن واحد، واجه النظام أحياناً صعوبات أو لم يؤدِ بشكل أفضل من نماذج الهيكل العظمي القياسية فقط. في هذه الحالات المحددة، كانت إشارات الحركة المحلية إما مخفية بسبب الحجب أو لم تكن العامل الأساسي في تمييز الفعل. وبالرغم من هذه القيود، تشير النتائج إلى أنه من خلال التركيز على الأجزاء الأكثر صلة من الحركة، يمكن للروبوتات أن تصبح شركاء أكثر استباقية. هذا التحول يسمح للآلات بالانتقال من مجرد الاستجابة لما حدث بالفعل إلى الفهم الاستباقي لما أوشك على الحدوث، مما يمهد الطريق لتعاون أكثر سلاسة وأماناً وطبيعية بين البشر والآلات.
ملخص تقني: التدفق البصري المرتكز على الوضعية للتنبؤ بالأفعال البشرية بإنتاجية منخفضة
بيان المشكلة
تتطلب التفاعلات بين الإنسان والروبوت (HRI) الفعالة من الروبوتات تفسير السلوك البشري أثناء حدوثه لضمان السلامة، والتنسيق، وتبادل الأدوار الطبيعي. وبينما تم إحراز تقدم كبير في التعرف على الأفعال البشرية، لا يزال التنبؤ المبكر بالفعل (early action anticipation) يمثل تحدياً. تندرج النهج الحالية عموماً ضمن فئتين ذات مقايضات متباينة:
الأساليب القائمة على الهيكل العظمي (Skeleton-based methods): تعتمد هذه الأساليب على تمثيلات هيكلية متفرقة (مسارات المفاصل). ورغم أنها فعالة حاسوبياً وقوية تجاه تغيرات الخلفية، إلا أنها تهمل معلومات الحركة الدقيقة. وهذا يحد من قدرتها على التمييز بين الأفعال ذات التكوينات الوضعية المتشابهة ولكن بديناميكيات حركة مختلفة، لا سيما في المراحل الأولى من الفعل.
أساليب الحركة الكثيفة (Dense motion methods): تلتقط الأساليب التي تستخدم التدفق البصري الكثيف أو النمذجة الزمانية المكانية القائمة على المحولات (Transformers) إشارات حركة غنية، لكنها تتطلب تكاليف حاسوبية عالية. وهذا يجعلها أقل ملاءمة لخطوط معالجة الإدراك ذات زمن الاستجابة المنخفض المطلوبة في الأنظمة الروبوتية التفاعلية في الوقت الفعلي.
تتمثل المشكلة الجوهرية في غياب تمثيل يوازن بين الكفاءة ودقة الحركة، وتحديداً تمثيل يمكنه دعم استنتاج النوايا المبكرة دون الأعباء الناتجة عن معالجة الإطارات الكاملة.
المنهجية: PoseOFF
يقترح المؤلفون PoseOFF، وهو تمثيل للتدفق البصري المرتكز على الوضعية، مصمم لتشفير ديناميكيات الحركة المحلية المتوافقة مع بنية جسم الإنسان. وخلافاً لتمثيلات الحركة العالمية الكثيفة أو عمليات المعالجة المتوازية، يقوم PoseOFF بتكييف استخراج الحركة صراحةً بناءً على نقاط مفاتيح الوضعية البشرية (keypoints).
بناء التمثيل
المدخلات: تسلسل فيديو RGB (T من الإطارات) مع نقاط مفاتيح الهيكل العظمي البشرية المستخرجة (M من الهياكل، و V من المفاصل لكل هيكل).
استخراج التدفق البصري: يتم حساب حقول التدفق البصري (متجهات u,v) بين الإطارات المتتالية.
أخذ العينات المحلية: بدلاً من معالجة الإطار بالكامل، يستخرج PoseOFF نافذة محلية بحجم N×N من متجهات التدفق البصري ممركزة عند موقع كل مفتاح من مفاتيح الوضعية المكتشفة. ويتحكم عامل التمدد (dilation factor) في النطاق المكاني لهذه النافذة.
ترميز الميزات: يتم تسطيح متجهات التدفق المحلية ودمجها مع ميزات الوضعية المقابلة (الإحداثيات والثقة). وهذا ينشئ متجه ميزات موحداً مشروطاً بالوضعية لكل مفتاح بأبعاد (N,N,2)+Cpose.
التكامل: يتم تغذية التمثيل الناتج في بنيات التعرف على الأفعال القائمة على الهيكل العظمي الموجودة (مثل ++ST-GCN، و MS-G3D، و ++InfoGCN) عبر طبقة تضمين خفيفة الوزن. تتكون هذه الطبقة من شبكة عصبية تلافيفية بسيطة (طبقتان تلافيفيتان، وتجميع، وطبقة خطية) تتعلم الميزات من نوافذ التدفق البصري قبل دمجها مع إحداثيات الهيكل العظمي الأصلية.
تفاصيل التنفيذ
مجموعات البيانات: تم التقييم باستخدام NTU RGB+D 60، و NTU RGB+D 120 (التي توفر هياكل ثلاثية الأبعاد حقيقية)، و UCF101 (فيديوهات غير مقيدة في "البيئة الطبيعية" مع هياكل عظمية تقديرية).
التدفق البصري: تم حسابه باستخدام خوارزمية RAFT.
التقييم: تم اختبار النماذج على تسلسلات كاملة للتصنيف وعلى تسلسلات محجوبة زمنياً (نسب ملاحظة جزئية) من أجل التنبؤ بالفعل.
المساهمات الرئيسية
تمثيل PoseOFF: تمثيل حركة مهيكل ومبتكر يربط التدفق البصري بمفاصل الجسم، مما يوفر بديلاً للتمثيلات الحركية الكثيفة أو المتوازية يتوافق مع بنية الجسم.
القدرة على التنبؤ المبكر: إثبات أن دمج إشارات الحركة المحلية يمكن أن يمكّن النماذج من تحقيق دقة تعرف مماثلة أو محسنة مع ملاحظة عدد أقل بكثير من إطارات تسلسل الفعل.
العملية في التفاعل بين الإنسان والروبوت (HRI): التحقق من أن تمثيلات الحركة المستهدفة ومنخفضة زمن الاستجابة يمكن أن تعزز التفاعل بين الإنسان والروبوت من خلال دعم سلوك أكثر استجابة وتبكراً دون الحاجة إلى معالجة الحركة للإطار الكامل.
النتائج التجريبية
قيم المؤلفون PoseOFF عبر ثلاث بنيات أساسية وثلاث مجموعات بيانات، مقارنة بأداء النماذج المرجعية القائمة على الهيكل العظمي فقط.
تصنيف الأفعال: حقق PoseOFF تحسينات ثابتة في الدقة عبر جميع مجموعات البيانات.
NTU RGB+D 60: تحسن متوسط بنسبة +2.14%.
NTU RGB+D 120: تحسن متوسط بنسبة +6.84%.
UCF101: تحسن بنسبة +11.22%. كانت المكاسب في UCF101 ملحوحة بشكل خاص، مما يشير إلى أن PoseOFF يوفر متانة ضد وضع المفاتيح الخاطئ في البيئات غير المقيدة من خلال إضافة سياق حركة بارز.
التنبؤ بالفعل (التنبؤ المبكر):
مكّن PoseOFF النماذج من الوصول إلى دقة التسلسل الكامل للنموذج المرجعي باستخدام عدد أقل من الإطارات الملحوظة.
في NTU RGB+D 60، تطلبت النماذج 80% فقط من التسلسل (بالنسبة لـ ++ST-GCN و MS-G3D) أو 50% (بالنسبة لـ ++InfoGCN) لمطابقة أداء التسلسل الكامل.
لوحظت اتجاهات مماثلة في UCF101، حيث طابقت النماذج المعززة أداء النموذج المرجعي بعد حوالي نصف التسلسل.
التحليل لكل فئة:
كانت التحسينات موزعة على نطاق واسع. في NTU RGB+D 60، تحسنت 88.33% من الفئات؛ وفي NTU RGB+D 120، تحسنت 98.33% من الفئات.
كانت المكاسب أكثر وضوحاً للأفعال التي تنطوي على حركة محلية دقيقة (مثل التفاعل بين اليد والشيء، الكتابة، وضع الكريم) حيث تكون مسارات الوضعية وحدها غامضة.
الأفعال التي تهيمن عليها الحركة العالمية واسعة النطاق (مثل الرياضة) أظهرت نتائج أكثر تباينًا، حيث أن هذه الديناميكيات غالباً ما يتم التقاطها جيداً بواسطة التمثيلات الهيكلية.
الكفاءة الحسابية:
حجم البيانات: يتطلب PoseOFF حوالي 1.06 ميجابايت لكل تسلسل، وهو انخفاض هائل مقارنة بالتدفق البصري الكامل (1.66 جيجابايت) بينما يحتفظ بمعلومات أكثر من الوضعية فقط (60 كيلوبايت).
وقت الاستدلال: تؤدي إضافة PoseOFF إلى زيادة طفيفة في وقت الاستدلال (على سبيل المثال، +5.3 مللي ثانية لـ ++InfoGCN++)، مما يحافظ على التوافق مع التشغيل في الوقت الفعلي.
الأهمية والادعاءات
يزعم البحث أن PoseOFF يمثل "منطقة وسطى" عملية بين الأساليب القائمة على الوضعية خفيفة الوزن والأساليب القائمة على الحركة كثيفة الاستهلاك للموارد. تكمن أهميته الأساسية في قدرته على:
تعزيز فهم النوايا المبكرة: من خلال التقاط ديناميكيات الحركة المحلية (مثل تسارع الأطراف والتفاعل مع الأشياء) التي تكون غير مرئية للنماذج القائمة على الهيكل العظمي فقط، يسمح PoseOFF للروبوتات باستنتاج نية الإنسان في مرحلة مبكرة من تنفيذ الفعل.
دعم زمن الاستجابة المنخفض في HRI: يحقق هذا الأسلوب هذه المكاسب دون العبء الحسابي للتدفق البصري الكثيف، مما يجعله قابلاً للتطبيق في الأنظمة الروبوتية المحدودة الموارد والتي تعمل في الوقت الفعلي.
تحسين المتانة: يساعد إضافة سياق الحركة في الحفاظ على الأداء حتى عندما تكون مفاتيح الهيكل العظمي مشوشة أو مفقودة، وهي مشكلة شائعة في السيناريوهات "في البيئة الطبيعية".
خلص المؤلفون إلى أنه بينما يعتمد PoseOFF على جودة تقدير الوضعية وقد يواجه تحديات مع الحجب الشديد أو الحركة العالمية عالية الديناميكية، فإنه يقدم مساراً قابلاً للتطبيق لتفاعل أكثر استباقية واستجابة بين الإنسان والروبوت.