في مجال الرؤية الحاسوبية، يمثل تعليم الآلات فهم الحركة البشرية تحدياً يتجاوز بكثير مجرد التعرف على وجه أو تحديد كائن ما. فبينما يمكن للكاميرات رؤية مظهر الشخص بسهولة، فإن فهم ما يفعله يتطلب تفسير الهندسة المعقدة والمتغيرة لجسده. لعقود من الزمن، اعتمد الباحثون على كاميرات الفيديو التي تلتقط الألوان والنسيج، لكن هذه التفاصيل البصرية هشة؛ فهي تتلاشى في الظلام، وتختفي خلف الحشود، أو تتشوه عند تغير زاوية الكاميرا. ولحل هذه المشكلة، لجأ العلماء إلى بيانات الهيكل العظمي، وهي تمثيل رقمي يختزل جسم الإنسان إلى سلسلة من النقاط المتصلة، أو المفاصل، مثل رجل العصا. هذا النهج يجرد المشهد من الخلفية المشتتة ويركز بحتًا على ميكانيكا الحركة، مما يوفر طريقة قوية لتحليل الأفعال التي تتراوح من مجرد لوحة بسيطة إلى روتين فنون قتالية معقد. وتكمن الصعوبة الجوهرية في تعليم الكمبيوتر كيفية رؤية العلاقات بين هذه النقاط. فالجسم البشري ليس صورة مسطحة بل شبكة حيث تؤثر حركة الكتف على المرفق، والذي يؤثر بدوره على اليد. وقد عاملت الأساليب المبكرة هذه الاتصالات كعلاقات ثابتة، بافتراض أن المسافة بين المفاصل لا تتغير أبداً، لكن الحركة البشرية انسيابية وتعتمد على السياق. وقد سمحت التطورات الأحدث للكمبيوترات بتعلم هذه الاتصالات ديناميكياً، عبر تعديل "أهمية" كل مفصل بناءً على الفعل المحدد الذي يتم أداؤه، ومع ذلك ظلت هناك فجوة في مدى قدرة هذه الأنظمة على التقاط التغيرات الطفيفة والسريعة التي تحدث من لحظة إلى أخرى.

لقد عالج فريق من الباحثين في جامعة جنوب غرب جياوتونغ هذه الفجوات المستمرة بنظام جديد مصمم لقراءة قصة الحركة بشكل أكثر وضوحاً. فقد طوروا شبكة تسمى STME-GCN، تعمل على تحسين كيفية تحليل الكمبيوتر لبيانات الهيكل العظمي من خلال التركيز على نقطتي ضعف محددتين في النماذج السابقة: كيفية تحديد الأجزاء المرتبطة ببعضها البعض من الجسم، وكيفية تتبع سرعة وكثافة الحركة بين الإطارات. ووجد الباحثون أن الأساليب القديمة غالباً ما كانت تقوم بتنعيم تفاصيل الحركة مبكراً جداً، عبر حساب متوسط موضع المفاصل بمرور الوقت وفقدان الإشارات الحادة والعابرة التي تميز فعلاً عن آخر. فعلى سبيل المثال، قد يبدو التصفيق السريع وفرك اليدين البطيء متشابهين إذا نظرت فقط إلى متوسط موضع اليدين، لكنهما يبدوان مختلفين تماماً عندما تراقب التغير السريع في المسافة بينهما. ولإصلاح ذلك، يقدم النظام الجديد طريقة لتنقية الروابط بين المفاصل باستخدام مجموعة أغنى من القرائن الزمنية، ومساراً موازياً يحسب صراحةً الفرق بين لحظة وأخرى، بدلاً من مجرد افتراض أن الشبكة ستكتشف ذلك من تلقاء نفسها.

الابتكار الرئيسي الأول في هذا العمل هو وحدة تعمل بمثابة "رّسام خرائط" أكثر ذكاءً لمفاصل الجسم. ففي الأنظمة السابقة، عندما كان الكمبيوتر يحاول تحديد أي المفاصل يجب أن تتواصل مع بعضها البعض، كان غالباً ما ينظر إلى متوسط موضع تلك المفاصل طوال تسلسل الحركة. وهذا يشبه محاولة فهم محادثة من خلال قراءة متوسط حجم أصوات المتحدثين فقط؛ حيث تفقد التوقفات، والتشديد، والإيقاع. ويستبدل النظام الجديد هذا المتوسط البسيط بوصف متعدد الطبقات للزمن. فهو ينظر إلى الحالة العامة للفعل، وكثافة الحركات قصيرة المدى، وكيف يتطور الفعل عبر مراحل مختلفة. ومن خلال تغذية هذه القرائن الزمنية المفصلة في عملية اتخاذ القرار، يمكن للنظام توليد خريطة علاقات فريدة وديناميكية لكل فعل محدد. فعندما يرى الكمبيوتر شخصاً يصفق، فإنه يقوي الاتصال بين اليدين؛ وعندما يرى شخصاً يكتب، فإنه يركز على العلاقة بين المعصم والمرفق. وهذا يسمح للشبكة بتكييف هيكلها الداخلي مع الحركة المحددة التي تراقبها، بدلاً من الاعتماد على نهج واحد يناسب الجميع.

يتناول الابتكار الثاني مشكلة الحركة بشكل مباشر. وبينما تحسن الوحدة الأولى خريطة الاتصالات، تضمن الوحدة الثانية أن ينتبه الكمبيوتر إلى السرعة والتغير الفعلي للحركة. تعتمد الطرق التقليدية على تعلم هذه التغييرات ضمنياً من خلال النظر في تسلسل من الوضعيات الثابتة، وهو أمر قد يكون بطيئاً وغير دقيق. وقد أضاف الباحثون مساراً مخصصاً يحسب صراحةً الفرق بين الإطارات المتتالية. تخيل مشاهدة فيديو حيث، بالإضافة إلى رؤية الشخص، ترى أيضاً تدفقاً ثانياً يوضح بالضبط مقدار حركة كل مفصل من الثانية السابقة. يستخدم النظام بيانات الفرق الصريحة هذه، خاصة في الطبقات الأولى حيث تكون تفاصيل الحركة أوضح، لتسليط الضو على الأجزاء الأكثر نشاطاً في الجسم. هذا التعاون بين "الوضعية والحركة" (pose-motion) يسمح للشبكة بالتمييز بين الأفعال التي تبدو متشابهة في شكلها النهائي ولكنها تختلف في تنفيذها، مثل الاقتراب الإيقاعي والابتعاد لليدين في التصفيق مقابل الاحتكاك المستمر والصغير لليدين أثناء فركهما معاً.

اختبر الباحثون هذا النظام الجديد على ثلاث مجموعات بيانات رئيسية تحتوي على آلاف الحركات المسجلة التي قام بها مئات الأشخاص المختلفين. وأظهرت النتائج أنه من خلال الجمع بين هذين التحسينين، حقق النظام مستوى عالياً من الدقة في التعرف على الأفعال، متفوقاً على العديد من الأساليب الموجودة مع استخدام موارد حوسبية أقل. وفي أكبر مجموعة بيانات، والتي تضمنت أكثر من 114,000 تسلسل، حدد النظام الفعل بشكل صحيح في 90.0 بالمائة من الحالات عند استخدام بروتوكول اختبار قياسي. وفي مجموعة بيانات أخرى تضم 56,880 تسلسلاً، وصل إلى دقة بلغت 92.6 بالمائة. وهذه الأرقام مهمة لأنها تحققت دون إضافة قدر كبير من التعقيد الإضافي أو اشتراط معالجة الكمبيوتر لتدفقات فيديو متعددة ومنفصلة. وقد أثبت النظام أنه من خلال تحسين فهمه للعلاقات بين المفاصل ومن خلال نمذجة التغييرات بين اللحظات صراحةً، يمكنه التقاط جوهر الحركة البشرية بشكل أكثر فعالية.

تضمنت الدراسة أيضاً تحليلات بصرية لإظهار ما كان النظام يتعلمه بالضبط. فعندما نظر الباحثون في الخرائط الداخلية التي أنشأتها الشبكة، رأوا أن الروابط بين المفاصل تتغير اعتماداً على الفعل. فبالنسبة لحركة التصفيق، ربط النظام اليدين بقوة، بينما بالنسبة لمكالمة هاتفية، ركز على اليد والأذن. وقد أكد هذا أن النظام لم يكن يطبق مجموعة ثابتة من القواعد، بل كان يكيف فهمه في الوقت الفعلي. علاوة على ذلك، عند مقارنة النظام مع وجود وحدة تعزيز الحركة ومع غيابها، لاحظ الباحثون أن النسخة المحسنة ركزت انتباهها على المفاصل واللحظات التي كانت فيها الحركة أكثر ديناميكية. لم يكن النظام يستجيب لكل شيء بالتساوي؛ بل تعلم تجاهل السكون والتركيز على الحركة، والتمييز بين الحركة الدورية الحادة في التصفيق والحركة المستمرة والناعمة في فرك اليدين.

يشير هذا العمل إلى أن مفتاح تحسين التعرف على الأفعال لا يكمن فقط في رؤية الجسم، بل في فهم قصة حركته بمرور الوقت. ومن خلال الابتعاد عن المتوسطات البسيطة ونمذجة الاختلافات بين اللحظات صراحةً، نجح الباحثون في إنشاء نظام يتسم بالكفاءة والدقة العالية. وتشير النتائج إلى أن التقدم المستقبلي في هذا المجال قد يعتمد على استراتيجيات مماثلة: إثراء البيانات المستخدمة لاتخاذ القرارات وضمان عدم ضياع التفاصيل العابرة للحركة في عملية التحليل. يظل النظام أداة متخصصة لبيانات الهيكل العظمي، ويشير المؤلفون إلى أنه لا يأخذ في الاعسبار بعد الأشياء التي قد يحملها الشخص أو التفاصيل الدقيقة لإيماءات اليد التي تتجاوز نقاط المفاصل القياسية. ومع ذلك، من خلال النجاح في موازنة كفاءة النموذج مع أداء التعرف العالي، يقدم هذا النهج اتجاهاً واعداً لجعل الآلات أكثر قدرة على استيعاب الفروق الدقيقة في النشاط البشري.