💻 computer science

Point-Supervised Skeleton-Based Human Action Segmentation

تقدم هذه الورقة إطار عمل يعتمد على الإشراف النقطي لتجزئة الأفعال البشرية القائمة على الهيكل العظمي، والذي يستفيد من الميزات متعددة الوسائط واستراتيجية تسمية مستعارة مبتكرة لتحقيق أداء تنافسي مع تقليل تكاليف التوسيم بشكل كبير مقارنة بالطرق الخاضعة للإشراف الكامل.

المؤلفون الأصليون: Hongsong Wang, Yiqin Shen, Pengbo Yan, Jie Gui

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hongsong Wang, Yiqin Shen, Pengbo Yan, Jie Gui

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فهم الحركات البشرية، مثل رقصة معينة أو حركة رياضية. للقيام بذلك، عليك أن تعرض على الروبوت مقطع فيديو لهذا الفعل وتخبره بالضبط متى تبدأ الحركة ومتى تبدأ الحركة التالية.

الطريقة القديمة: المحرر المستنزف

تقليديًا، كان على الموثقين البشريين، لتعليم الروبوت هذا، مشاهدة الفيديو إطارًا بإطار (مثل النظر إلى كتاب صور متحركة) ورسم خط لكل ثانية واحدة لقول: "هذا هو تنظيف الأسنان"، "الآن هذه هي التلويح باليد"، "والآن هذا هو الخلفية".

هذا يشبه تحرير فيلم عن طريق تحديد البداية والنهاية الدقيقة لكل مشهد. إنه يستغرق وقتًا طويلاً، ويكلف الكثير من المال، ومحبط لأن تحديد متى يتغير المشهد بدقة قد يكون صعبًا أحيانًا. هل بدأت التلويحة في الثانية 10:02 أم 10:03؟ قد يختلف الناس حول ذلك.

الطريقة الجديدة: "نقطة" التوثيق

يقدم هذا البحث طريقة أذكى وأسهل بكثير تسمى التعلم الخاضع للإشراف بالنقطة (Point-Supervised Learning).

بدلاً من تحديد بداية ونهاية كل فعل، يقوم الموثق البشري ببساطة بالنقر على نقطة واحدة فقط في منتصف الحركة ويقول: "هذا هو تنظيف الأسنان". هذا كل شيء. ليس عليهم القلق بشأن الحدود الفوضوية.

فكر في الأمر كأنه رحلة بحث عن الكنز. بدلاً من رسم خريطة كاملة لجزيرة الكنز، أنت فقط تضع علامة "X" واحدة في المكان الذي يوجد فيه الكنز. يجب على الكمبيوتر اكتشاف بقية الخريطة بناءً على ذلك الدليل الواحد.

كيف يفهم الكمبيوتر الأمر (الخدع السحرية)

لا يمكن للكمبيوتر أن يخمن عشوائيًا. لقد بنى المؤلفون نظامًا يحتوي على ثلاث "خدع سحرية" لتحويل تلك النقطة الواحدة إلى جدول زمني كامل:

كاميرا "العدسات الثلاث":
الكمبيوتر لا ينظر إلى الهيكل العظمي (الرجل العصوية) بشكل عادي فحسب. بل ينظر إليه من خلال ثلاث عدسات مختلفة:

المفاصل: أين توجد الأكواع والركب.
العظام: الخطوط التي تربط المفاصل (الهيكل).
الحركة: مدى سرعة حركة المفاصل.
من خلال الجمع بين هذه الرؤى الثلاث، يحصل الكمبيوتر على فهم أغنى لما يحدث، تمامًا كما أن رؤية السيارة من الأمام والجانب وسماع محركها يساعدك على فهمها بشكل أفضل من رؤية مقدمتها فقط.

فريق "التخمين والتحقق":
بما أن الكمبيوتر لديه نقطة واحدة فقط، فعليه أن يخمن أين تبدأ الحركة وأين تتوقف. وهو يستخدم ثلاث طرق مختلفة للقيام بهذا التخمين:

الطريقة أ (دالة الطاقة): تبحث عن النقطة التي تبدو فيها الحركة "مختلفة تمامًا" بين نقطتين.
الطريقة ب (التجميع): تجمع الإطارات المتشابهة معًا، مثل فرز الجوارب حسب اللون، لإيجاد حدود طبيعية.
الطريقة ج (النموذج الأصلي): تقارن الحركة الحالية بـ "مثال مثالي" لتلك الحركة تعلمته سابقًا.

"تصويت اللجنة" (التكامل):
هذا هو الجزء الأكثر ذكاءً. أحيانًا تختلف الطرق الثلاث. ربما تعتقد الطريقة (أ) أن الحركة تنتهي عند الإطار 50، لكن الطريقة (ب) تعتقد أنها تنتهي عند الإطار 55.
بدلاً من اختيار واحدة، يعمل النظام كأنه لجنة صارمة. فهو لا يقبل أي تسمية إلا إذا اتفقت الطرق الثلاث جميعها. إذا اختلفوا، فإنه يترك ذلك الجزء فارغًا (غير موثق) بدلاً من التخمين الخاطئ. هذا يمنع الروبوت من اكتساب عادات سيئة.

النتائج: أسرع، أرخص، وأذكى

اختبر الباحثون هذا على مجموعات بيانات لأشخاص يقومون بأفعال متنوعة (مثل التزلج الفني وحركات عامة).

النتيجة: على الرغم من أن الكمبيوتر لم يرَ سوى نقطة واحدة لكل حركة، إلا أنه تعلم تقسيم الفيديو بنفس كفاءة الأنظمة التي تدربت باستخدام التسميات المكلفة (إطار بإطار)، أو حتى أفضل منها أحيانًا.
الفائدة: يوفر مقدارًا هائلًا من الوقت والمال. كما أنه يحل "مشكلة الحدود" لأن البشر لا يضطرون للجدال حول مكان بدء التلويح بالضبط؛ هم فقط يشيرون إلى منتصف التلويحة.

باخت-صار

يتعلق هذا البحث بتعليم الروبوت فهم الأفعال البشرية من خلال إظهار بعض "النقاط" له بدلاً من خريطة كاملة. ومن خلال استخدام فريق ذكي من الخوارزميات التي تراجع عمل بعضها البعض وتنظر إلى الحركة من زوايا متعددة، يمكن للروبوت ملء الفراغات بدقة. إنه تحول من "رسم الصورة بأكملها" إلى "إلقاء بعض الأدلة وترك الذكاء الاصطناعي يحل اللغز".

إليك ملخص تقني مفصل لورقة البحث بعنوان "Point-Supervised Skeleton-Based Human Action Segmentation" من قبل وانج وآخرون.

1. بيان المشكلة

يعد تجزئة الأفعال الزمنية (TAS) على بيانات الهيكل العظمي (Skeleton) أمراً بالغ الأهمية للروبوتات والتفاعل بين الإنسان والحاسوب، ولكنه يواجه تحديين رئيسيين في الأساليب الحالية الخاضعة للإشراف الكامل:

تكلفة التوسيم العالية: تتطلب أساليب الإشراف الكامل (Fully-supervised) تسميات على مستوى الإطار (تحديد بداية ونهاية كل فعل)، وهو أمر مجهد ويتطلب وقتاً وجهداً كبيراً.
الغموض الدلالي: غالباً ما تكون حدود الأفعال غامضة؛ حيث قد يختلف المقيّمون حول الإطارات الانتقالية الدقيقة بين فعلين متشابهين (على سبيل المثال، نهاية "تنظيف الأسنان" مقابل بداية "التلوي باليد")، مما يؤدي إلى تسميات (Ground Truth) مشوبة بالضجيج.

الحل المقترح: قدم المؤلفون إعداد الإشراف بنقاط (Point-Supervised). بدلاً من تسمية مقاطع كاملة، يقوم المقيّمون فقط بتحديد إطار واحد لكل مقطع فعل وللخلفية. هذا يقلل بشكل كبير من جهد التوسيم ويتجنب الحاجة إلى تحديد حدود دقيقة وغالاً ما تكون غامضة.

2. المنهجية

يتكون الإطار المقترح من ثلاث مراحل رئيسية: استخراج الميزات متعدد الوسائط، توليد التسميات المستعارة (Pseudo-Labels)، ودمج التسميات المستعارة.

أ. استخراج الميزات متعدد الوسائط

يستفيد النموذج من نموذج موحد متعدد الوسائط مدرب مسبقاً (UmURL) لاستخراج تمثيلات ميزات غنية من ثلاث وسائط مختلفة للهيكل العظمي:

المفاصل (Joint - $X$ ): الإحداثيات الأصلية (ثنائية أو ثلاثية الأبعاد) للمفاصل.
العظام (Bone - $B$ ): المواقع النسبية بين المفاصل المتجاورة (المعلومات الهيكلية).
الحركة (Motion - $M$ ): الإزاحات بين الإطارات المتتالية (الديناميكيات الزمنية).
يتم ترميز هذه الوسائط إلى ناقلات ميزات عالية الأبعاد ( $JF, BF, MF$ ) لتوفير إشارات متكاملة لعملية التجزئة.

ب. توليد التسميات المستعارة

بما أن النقاط الموسومة هي المتاحة فقط، يجب على النظام استنتاج تسميات جميع الإطارات البينية. تقترح الورقة توليد تسميات مستعارة عن طريق تحديد نقاط انتقال الفعل بين نقطتين موسومتين متجاورتين. تم استخدام ثلاث طرق متميزة للعثور على نقاط الانتقال هذه:

دالة الطاقة (Energy Function): تقلل من مجموع المسافات الإقليدية بين الإطارات ومراكز تجمعاتها (Clusters) داخل فترة زمنية معينة. وهي تجد النقطة $t_{bi}$ التي تقسم الفترة بشكل أفضل إلى مجموعتين متجانستين.
تجميع K-Medoids المقيد (Constrained K-Medoids Clustering): يفرض الاستمرارية الزمنية. يعامل المشكلة كتجميع الإطارات في $N$ من المجموعات (حيث $N$ هو عدد المقاطع) مع اعتبار النقاط الموسومة كنقاط مركز أولية، مع تحسين الحدود بشكل تكراري لتقليل المسافة داخل المجموعة الواحدة.
تشابه النماذج الأولية (Prototype Similarity - جديد): يحسب المسافة بين ميزة كل إطار والنماذج الأولية للفئات (متوسط ميزات النقاط الموسومة لكل فئة) للنماذج الأولية اليسرى واليمنى. يتم تحديد نقطة الانتقال حيث يكون الفرق في المسافات بين هذين النموذجين في أدنى مستوياته (أي حيث تتحول ميزات الإطار من كونها مشابهة للنموذج الأيسر إلى النموذج الأيمن).

ج. دمج التسملات المستعارة متعدد الوسائط

للتخفيف من الأخطاء الناتجة عن الغموض الدلالي والقيود التي تفرضها الطرق الفردية، يستخدم المؤلفون استراتيجية التجميع (Ensemble Strategy):

المدخلات عبر الوسائط: تستخدم كل طريقة توليد وسيطة محددة (على سبيل المثال، يستخدم تشابه النماذج الأولية بيانات المفاصل، ويستخدم K-Medoids بيانات العظام، وتستخدم دالة الطاقة بيانات الحركة).
استراتيجية التقاطع (Intersection Strategy): يتم تعيين التسمية المستعارة النهائية للإطار فقط إذا اتفقت الطرق الثلاث على التسمية. إذا اختلفت الطرق، يتم تحديد الإطار كـ "غامض" ويُترك بدون تسمية أثناء التدريب.
التدريب: يتم تدريب النموذج (وهو MS-TCN مكون من 4 مراحل) من البداية إلى النهاية باستخدام هذه التسميات المستعارة عالية الثقة.

3. المساهمات الرئيسية

صياغة مهمة جديدة: أول تقديم لـ تجزئة الأفعال الزمنية الخاضعة للإشراف بنقاط خصيصاً لبيانات الهيكل العظمي، مما يعالج قضاções تكلفة التوسيم والغموض.
إطار عمل قوي للتسميات المستعارة:
- اقتراح طريقة تشابه النماذج الأولية للكشف عن نقاط انتقال الفعل.
- دمج ثلاث طرق متنوعة لتوليد التسميات (الطاقة، K-Medoids، النماذج الأولية) مع مدخلات متعددة الوسائط لتعزيز الموثوقية.
- استخدام تجميع قائم على التقاطع لتصفية الإطارات الغامضة، مما يمنع تراكم الأخطاء.
معايير مرجعية جديدة: إنشاء معايير مرجعية خاضعة للإشراف بنقاط على أربع مجموعات بيانات: PKU-MMD (X-Sub, X-View)، و MCFS-22، و MCFS-130. وقد قدم المؤلفون التوسيمات النقطية لهذه المجموعات لتسهيل الأبحاث المستقبلية.

4. النتائج التجريبية

تم تقييم الطريقة على PKU-MMD و MCFS-22 و MCFS-130 باستخدام دقة مستوى الإطار (Acc)، ودرجة التحرير (Edit Score)، ودرجات F1 المقطعية (F1@tIoU).

الأداء مقابل النماذج المرجعية للإشراف بنقاط: يتفوق الأسلوب المقترح بشكل كبير على الطرق المكيفة للإشراف بنقاط (TS-Sup, TSASPC) عبر جميع المقاييس ومجموعات البيانات.
الأداء مقابل أساليب الإشراف الكامل:
- في PKU-MMD، يحقق الأسلوب أداءً مقارباً لأساليب الإشراف الكامل في تقييم Cross-Subject، ويتفوق على أحدث أساليب الإشراف الكامل (مثل LaSA) في درجة التحرير و F1@10 في تقييم Cross-View.
- في MCFS-22/130، يحقق نتائج تنافسية، حيث يضاهي أو يقترب من أداء الإشراف الكامل في المهام ذات الحبيبات الخشنة، رغم أنه يتأخر قليلاً في الحدود دقيقة الحبيبات (F1@50) حيث يكون تحديد الحدود الدقيقة أمراً بالغ الأهمية.
دراسات الاستئصال (Ablation Studies):
- التكامل: يؤدي استخدام طرق توليد التسميات المستعارة الثلاث معاً إلى تحقيق أفضل النتائج، مما يؤكد قيمة التعلم بالتجميع.
- الوسائط: يؤدي دمج بيانات الهيكل العظمي الأصلية مع الميزات المستخرجة (على سبيل المثال، بيانات المفاصل + ميزات المفاصل) باستمرار إلى تفوق على استخدام أي منهما بمفرده.
- المتانة: يوفر نهج دمج الوسائط المتعددة نتائج أكثر استقراراً من المدخلات أحادية الوسائط.

5. الأهمية

تثبت هذه الورقة أن الإشراف بنقاط يعد بديلاً فعالاً ومتاحاً للإشراف الكامل في تجزئة الأفعال القائمة على الهيكل العظمي.

الكفاءة: يقلل من وقت التوسيم بشكل كبير من خلال طلب نقطة واحدة فقط لكل فعل بدلاً من حدود البداية والنهاية.
الجودة: من خلال تجنب الحاجة إلى تحديد حدود غامضة، فإنه يقلل من ضجيج التسميات، مما يؤدي إلى نماذج قوية تجاه اختلاف المقيّمين.
التعميم: تظهر النتائج أنه مع التوليد المناسب للتسميات المستعارة ودمج الوسائط المتعددة، يمكن للتعلم الضعيف (Weak Supervision) تحقيق مستويات أداء تضاهي، وفي بعض الحالات تتجاوز، أحدث أساليب الإشراف الكامل.

باختصار، يجسد هذا العمل الفجوة بين التكلفة العالية لتوسيم البيانات والحاجة إلى أنظمة قوية لتجزئة الأفعال، مما يوفر إطار عمل عملياً للنشر في العالم الحقيقي في مجالات الروبوتات والمراقبة الذكية.