ملخص تقني: إطار REASON – إطار عمل عصبي رمزي للاستدلال المنطقي القائم على المفاهيم في التعرف على الأنشطة البشرية بناءً على الهياكل العظمية

بيان المشكلة

حقق التعرف على الأنشطة البشرية (HAR) القائم على الهياكل العظمية أداءً تجريبياً قوياً باستخدام نماذج التعلم العميق، لا سيما الشبكات العصبية التلافيفية الرسومية (GCNs). ومع ذلك، تعمل هذه النماذج كـ "صناديق سوداء"، مما يفتقر إلى القابلية للتفسير. هذا الغموض يشكل مشكلة في المجالات عالية المخاطر مثل الرعاية الصحية وإعادة التأهيل، حيث يعد اتخاذ القرار الشفاف أمراً ضرورياً. علاوة على ذلك، تواجه النهج العصبية الرمزية الحالية تحديات جوهرية في التكامل:

1. تأسيس الرموز (Symbol Grounding): يعد سد الفجوة بين مسارات المفاصل المستمرة والمسندات الرمزية المنفصلة أمراً صعباً. فالقواعد التجريبية التقليدية (مثل "زاوية الركبة < 90 درجة") هشة وتفشل تحت تغيرات الوضعية أو تغيرات زاوية الرؤية.
2. الديناميكيات الزمنية: الأنشطة هي بطبيعتها زمنية. المنطق المكاني البحت لا يمكنه التمييز بين الأنشطة ذات الوضعيات الساكنة المتشابهة ولكن بترتيب تنفيذ أو اتجاهات حركة مختلفة (مثل ارتداء النظارات مقابل خلع النظارات).
3. التعلم من الطرف إلى الطرف (End-to-End Learning): عادة ما تعيق العمليات المنطقية البولينية المنفصلة انتشار التدرج (gradient propagation)، مما يمنع التحسين المشترك للإدراك (استخراج الميزات) والاستدلال (تطبيق القواعد).

المنهجية: إطار عمل REASON

يقترح المؤلفون إطار عمل RESON (الاستدلال القابل للتفسير عبر المفاهيم الرمزية - Rule-based Explainable Action via Symbolic cONcepts)، وهو إطار عمل عصبي رمزي يعيد صياغة التعرف على الأنشطة كاستدلال منطي من الدرجة الأولى مدفوع بالمفاهيم فوق بدائيات الحركة القابلة للتعلم. يعمل الإطار من خلال أربع مراحل رئيسية:

1. توليد بنك المفاهيم

بدلاً من الاعتماد على القواعد التجريبية اليدوية، يبني المؤلفون بنك مفاهيم $\mathcal{C}$ يتكون من بدائيات حركة مكانية، زمنية، وتفاعلية باستخدام مسار مكون من ثلاث مراحل يعتمد على النماذج اللغوية الكبيرة (LLM):

• توليد الوصف: يقوم نموذج لغوي كبير (GPT-3) بتفكيك الأنشطة إلى أوصاف دقيقة لأجزاء الجسم (مثال: "الساق: تنثني عند الركبتين ثم تدفع بقوة").
• التجريد والتجميع (Clustring): يتم تحويل الأوصاف الخام إلى مفاهيم معيارية عن طريق استخراج أنماط الفعل-الاتجاه-المعدل (verb-direction-modifier)، وتضمينها، وتجميعها عبر خوارزمية k-means. ينتج عن ذلك مفاهيم مكانية (مثل رفع الذراع، قفز الساق).
• تعريف الزمن والتفاعل: يتم تعريف مفاهيم زمنية صريحة لالتقاط اتجاه الحركة (الحركة للأعلى)، التسلسل (اليد أولاً)، والديناميكيات (السرعة عالية). ويتعامل مفهوم التفاعل مع الأفعال المتبادلة.
• الربط (Association): يقوم نموذج لغوي ثانٍ (LLaMA-3.2) بمطابقة الأنشطة مع بنك المفاهيم، مما ينشئ مصفوفة ارتباط ثنائية $M$ حيث $M_{a,c}=1$ إذا كان المفهوم $c$ نشطاً للنشاط $a$. يحتوي البنك النهائي على 74 مفهوماً (52 مكانياً، 21 زمنياً، و1 تفاعلي).

2. تعلم تمثيل الهيكل العظمي

يقوم مشفر هيكلي مكاني-زماني قياسي (مثل Hyper-GCN) بمعالجة تسلسلات المدخلات $X \in \mathbb{R}^{T \times V \times 3}$ دون تجميع عالمي للحفاظ على معلومات الحركة الدقيقة. يغذي المشفر ثلاثة فروع:

• مفكك الشفرة STC-Decoder: يتنبأ بتنشيطات المفاهيم.
• المحاذاة النصية (Text Alignment): يقوم بمحاذاة ميزات الهيكل العظمي المجمعة مع تضمينات النصوص القائمة على المفاهيم (التي تم إنشاؤها بواسطة مشفر CLIP مع ضبط LoRA fine-tuning) باستخدام فقد التباين ($L_{align}$). يضمن هذا تجمع ميزات الهيكل العظمي مع أوصافها الدلالية.
• تباعد الأجزاء (Part Divergence): تعمل خسارة ($L_{div}$) على معاقبة التشابه الجيبي العالي بين ميزات أجزاء الجسم المختلفة، مما يضمن تمثيلات تمييزية لكل منطقة تشريحية.

3. مفكك الشفرة للمفاهيم المكانية-الزمانية (STC-Decoder)

هذه الوحدة تجسر الفجوة بين الميزات المستمرة والمسندات الرمزية. تقوم بفصل ميزات المشفر إلى تدفقات مكانية ($F_s$) وزمنية ($F_t$).

• فك التشفير الجماعي (Group-Decoding): للتعامل مع تعقيد علاقات المفاهيم غير المتجانسة، يتم تقسيم المفاهيم إلى مجموعات. تقوم مصفوفات استعلام قابلة للتعلم بعمل انتباه متقاطع (cross-attention) لتجميع معلومات الهيكل العظمي ذات الصلة بمجموعات فرعية محددة من المفاهيم بشكل انتقائي.
• التنبؤ: تقوم طبقة Group-FC بإسقاط هذه الاستعلامات إلى احتمالات مفاهيم ناعمة $\hat{c} \in [0, 1]^{|\mathcal{C}|}$.

4. الاستدلال المنطقي من الدرجة الأولى القابل للتفاضل

لتمكين التدريب من الطرف إلى الطرف مع الحفاظ على التفسير المنفصل:

• التحويل الثنائي (Binarization): يتم تحويل التنبؤات الناعمة إلى قيم ثنائية ($\bar{c} = \mathbb{I}[\hat{c} > 0.5]$) باستخدام مُقدر المرور المباشر (Straight-Through Estimator - STE) للسماح بتدفق التدرج.
• الطبقات المنطقية: تقوم طبقات متراكمة من الوصل (AND) والفصل (OR) بتركيب المفاهيم في قواعد.
• تطعيم التدرج (Gradient Grafting): خلال عملية التمرير الأمامي، تُستخدم العمليات والأوزان المنفصلة للاستدلال. أثناء الانتشار العكسي، يتم حساب التدرجات من خلال تخفيفات مستمرة (soft AND/OR) و"تطعيمها" على المسار المنفصل، مما يسمح بتعلم قواعد منطقية متفرقة وقابلة للتفسير.
• التصنيف: يقوم مصنف خطي برسم خرائط تنشيطات القواعد إلى تنبؤات النشاط النهائية.

المساهمات الرئيسية

1. إطار عمل REASON: صياغة عصبية رمزية جديدة للتعرف على الأنشطة البشرية القائمة على الهياكل العظمية، تدمج التمثيلات القائمة على المفاهيم مع المنطق القابل للتفاضل من الدرجة الأولى للتدريب من الطرف إلى الطرف.
2. STC-Decoder: مفكك شفرة متخصص يستخرج بشكل مستقل مفاهيم تكوين الجسم المكانية وديناميكيات الحركة الزمنية، مما يوفر تجريدات قوية ضد تباين التنفيذ.
3. بنك المفاهيم: بنك مفاهيم منسق يحتوي على 74 مفهوماً حركياً مكانياً وديناميكياً لمجموعات بيانات NTU RGB+D و NW-UCLA، تم إنشاؤها عبر النماذج اللغوية الكبيرة لضمان الثراء الدلالي دون تعداد يدوي.
4. القابلية للتفسير: يوفر النظام كلاً من التفسير المحلي (تنشيطات المفهوم الخاصة بكل حالة) والتفسير العالمي (القواعد المنطقية القابلة للقراءة من قبل البشر التي تحكم دلالات الأنشطة).

النتائج التجريبية

تم تقييم الإطار على معايير NTU RGB+D 60/120 و NW-UCLA.

• الأداء: يحقق إطار REASON أداءً تنافسياً، متفوقاً على العديد من النماذج المرجعية "الصناديق السوداء".
  • في NTU RGB+D 60 (X-Sub)، حقق دقة 94.3% (4-stream)، متفوقاً على نماذج GCN القوية مثل Hyper-GCN (93.7%) و BlockGCN (93.1%).
  • في NTU RGB+D 120 (X-Set)، وصل إلى 91.9%.
  • في NW-UCLA، حقق 97.9%.
• إعادة الترتيب باستخدام LLM: مرحلة اختيارية لإعادة الترتيب باستخدام LLaMA-3.2 7B والمستندة إلى تنشيطات المفاهيم ترفع الأداء بشكل أكبر إلى 95.6% (NTU-60 X-Sub) و 93.2% (NTU-120 X-Set)، متفوقة على الطرق الأخرى المعززة بـ LLM التي تعتمد على ميزات غامضة.
• دراسات الاستئصال (Ablation Studies):
  • المفاهيم الزمنية: أدى إضافة المفاهيم الزمنية إلى المكانية إلى تحسين الدقة بنسبة +7.8%، مما يؤكد ضرورتها للتمييز بين الوضعيات المتشابهة.
  • سعة الطبقة المنطقية: كانت تهيئة 128 عقدة هي المثلى؛ وأدى تعطيل النفي (negation) إلى انخفاض كارثي إلى 49.87%، مما يسلط الضوء على الحاجة إلى مفاهيم النفي $\neg$ (مثل التمييز بين الوقوف و المشي عبر $\neg$ مشي الساق).
  • تدخل المفهوم (Concept Intervention): أدى تصحيح المفاهيم التي تم التنبؤ بها بشكل خاطئ في السلسلة المنطقية إلى تحسين الدقة بشكل رتيب (حتى +5.67% لـ 3 تصحيحات)، مما يثبت أن الأخطاء تنبع أساساً من سوء التنبؤ بالمفاهيم وليس من القواعد المنطقية المعيبة.

الأهمية والادعاءات

يزعم البحث أن الاستدلال العصبي الرمزي هو نموذج فعال لفهم الأنشطة المكانية-الزمانية القابل للتفسير. من خلال ربط تمثيلات الهيكل العظمي بمفاهيم الحركة القابلة للتعلم وتكوينها عبر منطق قابل للتفاضل، يحقق REASON أداءً يضاهي أحدث المعايير مع الحفاظ على سلاسل استدلال منطقية شفافة تماماً من المفهوم إلى القاعدة.

على عكس الأعمال السابقة التي تعتمد على تفسيرات لاحقة أو قواعد يدوية هشة، يتعلم REASON القواعد المحددة للنشاط مباشرة من البيانات. ويؤكد المؤلفون أن هذا النهج يتيح تحليلاً منهجياً لكل من التصنيفات الصحيحة وحالات الفشل، مما يمهد الطريق نحو ذكاء اصطنا-ي موثوق في التطبيقات الحرجة التي يكون فيها "السبب" وراء التنبؤ بنفس أهمية التنبؤ نفسه. يثبت الإطار أنه من الممكن جسر الفجوة بين الإدراك العصبي والاستدلال الرمزي دون التضحية بالدقة أو القابلية للتوسع.