ملخص تقني: ProGraD للاستدلال العلاقاتي المهيكل في كشف الأنشطة الجماعية

1. تعريف المشكلة

تعد عملية كشف الأنشطة الجماعية (GAD) امتداداً لعملية التعرف على الأنشطة الجماعية التقليدية، حيث تتطلب من النماذج تحديد مواقع مجموعات اجتماعية متعددة داخل المشهد في آن واحد، واستنتاج عضويات المجموعات (من يتفاعل مع من)، وتصنيف الأنشطة الجماعية. تعد هذه المهمة تحدياً نظراً للتفاعلات المتداخلة، والانسدادات (occlusions)، والحاجة إلى استنتاج هياكل المجموعات ديناميكياً بدلاً من الاعتماد على التجميع المكاني الثابت.

تحدد الورقة البحثية عقبة حرجة في تكييف نماذج الرؤية التأسيسية (VFMs) (مثل DINOv2) مع مهام الـ GAD. فبينما توفر نماذج الـ VFMs تمثيلات ميزات فائقة، فإن استبدالها بشكل ساذج في مسارات الـ GAD الحالية (التي صُممت للعمل مع دعامات CNN) يؤدي إلى تدهور الأداء. على سبيل المثال، أدى استبدال دعامة ResNet-18 بدعامة DINOv2 مجمدة في إطار عمل "Practical GAD" إلى انخفاض Group mAP@1.0 من 10.85 إلى 9.46. ويجادل المؤلفون بأن القصور الأساسي ليس في جودة الميزات، بل في غياب آليات فك التشفير المهيكلة والمدركة للمجموعات القادرة على نمذجة العلاقات بين الفاعل والمجموعة ضمن الفضاء التمثيلي لنماذج الـ VFM المجمدة.

2. المنهجية: ProGraD

يقترح المؤلفون إطار عمل ProGraD (Prompt-based Group Activity Detection)، وهو إطار لتكييف نماذج الـ VFM المجمدة باستخدام الضبط الدقيق الفعال للمعلمات (PEFT) وفك تشفير علاقاتي متخصص. تتكون البنية من ثلاثة مكونات رئيسية:

أ. استخراج الميزات مع تكييف PEFT

• الدعامة المجمدة (Frozen Backbone): يستخدم النموذج نموذج VFM مجمد (تحديداً DINOv2-Base) لاستخراج رموز المستوى الباتش (patch-level tokens) ورموز الفاعلين (عبر ROI Align).
• مطالبات المجموعات القابلة للتعلم (Learnable Group Prompts): بدلاً من الضبط الدقيق الكامل أو المهايئات (adapters) الثقيلة، يقوم ProGraD بحقن مطالبات مجموعات قابلة للتعلم ($G_{prompt}$) في تسلسل مدخلات الـ VFM. تعمل هذه المطالبات كاستعلامات خاصة بالمهمة لتهيئة الـ VFM لاستخراج السمات الاجتماعية ذات الصلة (مثل الفاعلين المتفاعلين، والترتيبات المكانية للمجموعات) دون تغيير أوزان الدعامة.
• توليد الرموز (Token Generation): يتم استخراج رموز الفاعلين عبر عملية $1 \times 1$ RoI pooling من خرائط الميزات المهيأة بالمطالبات، مما يخلق تمثيلاً مدمجاً يحافظ على الدقة المكانية.

ب. محول سياق المجموعة (GroupContext Transformer - GCT)

الابتكار الجوهري هو محول سياق المجموعة (GCT) خفيف الوزن والمكون من طبقتين، والمصمم لفصل تشكيل (الفاعل-المجموعة) عن تجميع السياق العالمي بشكل صريح. يعمل على مرحلتين:

1. طبقة انتباه التجميع (Grouping Attention Layer): تقوم هذه الطبقة بتهيئة رموز مجموعات قابلة للتعلم وتجري عملية الانتباه المتقاطع (cross-attention) مع رموز الفاعلين. وهي تجمع المعلومات من الفاعلين الذين قد يكونون متباعدين أو منفصلين زمنياً لتشكيل تمثيلات متماسكة لتكوين المجموعة ($G_{grp}$).
2. طبقة الانتباه السياقي (Contextual Attention Layer): تعمل هذه الطبقة على إثراء كل من رموز المجموعة المحدثة ورموز الفاعلين من خلال الانتباه إلى سياق المشهد العالمي (رموز باتش الصورة). وهذا يضخ إشارات تتعلق بالترتيبات المكانية، والأجسام الخلفية، والمناطق ذات الصلة بالتفاعل، مما يتيح كشفاً أكثر دقة للنشاط.

ج. رؤوس التنبؤ (Prediction Heads)

يتم تمرير تمثيلات الفاعل المثرية ($Act_x$) والمجموعة ($G_{ctx}$) إلى شبكات تغذية أمامية خفيفة الوزن من أجل:

• تصنيف النشاط الجماعي: التنبؤ بالسلوك الجماعي.
• تصنيف نشاط الفاعل: التنبؤ بالأفعال الفردية.
• استنتاج العضوية: إسقاط الرموز في مساحة مشتركة لحساب التقارب وتعيين الفاعلين للمجموعات (أو تحديد العناصر الخارجة عن المجموعة).

د. هدف التدريب

يتم تدريب النموذج من البداية إلى النهاية (end-to-end) باستخدام خسارة متعددة المهام تجمع بين:

• خسارة تصنيف الفعل الفردي ($L_{ind}$).
• خسارة تصنيف النشاط الجماعي ($L_{group}$).
• خسارة تنبؤ عضوية (الفاعل-المجموعة) ($L_{mem}$) باستخدام مطابقة هانغاريان (Hungarian matching).
• خسارة اتساق المجموعة التباينية ($L_{con}$) لفرض الاتساق بين الفاعلين داخل نفس المجموعة.

3. المساهمات الرئيسية

1. تحديد العقبة: تثبت الورقة أن مجرد استبدال دعامات CNN بنماذج VFM مجمدة يؤدي إلى تدهور الأداء في فك تشفير الـ GAD. وتؤكد أن المواءمة بين فك التشفير والتمثيل هي العامل الحاسم، وليس مجرد جودة الميزات.
2. محول سياق المجموعة (GCT): محول علاقاتي مبتكر وخفيف الوزن مكون من طبقتين، يفصل صراحةً بين الاستدلال الخاص بارتباطات (الفاعل-المجموعة) وبين تجميع السياق العالمي.
3. إطار عمل ProGraD: نظام متكامل يجمع بين نماذج VFM المجمدة مع حد أدنى من تكييف PEFT (المطالبات القابلة للتعلم) وGCT. ويحقق أداءً رائداً (state-of-the-art) باستخدام ~10 ملايين معلمة قابلة للتدريب فقط (أقل من نصف المعلمات في الطرق السابقة).

4. النتائج التجريبية

قيم المؤلفون ProGraD على مجموعتي بيانات: Café (مجموعات اجتماعية متعددة متزامنة) و Social-CAD (تفاعلات متفرقة، معظمها أفراد منفردون).

• مجموعة بيانات Café:
  • حقق ProGraD قيمة Group mAP@1.0 بلغت 17.03 و Group mAP@0.5 بلغت 39.11 (في إعداد Split-by-Place).
  • يمثل هذا تحسناً بنسبة 6.2% في mAP@1.0 وتحسناً بنسبة 8.2% في mAP@0.5 مقارنة بأفضل طريقة سابقة (Practical GAD).
  • استخدم النموذج 10.74 مليون معلمة قابلة للتدريب مقارنة بـ 22.77 مليون لـ Practical GAD.
  • حتى تكوين "المفكك فقط" (Decoder Only) (بدون مطالبات PEFT) تفوق على الطرق الموجودة، مما يؤكد قوة بنية GCT.
• مجموعة بيانات Social-CAD:
  • حقق ProGraD نسبة 70.00% في الدقة الاجتماعية (Social Accuracy) و 88.33% في دقة العضوية (Membership Accuracy)، متفوقاً على الطرق السابقة مع استخدام معلمات أقل.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة أي من طبقتي انتباه التجميع أو الانتباه السياقي إلى انخفاض كبير في الأداء، مما يؤكد أدوارهما المتكاملة.
  • ضبط عدد مطالبات المجموعات ليتوافق مع الحد الأقصى لعدد المجموعات في مجموعة البيانات (7) حقق نتائج مثالية، مما يشير إلى أن مواءمة عدد الرموز مع بنية البيانات هو خيار تصميمي مبني على أسس سليمة.
• التحليل النوعي:
  • ينتج ProGraD خرائط انتباه أكثر حدة تركز على الأشخاص والمناطق ذات الصلة بالتفاعل (مثل الطاولات)، بينما تركز نماذج VFM الأساسية بشكل واسع على الأجسام الخلفية.
  • يحدد النموذج بشكل صحيح العناصر الخارجة عن المجموعة (outliers) التي تقع في قرب مكاني شديد ولكنها ليست جزءاً من مجموعة، بينما تخطئ الطرق المرجعية غالباً في تصنيفهم بناءً على القرب المكاني فقط.

5. الأهمية والقيود

الأهمية:
تجادل الورقة بأن مستقبل الـ GAD يكمن في فك التشفير العلاقاتي المهيكل بدلاً من مجرد زيادة حجم الدعامة. يثبت ProGraD أن نماذج VFM المجمدة يمكن تكييفها بفعالية لمهام الاستدلال الاجتماعي المعقدة من خلال الحد الأدنى من التهيئة وفك التشفير المتخصص، مما يوفر مساراً فعالاً للمعلمات للوصول إلى الأداء الرائد. كما يوفر النموذج خرائط انتباه قابلة للتفسير تقدم رؤى حول استدلال (الفاعل-المجموعة)، وهو أمر قيم لتطبيقات مثل تقييم المهارات وتوليد التغذية الراجعة.

القيود:
يقر المؤلفون بعدة قيود:

• الاعتماد على الحقيقة الأرضية (Ground Truth): يفترض الإطار الحالي توفير عمليات كشف الفاعلين من الحقيقة الأرضية؛ فهو لا يقوم بالكشف والتقسيم (grouping) بشكل مشترك.
• عدد المطالبات الثابت: عدد مطالبات المجموعات ($K$) ثابت ليتوافق مع الحد الأقصى لعدد المجموعات في مجموعة البيانات، مما يحد من المرونة للمشاهد ذات أحجام المجموعات المتغيرة. قد يستكشف العمل المستقبلي تخصيص الرموز التكيفي.
• كفاءة الاستدلال: رغم كونه فعالاً من حيث المعلمات، إلا أن الاستدلال لا يزال يتطلب تمريرة أمامية كاملة عبر دعامة VFM الكبيرة المجمدة. قد يستكشف العمل المستقبلي إعادة استخدام الميزات أو اختيار الرموز التكيفي لتحسين القابلية للتوسع.
• أنماط الفشل: يعاني النموذج في السيناريوهات التي تعاني من انسداد شديد أو انعكاسات مرآتية، حيث تكون الإشارات المكانية غامضة.