ملخص تقني: الاستدلال عبر الرسم البياني الفائق متعدد الأنماط والتباين لاستعادة شبكة الحشود ثلاثية الأبعاد

بيان المشكلة

تعد إعادة البناء ثلاثي الأبعاد لمتعدد الأشخاص أمراً ضرورياً لتطبيقات الواقع الافتراضي، وتحليل الحشود، والتفاعل البشري. ومع ذلك، تظل عملية استعادة الشبكات (meshes) ثلاثية الأبعاد الدقيقة في بيئات الحشود الواقعية تحدياً هائلاً بسبب حالات الحجب المتبادل الشديدة بين الأشخاص، والترتيبات المكانية المعقدة، والغموض المتأصل في العمق.

تواجه الأساليب الحالية الرائدة (state-of-the-art) مشكلتين رئيسيتين:

1. الاعتماد على النمط الواحد: تعتمد معظم الطرق حصرياً على صور RGB أو نقاط مفصلية ثنائية الأبعاد. وبينما تكون هذه المدخلات كافية للأفراد المنعزلين، إلا أنها تفتقر إلى التوجيه الهندسي الصريح، مما يؤدي إلى غموض في العمق وهشاشة في التعامل مع الحشود الكثيفة.
2. إعادة البناء المنعزل: غالباً ما تقوم الطرق الحالية بإعادة بناء الأشخاص بشكل منعزل أو تعتمد على التفاعلات الثنائية (pairwise). وهذا يتجاهل سياق المجموعة الجماعي والضوابط عالية الرتبة (high-order) العابرة للأشخاص الضرورية لحل حالات الغموض عندما يكون الأفراد محجوبين بشدة. علاوة على ذلك، فإن الأساليب التي تدمج أنماطاً مساعدة (مثل LiDAR أو Radar) غالباً ما تستخدم مخططات دمج ضحلة تفشل في استغلال المعلومات عبر الأنماط بشكل كامل.

المنهجية: CoMHR

يقترح المؤلفون إطار عمل الاستدلال عبر الرسم البياني الفوري متعدد الأنماط والتباين (CoMHR)، وهو مصمم لمزامنة الإشارات الدلالية، والهندسية، والوضعية ضمن بنية طوبولوجية عالية الرتبة. يتكون خط المعالجة من ثلاث مراحل رئيسية:

1. التهيئة العقدية متعددة الأنماط

للتخفيف من عدم موثوقية الإشارات أحادية النمط في المشاهد المحجوبة، يقوم CoMHR بتهيئة تمثيلات عقد قوية عبر دمج ثلاثة أنماط متكاملة لكل فرد مكتشف:

• الترميز الدلالي البصري: يتم معالجة قطع الصور عالية الدقة عبر هيكل ResNet لاستخراج ميزات RGB ($F_{rgb}$).
• الترميز الهيكلي الهندسي: يتم إنشاء خريطة عمق زائف باستخدام Depth Anything V2. يتم ترميز قطع العمق أحادية القناة لتوفيد إشارات الترتيب الهندسي ($F_{depth}$)، مما يعالج نقص العمق في ميزات RGB.
• ترميز الوضعية المدرك للحجب: يتم تقدير المفاصل ثنائية الأبعاد عبر OpenPose. يقوم قناع الرؤية بتصفية المفاصل منخفضة الثقة، ويتم أخذ عينات من المفاصل الصالحة مع قيم العمق لتشكيل نواقل ثلاثية الأبعاد. تتم معالجة هذه النواقل عبر مشفر تلافيفي (convolutional) أحادي البعد لإنتاج تضمينات وضعية ($F_{pose}$) تلتقط الضوابب الهيكلية حتى في ظل الحجب.
• التضمين المكاني العالمي الموجه بالحوض: يتم حساب مؤشر عمق الحوض ($T_z$) كمتوسط عمق مفاصل الورك المرئية. يعمل هذا كمثبت مكاني عالمي لفرض الترتيب الأمامي-الخلفي صراحةً بين الأفراد. يتم دمج $T_z$ مع ميزات RGB للتعويض عن افتقارها للوعي المكاني.

يتم تعيين هذه الميزات إلى فضاء كامن موحد ودمجها لتشكيل تمثيل عقدة مجمع ($h_{agg}$).

2. بناء الرسم البياني الفائق التبايني

بدلاً من الطوبولوجيا المحددة مسبقاً، يبني CoMHR رسماً بيانياً فائقاً ذا طوبولوجيا مشتركة ديناميكياً بناءً على الميزات المجمعة.

• توليد الحواف الفائقة الديناميكية: يتم حساب مصفوفة تقارب عالمية من $h_{agg}$ لتحديد أقرب $K$ جيران لكل عقدة، مما يشكل مجموعات فرعية عالية الكثافة (حواف فائقة). يضمن هذا طوبولوجيا متسقة عبر جميع الأنماط (RGB، العمق، الوضعية).
• التعلم التبايني للرسم البياني الفائق: لضمان جودة الطوبولوجيا المشتركة، يستخدم استراتيجية تعلم تبايني ثنائية المسار لتنظيم الفضاء الميزي قبل التجميع:
  • التعلم التبايني داخل النمط الواحد: تُعامل العقد ذات الوضعيات ثلاثية الأبعاد المتشابهة في الحقيقة الأرضية (ground-truth) كأزواج إيجابية. تقلل الخسارة المسافة داخل النمط الواحد لفرض تجميع دلالي أكثر إحكاماً وتماسكاً هيكلياً داخل كل نمط.
  • التعلم التبايدي عبر الأنماط: يتم تطبيق قيد التعامد على تشابه جيب التمام بين الأنماط المختلفة لنفس العقدة. هذا يفرض التكامل عبر الأنماط، ويمنع تلوث الميزات ويضمن أن الأنماط غير المتجانسة تلتقط سمات متميزة.

3. الاستدلال والارتباط عبر الرسم البياني الفائق متعدد الأنماط

باستخدام طوبولوجيا الرسم البياني الفائق المشتركة، يقوم الإطار بعملية استدلال عالية الرتبة عبر آلية تمرير الرسائل من مرحلتين:

1. تجميع العقد إلى الحواف الفائقة: يتم تجميع المعلومات من الأفراد داخل حافة فائقة لتشكيل تمثيلات على مستوى المجموعة، مما يلتقط الأنماط الجماعية (مثل الحركة المشتركة).
2. تحديث الحواف الفائقة إلى العقد: يتم نشر ميزات المجموعة مرة أخرى لتنقية ميزات العقد الفردية. يسمح هذا للشبكة باستنتاج الإشارات المفقودة للأشخاص المحجوبين عبر الاستفادة من ديناميكيات المجموعة الجماعية.

أخيراً، يتم دمج الميزات متعددة الأنماط المنقحة مع تضمينات صندوق الإحاطة (bounding box) وتغذيتها إلى مُقدر SMPL للتنبؤ بالوضعية ($\theta$)، والشكل ($\beta$)، ومعلمات الكاميرا. يتم تدريب الشبكة من البداية إلى النهاية باستخدام دالة خسارة متعددة الأهداف تجمع بين إعادة الإسقاع ثنائي الأبعاد، ومعلمات SMPL، وإحداثيات المفاصل ثلاثية الأبعاد، وبند التنظيم التبايني.

المساهمات الرئيسية

1. إطار عمل الرسم البياني الفائق متعدد الأنماط: يقترح المؤلفون إطار عمل جديد يدمج ميزات RGB والعمق والوضعية لنمذجة الارتباطات عالية الرتبة صراحةً من أجل استعادة قوية، متجاوزاً القيود الثنائية.
2. التعلم التبايني للرسم البياني الفائق: تم تقديم استراتيجية تعلم جديدة لتعزيز التمييز داخل النمط الواحد والتكامل عبر الأنماط. يضمن هذا قوة الميزات من خلال فرض التعامد بين الأنماط وتجميع الأفعال المتشابهة داخل الأنماط.
3. أداء رائد (State-of-the-Art): تثبت التجارب المكثفة أن الطريقة تحقق أداءً فائقاً من حيث الدقة، والاتساق المكاني، والكفاءة الحسابية مقارنة بالطرق الموجودة.

النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات Panoptic Studio و GigaCrowd.

• مجموعة بيانات Panoptic: حقق CoMHR متوسط خطأ في موضع المفصل (MPJPE) قدره 104.2 ملم، متفوقاً على الطرق الرائدة السابقة مثل GroupRec (106.6 ملم)، و BEV (109.5 ملم)، و ROMP (128.2 ملم). ومن الملاحظ أنه في تسلسل "Pizza" الصعب، قلل الأخطاء بمقدار 7.6 ملم مقارنة بـ BEV و 20.0 ملم مقارنة بـ ROMP.
• مجموعة بيانات GigaCrowd: في سيناريوهات الحشود الكثيفة واسعة النطاق، تفوق CoMHR بشكل كبير على GroupRec والأساليب المرجعية الأخرى في جميع المقاييس:
  • OKS (اتساق الوضعية): تحسن بنسبة 7.3% عن GroupRec (78.11 مقابل 70.80).
  • PA-PPDS (الاتساق المكاني): تحسن بنسبة 8.5% (75.74 مقابل 67.22).
  • PCOD (محاذاة الشبكة): زاد بنسبة 22.9% (94.35 مقابل 71.42).
  • RP (صراعات إعادة البناء): حقق 0.00، مما ألغى صراعات إعادة البناء تماماً، بينما سجل GroupRec قيمة 0.17.
• التحليل النوعي: تظهر المقارنات البصرية أن CoMHR ينتج شبكات متسقة مكانياً مع ترتيب عمق نسبي دقيق، متجنباً أنماط الفشل الشائعة في الأساليب المرجعية مثل الأقدام العائمة، والأجساد المنزاحة، وترتيب العمق الخاطئ.
• دراسات الاستئصال (Ablation Studies): تؤكد النتائج أن كل مكون يساهم بشكل كبير. حقق النموذج الكامل (RGB + العمق + الوضعية + $T_z$ + التعلم التبايني) أدنى MPJPE (104.18 ملم)، مما يثبت ضرورة الدمج متعدد الأنماط، وصقل الترجمة، والمحاذاة التباينية.

الأهمية والادعاءات

يدعي البحث أن CoMHR يعالج الاختناقات الحرجة المتمثلة في غموض العمق والحجب في إعادة البناء ثلاثي الأبعاد لمتعدد الأشخاص من خلال الانتقال من المعالجة أحادية النمط والمعزولة إلى نموذج استدلال جماعي متعدد الأنماط.

يؤكد المؤلفون أن نهجهم:

• يجمع الأنماط المتكاملة: من خلال الاستفادة من النماذج التأسيسية (Depth Anything, OpenPose) للحصول على الضوابب الهندسية ودمجها مع دلالات RGB، تخلق الطريقة قيوداً قوية حتى عندما تكون الإشارات الفردية تالفة.
• ينمذج الديناميكيات عالية الرتبة: يسمح استخدام الرسوم البيانية الفائقة للنظام بالتقاط التفاعلات على مستوى المجموعة واستنتاج المعلومات المفقودة للأشخاص المحجوبين، وهي قدرة تفتقر إليها الأسالح الثنائية أو المتمحورة حول الحالة.
• يضمن المتانة: تعمل آلية التعلم التبايني على محاذاة وفصل الميزات صراحةً، مما يمنع تلوث الميزات عبر الأنماط ويضمن قدرة الشبكة على نشر السياق العالمي بفعالية.

يؤسس هذا العمل معياراً جديداً لاستعادة شبكة الحشود ثلاثية الأبعاد، ويقدم حلاً يتسم بالدقة والمتانة في البيئات شديدة الكثافة والحجب حيث تفشل الطرق التقليدية. تم توفير الكود والنماذج المدربة مسبقاً لتسهيل إعادة الإنتاج.