MuPPet: Multi-person 2D-to-3D Pose Lifting
تُعد MuPPet إطار عمل مبتكر لرفع وضعيات الهيكل العظمي من ثنائية الأبعاد إلى ثلاثية الأبعاد لعدة أشخاص، حيث يقوم بنمذجة الارتباطات بين الأشخاص بشكل صريح من خلال ترميز الأشخاص، وتعزيز التبديل، وانتباه متعدد الأشخاص ديناميكي، محققاً أداءً هو الأفضل في فئته وتحسناً في المتانة في سيناريوهات الاحتجاب على مجموعات بيانات التفاعل الجماعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك في حفلة صاخبة. يمكنك رؤية الناس يتحركون، يتحدثون، ويضحكون. إذا قمت برسم تخطيط بسيط (stick-figure) لوضعيات الجميع على ورقة، فستكون هذه هي تقدير الوضعية ثنائية الأبعاد (2D pose estimation). إنها مسطحة، مثل ظل على حائط.
ولكن لفهم الحفلة حقاً — لمعرفة من يقف بالقرب من من، ومن ينحني للهمس، أو من يختبئ خلف شخص طويل — فأنت بحاجة إلى نموذج ثلاثي الأبعاد (3D model). أنت بحاجة لمعرفة العمق، والمسافة، والموقع الدقيق في الغرفة. هذا هو رفع الوضعية ثلاثية الأبعاد (3D pose lifting): أخذ ذلك الرسم المسطح وتحويله إلى هولوجرام ثلاثي الأبعاد.
المشكلة؟ معظم "صناع الهولوجرام" الحاليين سيئون في التعامل مع الحفلات التي تضم مجموعات. إنهم يعاملون كل شخص كما لو كان وحيداً في غرفة، متجاهلين حقيقة أن الناس يتفاعلون، ويحاكون بعضهم البعض، ويحجبون رؤية بعضهم البعض.
إليك MuPPet (الرفع متعدد الأشخاص من الوضعية ثنائية الأبعاد إلى ثلاثية الأبعاد). فكر في MuPPet كأنه مصور حفلات ذكي للغاية، لا يكتفي فقط بالنظر إلى الأفراد، بل يفهم ديناميكيات المجموعة بأكملها.
إليك كيف يعمل MuPPet، مشروحاً عبر تشبيهات بسيطة:
1. "محادثة المجموعة" مقابل "الصوت المنفرد"
تخيل أنك تحاول تخمين ما يفعله شخص ما عندما يكون مختبئاً جزئياً خلف عمود.
- الطرق القديمة (الصوت المنفرد): تنظر إلى الشخص المختبئ وتقول: "لا أستطيع رؤية الذراع، لذا سأخمن عشوائياً". إنهم يعاملون الشخص كجزيرة منعزلة.
- MuPPet (محادثة المجموعة): ينظر إلى الشخص المختبئ وإلى كل شخص آخر أيضاً. ويفكر: "حسناً، الشخص الذي على يساره ينحني، والشخص الذي على يمينه يلوح بيده. بناءً على كيفية تفاعل المجموعات عادةً، فمن المحتمل أن يكون الشخص المختبئ يلوح أيضاً".
- السحر: يستخدم MuPPet آلية الانتباه الديناميكي متعدد الأشخاص (Dynamic Multi-Person Attention). فكر في هذا كـ "محادثة مجموعة" حيث تتبادل بيانات كل شخص مع بيانات الآخرين. إذا كان أحد الأشخاص محجوباً، يستخدم النظام "محادثة" الأشخاص المحيطين به لملء القطع المفقودة.
2. "بطاقات الأسماء" (ترميز الشخص - Person Encoding)
في غرفة مزدحمة، إذا قلت فقط "الشخص على اليسار"، فقد يصبح الأمر مربكاً إذا تحرك الناس.
- المشكلة: غالباً ما ترتبك نماذج الذكاء الاصطناعي القديمة حول أي مفصل ينتمي لأي شخص عندما يتغير عدد الأشخاص في المجموعة.
- الحل: يمنح MuPPet كل شخص بطاقة اسم رقمية (تسمى ترميز الشخص). حتى لو رأت الكاميرا 3 أشخاص، ثم 5 أشخاص، ثم شخصين، فإن MuPPet يعرف تماماً من هو كل واحد منهم. إنه لا يرى مجرد كتلة من المفاصل؛ بل يرى "ذراع أليس"، و"ساق بوب"، و"رأس تشارلي". وهذا يسمح له بتعلم علاقات محددة بين أشخاص محددين.
3. "لعبة الورق المبعثر" (تعزيز التبديل - Permutation Augmentation)
تخيل أنك تعلم روبوتاً كيف يفهم مجموعة من الأصدقاء. إذا أظهرت للروبوت الأصدقاء بنفس الترتيب تماماً في كل مرة، فقد يحفظ الروبوت الترتيب بدلاً من فهم الصداقة.
- الحيلة: يستخدم MuPPet تقنية تسمى تعلم التبديل (Permutation Learning). أثناء التدريب، يقوم بخلط ترتيب الأشخاص في البيانات عشوائياً، مثل خلط أوراق اللعب.
- لما لعمل ذلك: هذا يجبر الذكاء الاصطناعي على تعلم العلاقات بين الناس، وليس فقط مواقعهم على الشبكة. إنه يتعلم أن "الشخص (أ) يتحدث مع الشخص (ب)" بغض النظر عما إذا كان الشخص (أ) مدرجاً أولاً أو أخيراً في البيانات. وهذا يجعل الذكاء الاصطناعي قوياً ومرناً للغاية.
4. "لعبة التخمين" (عملية الانتشار - Diffusion Process)
أحياناً، حتى مع وجود كل الأدلة، قد تكون هناك طرق متعددة لكيفية ظهور الوضعية (خاصة إذا كان شخص ما مختبئاً).
- الطريقة القديمة: يقوم الذكاء الاصطناعي بتخمين واحد فقط. إذا كان خاطئاً، فهو خاطئ.
- طريقة MuPPet: يلعب لعبة تخمين (باستخدام عملية انتشار). يبدأ بسحابة ضبابية مليئة بالضجيج من الاحتمالات (مثل التشويش في تلفاز قديم). ثم، خطوة بختوة، يقوم بـ "إزالة الضجيج" من الصورة، ويقوم بتنقية التخمين مراراً وتكراراً.
- النتيجة: بدلاً من تقديم تخمين واحد محفوف بالمخاطر، فإنه يولد العديد من النسخ الممكنة للوضعية ثم يخرج متوسطها ليجد الموقع الثلاثي الأبعاد الأكثر دقة. الأمر يشبه سؤال 100 شخص عن الاتجاهات وأخذ متوسط إجاباتهم للوصول إلى أفضل طريق.
لماذا يهم هذا؟
تظهر الورقة البحثية أن MuPPet أفضل بكثير في التعامل مع الانسداد (occlusions) (عندما يحجب الأشخاص بعضهم البعض).
- مثال من الواقع: إذا كنت تصور مجموعة من الأصدقاء وهم يلعبون لعبة، وكان أحد الأشخاص يختبئ خلف آخر، فقد يفقد الكاميرا العادية تتبع الشخص المختبئ. يستخدم MuPPet حركة الأشخاص المرئيين لـ "استنتاج" مكان الشخص المختبئ، مما يحافظ على اكتمال ودقة النموذج ثلاثي الأبعاد.
باخت-اختصار
MuPPet هو نظام ذكاء اصطناعي جديد يحول الفيديو ثنائي الأبعاد المسطح للمجموعات إلى نماذج ثلاثية الأبعاد دقيقة. وهو يفعل ذلك من خلال:
- الاستماع للمجموعة (وليس للأفراد فقط) لملء الفراغات.
- ارتداء بطاقات أسماء لكي لا يفقد أبداً تتبع من هو من.
- خلط البيانات لتعلم القواعد العامة للتفاعل البشري.
- لعب لعبة تنقية لتخمين الموقع الأكثر دقة ثلاثي الأبعاد.
هذه التكنولوجيا هي خطوة كبيرة للأمام للروبوتات التي تحتاج للتفاعل مع مجموعات من البشر، ولتحليل الديناميكيات الاجتماعية، ولإنشاء عوالم افتراضية واقعية حيث تتحرك الشخصيات الرقمية (avatars) معاً بشكل طبيعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.