MultiGO++: Monocular 3D Clothed Human Reconstruction via Geometry-Texture Collaboration
يُعد MultiGO++ إطار عمل مبتكر لإعادة بناء الهيكل ثلاثي الأبعاد للبشر المرتدين للملابس من صورة أحادية، حيث يتغلب على القيود المتعلقة بجودة الملمس، والدقة الهندسية، وانحياز النمط عبر دمج استراتيجية تركيب ملمس متعددة المصادر، ووحدة استخراج شكل مدركة للمناطق مع ترميز فوريه، وشبكة U-Net مزدوجة لإعادة البناء لتحقيق تعاون فعال بين الهندسة والملمس.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صورة فوتوغرافية واحدة لشخص يرتدي فستاناً فضفاضاً ومنساباً. هدفك هو بناء توأم رقمي ثلاثي الأبعاد مثالي لهذا الشخص، بحيث يمكنك تدويره حول نفسه، وتقريبه وتكبيره، وحتى وضعه داخل لعبة فيديو.
هذا أمر صعب للغاية. لماذا؟ لأن الصورة المسطحة تشبه ظلاً ثنائي الأبعاد لعالم ثلاثي الأبعاد. يمكنك رؤية الواجهة، لكن ليس لديك أدنى فكرة عن شكل الظهر، أو كيف تنثني القماش تحت الإبطين، أو حتى الشكل الدقيق للجسم تحت تلك الملابس الفضفاضة.
تقدم الورقة البحثية التي شاركتَها نظام MultiGO++، وهو نظام ذكاء اصطناعي جديد مصمم لحل هذا اللغز. فكر فيه كـ "نحات رقمي" لا يكتفي بالتخمين فحسب، بل يتعاون مع نفسه لبناء نموذج ثلاثي الأبعاد مثالي من صورة واحدة فقط.
إليك كيف يعمل الأمر، مقسماً إلى ثلاث خطوات بسيطة باستخدام تشبيهات من الحياة اليومية:
1. "مكتبة الخيال" (تخليق الملمس/النسيج)
المشكلة: لكي يتعلم الذكاء الاصطناعي كيفية رسم نموذج ثلاثي الأبعاد، فإنه يحتاج عادةً إلى آلاف الصور لأشخاص حقيقيين في وضعيات ثلاثية الأبعاد. لكن لا تتوفر صور "ثلاثية الأبعاد" كافية كهذه. الأمر يشبه محاولة تعلم رسم نمر من خلال النظر فقط إلى صور لقطط منزلية؛ سيظل الذكاء الاصطناعي عالقاً وينتج أنسجة ضبابية ومنخفضة الجودة.
الحل: يقوم MultiGO++ ببناء مكتبة خيال خاصة به.
بدلاً من انتظار المسوحات ثلاثية الأبعاد الحقيقية، علم الباحثون الذكاء الاصطناعي كيف "يتخيل" نماذج جديدة. استخدموا أدوات ذكاء اصطناعي أخرى (مثل مولدات النصوص إلى ثلاثي الأبعاد) لإنشاء أكثر من 15,000 إنسان وهمي ولكن واقعي بملابس ووضعيات ولغات بشرة مختلفة.
- التشبيه: تخيل طالباً في مدرسة الفنون يريد تعلم رسم البورتريه. بدلاً من الانتظار حتى يجلس أمامه 15,000 عارض أزياء حقيقي، يستخدم كاميرا قوية ومساعداً مبدعاً لتوليد 15,000 صورة مرجعية مثالية. الآن، أصبح الطالب قد رأى كل الزوايا والملابس الممكنة، مما جعله رساماً خبيراً.
2. "محقق أجزاء الجسم" و"المترجم السحري" (تعلم الهندسة)
المشكلة: عندما ينظر الذكاء الاصطنال إلى صورة، فإنه غالباً ما يعاني في تحديد الشكل ثلاثي الأبعاد، خاصة مع الملابس الفضفاضة. الأمر يشبه محاولة تخمين شكل بالون داخل وسادة ضخمة ومرنة بمجرد النظر إلى الخارج. أيضاً، يتحدث الذكاء الاصطناعي "لغتين" مختلفتين: لغة الصور ثنائية الأبعاد (البكسلات) ولغة الأشكال ثلاثية الأبعاد (الرياضيات). وهذه اللغات لا تختلط بشكل طبيعي.
الحل: يستخدم MultiGO++ أداتين خاصتين:
- محقق أجزاء الجسم: بدلاً من النظر إلى الشخص ككتلة ضبابية واحدة، يقوم هذا الجزء بتقسيم الصورة إلى قطع (رأس، أذرع، أرجل) ودراسة كل جزء على حدة. يستخدم آلية "الانتباه المتقاطع" (cross-attention)، وهي تشبه محققاً يسأل الرأس: "أين اليدان؟" واليدين: "أين الجذع؟" لتحديد الوضعية الكاملة.
- المترجم السحري (مشفر فورييه): هذا هو الجسر. يأخذ بيانات الشكل ثلاثي الأبعاد ويترجمها إلى نفس "اللغة" التي تستخدمها الصورة ثنائية الأبعاد.
- التشبيه: تخيل أنك تحاول تجميع أحجية (Puzzles) حيث نصف القطع بالإنجليزية والنصف الآخر بالفرنسية. "المترجم السحري" يترجم قطع اللغة الفرنسية فوراً إلى الإنجليزية حتى تتناسب القطع مع بعضها البعض تماماً، مما يكشف عن الشكل الحقيقي ثلاثي الأبعاد تحت الملابس.
3. "التوأم النحات" (إعادة البناء المزدوجة)
المشكلة: معظم أنظمة الذكاء الاصطناعي منحازة. إذا عرضت عليها صورة، فإنها تركز كثيراً على جعل الألوان تبدو صحيحة لدرجة أنها تنسى جعل الشكل دقيقاً. الأمر يشبه نحاتاً يلون التمثال ببراعة ولكنه يجعل الأنف ملتوياً.
الحل: يوظف MultiGO++ نحاتين للعمل في نفس الوقت:
- النحات (أ) يركز على اللون/الملمس (الجلد، نمط القميص).
- النحّات (ب) يركز على الشكل/البروز (النتوءات، الطيات، المنحنيات).
وهما يتواصلان باستمرار. إذا رأى النحات (أ) تجعيدة في القميص، فإنه يخبر النحات (ب): "اصنع نتوءاً هناك!". وإذا رأى النحات (ب) شكلاً غريباً، فإنه يخبر النحات (أ): "لا ترسم ظلاً هناك، إنه في الواقع طية في القماش". - التشبيه: الأمر يشبه طاقم بناء حيث يقوم فريق ببناء هيكل المنزل (الهندسة) وفريق آخر يقوم بتركيب الجدران والطلاء (الملمس). وبدلاً من العمل في جزر منعزلة، يعقدون اجتماعاً يومياً لضمان مطابقة الطلاء للهيكل تماماً.
اللمسة النهائية: "إعادة التشكيل" (Remeshing)
بمجرد أن يبني الذكاء الاصطناعي نموذجه ثلاثي الأبعاد، فإنه يستخدم خدعة خاصة تسمى Gaussian Splatting (فكر فيها كسحابة من ملايين النقاط الملونة الصغيرة) لإنشاء النموذج الأولي. ثم يستخدم استراتيجية "إعادة التشكيل" لتحويل سحابة النقاط هذه إلى شبكة (Mesh) سلسة ونظيفة وعالية الجودة (مثل جلد مكون من أسلاك).
- التشبيه: يبني الذكاء الاصطناعي أولاً تمثالاً خشناً من الطين (النقاط). ثم يستخدم أداة خاصة لتنعيم الطين، وإزالة النتوءات، وجعل السطح مثالياً، مما يضمن أن تبدو تجاعيد الملابس حقيقية وليست مجرد ضجيج رقمي.
لماذا يهم هذا؟
- إنه سريع: يمكنه القيام بذلك في أقل من ثانية (0.7 ثانية!).
- إنه قوي: يعمل حتى لو كان الشخص يرتدي معطفاً ضخماً وفضفاضاً أو يتخذ وضعية غريبة.
- إنه واقعي: النتيجة النهائية تبدو كشخص حقيقي يمكنك التجول حوله في لعبة فيديو، وليس كرسوم متحركة ضبابية.
باختختصار، MultiGO++ هو نظام تعاوني ذكي يستخدم مكتبة ضخمة من البيانات "المتخيلة"، وتركيزاً يشبه عمل المحقق على أجزاء الجسم، ونهج النحاتين التوأم لتحويل صورة مسطحة واحدة إلى إنسان ثلاثي الأبعاد مذهل وواقعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.