Composing People Together: Iterative Pose-Image Generation for Multi-Person Interaction Scenes
تقدم هذه الورقة إطار عمل ثنائي لتوليد الصور من الوضعيات يستفيد من الأولويات الهيكلية المتمحورة حول الشخص ومخطط بناء المشهد التكراري للتغلب على قيود نماذج تحويل النص إلى صورة الحالية في إنشاء مشاهد تفاعل متعددة الأشخاص متنوعة دلاليًا ودقيقة تركيبيًا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم فنان موهوب للغاية ولكنه مرتبك قليلاً كيفية رسم مشهد معقد يحتوي على العديد من الأشخاص يتفاعلون مع بعضهم البعض، مثل رقصة، أو مباراة رغبي، أو كاهن يغسل يد شخص آخر.
مولدات صور الذكاء الاصطناعي الحالية (مثل SDXL أو FLUX) تشبه ذلك الفنان: فهي بارعة في رسم الأشخاص المنفردين أو المناظر الطبيعية البسيطة. ولكن عندما تطلب منها رسم مجموعة من الأشخاص يقومون بأشياء محددة معاً، فإنها تضيع. قد تنسى شخصاً ما، أو تخلط بين من يمسك يد من، أو تجعل الجميع يقفون بنفس الوضعية المملة تماماً. الأمر يشبه طلب غناء تناغم معقد من جوقة موسيقية، فينتهي بهم الأمر جميعاً وهم يغنون نفس النوتة أو ينسون أدوارهم.
هذه الورقة البحثية، "تكوين الأشخاص معاً" (Composing People Together)، تقدم طريقة جديدة لتوجيه الذكاء الاصطناعي لكي يتقن تفاعلات المجموعات هذه بشكل صحيح. إليك كيف فعلوا ذلك، باستخدام تشبيهات بسيطة:
1. خدعة "الهيكل والجلد" (توليد الوضعية والصورة المزدوج)
عادةً، عندما يحاول الذكاء الاصطناعي رسم شخص ما، فإنه يخمن الشكل والملابس في وقت واحد. الأمر يشبه محاولة نحت تمثال مع طلاءه في آن واحد؛ إذا كان الشكل خاطئاً، سيبدو الطلاء خاطئاً أيضاً.
حل المؤلفين هو جعل الذكاء الاصطناعي يرسم شيئين في وقت واحد:
- الهيكل (الوضعية): رسم بسيط لـ "رجل العصا" يوضح بالضبط أين توجد الأذرع والأرجل والرؤوس.
- الجلد (الصورة): الصورة النهائية الواقعية والملونة.
التشبيه: فكر في الأمر كبناء منزل. أولاً، تبني إطاراً خشبياً متيناً (الهيكل). وبمجرد أن يصبح الإطار مثالياً، تقوم بتركيب ألواح الجدران وطلاء الجدران (الجلد). من خلال إجبار الذكاء الاصطناعي على "رسم الهيكل" أولاً، فإنه يضمن وقوف الأشخاص في المواضع الصحيحة قبل أن يهتم بملابسهم أو وجوههم. هذا يحافظ على تماسك البنية حتى لا ينهار المشهد النهائي.
2. نظام "بطاقة الاسم" (المحاذاة عبر الوسائط)
حتى مع وجود هيكل، يمكن للذكاء الاصطناعي أن يرتبك بشأن من يفعل ماذا. إذا قلت: "الرجل ذو القميص الأحمر يرفع المرأة"، فقد يعطي الذكاء الاصطناعي القميص الأحمر للمرأة بالخطأ أو يجعل الرجل يرفع الشخص الخطأ.
ابتكر المؤلفون نظام "بطاقة اسم" خاصاً باستخدام تقنية تسمى ترميز الموضع الدوار (Rotary Positional Encoding - RoPE).
- التشبيه: تخيل أن كل شخص في المشهد لديه سوار معصم ملون فريد (معرف الدور "Role ID"). النص الذي يصف الرجل ذو القميص الأحمر، وذراع رجل العصا الخاص بالرجل ذو القميص الأحمر، وبكسلات قميص الرجل الأحمر، كلها تحصل على نفس السوار الملون.
- هذا يجبر الذكاء الاصطناعي على إدراك: "أوه، هذا النص، وهذا الذراع، وهذا القميص جميعهم ينتمون إلى نفس الشخص". هذا يمنع الذكاء الاصطناعي من خلط الأدوار، مما يضمن أن الكاهن يغسل الأيدي الصحيحة ولاعب الرغبي يطرح الخصم الصحيح أرضاً.
3. خط التجميع "واحد تلو الآخر" (التوليد التكراري)
محاولة إنشاء مجموعة كاملة من الأشخاص في قفزة واحدة ضخمة تشبه محاولة حل لغز (بازل) مكون من 1000 قطعة دفعة واحدة. إنه أمر صعب جداً، وغالباً ما يفقد الذكاء الاصطناي بعض القطع.
بدلاً من ذلك، تقوم هذه الطريقة ببناء المشهد شخصاً تلو الآخر.
- التشبيه: تخيل بناء قطار. أنت لا تحاول تركيب جميع العربات معاً في ثانية واحدة. تبدأ بالمحرك (الشخص 1). بمجرد وجود المحرك، تضيف العربة الأولى (الشخص 2) متصلة به. ثم تضيف العربة الثانية (الشخص 3) متصلة بالعربة الثانية.
- ينظر الذكاء الاصطناعي إلى "هيكل" الأشخاص الذين تم رسمهم بالفعل ويضيف الشخص التالي بناءً على ذلك. هذا يحول مشكلة ضخمة ومخيفة إلى سلسلة من الخطوات الصغيرة والسهلة. هذا يضمن أنه مع نمو المشهد، يتناسب الشخص الجديد تماماً مع الأشخاص الموجودين بالفعل.
4. الاختبار الجديد (DrawWaldoWorlds)
لإثبات نجاح طريقتهم، لم يستطع المؤلفون استخدام الاختبارات القديمة لأن تلك الاختبارات لم تكن تتحقق حقاً مما إذا كان الأشخاص يتفاعلون بشكل صحيح. لقد بنوا اختباراً جديداً يسمى DrawWaldoWorlds.
- التشبيه: إنها مثل لعبة "أين والدو؟" (Where's Waldo?) ولكن للذكاء الاصطناعي. يعطون الذكاء الاصطناعي وصفاً محدداً للغاية (على سبيل المثال: "الرجل ذو القبعة الزرقاء يحمل المظلة فوق المرأة ذات المعطف الأحمر") ويطلبون من الذكاء الاصطناعي رسم ذلك. ثم يتحققون: هل حصل الذكاء الاصطناعي على لون القبعة بشكل صحيح؟ هل المظلة فوق المرأة بالفعل؟ هل نسي المرأة تماماً؟
- اختبروا طريقتهم مقابل أفضل المنافسين (مثل FLUX و SDXL) ووجدوا أن طريقتهم كانت أفضل بكثير في ضبط التفاصيل بدقة وإنشاء مشاهد متنوعة وغير مكررة.
الملخص
باختصار، تقول الورقة البحثية: "لجعل الذكاء الاصطناعي يرسم تفاعلات المجموعات المعقدة، لا تكتفِ فقط بطلب 'رسم صورة'. بدلاً من ذلك، اجعله يبني هيكلاً أولاً، ويضع علامة تعريف فريدة لكل شخص ليعرف من هو ومن، ويضيف الأشخاص واحداً تلو الآخر مثل بناء قطار".
النتيجة هي صور حيث يتفاعل الأشخاص فعلياً بشكل صحيح، بدلاً من مجرد الوقوف بجانب بعضهم البعض في كومة مشوشة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.