Ar2Can: An Architect and an Artist Leveraging a Canvas for Multi-Human Generation
يُعد Ar2Can إطار عمل جديدًا ثنائي المراحل يتغلب على قيود النماذج الحالية في توليد صور متعددة البشر من خلال فصل تخطيط المخطط المكاني عن رندرة الهوية، وذلك باستخدام "مهندس" (Architect) للتنبؤ بالمواضع الهيكلية و"فنان" (Artist) لتخليق صور واقعية بدقة عالية في عدد الأشخاص مع الحفاظ على الهوية من خلال تحسين GRPO.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تنظيم صورة تجمع عائلة كبيرة في اجتماع عائلي ضخم وعالي الأهمية. لديك قائمة بأسماء أشخاص محددين (هوياتهم) ووصف لما يفعلونه (الأمر أو الـ "prompt").
إذا سألت ذكاءً اصطناعيًا تقليديًا "التقط صورة لخمسة أصدقاء يتناولون القهوة"، فغالبًا ما يرتبك. قد يدمج شخصين في كائن واحد غريب برأسين، أو يكرر نفس الشخص ثلاث مرات، أو ينسى تضمين أحد أصدقائك تمامًا. الأمر يشبه فنانًا فوضويًا لا يستطيع تتبع من يجلس أين.
Ar2Can هو نظام جديد صُمم لإصلاح هذه الفوضى. أدرك المؤلفون (من مختبرات Qualcomm AI Research) أن المشكلة ليست في أن الذكاء الاصطناعي لا يستطيع رسم الوجوه أو فهم الكلمات؛ بل المشكلة هي أنه يحاول القيام بكليهما في نفس الوقت.
لحل هذه المشكلة، قاموا بتقسيم المهمة إلى دورين متميزين، مثل مشروع إنشائي: المهندس المعماري والفنان.
1. المهندس المعماري (المخطط)
قبل وضع أي ضربة فرشاة، أنت بحاجة إلى مخطط.
- ماذا يفعل: يقرأ المهندس المعماري النص الذي كتبته (مثل: "ثلاثة أشخاص يلعبون كرة السلة") ويرسم خريطة صارمة. يقرر بالضبط أين يجب أن يقف كل شخص، وما هو حجمهم، وكم عدد الأشخاص الذين يجب أن يكونوا موجودين.
- التشبيه: فكر في المهندس المعماري كـ مدير موقع في طاقم بناء. هو لا يضع الطوب ولا يدهن الجدران، بل يكتفي بالإشارة إلى الأرض ويقول: "أنت، قف هنا. وأنت، قف هناك. تأكد من وجود ثلاثة منكم بالضبط".
- لماذا يساعد هذا: من خلال فصل "أين" عن "من"، يتوقف النظام عن ارتباك الذكاء الاصطناعي بشأن من يفترض أن يكون أين. وهذا يمنع مشكلة "الوحش ذو الرأسين" لأن الخطة تُوضع وتُثبت قبل بدء الرسم.
يقدم البحث في الواقع نوعين من المهندسين المعماريين:
- المهندس المعماري-أ (Architect-A): مخطط بارع في التعامل مع النصوص، وهو ممتاز في العد (مثلاً: "أرى أنك قلت 'خمسة أصدقاء'، لذا سأرسم خمس مربعات").
- المهندس المعماري-ب (Architect-B): مخطط بصري بارع في فهم كيف يقف الناس بشكل طبيعي في مجموعة (مثلاً: "الناس عادة لا يقفون في خط مستقيم مثالي؛ دعونا نجعل الأمر يبدو طبيعيًا").
2. الفنان (الرسام)
بمجرد أن يسلم المهندس المعماري الخريطة، يتولى الفنان المهمة.
- ماذا يفعل: ينظر الفنان إلى الخريطة وإلى صور أصدقائك (الهويات المرجعية). مهمته هي رسم مشهد واقعي حيث يظهر هؤلاء الأشخاص تحديدًا في الأماكن التي حددها المهندس المعماري.
- التشبيه: فكر في الفنان كـ رسام بورتريه محترف يُعطى مجموعة من التماثيل (المانيكان) الموضوعة في أماكن محددة. مهمته هي رسم وجوه أصدقائك على تلك التماثيل بدقة تجعلها تبدو كصورة حقيقية، دون دمج الوجوه مع بعضها البعض.
السر الكامن: "المطابقة المجرية" (The Hungarian Match)
إليك الجزء الذكي الذي يجعل الفنان بارعًا جدًا.
عادةً، إذا أخبرت الذكاء الاصطناعي "ضع وجه جون في المربع (أ)"، فقد يحاول الذكاء الاصطناعي لصق وجه جون بالضبط على الإحداثيات. هذا غالبًا ما يبدو مزيفًا، مثل ملصق كبير جدًا أو صغير جدًا.
يستخدم Ar2Can خدعة مطابقة ذكية تسمى المطابقة المجرية (Hungarian Matching).
- التشبيه: تخيل أن لديك مجموعة من الأشخاص (الوجوه التي تريدها) ومجموعة من الكراسي الفارغة (المربعات التي رسمها المهندس المعماري). بدلًا من إجبار الشخص (أ) على الجلوس في الكرسي (أ) بغض النظر عن مدى ملاءمته، ينظر النظام إلى المجموعة بأكملها. ويقول: "الشخص (أ) يناسب الكرسي (2) بشكل أفضل، والشخص (ب) يناسب الكرسي (1) بشكل أفضل".
- النتيجة: يسمح هذا للذكاء الاصطناعي بتعديل حجم وموضع الوجوه قليلاً لجعلها تبدو طبيعية، مع ضمان بقاء الشخص الصحيح في المنطقة الصحيحة تقريبًا. وهذا يمنع مظهر "القص واللصق".
التدريب: التعلم بالممارسة (التعلم التعزيزي)
كيف علموا الفنان ليكون بهذا القدر من البراعة دون امتلاك الملايين من الصور الحقيقية للمجموعات الكبيرة؟
- استخدموا تقنية تسمى التعلم التعزيزي (Reinforcement Learning) (مثل تدريب الكلب باستخدام المكافآت).
- يقوم الذكاء الاصطناعي بإنشاء صورة، ثم يقوم "حكم" (نظام مكافأة) بفحص ثلاثة أشياء:
- العدد: هل حصلنا على العدد الصحيح من الأشخاص؟
- الهوية: هل تبدو الوجوه مثل الصور المرجعية؟
- الجودة: هل تبدو كصورة حقيقية؟
- إذا أخطأ الذكاء الاصطناعي (على سبيل المثال، دمج وجهين)، فإنه يحصل على "درجة سيئة". وإذا أصاب، فإنه يحصل على "مكافأة". بمرور الوقت، يتعلم الذكاء الاصطناعي كيفية موازنة هذه القواعد بدقة لإنشاء صور جماعية مثالية.
لماذا يهم هذا الأمر؟
تحاول معظم نماذج الذكاء الاصطنا الأخرى أن تكون "عازفًا منفردًا"، حيث تحاول التخطيط للتنسيق ورسم اللوحة في آن واحد. يوضح هذا البحث أن التخصص يعمل بشكل أفضل.
- المهندس المعماري يتولى المنطق (العد والتباعد).
- الفنان يتولى الإبداع (الإضاءة، الملمس، والهوية).
باستخدام هذا النهج المكون من مرحلتين، يمكن لـ Ar2Can إنشاء صور لـ 3 أو 4 أو حتى 5 أشخاص متميزين يتفاعلون بشكل طبيعي، دون أن يذوبوا في بعضهم البعض أو يختفوا. إنها قفزة هائلة للأمام لإنشاء مشاهد جماعية واقعية، وكل ذلك باستخدام بيانات اصطناعية (مولدة بالحاسوب) في الغالب للتدريب، مما يعني أنهم لم يحتاجوا إلى سرقة ملايين الصور لأشخاص حقيقيين لجعل الأمر يعمل.
باختصار: Ar2Can يشبه استئجار مدير مشروع صارم لرسم مخطط الطابق، ثم استئجار فنان عالمي لطلاء الغرفة. النتيجة؟ صورة جماعية مثالية حيث يتواجد الجميع في مكانهم الصحيح، ويبدون تمامًا مثل أنفسهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.