BlendFusion -- Scalable Synthetic Data Generation for Diffusion Model Training
تُعد BlendFusion إطار عمل مفتوح المصدر وقابل للتوسع، يقوم بتوليد مجموعات بيانات صور وتسميات توضيحية اصطناعية عالية الجودة من مشاهد ثلاثية الأبعاد باستخدام تتبع المسار ووضع الكاميرا المتمحور حول الأشياء للتخفيف من حدة اضطراب التهام النموذج (MAD) في تدريب نماذج الانتشار.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية الرسم. للقيام بذلك، يتعين عليك أن تريه ملايين الصور مع أوصاف مثل "تفاحة حمراء على طاولة خشبية".
لفترة طويلة، كنا نجمع هذه الصور من الإنترنت. لكن الإنترنت فوضوي، ومليء بمشاكل حقوق النشر، وأحياناً تكون الأوصاف فيه خاطئة. لذا، بدأ العلماء في محاولة صنع الصور بأنفسهم باستخدام الذكاء الاصطناعي.
ولكن هنا تكمن المشكلة: إذا دربت ذكاءً اصطناعياً على الرسم باستخدام صور صنعتها من قبل ذكاء اصطناعي آخر، فالأمر يشبه آلة تصوير تقوم بنسخ نسخة مصورة. في كل مرة تنسخ فيها، تصبح الصورة ضبابية قليلاً، وتصبح الألوان غريبة، وفي النهاية، تتحول الصورة إلى كتلة طينية مشوهة. يُسمى هذا "اضطراب التآكل الذاتي للنماذج" (أو MAD)—بمعنى آخر، الذكاء الاصطناعي يأكل ذيله ويميت نفسه جوعاً.
إليك الحل: BlendFusion.
قام مؤلفا هذه الورقة البحثية، "ثيجاس" و"سوغونا"، ببناء "مطبخ" جديد لصنع صور التدريب هذه. فبدلاً من استخدام "عصا سحرية للذكاء الاصطناعي" (نماذج الانتشار - diffusion models) لاستحضار صور من العدم، قررا بناء استوديو تصوير افتراضي باستخدام رسومات الحاسوب ثلاثية الأبعاد (3D).
إليك كيف يعمل نظامهم، BlendFusion، مشروحاً ببعض التشبيهات البسيطة:
1. مصمم الديكور (المشاهد ثلاثية الأبعاد)
بدلاً من التخمين كيف يبدو المشهد، يبدأون بنموذج ثلاثي الأبعاد حقيقي لغرفة أو شارع (مثل مستوى في لعبة فيديو). فكر في الأمر كبناء موقع تصوير حقيقي بقطع أثاث حقيقية، وإضاءة حقيقية، وظلال حقيقية. ولأن البناء يعتمد على الفيزياء، فإن الهندسة مثالية؛ فالكرسي له أربعة أرجل، والطاولة لها سطح مستوٍ. لا توجد هنا "هلوسات" غريبة للذكاء الاصطناعي.
2. المصور الذكي (الكاميرا المتمحورة حول الكائن)
إذا ألقيت كاميرا في غرفة بشكل عشوائي، فقد ينتهي بك الأمر بتصوير السقف، أو جدار فارغ، أو كرسي مختبئ خلف أريكة. وهذا أمر غير مفيد لتعليم الروبوت.
يستخدم BlendFusion استراتيجية "المصور الذكي":
- التشبيه: تخيل مصوراً مهووساً بجسم معين، وليكن مزهرية مثلاً. بدلاً من التجول بلا هدف، يسير المصور في دائرة مثالية حول المزهرية، ويلتقط صوراً من جميع الزوايا.
- النتيجة: يضمن النظام أن الكاميرا تؤطر الجسم دائماً بشكل مثالي، مما يضمن أن المزهرية هي نجمة العرض، وليست الخلفية. هذا يضمن أن كل صورة هي بالفعل "عن" شيء ما.
3. الحارس (التصفية)
حتى مع وجود مصور ذكي، قد تكون بعض الصور مظلمة جداً، أو ضبابية للغاية، أو فارغة تماماً.
- حارس القواعد (Heuristic Bouncer): هو مدقق قواعد بسيط. "هل الصورة مظلمة جداً؟ ارمِها". "هل الجسم غير مرئي؟ ارمِها".
- حارس النموذج اللغوي البصري (VLM Bouncer): هو مساعد ذكي جداً يعمل بالذكاء الاصطناعي، ينظر إلى الصورة ويتساءل: "هل يمكنني حقاً وصف هذا؟". إذا كانت الصورة مربكة للغاية أو كان الجسم مقطوعاً، يقول الحارس: "لا، احذف هذه الصورة".
4. المراسل (الوصف)
بمجرد اختيار الصور الجيدة، يحتاج النظام إلى وصف لها. وبدلاً من كتابة وصف بشري (وهو أمر بطيء ومكلف)، يستخدمون مراسلاً يعمل بالذكاء الاصطناناعي.
- التشبيه: تخيل صحفياً صارماً قيل له: "اكتب فقط ما يمكنك رؤيته بوضوح. لا تخمن. لا تبتدع أشياءً من خيالك".
- النتيجة: يقوم النظام بإنشاء جملة قصوة وواقعية مثل "كرسي خشبي في غرفة مشمسة". ولأن الصورة بُنيت في عالم ثلاثي الأبعاد، فإن المراسل الذكي يعرف بالضبط ما هو موجود، لذا يكون الوصف دقيقاً بنسبة 100%.
5. القيم على المعرض (اختيار التنوع)
أخيراً، يمتلك النظام آلاف الصور. ولكن إذا كان لديك 1000 صورة لنفس الكرسي من نفس الزاوية، فهذا أمر ممل.
- التشبيه: تخيل قيماً على معرض فني. ينظر إلى كومة الصور ويقول: "لدينا الكثير من صور الكراسي الحمراء. لنحتفظ بالكرسي الأزرق، والخشبي، والكرسي الموجود تحت المطر، ونرمي النسخ المكررة".
- النتيجة: ينتهي بهم المطاف بمجموعة متنوعة وعالية الجودة تسمى FineBLEND.
لماذا هذا أفضل من "العصا السحرية" (الانتشار/Diffusion)؟
تقارن الورقة البحثية بين صورهم ثلاثية الأبعاد وصور الذكاء الاصطناعي القياسي (مثل Stable Diffusion).
- العصا السحرية: تحاول تخمين كيف تبدو "لوحة مواقف السيارات". أحياناً ترسم لوحة مكتوب عليها "PARKING" لكن الحروف مقلوبة، أو تبدو اللوحة وكأنها تذوب في الرصيف.
- الاستوديو ثلاثي الأبعاد: يبني لوحة حقيقية ثلاثية الأبعاد. الحروف مثالية، واللوحة تقف مستقيمة.
الخلاصة الكبرى
لقد أنشأ المؤلفون مجموعة بيانات تسمى FineBLEND (7,500 صورة) لإثبات أن بناء "استوديو افتراضي" هو طريقة أكثر أماناً ونظافة لتدريب الذكاء الاصطناعي من ترك الذكاء الاصطناعي ينسخ ذكاءً اصطناعياً آخر.
العائق:
في الوقت الحالي، مجموعة البيانات الخاصة بهم أصغر من المجموعات الضخمة المستخدمة لتدريب أكبر نماذج الذكاء الاصطناعي (والتي تمتلك مليارات الصور). الأمر يشبه بناء مطعم فاخر وعالي المستوى ولكن لديك طعام يكفي لـ 7,500 شخص فقط. هم يأملون في المستقبل أن يتمكنوا من توسيع نطاق ذلك لإطعام الملايين.
باخت-مختصر:
إذا كان تدريب الذكاء الاصطناعي يشبه تعليم طفل الرسم، فإن BlendFusion يشبه إعطاء الطفل نماذج بلاستيكية حقيقية ومثالية ليقوم بتقليدها، بدلاً من تركه يقلد نسخاً ضبابية من رسومات أخرى. هذا يحافظ على الدروس واضحة، ودقيقة، وخالية من أخطاء "النسخ واللصق" التي تجعل الذكاء الاصطناعي يفقد صوابه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.