Nucleus-Image: Sparse MoE for Image Generation
يُعد Nucleus-Image نموذج محول انتشار (diffusion transformer) من نوع خليط الخبراء المتناثر (Mixture-of-Experts) مفتوح المصدر بالكامل، يمتلك 17 مليار معلمة ويحقق جودة توليد صور هي الأفضل في فئتها باستخدام 2 مليار معلمة نشطة فقط لكل تمريرة أمامية من خلال ابتكارات معمارية مثل توجيه اختيار الخبراء (Expert-Choice Routing) وتعديل الخطوات الزمنية المنفصل (decoupled timestep modulation)، وكل ذلك دون الاعتماد على تحسين ما بعد التدريب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد بناء فنان فائق الذكاء يمكنه رسم أي شيء تصفه له. عادةً، لجعل هذا الفنان بهذا المستوى من الإتقان، تحتاج إلى استوديو ضخم يضم آلاف الرسامين يعملون على كل تفصيل من تفاصيل كل صورة. هذا الأمر مكلف، بطيء، ويتطلب كمية هائلة من الكهرباء.
Nucleus-Image هو بمثابة استوديو فني ثوري يغير القواعد. فبدلاً من توظيف آلاف الرسامين للعمل على كل شيء في وقت واحد، قاموا ببناء فريق مكون من 64 خبيراً متخصصاً (مثل خبير في المناظر الطبيعية، وساحر الوجوه، وعبقري النصوص، وما إلى ذلك). ولكن هنا تكمن الخدعة السحرية: لكل صورة يتم إنتاجها، يستيقظ خبيران أو ثلاثة فقط من هؤلاء الخبراء للقيام بالعمل، بينما يظل الباقون في حالة نوم.
هذا يسمح للاستوديو بامتلاك المعرفة لنموذج عملاق يبلغ 17 مليار معلمة (فريق ضخم)، لكنه يدفع فقط فاتورة الكهرباء لفريق صغير يبلغ 2 مليار معلمة.
إليك تفصيل لكيفية القيام بذلك، باستخدام تشبيهات بسيطة:
1. استراتيجية "العمالقة النائمين" (Sparse MoE)
تخيل النموذج كأنه مكتبة ضخمة تحتوي على 17 مليار كتاب. في النماذج القديمة، للإجابة على سؤال ما، كان عليك قراءة كل الكتب للعثور على الصفحة المطلوبة، وهذا أمر بطيء.
في Nucleus-Image، يستخدمون أميناً ذكياً للمكتبة (المُوجِّه - The Router). عندما تطلب صورة "قطة"، يعرف الأمين فوراً: "أوه، نحن نحتاج فقط إلى 'خبراء الحيوانات' و'خبراء ملمس الفراء'". يقوم بإيقاظ هؤلاء الخبراء فقط ويتجاهل الباقين.
- النتيجة: تحصل على حكمة المكتبة بأكملها، لكنك تدفع فقط مقابل الكتب القليلة التي احتجتها بالفعل.
2. العقل "المنفصل" (التوجيه مقابل الحوسبة)
في الإصدارات السابقة من هذه التقنية، كان "الأمين" يصاب بالارتباك. كان "وقت اليوم" (مستوى الضجيج في الصورة) عالياً جداً لدرجة أن الأمين كان يقول ببساطة: "الجميع يستيقظ في الساعة 9 صباحاً، والجميع ينام في الساعة 5 مساءً"، بغض النظر عما تحتاجه الصورة فعلياً.
- الحل: قام Nucleus-Image بفصل دماغ "الأمين" عن أيدي "الرسامين".
- الأمين ينظر إلى المحتوى (هل هي قطة؟) وإلى الوقت (هل نحن في مرحلة مبكرة أم متأخرة من عملية الرسم؟) ليقرر من سيعمل.
- الرسامون يتلقون التعليمات الكاملة للقيام بعملهم.
- هذا يمنع الأمين من الارتباك بسبب إشارة "الوقت" ويضمن اختيار الخبراء المناسبين دائماً للمهمة الصحيحة.
3. خدعة "شبح النص"
عادةً، عندما يرسم الذكاء الاصطناعي صورة بناءً على نص، يتعين عليه حمل تعليمات النص عبر كل خطوة من خطوات الرسم، مثل حقيبة ظهر ثقيلة.
- الحل: يعامل Nucleus-Image تعليمات النص مثل الشبح. يقرأ التعليمات مرة واحدة في البداية، ويحفظ "المفتاح" و"القيمة" (جوهر الطلب)، ثم يترك "شبح النص" يرحل بعيداً. عملية الرسم الفعلية تتعامل فقط مع بكسلات الصورة.
- النتيجة: تصبح عملية الرسم سريعة وفعالة للغاية لأنها لم تعد تحمل تلك الحقيبة الثقيلة.
4. المنهج الدراسي "التدريجي"
لن تعلم طفلاً كيف يركض في ماراثون في يومه الأول؛ بل تبدأ بالمشي، ثم الجري الخفيف، ثم الجري السريع.
- الحل: تم تدريب النموذج عبر ثلاث مراحل:
- 256 بكسل: تعلم رسم الأشكال الأولية (مثل الرسم التخطيطي).
- 512 بكسل: تعلم التفاصيل والأنسجة.
- 1024 بكسل: تعلم الإتقان الدقيق جداً.
- والأهم من ذلك، قاموا بتعديل "سعة الخبراء" (عدد الخبراء الذين يستيقظون) كلما أصبح النموذج أكثر ذكاءً. في البداية، كانوا يوقظون عدداً أكبر من الخبراء لتعلم الأساسيات، ولاحقاً، يوقظون عدداً أقل من الخبراء المتخصصين لإتقان التفاصيل.
5. طريقة التدريب "بلا ظل"
معظم نماذج الذكاء الاصطناعي تحتفظ بـ "نسخة ظل" (نسخة احتياطية) من نفسها، والتي تتحدث ببطء لجعل النتيجة النهائية أكثر سلاسة، مما يضاعف تكلفة الذاكرة.
- الحل: لم يحتفظ Nucleus-Image بظل. بدلاً من ذلك، قاموا بحفظ العديد من "اللقطات" (Snapshots) للنموذج أثناء التدريب. وفي النهاية، قاموا بدمج هذه اللقطات رياضياً معاً لإنشاء النموذج النهائي فائق السلاسة.
- النتيجة: وفروا كميات هائلة من ذاكرة الكمبيوتر أثناء التدريب دون فقدان أي جودة.
6. "الوصفة المثالية" (البيانات والتحسين)
لم يستخدموا مجرد صور عشوائية من الإنترنت. بل بنوا مكتبة تضم 700 مليون صورة كانت:
- منقحة: تمت إزالة الصور الضبابية أو السيئة أو المكررة.
- مصنفة: تم فرزها إلى مستويات من "A1" (تحفة فنية) إلى "A5" (مقبولة).
- موصوفة: تم إعطاؤها أوصافاً متعددة (قصيرة، متوسطة، ومفصلة) حتى يتعلم النموذج طرقاً مختلفة لوصف الأشياء.
- نصوص اصطناعية: قاموا حتى بتوليد صور تحتوي على نصوص مثالية لتعليم النموذج كيفية كتابة الكلمات داخل الصور (وهي مشكلة شائعة في الذكاء الاصطناعي).
الخلاصة
يثبت Nucleus-Image أنك لست بحاجة لاستخدام القوة الغاشمة للوصول إلى أفضل ذكاء اصطناعي. من خلال كونهم أذكياء في اختيار من يعمل (Sparse MoE)، وكفؤين في كيفية عملهم (التوجيه المنفصل، وأشباح النصوص)، ومنضبطين في ماهية تعلمهم (المنهج التدريسي والبيانات)، استطاعوا إنشاء نموذج ينافس أكبر وأغلى نماذج الذكاء الاصطناي في العالم، ولكنه يعمل بجزء بسيط من الطاقة.
والجزء الأفضل؟ لقد قدموا الوصفة، والمكونات، والطبق النهائي للجمهور مجاناً. لا توجد خلطة سرية، ولا حيل مخفية—فقط علم مفتوح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.