Abra: Scaling Diffusion Image Training
تقدم هذه الورقة البحثية "أبرا" (Abra)، وهي عائلة مُتحكم بها من نماذج المحولات القائمة على مطابقة التدفق، والتي تُستخدم لتحديد قوانين القياس المثلى حوسبياً لنماذج الانتشار من النص إلى الصورة، مما يكشف عن أنها تتوسع بشكل يمكن التنبؤ به مثل النماذج اللغوية ولكنها تتطلب بيانات أكثر بكثير لكل معلمة وتتمتع بالمتانة تجاه الإفراط في التدريب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العصر الحديث للذكاء الاصطناعي، ثورة هادئة تجري في كيفية بناء العلماء لأكثر البرامج الحاسوبية قوة. لسنوات، اعتمد الباحثون على مجموعة من القواعد تُعرف باسم "قوانين القياس" لتحديد كيفية إنفاق قوتهم الحوسبية. تعمل هذه القواعد كدليل للميزانية، حيث تخبر المهندسين ما إذا كان ينبغي عليهم بناء دماغ أكبر قليلاً لبرمجياتهم أو تغذيتها بمكتبة معلومات أكبر بكثير. وفي عالم الذكاء الاصطناعي القائم على النصوص، كانت هذه القواعد واضحة بشكل ملحوظ: للحصول على أفضل النتائج، يجب تقسيم ميزانية الحوسبة بالتساوي تقريباً بين حجم النموذج وكمية البيانات التي يقرؤها. هذا التوازن سمح للآلات بتعلم اللغة بكفاءة مذهلة، مما أدى إلى الأدوات المتطورة التي نراها اليوم. ومع ذلك، عندما يتعلق الأمر بتعليم الحواسيب إنشاء الصور، ظلت القواعد لغزاً. فالبيانات المرئية أكثر تعقيداً وضجيجاً من النصوص، وكانت المحاولات السابقة لرسم هذه القواعد لمولدات الصور محدودة بسبب نقص التجارب واسعة النطاق. وبدون دليل واضح، كان المطورون يخمنون كيفية موازنة حجم النموذج وحجم البيانات، مما أدى غالباً إلى إهدار كميات هائلة من الطاقة والوقت.
لقد تدخل فريق من الباحثين من "لوما إيه آي" (Luma AI) الآن لحل هذا اللغز من خلال تجربة منهجية ضخمة. قاموا ببناء عائلة محكومة من نماذج توليد الصور، تتراوح من الصغيرة جداً إلى الكبيرة جداً، وقاموا بتدريبها باستخدام قدر هائل من القوة الحوسبية — أكثر بكثير من أي دراسة سابقة حول هذا الموضوع. ومن خلال دفع هذه النماذج عبر ثلاثة مستويات مختلفة من التكلفة الحوسبية، تمكنوا من ملاحظة كيف يتغير الأداء مع نمو النماذج. وتكشف أعمالهم أن قواعد إنشاء الصور تختلف جوهرياً عن قواعد معالجة اللغة. فبينما تصل نماذج النصوص إلى ذروة كفاءتها بعد قراءة حوالي عشرين كلمة لكل وحدة من حجمها، تتطلب نماذج الصور نظاماً غذائياً أثقل بكثير. وجد الباحثون أنه للوصول إلى نقطة الكفاءة المثلى، يحتاج نموذج تحويل النص إلى صورة إلى رؤية حوالي مائتي "توكن" صوري (image tokens) لكل معلمة واحدة (parameter) في بنيته. وهذا يعني أنه بالنسبة لتوليد الصور، فإن البيانات أكثر أهمية بعشر مرات مما هي عليه في نماذج اللغة. إن النصيحة القديمة بموازنة حجم النموذج وحجم البيانات بالتساوي لا تنطبق هنا؛ وبدلاً من ذلك، فإن الاستراتيجية الأكثر فعالية هي إعطاء الأولوية لتغذية النموذج بمزيد من الصور، حتى لو كان ذلك يعني استخدام دماغ أصغر.
كما كشفت الدراسة عن شبكة أمان مفاجئة للمطورين. في عالم نماذج اللغة، إذا قمت بتدريب نظام لفترة طويلة جداً على بيانات كثيرة جداً، فقد يتأثر أداؤه ويضيع الجهد الإضافي سدى. ولكن بالنسبة لمولدات الصور، اكتشف الباحثون أن النماذج متسامحة للغاية. فإذا قرر الممارس تدريب نموذج لفترة أطول مما هو ضروري تماماً، فإن جودة الصور لا تنخفض بشكل كبير. في الواقع، فإن الخسارة في الأداء ضئيلة جداً لدرجة أنها تكاد تكون مهملة. يقدم هذا الاكتشاف قاعدة عملية للصناعة: من الأكثر أماناً تدريب نموذج أصغر على كمية هائلة من البيانات بدلاً من المخاطرة بتدريب نموذج ضخم على كمية قليلة من البيانات. يعمل وقت التدريب الإضافي كعازل، مما يضمن نتائج عالية الجودة دون عقوبة هدر الموارد التي تعاني منها أنواع أخرى من الذكاء الاصطناعي.
وبعيداً عن جودة الصورة النهائية فحسب، نظر الفريق في كيفية تعلم هذه النماذج لفهم العالم داخل عقولها الرقمية. لقد اختبروا ما إذا كانت النماذج جيدة في التعرف على الأشياء والأنماط، وهي مهارة تُعرف باسم "تعلم التمثيل" (representation learning). ووجدوا أن نقطة الكفاءة المثلى لفهم الصور تحدث عند حجم بيانات أقل بكثير من نقطة توليدها. يمكن للنموذج أن يصبح جيداً جداً في التعرف على قطة أو منظر طبيعي قبل وقت طويل من أن يصبح بارعاً في رسمها. يشير هذا إلى أن المعرفة الداخلية للنموذج وقدرته على إنشاء الفن ينموان بمعدلات مختلفة. علاوة على ذلك، لاحظ الباحثون أنه مع زيادة دقة الصور، تزداد الحاجة إلى البيانات بشكل أكبر. إن تدريب نموذج لإنشاء صور عالية الدقة يتطلب معلومات مرئية أكثر بكثير لكل وحدة من حجم النموذج مقارنة بتدريبه على إنشاء رسومات منخفضة الدقة.
ولعل الاكتشاف الأكثر عمقاً هو أن نماذج توليد الصور هذه تتبع نمطاً عالمياً في منحنيات التعلم الخاصة بها. فعندما قام الباحثون بتعديل البيانات لتتناسب مع حجم النموذج وكمية الحوسبة المستخدمة، انطبقت مسارات تقدم التدريب لكل نموذج، من الأصغر إلى الأكبر، على خط واحد سلس. هذه الظاهرة، المعروفة باسم "انهيار القياس" (scaling collapse)، تعني أن سلوك نموذج صغير يمكنه التنبؤ بدقة بسلوك نموذج ضخم. وهذا يشير إلى أن الآليات الأساسية للتعلم ثابتة عبر جميع الأحجام، مما يوفر أداة قوية للمهندسين للتنبؤ بكيفية أداء نموذج ضخم مستقبلي دون الحاجة إلى بنائه وتدريبه أولاً.
كما فحص الباحثون كيف تتوسع مقاييس النجاح المختلفة، مثل مدى مطابقة الصورة لوصف نصي أو مدى واقعيتها، مع القوة الحوسبية. ووجدوا أن هذه الأهداف المختلفة لا تصل جميعها إلى ذروتها في نفس الوقت. فبعض المقاييس، مثل مدى اتباع الصورة للأمر النصي (prompt)، تفضل توازناً مختلفاً بين البيانات والحجم عن غيرها، مثل مدى مطابقة الصورة لتوزيع الصور الحقيقية في الواقع. يشير هذا إلى عدم وجود إعداد "مثالي" واحد لمولد الصور؛ إذ يعتمد التكوين الأفضل تماماً على ما يريد المستخدم من النموذج القيام به. بالإضافة إلى ذلك، اكتشفوا أن الإعدادات المستخدمة لتوجيه عملية التوليد، والتي تتحكم في مدى التزام النموذج بالتعليمات، تحتاج إلى تعديل مع نمو النموذج. فالقدرة التوليدية الأقوى تتطلب في الواقع توجيهاً أقل لإنتاج نتائج جيدة.
في النهاية، يوفر هذا العمل خريطة واضحة مدعومة بالبيانات لمستقبل توليد الصور. إنه ينقل المجال من مرحلة التخمين إلى الفهم الدقيق لكيفية تخصيص الموارد. الخلاصة المركزية هي أنه بالنسبة لإنشاء الصور، فإن البيانات هي الملك. المسار الأكثر فعالية ليس بناء أكبر نموذج ممكن، بل التأكد من أن أي نموذج يتم بناؤه يتم تغذيته بكمية هائلة من المعلومات المرئية. باتباع هذه القواعد الجديدة، يمكن للمطورين بناء أنظمة أفضل وأكثر كفاءة، تنشئ صوراً مذهلة دون إهدار الطاقة الهائلة المطلوبة لتدريبها. تؤكد الدراسة أنه بينما يختلف مسار توليد الصور المثالي عن مسار اللغة المثالية، إلا أنه مسار يمكن التنبؤ به تماماً ومفتوح للاكتشاف أيضاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.