Efficient Training with Foresight: Multi-Token Auxiliary Supervision for Autoregressive Image Generation

أصبحت الحواسيب ماهرة بشكل ملحوظ في إنشاء الصور من الصفر، لكن الطريقة التي تتعلم بها القيام بذلك غالبًا ما تبدو مثل طالب يحاول حفظ كتاب مدرسي كلمة بكلمة، دون أن يرى الصفحة بأكملها أبدًا. في مجال الذكاء الاصطناعي، تعمل طريقة شائعة تسمى "التوليد ذاتي الانحدار" (autoregressive generation) عن طريق التنبؤ بالقطعة التالية من الصورة بناءً على القطع التي سبقتها، تمامًا مثل إكمال جملة عبر تخمين الكلمة التالية. وقد أظهر هذا النهج وعدًا كبيرًا لإنشاء صور عالية الجودة، ومع ذلك فإنه يعاني من عدم كفاءة جوهرية؛ حيث يُجبر الكمبيوتر على النظر إلى كل رقعة صغيرة من الصورة، واحدة تلو الأخرى، ليتعلم كيفية ترابطها معًا. هذه العملية بطيئة وغالبًا ما تكون قاصرة النظر، مما يعني أن الكمبيوتر يركز بشكل ضيق للغاية على الخطوة التالية المباشرة لدرجة أنه يفتقد الصورة الكبيرة، مما يؤدي إلى ظهور أنسجة متكررة أو تفاصيل ضبابية. علاوة على ذلك، يهدر الكمبيوتر الطاقة في معالجة أجزاء من الصورة لا تحمل معلومات مهمة للغاية، مثل رقعة فارغة من السماء، بنفس القدر الذي يعالج به التفاصيل المعقدة لوجه ما.

اقترح فريق من الباحثين في جامعة فوشان وجامعة هونغ كونغ طريقة جديدة لتدريب أنظمة توليد الصور هذه تعالج هذه المشكلات دون تغيير كيفية إنشاء الكمبيوتر للصورة في نهاية المطاف. أطلقوا على طريقتهم اسم MTAR، وهو إطار عمل موحد يحسن عملية التعلم من خلال ثلاث استراتيجيات محددة. أولاً، قاموا بتغيير كيفية تعليم الكمبيوتر التطلع للمستقبل؛ فبدلاً من مطالبة النموذج بالتنبؤ بالرقعة التالية فقط، أضافوا مهمة ثانية حيث يجب على النموذج أيضًا التنبؤ برقعة تقع في مكان أبعد، وتحديدًا الرقعة التي تقع مباشرة تحت الموقع الحالي في الشبكة. هذا يجبر الكمبيوتر على فهم البنية ثنائية الأبعاد للصورة، مثل رؤية حي كامل بدلاً من مجرد شارع واحد، مما يساعده على التقاط الأنماط المحلية والسياق المستقبلي بشكل أفضل بكثير. ثانيًا، قدموا تقنية لضمان بقاء فهم الكمبيوتر الداخلي لأجزاء الصورة المختلفة متميزًا وواضحًا؛ فمن خلال مقارنة نسخ مختلفة من ميزات الصورة نفسها، شجعوا النموذج على إبقاء تمثيلاته للأنسجة والأشكال المختلفة منفصلة، مما يمنع الصور من أن تصبح عكرة أو متكررة. أخيرًا، عالجوا مسألة الجهد الضائع من خلال تعليم الكمبيوتر تجاهل الأجزاء غير المهمة من الصورة أثناء التدريب. وباستخدام أداة منفصلة لتحديد الرقع التي تحتوي على المعلومات الأكثر أهمية في الصورة، سمحوا للكمبيوتر بتجاوز المناطق الأقل أهمية، مثل الخلفيات الفارغة، بينما يظل مركزًا على التفاصيل الحاسمة.

النتائج لهذا النهج الجديد مذهلة عند اختبارها على معيار ImageNet، وهو مجموعة قياسية من الصور المستخدمة لقياس التقدم في هذا المجال. عندما قارن الباحثون نظامهم بطريقة رائدة سابقة تسمى LlamaGen، وجدوا أن إطار عملهم الجديد أنتج صورًا أفضل بكثير في وقت أقل. وتحديدًا، حقق الأسلوب الجديد درجة تُعرف باسم FID، والتي تقيس مدى واقعية الصور المولدة، وكانت أقل بنقطة واحدة تقريبًا من الأفضل سابقًا، مما يشير إلى تحسن واضح في الجودة. والأهم من ذلك، كانت عملية التدريب أسرع بشكل كبير؛ فقد وجد الباحثون أن نظامهم يمكنه الوصول إلى نفس مستوى الأداء الذي حققته الطريقة القديمة في ثلث وقت التدريب فقط، وفي بعض الحالات، كان أسرع بأربع مرات تقريبًا. وحتى عندما حد الباحثون التدريب ليكون مجرد جزء بسيط من عدد الخطوات المعتاد، تمكن النظام الجديد من إنتاج صور تضاهي أو تتفوق على الخط المرجعي. وهذا يشير إلى أن التحسينات لا تأتي ببساً من العمل بجهد أكبر، بل من العمل بذكاء أكبر عبر توفير إشارات تعلم أفضل وإزالة الحسابات غير الضرورية.

ومن الأهمية بمكان أن كل هذه التحسينات تحدث فقط أثناء تعلم الكمبيوتر. فبمجرد انتهاء التدريب، يعمل النظام تمامًا كما كان يفعل من قبل، يتنبأ بكل رمز (token) واحد تلو الآخر دون أي خطوات أو تأخيرات إضافية. لقد أثبت الباحثون أنه من خلال إضافة هذه المهام المساعدة وتجاوز المعلومات منخفضة القيمة أثناء مرحلة التعلم، يمكنهم إنشاء نموذج أكثر قدرة وكفاءة. تشير الدراسة إلى أن مفتاح توليد الصور الأفضل لا يكمن في بناء نماذج أكبر، بل في صقل كيفية تعليم النموذج لرؤية العالم، وضمان انتباهه للأشياء الصحيحة وفهمه للعلاقات المكانية بينها. ومن خلال الموازنة بين الحاجة إلى مخرجات عالية الجودة والقيود العملية للوقت وقدرة الحوسبة، يقدم هذا العمل مسارًا أوضح نحو إنشاء صور واقعية باستخدام الذكاء الاصطناعي.