On-Policy Self-Distillation in Diffusion Models
تقدم الورقة البحثية DiffusionOPSD، وهو إطار عمل للتقطير الذاتي القائم على السياسة (on-policy) يقوم بتحويل المكافآت على مستوى الصورة إلى أهداف إشراف وسيطة صريحة لنماذج الانتشار، محققاً أداء محاذاة فائقاً ومكاسب كبيرة في كفاءة التدريب مقارنة بالطرق الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، هناك فئة متنامية من الأنظمة القادرة على رسم الصور من العدم، محولةً جملة بسيطة مثل "قط يرتدي قبعة" إلى صورة حية. هذه الأنظمة، المعروفة باسم نماذج الانتشار (diffusion models)، تعمل من خلال البدء بسحابة فوضوية من الضجيج الساكن ثم تنظيفها تدريجياً، خطوة بخطوة، حتى تظهر صورة واضحة. لسنوات، ركز الباحثون على جعل هذه الصور تبدو أكثر حدة أو واقعية. ومؤخراً، تحول الهدف إلى جعلها تتماشى مع التفضيلات البشرية، لضمان أن الذكاء الاصطناعي لا يفهم فقط كيف يبدو الشيء، بل ما يجده البشر جميلاً أو مفيداً. ولتعليم نموذج هذه التفضيلات، غالباً ما يستخدم العلماء طريقة تسمى التعلم التعزيزي. في هذا الإعداد، يقوم الذكاء الاصطناعي بتوليد صورة، ويقوم برنامج كمبيوتر بتقييمها بناءً على مدى مطابقتها لنتيجة مرغوبة، ثم يحاول الذكاء الاصطناي تحسين محاولته التالية بناءً على ذلك التقييم. ومع ذلك، توجد مشكلة جوهرية في هذه العملية: التقييم يُعطى فقط في النهاية، بعد اكتمال الصورة. ويُترك الذكاء الاصطناعي في حالة تخمين لكيفية تعديل خطواته المتوسطة — تلك المراحل الفوضوية والضبابية من عملية الخلق — للوصول إلى تلك النتيجة الجيدة النهائية. الأمر يشبه محاولة تعلم مهارة معقدة من خلال إخبارك فقط في النهاية ما إذا كنت قد فزت أو خسرت في اللعبة، دون أي ملاحظات حول حركاتك المحددة أثناء المباراة.
قدم فريق من الباحثين طريقة جديدة تسمى DiffusionOPSD لحل هذه المشكلة تحديداً. فبدلاً من الانتظار حتى تكتمل الصورة لتقديم الملاحظات، يقوم نهجهم بتفكيك العملية إلى لحظات يمكن إدارتها. إنهم يعاملون عملية توليد الذكاء الاصطناعي كلسلسلة من اللقطات. في مرحلة مبكرة محددة من إنشاء الصورة، يقومون بإيقاف العملية ويسألون برنامج الكمبيوتر عن تقييم ما ستكون عليه الصورة إذا توقفت عند تلك اللحظة تماماً. وباستخدام هذا التقييم، يقومون بحساب اتجاه دقيق للتحسين، مما يخلق هدفاً واضحاً يهدف إليه الذكاء الاصطناعي. هذا الهدف ليس مجرد اقتراح غامض؛ بل هو تعليمات ملموسة ومحددة تخبر الذكاء الاصطناعي بدقة بكيفية تغيير تنبؤه الحالي لجعل النتيجة النهائية أفضل. ثم يقوم الباحثون بتدريب الذكاء الاصطناعي على التحرك نحو هذا الهدف. ومن الأهمية بمكان أنهم يفعلون ذلك في حلقة: يقوم الذكاء الاصطناعي بحركة، ثم يحسب النظام هدفاً جديداً بناءً على سلوك الذكاء الاصطناعي الحالي، ويتعلم الذكاء الاصطناعي من تلك التعليمات المحددة قبل أن يقوم النظام بتحديث فهمه الخاص للجولة التالية. تسمح هذه الدورة للذكاء الاصطناعي بالتعلم من ملاحظات فورية وقابلة للتنفيذ، بدلاً من النتائج النهائية البعيدة.
اختبر الباحثون هذه الطريقة على نظامين مختلفين قويين لتوليد الصور. وفي كل سيناريو جربوه، والذي تضمن عشر طرق مختلفة للحكم على جودة الصورة، حققت طريقتهم الجديدة نتائج أفضل من أقوى التقنيات الموجودة. وفي تسعة عشر حالة من أصل عشرين مقارنة، أنتج الذكاء الاصطناعي الذي تم تدريبه بهذه الطريقة الجديدة صوراً تم تقييمها بدرجات أعلى بواسطة أنظمة التقييم الآلية والمقيمين البشريين على حد سواء. كان التحسن كبيراً؛ ففي بعض الحالات، زادت جودة الصور بنسبة تقارب 44% مقارنة بأفضل طريقة سابقة. وبعيداً عن مجرد صنع صور أفضل، فإن النهج الجديد أكثر كفاءة أيضاً؛ فقد تطلب وقتاً أقل في الحوسبة بنسبة 40% في أحد الأنظمة و63% في النظام الآخر لتحقيق هذه النتائج. وتكتسب هذه الكفاءة أهمية لأن تدريب هذه النماذج يتطلب عادةً كميات هائلة من الطاقة وأجهزة باهظة الثمن. ومن خلال تقليل الوقت المطلوب، تجعل هذه الطريقة من الممكن صقل هذه الأدوات لمهام محددة دون تكلفة باهظة.
كان الاكتشاف الرئيسي في هذا العمل هو أن مجرد امتلاك فكرة أفضل عما يجب تحسينه لا يضمن بالضرورة أن يتحسن الذكاء الاصطناعي فوراً. وجد الباحثون أنه يمكنهم قياس شيئين متميزين: جودة التعليمات المعطاة للذكاء الاصطناعي، ومدى قدرة الذكاء الاصطناعي فعلياً على اتباع تلك التعليمات في خطوة تدريبية واحدة. في بعض الأحيان، أدت تعليمات قوية جداً إلى تحسن طفيف فقط، بينما أدت تعليمات أضعف إلى تحسن أكبر. سمح هذا الفصل لهم برؤية أن نجاح طريقتهم جاء من كل من إنشاء تعليمات واضحة وضمان قدرة الذكاء الاصطناعي على التعلم منها بفعالية في جولة واحدة. كما اختبروا ما إذا كان الذكاء الاصطناعي بحاجة لرؤية نفس الصورة الفوضوية التي ولدها سابقاً، أم أنه يمكنه التعلم من نسخة مختلفة قليلاً من تلك الصورة. ووجدوا أن مصدر الصورة لم يكن مهماً للغاية؛ ما كان يدفع التحسين حقاً هو اتجاه الملاحظات نفسه. وهذا يشير إلى أن الطريقة قوية وتعتمد على جودة التوجيه بدلاً من التفاصيل المحددة للصورة التي يتم تحليلها.
عندما نظر الباحثون إلى الصور الفعلية المنتجة، كانت الاختلافات واضحة. كان الذكاء الاصطناعي المدرب بهذه الطالة الجديدة أفضل في اتباع التعليمات المعقدة، مثل تضمين نص محدد، أو الحفاظ على هوية الأشياء، أو التقاط تأثيرات الحركة والإضاءة. وفي المقارنات المباشرة، فضل الحكام البشريون الصور الناتجة عن هذه الطريقة الجديدة على تلك الناتجة عن التقنيات الأفضل سابقاً في معظم الحالات. كانت الصور أكثر اتساقاً مع الأوامر النصية، حيث حافظت على التفاصيل التي غالباً ما تفقدها أو تشوهها الطرق الأخرى. كما أظهر الباحثون أن هذه الطريقة يمكنها التعامل مع أهداف متعددة في وقت واحد؛ فقد قاموا بتدريب ذكاء اصطناعي واحد لتلبية ثلاثة معايير مختلفة في آن واحد، ونجح في تحسين المعايير الثلاثة جميعها دون التضحية بالأداء في أي منها. وهذا يوضح أن النهج مرن بما يكفي للتعامل مع المتطلبات المعقدة في العالم الحقيقي حيث يجب أن تكون الصورة جيدة بعدة طرق في نفس الوقت.
يمثل هذا العمل تحولاً في كيفية تعليم هذه الأنظمة القوية. فمن خلال تحويل النتيجة النهائية إلى تعليمات متوسطة واضحة، قدم الباحثون وسيلة لتوجيه عملية تفكير الذكاء الاصطناعي خطوة بخطوة. يتجنب هذا النهج التخمين المرتبط بالطرق التقليدية ويسمح بمسار أكثر مباشرة وكفاءة نحو نتائج أفضل. وتشير النتائج إلى أن مستقبل تدريب هذه النماذج قد يكمن في تفكيك الأهداف المعقدة إلى خطوات صغيرة وصريحة يمكن للذكاء الاصطناعي فهمها والعمل بها على الفور. لا تعتمد الطريقة على السحر أو الحيل المعقدة؛ بل تعتمد على عملية واضحة وقابلة للتكرار تتمثل في وضع هدف، وقياس المسافة إليه، واتخاذ خطوة. والنتيجة هي نظام يتعلم بشكل أسرع، ويستخدم طاقة أقل، وينتج صوراً أكثر وفاءً للقصد البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.