SAIL: Self-Amplified Iterative Learning for Diffusion Model Alignment with Minimal Human Feedback
يُعد SAIL إطار عمل مبتكر يُمكّن نماذج الانتشار من تحقيق محاذاة فعالة مع التفضيلات البشرية باستخدام حد أدنى من التغذية الراجعة، وذلك عبر التحسين الذاتي المتكرر من خلال عملية مغلقة الحلقة من التصنيف الذاتي ومزج التفضيلات المرتبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم طفلاً كيف يرسم مناظر طبيعية جميلة.
حالياً، هناك طريقتان يحاول الناس من خلالهما تعليم الذكاء الاصطناعي (نماذج الانتشار) كيفية صنع فن "جيد":
- طريقة "المكتبة الضخمة" (DPO غير المتصل - Offline DPO): أنت تعطي الطفل مكتبة تحتوي على مليون لوحة، كل منها مصنف كـ "جيدة" أو "سيئة". هذه الطريقة تعمل، لكنها مكلفة للغاية وتستغرق وقتاً طويلاً لتنظيمها.
- طريقة "القاضي الصارم" (DPO المتصل - Online DPO): تقوم بتعيين ناقد فني محترف ليجلس بجانب الطفل. في كل مرة يرسم فيها الطفل شيئاً ما، يعطيه الناقد درجة. المشكلة هي أن الناقد قد يكون لديه تحيزات غريبة، أو قد يهتم بشيء واحد فقط (مثل الألوان الزاهية) ويتجاهل كل شيء آخر.
تقدم الورقة البحثية طريقة ثالثة: SAIL (التعلم التكراري ذاتي التعزيز).
المفهوم: حلقة "الفنان-الناقد"
بدلاً من استئجار مليون معلم أو ناقد واحد منحاز، تحول SAIL الذكاء الاصطناعي إلى طالب هو أيضاً معلمه الخاص.
فكر في الأمر كـ عازف موسيقى يطور نفسه ذاتياً.
تخيل عازف جيتار يبدأ ببعض الدروس الأساسية فقط من معلم حقيقي (هذا هو "التعليقات البشرية الدنيا"). بعد تلك الدروس القليلة الأولى، لا ينتظر العازف معلماً بعد الآن. بدلاً من ذلك، يتبع حلقة من ثلاث خطوات:
- جلسة الارتجال (التوليد): يعزف العازف مجموعة متنوعة من الألحان المختلفة.
- النقد الذاتي (المكافأة الذاتية): يستمع العازف إلى عزفه الخاص. ولأنه تعلم الأساسيات، يمكنه أن يقول: "ذلك اللحن كان فوضوياً بعض الشيء، لكن هذا اللحن كان له إيقاع رائع". يقوم بترتيب أدائه الخاص.
- جلسة التدريب (التعلم): يقضي الساعة التالية في التدرب خصيصاً لتكرار الألحان "الجيدة" وإصلاح الألحان "السيئة".
من خلال تكرار هذه الحلقة مراراً وتكراراً، يصبح العازف بارعاً، رغم أنه تلقى دروساً أولية قليلة فقط.
السر الكامن: "خلط الذاكرة"
هناك خطر في طريقة "التعليم الذاتي" هذه: تأثير غرفة الصدى.
إذا استمع الطالب لنفسه فقط، فقد يبدأ في الاعتقاد بأن أخطاءه هي في الواقع عبقرية. قد يعلق في حلقة حيث يعتقد أنه يرسم نوعاً معيناً من غروب الشمس لأنه يظن أنه مثالي، لينتهي به الأمر بنسيان كيفية رسم أي شيء آخر. هذا ما يسميه العلماء "النسيان الكارثي" أو "انهيار التوزيع".
ولمنع حدوث ذلك، أضاف الباحثون "استراتيجية الخلط" (Mixup Strategy).
تخرح أن كل مرة يتدرب فيها العازف على أغانيه الجديدة التي تعلمها ذاتياً، يُطلب منه قضاء 25% من وقته في ممارسة تلك الدروس الأصلية التي تعلمها من المعلم الحقيقي. هذا يبقيه متصلاً بالواقع ويمنعه من الانجراف بعيداً في حالة من الغياب الذهني المتكرر والغريب.
لماذا يهم هذا؟
النتائج مبهرة. وجد الباحثون أن SAIL يمكن أن يحقق نتائج أفضل من طريقة "المكتبة الضخمة" بينما يستخدم 6% فقط من البيانات.
باختزات: يثبت SAIL أن الذكاء الاصطناعي لا يحتاج دائماً إلى جيش ضخم من البشر ليخبره ما هو "جيد". إذا أعطيته قدراً ضئيلاً من التوجيه وطريقة ذكية لانتقاد نفسه، يمكنه إطلاق العنان لإمكاناته الكامنة لإنشاء فن أفضل وأجمل بكثير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.