SelFusion: Self-distillation for Diffusion Language Models
تقترح الورقة البحثية SelFusion، وهو إطار عمل جديد للتقطير الذاتي لنماذج لغة الانتشار (Diffusion Language Models) يستخدم التقطير المعرفي ثنائي الاتجاه بين أنماط القناع الصعبة والسهلة لتصحيح الأخطاء على مستوى الرمز ديناميكيًا، مما يحسن جودة التوليد بشكل كبير ويتفوق غالبًا على النماذج المعلمة الخارجية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المتطور بسرعة، يوجد توتر مستمر بين السرعة والجودة. لسنوات، اعتمدت أقوى النماذج اللغوية على طريقة تسمى "التوليد الذاتي التراجعي" (autoregression)، حيث يقوم الكمبيوتر بتوليد النص كلمة بكلمة، ويقرأ مخرجاته السابقة ليقرر الكلمة التالية. هذه العملية التسلسلية تشبه شخصاً يكتب جملة من خلال النظر إلى كل كلمة كتبها للتو قبل إضافة الكلمة التالية؛ إنها عملية موثوقة وتنتج نتائج عالية الجودة، لكنها بطيئة بطبيعتها. أما الجيل الجديد من النماذج، المعروف بنماذج لغة الانتشار (diffusion language models)، فيحاول حل هذه العقبة عن طريق توليد العديد من الكلمات في وقت واحد. فبدلاً من كتابة جملة من البداية إلى النهاية، تبدأ هذه النماذج بكتلة من الكلمات المبعثرة والمخفية وتقوم بتنقيحها تدريجياً لتصبح استجابة متماسكة، تماماً مثل النحات الذي يكشف عن تمثال من كتلة حجرية. وبينما تقدم هذه الطريقة المتوازية وعداً باستجابات فورية تقريباً، إلا أن هذه النماذج عانت تاريخياً لمواكبة وضوح ودقة نظيراتها التسلسلية الأبطأ.
لقد حاول الباحثون طويلاً سد هذه الفجوة باستخدام تقنية تسمى "تقطير المعرفة" (knowledge distillation)، حيث يتعلم نموذج أصغر وأسرع من خلال محاكاة سلوك معلم أكبر وأكثر دقة. ومع ذلك، عندما طبق العلماء هذه الطريقة القياسية على نماذج الانتشار الجديدة، كانت النتائج مخيبة للآمال. فالمحاولة لفرض نسخ النموذج المتوازي السريع للنموذج التسلسلي البطيء غالباً ما فشلت، مما أدى إلى مخرجات لم تكن أفضل، بل كانت أحيناً أسوأ مما لو تعلم النموذج بمفرده. كانت المشكلة الأساسية تكمن في عدم التوافق في كيفية "تفكير" هذين النوعين من النماذج في الكلمات. فالنماذج البطيئة كانت واثقة جداً من خياراتها، بينما كانت النماذج السريعة أكثر عدم يقين وتوزع ثقتها عبر احتمالات عديدة. وكانت محاولة إجبار النموذج غير الواثق على تقليد النموذج الواثق تشبه طلب محاكاة طالب لمعلم يتحدث لغة مختلفة؛ حيث لم يستطع الطالب استيعاب المنطق الأساسي، بل استوعب الضجيج السطحي فقط.
للتغلب على ذلك، اقترح فريق من الباحثين في جامعة "تشونغ آنغ" نهجاً جديداً يسمى "سيلفيوجن" (SelFusion)، والذي يتخلى عن فكرة وجود معلم خارجي تماماً. فبدلاً من البحث عن توجيه خارج النموذج، يقوم النظام بتعليم نفسه من خلال تشغيل نسختين مختلفتين من المهمة نفسها في وقت واحد. تخيل طالباً يؤدي امتحاناً حيث تحتوي نسخة من الامتحان على العديد من الأسئلة المخفية، مما يجبر الطالب على التخمين بناءً على أدلة محدودة، بينما تحتوي نسخة ثانية من نفس الامتحان على أسئلة أقل مخفية، مما يوفر سياقاً أكثر. لقد أنشأ الباحثون هذين "النمطين" داخل نموذج واحد: "النمط الصعب" الذي يعمل مع العديد من الكلمات المخفية، و"النمط السهل" الذي يعمل مع عدد أقل منها. والنمط السهل، بامتلاكه معلومات أكثر، ينتج عموماً تنبؤات أفضل، لكنه ليس مثالياً؛ إذ يمكنه أحياناً أن يصبح مفرط الثقة، متمسكاً بإجابة خاطئة بيقين عالٍ لمجرد أنه امتلك سياقاً أكبر للعمل معه.
يكمن الابتكار في كيفية تعامل النظام مع هذين النمطين. فبدلاً من مجرد جعل النمط السهل يعلم النمط الصعب، صمم الباحثون تبادلاً ديناميكياً ثنائي الاتجاه. يتحقق النظام باستمرار من النمط الصحيح لكل كلمة محددة. فإذا كان النمط السهل صحيحاً، فإنه يوجه النمط الصعب. وإذا كان النمط الصعب هو الصحيح بينما النمط السهل مخطئ بيقين، فإن النمط الصعب يتولى القيادة. يضمن هذا التدفق ثنائي الاتجاه أن يتعلم النموذج من الإشارة الأكثر موثوقية متاحة في أي لحظة. ولمنع النمط السهل من أن يكون عنيداً جداً بشأن أخطائه، أضاف الباحثون خطوة معايرة صغيرة تعمل على خفض ثقته بلطف عندما يكون مخطئاً، مما يضمن عدم تضليل عملية التعلم. وتحدث هذه العملية برمتها داخل نموذج واحد، دون الحاجة إلى معلم خارجي وبإضافة ضئيلة جداً لحجم النموذج.
عند اختبار هذه الطريقة في التعلم الذاتي على مهام مختلفة تتبع التعليمات، أثبتت فعاليتها بشكل ملحوظ. فقد تفوق النموذج المدرب بتقنية "سيلفيوجن" باستمرار على الطرق الأخرى التي اعتمدت على معلمين خارجيين، سواء كانوا تلك النماذج البطيئة عالية الجودة أو نماذج الانتشار الأخرى. وفي كثير من الحالات، تجاوز أداء النموذج المعلم ذاتياً أداء النماذج الأكبر والأبطأ التي كان من المفترض أن يحاكيها في الأصل. فعلى سبيل المثال، حققت الطريقة الجديدة في معايير محددة درجات أعلى بكثير من أفضل معلم خارجي متاح، مما يدل على أن النموذج يمكنه التعلم ليكون أفضل من قدراته الأولية من خلال صقل منطقه الداخلي. ووجد الباحثون أن هذا النهج لم يحسن جودة النص المولد فحسب، بل حافظ أيضاً على ميزة السرعة التي توفرها طريقة الانتشار، مما يقدم مساراً عملياً لإنشاء أدوات لغوية سريعة وعالية الجودة.
كما سلطت الدراسة الضوء على سبب فشل المحاولات السابقة للجمع بين هذه التقنيات. فمن خلال تحليل الآليات الداخلية للنماذج، أكد الفريق أن الاختلاف في كيفية توزيع الثقة بين النماذج السريعة والبطيئة كان العائق الأساسي. فالنماذج البطيئة كانت شديدة الصلابة، والنماذج السريعة كانت مشتتة للغاية بحيث لا يمكن لعملية النسخ المباشر أن تنجح. نجحت طريقة التقطير الذاتي لأنها لم تحاول فرض نسخة مباشرة؛ بل سمحت للنموذج بإيجاد التوازن الصحيح بين تخميناته غير المؤكدة وتنبؤاته الأكثر اطلاعاً. ويشير هذا النهج إلى أن مستقبل التوليد اللغوي السريع قد لا يعتمد على إيجاد معلم أكبر وأفضل، بل على تعليم النموذج أن يثق في أفضل غرائزه مع البقاء متواضعاً بما يكفي لتصحيح أخطائه. وتشير النتائج إلى أنه مع الإطار الداخلي الصحيح، يمكن أخيراً لسرعة التوليد المتوازي وجودة الاستدلال التسلسلي أن يتعايشا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.