UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective
تقترح الورقة البحثية UNIFUSION، وهو إطار عمل موحد يؤسس روابط بين مختلف أهداف الانتشار المنفصلة لتمكين التكيف المباشر للنماذج ذات الترتيب الذاتي سابقة التدريب مع انتشار الضوضاء الموحدة، محققةً أداءً هو الأفضل في فئته من حيث جودة التوليد ودقة المهام اللاحقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كتابة القصص. لفترة طويلة، كانت أفضل طريقة للقيام بذلك هي تعليم الروبوت كتابة كلمة واحدة في كل مرة، من اليسار إلى اليمين، مثل الإنسان الذي يطبع جملة. هذه الطريقة، التي تسمى التعلم "التتابعي الذاتي" (autoregressive)، رائعة لأنها سريعة ويتمكن الروبوت من خلالها من تعلم الكثير من قواعد اللغة. لكن لديها عيب كبير: بمجرد أن يكتب الروبوت كلمة، لا يمكنه العودة وتغييرها أبدًا. إذا ارتكب خطأً في الجملة الأولى، فقد تفسد القصة بأكملها لأنه لا يستطيع تعديل ماضيه.
مؤخرًا، جرب العلماء نهجًا مختلفًا يسمى "الانتشار المنفصل" (discrete diffusion). بدلًا من الكتابة كلمة بكلمة، يبدأ هذا الأسلوب بجملة كاملة تكون مشوشة أو "مفسدة" بالضجيج، ويتعلم الروبوت كيفية تنظيفها، فيصلح كلمة واحدة في كل مرة حتى تصبح الجملة مثالية. هذا يشبه أخذ غرفة فوضوية وتنظيمها ببطء. المشكلة هي أن معظم روبوتات "التنظيف" الجديدة هذه يتم تدريبها من الصفر، مما يهدر كل المعرفة اللغوية التي كانت تمتلكها روبوتات "الكلمة بكلمة" القديمة. علاوة على على ذلك، تستخدم العديد من هذه الروبوتات الجديدة نوعًا محددًا من الضجيج حيث تخفي الكلمات خلف "قناع" (مثل صندوق أسود). وهذا يعني أن الروبوت يمكنه فقط إصلاح الأجزاء المخفية، وليس الكلمات الموجودة بالفعل. كان السؤال الكبير هو: هل يمكننا أخذ روبوت ذكي مسبق التدريب يعمل بطريقة "الكلمة بكلمة" وتحويله فورًا إلى روبوت "تنظيف" قوي، يمكنه إصلاح أي كلمة في الجملة، حتى تلك التي ليست مخفية؟
تقول هذه الورقة البحثية، التي تحمل عنوان "Unifusion"، نعم، وتوضح كيفية القيام بذلك. اكتشف الباحثون أنه على الرغم من اختلاف المعادلات الرياضية المستخدمة في مختلف روبوتات "التنظيف"، إلا أنها جميعًا تحاول سرًا حل نفس المشكلة الأساسية: التنبؤ بالسرعة التي يجب أن تنتقل بها الكلمة من حالة إلى أخرى. وقد أطلقوا على هذا "المعدل العكسي" (reverse rate). ومن خلال إدراكهم أن كل هذه الطرق المختلفة هي مجرد لهجات مختلفة لنفس اللغة، أنشأوا مترجمًا عالميًا. هذا المترجم يسمح لهم بأخذ المعرفة من نموذج "كلمة بكلمة" قياسي (مثل GPT-2) وتكييفها مباشرة مع نموذج انتشار "الضجيج الموحد" (uniform-noise diffusion).
الابتكار الرئيسي هو أن هذا النموذج الجديد، Unifusion، لا يحتاج إلى إخفاء الكلمات خلف أقنعة. بدلاً من ذلك، يعامل كل كلمة في الجملة كعنصر قابل للتعديل، تمامًا كما يمكنك تعديل أي كلمة في مستند Google Docs. اختبر الباحثون ذلك عبر أخذ نسختين من نموذج مدرب مسبقًا (إحداهما تحتوي على 124 مليون معلمة والأخرى 355 مليون معلمة) وتدريبهما ليكونا فنانين في "التنظيف". ووجدوا أنه كلما أعطوا النموذج وقتًا أطول للتفكير (زيادة عدد الخطوات من 16 إلى 256)، تحسنت جودة النص بشكل مستمر.
عند الحد الأقصى وهو 256 خطوة، حقق النموذج الأصغر (Unifusion-S) "ارتباكًا توليديًا" (وهو مقياس لمدى حيرة النموذج تجاه النص الذي ينشئه) قدره 97.783، بينما وصل النموذج الأكبر (Unifusion-M) إلى 71.516. والأهم من ذلك، أن هذه النماذج لم تكتب نصًا بليغًا فحسب؛ بل حافظت أيضًا على "اعتلاج أحادي الكلمة" (unigram entropy) مرتفع، وهي طريقة معقدة للقول إن النص كان متنوعًا ولم يعلق في تكرار نفس العبارات أو الأنماط. في الواقع، عند 256 خطوة، لم يتمكن أي نموذج آخر تم اختباره بنفس الحجم من التفوق على Unifusion في كل من الفصاحة والتنوع في آن واحد.
كما أظهرت الورقة البحثية أن هذا التحويل المباشر يعمل بشكل أفضل من الطريقة القديمة المتمثلة في الانتقال من "كلمة بكلمة" إلى "الانتشار المقنع" ثم إلى "الانتشار الموحد". ومن خلال تخطي الوسيط، وصل Unifusion إلى نفس الجودة العالية بكفاءة أكبر بكثير. وعند اختباره في ألغاز المنطق وأسئلة الفهم العام في العالم الحقيقي (مثل WinoGrande وSIQA)، تفوقت نماذج الانتشار الجديدة هذه على جميع نماذج الانتشار الأخرى من نفس حجمها، مما يثبت أنها لم تتعلم فقط كيفية تنظيف الضجيج، بل احتفظت بالفعل بمهارات الاستنتاج الذكية من تدريبها الأصلي "كلمة بكلمة".
باخت-صار، Unifusion يشبه أخذ طاهٍ ماهر اعتاد طهي وجبة بمكون واحد في كل مرة، وتعليمه تقنية جديدة حيث يمكنه تذوق وضبط وعاء الحساء بأكمله دفعة واحدة، دون الحاجة إلى التخلص من سنوات خبرته في فن الطهي. والنتيجة هي نموذج يمكنه إنشاء نص يتسم بالفصاحة والتنوع الإبداعي، ببساطة عن طريق تعلم كيفية تحرير الجملة بأكملة في وقت واحد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.