DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling

ملخص تقني: DiLaDiff: نموذج الانتشار الموزع بزيادة الكوامن لنمذجة اللغة

بيان المشكلة
تواجه نماذج انتشار اللغة (DLMs) مقايضة جوهرية بين جودة أخذ العينات والإنتاجية. وبينما تعد نماذج الانتشار المنفصلة (تحديداً نماذج انتشار اللغة المقنعة، أو MDLMs) فعالة للبيانات الفئوية، إلا أنها تفشل بطبيعتها في التقاط الارتباطات بين الرموز (tokens) التي يتم فك تشفيرها. ينشأ هذا القصور لأن المُنقي (denoiser) يقرب التوزيع اللاحق كحاصل ضرب هوامش مستقلة لكل رمز على حدما. وبناءً على ذلك، يؤدي توليد رموز متعددة بالتوازي إلى جمل غير متماسكة، مما يفرض الاعتماد على التوليد المتسلسل أو تقليل التوازي، وهو ما يحد من الإنتاجية بشكل كبير. وفي المقابل، توفر نماذج الانتشار المستمرة المطبقة على تمثيلات النص (مثل التضمينات/embeddings) تقنيات أخذ عينات وتقطير مبدئية، لكنها غالباً ما تعاني من مقايضة القدرة التعبيرية وقابلية فك التشفير، حيث يصعب فك تشفير التمثيلات السياقية إلى رموز منفصلة، أو تفشل في مضاهاة أداء النماذج المنفصلة المناظرة.

المنهجية
يقترح المؤلفون DiLaDiff (نموذج انتشار لغة بزيادة الكوامن المقطرة)، وهو إطار عمل هجين (مستمر-منفصل) مصمم لحل مشكلة ارتباط الرموز مع الحفاظ على إنتاجية عالية. تتكون البنية من ثلاثة مكونات رئيسية:

1. المشفر التلقائي المعزز بالكوامن (LaDiff):

   • المُشفر (Encoder): يتعلم مُشفر يعتمد على المحولات (Transformer-based) فضاءً كامناً مستمراً ($z$) من التمثيلات السياقية (المستمدة من حالات BERT المخفية). صُمم هذا الفضاء الكامن لالتقاط الارتباطات العالمية بين الرموز والمعلومات الدلالية.
   • المُفكك (Decoder): مُفكك منفصل ($x_\theta$) يتم تهيئته من نموذج MDLM مدرب مسبقاً. يقوم بتوليد رموز نصية مشروطة بالمتغير الكامن $z$.
   • التدريب: يتم تدريب النظام باستخدام حد أدنى معدل للاحتمالية (ELBO) يجمع بين الترميز التلقائي والانتشار المقنع. والأهم من ذلك، أن التوزيع اللاحق يتم تجزئته عبر الرموز بشرط وجود الكامن $z$. وبما أن $z$ يلتقط الارتباطات، فإن فرضية الاستقلال الشرطي تصبح قائمة، مما يسمح بتوليد متوازٍ دقيق للرموز.
   • التنظيم (Regularization): لمنع الفضاء الكامن من أن يصبح شديد الندرة بالنسبة للنمذجة التوليدية، يستخدم المؤلفون استدلالات لتعزيز المتانة تشمل التطبيع حسب الإحداثيات، والحجب العشوائي للميزات والكوامن، وحقن الضوضاء الغاوسية.

2. تعلم الأولوية الكامنة (Latent Prior Learning):

   • بما أن التسلسل النظيف غير متاح أثناء الاستدلال، يتم تدريب نموذج انتشار مستمر (منقي الكامن $z_\psi$) لتعلم توزيع الأولوية $p(z)$ فوق مخرجات المُشفر. يتيح ذلك للنموذج أخذ عينة من كامن $z$ عالي الجودة عبر معادلة التدفق الاحتمالي العكسية (reverse probability-flow ODE) قبل عملية فك التشفير.

3. تقطير الاتساق (DiLaDiff):

   • لتقليل العبء الحسابي لخطوة الانتشار المستمرة، يطبق المؤلفون تقطير MeanFlow. يتم تدريب نموذج طالب ($u_\eta$) للتنبؤ بمتوسط سرعة مسار الـ ODE بين خطوتين زمنيتين ($t$ و $r$)، بدلاً من السرعة اللحظية.
   • يسمح هذا التقطير بتوليد الكامن $z$ في خطوات قليلة (مثلاً 5 خطوات) مع الحفاظ على أداء قريب من النموذج المعلم (LaDiff) الذي يتطلب خطوات كثيرة (مثلاً 200 خطوة).

المساهمات الرئيسية

• بنية هجينة: يقدم البحث وصفة لتدريب مشفر تلقائي للنصوص حيث يتم تهيئة المُفكك من نموذج انتشار منفصل مدرب مسبقاً. ينتج عن ذلك فضاء كامن قابل للتحكم والضبط يلتقط المعلومات الدلالية وارتباطات الرموز.
• التوازي الموجه بالكامن: من خلال تعلم أولوية كامنة باستخدام الانتشار المستمر، يتيح نموذج (LaDiff) أخذ عينات لرموز متعددة بالتوازي دون التضحية بجودة النص، حيث يعمل الكامن على حل تبعيات الرموز التي تغفل عنها النماذج المنفصلة.
• أول نجاح لتقطير ODE لتمثيلات النص الكامنة: يقدم المؤلفون DiLaDiff، وهو أول محاولة ناجحة لتقطير مسارات ODE للتمثيلات النصية السياقية الكامنة. يقلل هذا من تكلفة توليد الكامن إلى مستويات ضئيلة مقارنة بفك التشفير المنفصل.

النتائج
أُجريت التجارب على مجموعة بيانات OpenWebText بطول تسلسل 1024 رمزاً.

• الأداء مقابل النموذج المرجعي: حتى بدون التقطير، يتفوق LaDiff على النموذج المرجعي للانتشار المقنع (MDLM). في التوليد غير المشروط، يحقق LaDiff تحسناً مطلقاً قدره 28.5 في درجة الإدراك التوليدي (GenPPL) وتحسناً مطلقاً قدره 0.08 في مقياس MAUVE مقارنة بـ MDLM مع 1024 خطوة منفصلة.
• الإنتاجية: يسرع LaDiff عملية الاستدلال بمقدار 7 أضعاف عند حجم دفعة (batch size) قدره 32 مقارنة بالإعداد الأمثل لـ MDLM.
• كفاءة التقطير: يحقق DiLaDiff أداءً قريباً من معلم الـ LaDiff باستخدام 5 خطوات فقط من الانتشار الكامن (مقارنة بـ 200 خطوة للمعلم). تنخفض التكلفة الحسابية لمكون الانتشار الكامن إلى حوالي 5% من إجمالي وقت التنفيذ، مما يجعل توليد الكامن ضئيلاً مقارنة بتكلفة فك التشفير المنفصل.
• التوليد في خطوات قليلة: يضاهي DiLaDiff أفضل الطرق الحالية في الخطوات القليلة (مثل MDLM+SDTT و DUO+DCD) دون تقطير المُفكك المنفصل صراحةً، مما يثبت فعالية الزيادة الكامنة.
• التنوع الدلالي: يظهر التحليل أن الفضاء الكامن يحافظ على المعلومات الدلالية (كما تم التحقق عبر BERTScore على الكوامن المشوشة) ويسمح بتوليد متنوع، كما يتضح من قدرة المُفكك على الحفاظ على الإنتروبيا حتى عند درجات حرارة منخفضة.

الأهمية والادعاءات
يزعم البحث أن DiLaDiff ينجح في سد الفجوة بين القدرة التعبيرية للتمثيلات المستمرة ومتانة فك التشفير المنفصل. ومن خلال التقاط الارتباطات العالمية في فضاء كامن، يتغلب النموذج على القصور الجوهري لنماذج الانتشار المنفصلة فيما يتعلق بتوليد الرموز بالتوازي. ويؤكد المؤلفون أن نهجهم يسمح بتوليد نصوص عالية الجودة مع تقليل زمن الاستدلال بشكل كبير.

لا يزال البحث متواضعاً فيما يتعلق بحدوده:

• لا يزال DiLaDiff لا يضاهي تماماً أداء نموذج المعلم (LaDiff) في نظام الخطوات القليلة، مما يشير إلى الحاجة لمزيد من العمل على التقطير.
• المُفكك المنفصل نفسه ليس مقطراً؛ ويشير المؤلفون إلى أن دمج تقطير الكامن الخاص بهم مع تقطير المُفكك المنفصل هو امتداد مستقبلي طبيعي للوصول إلى أداء حقيقي يضاهي أفضل النتائج (state-of-the-art) في الخطوات القليلة.
• استراتيجيات التنظيم وتصميم جداول الانتشار هي حالياً استدلالات (heuristics)، رغم أن المؤلفين قدموا محاولة أكثر منهجية في الملاحق.

باختاً، يثبت DiLaDiff أن النهج الهجين (المستمر-المنفصل)، المعزز بالتقطير الكامن، يمكن أن يسرع نمذجة اللغة في الاستدلال بشكل كبير مع الحفاظ على جودة التوليد أو تحسينها، مما يحل بفعالية مقايضة الإنتاجية والجودة المتأصلة في نماذج الانتشار اللغوية الحالية.