ملخص تقني: الانتشار المستمر المتقلب المشترك (CCDD)

1. بيان المشكلة

سلطت التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs) الضوء على القيود المفروضة على بنيات التوليد الذاتي (AR) القياسية، لا سيالما فيما يتعلق بمهام الاستدلال المعقدة مثل سودوكو (Sudoku)، والترابط الرسومي (graph connectivity)، والتعرف على اللغات الصورية. تشير التحليلات النظرية إلى أن نماذج المحولات (Transformers) القياسية تقتصر على فئة التعقيد $TC^0$ حتى مع خطوات "سلسلة الأفكام" (CoT) اللوغاريتمية، بينما يمكن للمحولات ذات الحلقات (LT) وطرق الاستدلال المستمر الوصول نظرياً إلى $TC^1$ أو أعلى.

ومع ذلك، توجد فجوة كبيرة بين القدرة التعبيرية النظرية والأداء التجريبي:

• المحولات ذات الحلقات (LT): رغم أنها أكثر تعبيراً من الناحية النظرية، إلا أنها تعاني من ضعف قابلية التدريب بسبب غياب الإشراف الوسيط، مما يؤدي إلى مشكلات تتعلق بالتعميم خارج التوزيع (OOD) أثناء الاستدلال عندما يختلف عمق الحلقة عن مرحلة التدريب.
• نماذج الانتشار المستمرة (CDMs): تهيمن هذه النماذج نظرياً على نظيراتها المنفصلة من حيث القدرة التعبيرية عبر العمل في فضاءات كامنة مستمرة وتعميم المحولات ذات الحلقات. ومع ذلك، فإن أداءها التجريبي يقل عن نماذج الانتشار المنفصلة (DDMs) والنماذج ذات التوليد الذاتي (AR). ويعزو المؤلفون ذلك إلى تحديات التدريب العملية: مساحات القرار الكبيرة، والتمثيلات (embeddings) منخفضة الجودة، والتعقيد التوليفي لفك تشفير التمثيلات المستمرة إلى رموز منفصلة (tokens).
• نماذج الانتشار المنفصلة (DDMs): رغم أنها عالية القابلية للتدريب وفعالة، إلا أنها تعمل في فضاءات رموز صريحة، مما قد يؤدي إلى فقدان المعلومات خلال عملية التكميم (quantization) من "اللوجيت $\leftarrow$ العينة $\leftarrow$ التمثيل" في كل خطوة.

المشكلة الجوهرية هي معضلة القدرة التعبيرية مقابل قابلية التدريب: النماذج ذات القدرة التعبيرية العالية نظرياً (CDMs, LTs) يصعب تدريبها، بينما النماذج عالية قابلية التدريب (DDMs, AR) قد تفتقر إلى قدرات الاستدلال الكامن اللازمة للمهام المعقدة.

2. المنهجية: الانتشار المستمر المتقلب المشترك (CCDD)

يقترح البحث الانتشار المستمر المتقلب المشترك (CCDD)، وهو نموذج لغوي جديد يوحد عمليات الانتشار المستمرة والمنفصلة ضمن إطار عمل واحد.

2.1 عملية الانتشر المشتركة

يعرف CCDD عملية انتشار مشتركة على اتحاد فضاء الرموز المنفصل ($X = \Omega^L$) وفضاء التمثيل المستمر ($Z = \mathbb{R}^{L \times d}$).

• العملية الأمامية (Forward Process): يتم تحليل عملية الفساد (corruption) ولكن يتم تطبيقها بشكل متزامن على كلا النمطين.

  • المكون المنفصل: يتطور عبر سلسلة ماركوف زمنية مستمرة (CTMC)، عادةً باستخدام الضجيج المقنع (حالة الامتصاص) أو الضجيج الموحد.
  • المكون المستمر: يتطور عبر معادلة تفاضلية عشوائية (SDE) أو معادلة تدفق الاحتمالية (PF-ODE) في فضاء تمثيل سياقي (على سبيل المثال، مشتق من نماذج مدربة مسبقاً مثل Qwen3-Embedding).
  • النواة الأمامية المشتركة هي حاصل ضرب النويات الفردية: $q_t(x_t, z_t | x_0, z_0) = q_t^{disc}(x_t | x_0) q_t^{cont}(z_t | z_0)$.

• العملية العكسية (Reverse Process): تأخذ شبكة واحدة مشروطة بالزمن $f_\theta(\cdot, t)$ الزوج المشوش $(x_t, z_t)$ كمدخل وتخرج رؤوساً خاصة بكل نمط.

  • التحديث العكسي مجزأ: $p_\theta(x_s, z_s | x_t, z_t) = p_\theta^{disc}(x_s | x_t, z_t) p_\theta^{cont}(z_s | x_t, z_t)$.
  • من الضروري ملاحظة أنه بينما تكون قواعد التحديث مجزأة، فإن التقدير لكل نمط يشترط على كلتا الحالتين. يرى فك التشفير المنفصل الحالة المستمرة $z_t$، بينما يرى فك التشفيد المستمر الرموز المنفصلة $x_t$. وهذا يسمح للمكون المستمر بتوفير توجيه دلالي غني (استدلال ضمني) للمكون المنفصل، بينما يوفر المكون المنفصل بنية صريحة للمكون المستمر.

2.2 هدف التدريب

هدف التدريب هو مجموع مرجح للخسائر المستمرة والمنفصلة:
$$\mathcal{L}_{CCDD} = \gamma_{cont} \cdot \mathcal{L}_{cont} + \gamma_{disc} \cdot \mathcal{L}_{disc}$$

• $\mathcal{L}_{cont}$: خسارة متوسط مربع الخطأ (MSE) القياسية للتنبؤ بالضجيج أو التمثيل المستمر الأصلي (مثل تنبؤ $\epsilon$).
• $\mathcal{L}_{disc}$: خسارة الإنتروبيا المتقاطعة (Cross-entropy) للتنبؤ بالرموز المنفصلة الأصلية (عادةً في المواضع المقنعة).

2.3 التصميمات المعمارية

يقدم البحث عدة معماريات لشبكة إزالة الضجيج المشتركة بناءً على محولات الانتشار (Diffusion Transformers - DiT):

1. MDiT (Multimodal DiT): يمزج التمثيلات المستمرة والمنفصلة قبل كتل المحول. يضيف معاملات وعدد عمليات حسابية (FLOPs) ضئيلة مقارنة بالنماذج الأساسية المنفصلة فقط.
2. MMDiT: يستخدم كتل الانتباه المتبادل (cross-attention) والانتباه الذاتي (self-attention) المتناوبة للتفاعل متعدد الأنماط، مما يضاعف المعاملات والعمليات الحسابية.
3. MoEDiT (Mixture of Experts DiT): يحافظ على وحدات MLP منفصلة للرموز المنفصلة والمستمرة ضمن آلية انتباه مشتركة، باستخدام توجيه "خليط الخبراء" (MoE) لمعالجة الرموز ديناميكياً بناءً على حالتها. هذا يوازن بين كفاءة المعاملات والقدرة التعبيرية.

2.4 تقنيات الاستدلال

• التوجيه الخالي من المصنف (Classifier-Free Guidance - CFG): تعمل التمثيلات المستمرة كإرشاد ذاتي لتوليد الرموز المنفصلة. يتم تدريب النموذج باحتمالية $p_{drop}$ لتصفير التمثيلات المستمرة (غير مشروط)، مما يسمح بتوسيع الـ CFG أثناء أخذ العينات لتحسين الجودة.
• أخذ العينات المرن (Flexible Sampling): يدعم CCDD كلاً من أخذ العينات الحتمي ذي الخطوات القليلة (عبر ODE) للكفاءة، وأخذ العينات العشوائي متعدد الخطوات (عبر SDE) للجودة العالية.

3. المساهمات الرئيسية

3.1 التحليل النظري

• تسلسل القدرة التعبيرية: يثبت المؤلفون أن نماذج الانتشار المستمرة (CDMs) تهيمن تماماً على نماذج الانتشار المنفصلة (DDMs) من حيث التعبيرية على مستوى المسار. تنتج CDMs هوامش مستمرة تماماً، بينما تقتصر DDMs على دعائم ذرية محدودة، مما يؤدي إلى فقدان المعلومات في كل خطوة أخذ عينات منفصلة.
• تعميم المحولات ذات الحلقات: يوضح البحث أن أخذ عينات الانتشار المستمر يمكنه محاكاة أي عملية تشغيل لمحولات ذات حلقات بنفس المعمارية وعدد المعاملات. وعلى العكس من ذلك، لا يمكن للمحولات ذات الحلقات الحتمية محاكاة المسارات العشوائية غير المتدهورة التي تنتجها عملية الانتشار المستمر.
• تحليل قابلية التدريب: يعزو البحث الفشل التجري لـ CDMs إلى نقص الإشراف الوسيط في LTs وتعقيد فك التشفير ونقص التمثيل في CDMs. ويُقترح CCDD كحل يحتفظ بالقدرة التعبيرية لـ CDMs مع اكتساب قابلية التدريب لـ DDMs من خلال الإشراف الصريح على الرموز.

3.2 النتائج التجريبية

• النمذجة اللغوية: في مجموعات بيانات LM1B و OpenWebText (OWT)، يتفوق CCDG بشكل كبير على النماذج المنفصلة (MDLM, SEDD) والنماذج ذات التوليد الذاتي.
  • في LM1B، خفض CCDD-MDiT من التشتت (perplexity) في التحقق بنسبة >25% مقارنة بنموذج أساسي منفصل بنفس عدد المعاملات (92.1 مليون).
  • في OWT، خفض CCDD التشتت بنسبة >35% مقارنة بالنماذج المنفصلة.
  • حقق CCDD هذه النتائج مع تسارع في تقارب التدريب بمقدار 25 ضعفاً (40 ألف تكرار مقابل 1000 ألف للنموذج الأساسي).
• التوليد في خطوات قليلة: يظهر CCDD قدرات فائقة في التوليد ذي الخطوات القليلة. النموذج الذي استخدم 8 خطوات إزالة ضجيج فقط تفوق على نموذج MDLM المنفصل الذي استخدم 256 خطوة، مما يعني تسارعاً في سرعة التوليد بمقدار 16 ضعفاً دون فقدان الجودة.
• الاستدلال المعقد: في المهام التي تتطلب تخطيطاً قوياً وتراجعاً (مثل Sudoku، و3-SAT، وCountdown)، تفوق CCDD على جميع الطرق السابقة، بما في ذلك النماذج ذات التوليد الذاتي، والانتشار المنفصل المقنع، والمحولات ذات الحلقات. على سبيل المثال، حقق CCDX دقة 100% في لعبة سودوكو في خطوتين فقط، مطابِقاً أفضل نتائج المحولات ذات الحلقات.

4. الأهمية والادعاءات

يدعي البحث أن CCDD نجح في سد الفجوة بين القدرة التعبيرية النظرية وقابلية التدريب العملية في النمذجة اللغوية. من خلال تعريف عملية انتشار مشتركة، يستفيد CCDD من القدرة التعبيرية القوية للفضاءات الكامنة المستمرة (التي تتيح الاستدلال الضمني، والتخطيط، والاحتفاظ بالسياق العالمي) مع استخدام الرموز المنفصلة لضمان قابلية التدريب واستقرار فك التشفير.

يؤكد المؤلفون أن CCDF ليس مجرد نموذج هجين، بل هو توحيد مبدئي:

1. يعمم النماذج الموجودة (CDM, DDM, LT) في إطار عمل واحد.
2. يحتفظ بالقدرة على إجراء "الاستدلال الكامن" في الفضاء المستمر، وهو أمر بالغ الأهمية لمهام مثل Sudoku و3-SAT.
3. يحسن الكفاءة من خلال السماكل في توسيع نطاق الاستدلال (ODE للخطوات القليلة مقابل SDE متعدد الخطوات) وتحقيق تسارع في تقارب التدريب مقارنة بالمحولات ذات الحلقات.
4. يثبت أن الجمع بين الأنماط يمكن أن يؤدي إلى مكاسب في الأداء تتجاوز مجموع أجزائها، لا سيما في الاختبارات النهائية والاستدلال المعقد.

يشير العمل إلى أن نماذج النمذجة اللغوية المستقبلية يجب أن تتجاوز فضاءات الرموز المنفصلة البحتة للاستفادة من التمثيلات المستمرة للاستدلال، بشرياً بشرط الحفاظ على الإشراف المنفصل الصريح لضمان التدريب الفعال.