💬 NLP

CRoCoDiL: Continuous and Robust Conditioned Diffusion for Language

يُعد CRoCoDiL إطار عمل موحداً للضبط الدقيق يعمل على تعزيز نماذج الانتشار المقنعة من خلال ربط عملية إزالة القناع بتمثيلات دلالية مستمرة على مستوى الجملة، مما يحقق جودة فائقة في توليد النصوص وسرعات أخذ عينات تزيد بمقدار 10 أضعاف مقارنة بالطرق الحالية.

المؤلفون الأصليون: Roy Uziel, Omer Belhasin, Itay Levi, Akhiad Bercovich, Ran El-Yaniv, Ran Zilberstein, Michael Elad

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Roy Uziel, Omer Belhasin, Itay Levi, Akhiad Bercovich, Ran El-Yaniv, Ran Zilberstein, Michael Elad

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول كتابة قصة، ولكن لديك قاعدة صارمة وقديمة الطراز: يمكنك فقط كتابة كلمة واحدة في كل مرة، وبمجرد كتابتها، لا يمكنك تغييرها أبداً. هذه هي الطريقة التي تعمل بها معظم نماذج الكتابة بالذكاء الاصطناعي الحالية (التي تسمى "النماذج ذات التوليد الذاتي المتتالي" أو Autoregressive Models). إنها تشبه قطاراً يسير على سكة حديدية واحدة: بمجرد أن تغادر العربة الأولى المحطة، يجب أن تتبعها بقية العربات في خط صلب. وإذا تعثر القطار أو خرج عن المسار مبكراً، فإن القصة بأكملها ستعاني.

مؤخراً، حاول العلماء نهجاً جديداً يسمى نماذج الانتشار المقنع (Masked Diffusion Models - MDMs). بدلاً من كتابة الكلمات واحدة تلو الأخرى، تخيل أنك تبدأ بصفحة بيضاء مليئة بعلامات الاستفهام (? ? ? ? ?) وتحاول تخمين الكلمات في وقت واحد. إنه أمر أسرع، مثل محاولة حل لغز الكلمات المتقاطعة دفعة واحدة.

لكن تكمن المشكلة هنا:
لأن الذكاء الاصطناعي يخمن الكلمات بشكل مستقل، فإنه غالباً ما يفقد "الصورة الكبيرة". قد يخمن "القط يبرطم" أو "الكلب يموء". لقد أصاب في اختيار الكلمات الفردية، لكن الجملة لا معنى لها لأنها لا تفهم كيف تعتمد الكلمات على بعضها البعض. الأمر يشبه رساماً يعرف تماماً ما هو اللون الأزرق وما هو اللون الأخضر، ولكن عندما يحاول رسم غابة، تبدو الأشجار ككتل عائمة؛ لأنه لم يخطط للتكوين أولاً.

ظهور CRoCoDiL: "المهندس المعماري والبناء"

يقترح مؤلفو هذه الورقة نظاماً جديداً يسمى CRoCoDiL (الانتشار المستمر والقوي المشروط للغة). لقد حلوا مشكلة "فقدان الصورة الكبيرة" عبر تقسيم المهمة إلى دورين متميزين: المهندس المعماري والبناء.

1. المهندس المعماري (المساحة المستمرة)

أولاً، لا يقفز الذكاء الاصطناعي مباشرة إلى الكلمات. بدلاً من ذلك، يعمل كـ مهندس معماري يرسم مخططاً أولياً مستمراً للقصة بأكملها.

فكر في هذا المخطط ليس ككلمات، بل كـ لوحة إلهام أو مخطط هندسي. إنه يلتقط "الحالة المزاجية"، و"الحبكة"، و"تدفق" الجملة كلها في آن واحد.
من الناحية الرياضية، هذا يسمى "تمثيل كامن مستمر". إنه فكرة سلسة وانسيابية لما يجب أن يكون عليه النص، دون أن يظل عالقاً في حروف محددة بعد.
ولأن هذا المخطط مصنوع في مساحة مستمرة وسلسة (مثل اللوحة الزيتية)، يمكن للذكاء الاصطناعي بسهولة ضمان منطقية القصة بأكملها قبل القلق بشأن التفاصيل.

2. البناء (الكلمات المنفصلة)

بمجرد أن ينتهي المهندس المعماري من المخطط، يأتي دور البناء (نموذج الانتشار المقنع الأصلي) لبناء الجدار الفعلي.

ينظر البناء إلى المخطط ويقوم بوضع الطوب المحدد (الكلمات).
ولأن البناء لديه مخطط مثالي يتبعه، فإنه لا يحتاج إلى التخمين بعشوائية. يمكنه وضع العديد من الطوبات في وقت واحد (العينات المتوازية) لأن المخطط يخبره بالضبط أين يجب أن توضع.
وهذا يعني أن البناء يمكنه العمل بسرعة أكبر بـ 10 مرات من ذي قبل، والنتيجة هي جدار متين وجميل في آن واحد.

طريقتتا البناء

قدمت الورقة طريقتين لاستخدام فريق "المهندس والبناء":

الطريقة (أ): "ارسم أولاً، ثم ابنِ لاحقاً" (ConThenDisc)
المهندس المعماري يرسم المخطط بالكامل من الصفر (مثل تخيل قصة من العدم). ثم يقوم البناء بقراءة هذا المخطط ويبني النص كاملاً. إنها عملية سريعة ومبدعة.
الطريقة (ب): "ارسم، ابنِ، ثم هذّب" (ConWithinDisc)
هذه الطريقة أكثر ذكاءً. يرسم المهندس المعماري مخططاً أولياً. يبدأ البناء في البناء. ولكن في منتصف الطريق، يتوقف البناء، وينظر إلى الجدار المبني جزئياً، ويسأل المهندس المعماري: "مهلاً، بناءً على ما بنيته حتى الآن، هل يمكنك تعديل المخطط قليلاً ليناسب الباقي بشكل أفضل؟"
يقوم المهندس المعماري بتحديث المخطط، ويكمل البناء المهمة. هذا يضمن أن النتيجة النهائية متماسكة تماماً، حتى بالنسبة للقصص الطويلة والمعقدة.

لماذا يهم هذا الأمر؟

في العالم الحقيقي، يعد هذا اختراقاً هائلاً.

السرعة: الأساليب القديمة كانت تشبه المشي؛ أما هذا الأسلوب الجديد فهو يشبه الطيران. تظهر الورقة أنه يمكنه توليد النصوص بسرعة أكبر بـ 10 إلى 14 مرة.
الجودة: لأن "المهندس المعماري" يتولى المنطق الشامل، فإن الجمل لا تتفكك. إنها متماسكة، ومنطقية، وذات معنى.
المرونة: يعمل بشكل رائع في كتابة الأكواد البرمجية، القصص، أو أي نص يتطلب بنية معينة.

الخلاصة:
يتوقف CRoCoDiL عن محاولة تخمين كل كلمة في فراغ. بدلاً من ذلك، ينشئ أولاً "خريطة ذهنية" للجملة بأكملها في مساحة مستمرة وسلسة، ثم يستخدم هذه الخريطة لتوجيه عملية ملء الكلمات السريعة. إنه الفرق بين الخربشة الفوضوية وبين التحفة الفنية المخطط لها بعناية، والتي تُبنى بسرعة البرق.

1. بيان المشكلة

تتناول الورقة البحثية القيود الجوهرية لـ نماذج الانتشار المقنعة (Masked Diffusion Models - MDMs) في توليد النصوص. فبينما تقدم نماذج MDMs (مثل MDLM، وLLaDA، وDream) بديلاً غير تلقائي (non-autoregressive) للنماذج التلقائية (autoregressive) عبر إخفاء الرموز (tokens) ثم "إزالة الإخفاء" عنها بشكل تكراري، إلا أنها تعاني من مشكلتين حرجتين:

فشل اعتماد الرمز (Token Dependency Failure): تقوم نماذج MDMs عادةً بتقدير التوزيعات الهامشية للرموز المفقودة بشكل مستقل. هذا التقريب العام (factorized approximation) يفشل في التقاط الاعتمادات الإحصائية المتبادلة بين الرموز، مما يؤدي إلى عدم اتساق دلالي وعينات معيبة عندما يتم الكشف عن رموز متعددة بالتوازي.
المقايضة بين السرعة والجودة (Speed-Quality Trade-off): للحفاظ على الاتساق، تلجأ نماذج MDMs الحالية غالباً إلى أخذ عينات متسلسلة أو في دفعات صغيرة، مما يلغي فوائد التوليد المتوازي من حيث السرعة. وفي المقابل، يؤدي أخذ العينات المتوازي المكثف إلى تدهور الجودة.

التحدي الأساسي يكمن في سد الفجوة بين الطبيعة المستمرة لخوارزميات الانتشار والطبيعة المنفصلة للغة، مع ضمان الاتساق الدلالي العالمي دون التضحية بسرعة التوليد.

2. المنهجية: CRoCoDiL

يقترح المؤلفون إطار عمل CRoCoDiL (الانتشار الشرطي المستمر والقوي للغة)، وهو إطار ينقل عبء التوليد من التنبؤ بالرموز المنفصلة إلى فضاء دلالي مستمر على مستوى الجملة. تتكون المنهجية من ثلاثة مكونات رئيسية:

أ. التدريب الموحد للمشفر ومزيل الإخفاء (Unified Encoder-Demasker Training)

أساس CRoCoDiL هو بنية مدربة بشكل مشترك تتألف من:

المشفر ( $h_\phi$ ): يقوم بخرائط تسلسل الرموز المنفصل $x_0$ إلى تمثيل كامن مستمر $z_0 \in \mathbb{R}^d$ . وخلافاً للأعمال السابقة التي تتطلب ربطاً واحداً لواحد، ينشئ هذا المشفر "مخططاً" (sketch) أو متجه توجيه عالمي.
مزيل الإخفاء الموجه ( $f_\theta$ ): هو نموذج فك تشفير MDM شرطي يتنبأ بالرموز المخفية بناءً على التسلسل المخفي جزئياً $x_t$ $x_{t}$ و الكامن المستمر $z_0$ $z_{0}$ .
- هدف التدريب: يقلل النموذج من خسارة الإنتروبيا المتقاطعة (cross-entropy loss) حيث يتنبأ مزيل الإخفاء بالرموز الأصلية $x_0$ بمعلومية $x_t$ و $z_0$ .
- المتانة (Robustness): لضمان عمل النظام عند توليد $z_0$ (بدلاً من استخراجه من الحقيقة الأرضية)، يضيف التدريب ضجيجاً غاوسياً (Gaussian noise) إلى المتجه الكامن $z_0$ ، مما يجبر مزيل الإخفاء على أن يكون متيناً تجاه الاضطرابات في إشارة التوجيه.

ب. التبرير النظري

تثبت الورقة (النظرية B.1) أنه إذا نجح الكامن المستمر $z_0$ في التقاط الاعتمادات المتبادلة بين الرموز في التسلسل، فإن التوزيع الشرطي للرموز بمعلومية $z_0$ يصبح مفككاً (factorizes). وهذا يبرر نظرياً أخذ عينات الرموز بالتوازي (أخذ عينات مستقلة للرموز) دون فقدان الاتساق العالمي، حيث يتم تشفير الاعتمادات في $z_0$ بدلاً من عملية أخذ العينات نفسها.

ج. خوارزميات تخليق النصوص الهجينة

بناءً على المشفر ومزيل الإخفاء الموجه المدربين، قدم المؤلفون خوارزميتين للتوليد غير المشروط:

ConThenDisc (مستمر ثم منفصل):
- العملية: أولاً، يقوم نموذج انتشار مستمر بتوليد متجه كامن صالح $z_0$ من الضجيج. ثانياً، يُستخدم $z_0$ كشرط ثابت لتوجيه نموذج MDM لفك تشفير $z_0$ إلى تسلسل من الرموز.
- الآلية: يتم تأسيس البنية الدلالية العالمية في الفضاء المستمر، ويعمل نموذج MDM كمفكك تشفير سريع وموجه.
ConWithinDisc (مستمر داخل المنفصل):
- **العمل عملية تحسين تكراري لـ ConThenDisc. فبدلاً من إبقاء $z_0$ ثابتاً، يتم تحديث متجه التوجيه ديناميكياً أثناء خطوات أخذ عينات MDM.
- الآلية: في فترات محددة أثناء عملية إزالة الإخفاء المنفصلة، يقوم نموذج انتشار مستمر شرطي بتحديث $z_0$ بناءً على التسلسل المُخلق جزئياً (أي $z_0 \sim P(z | h_\phi(x_t))$ ). وهذا يسمح للمخطط العالمي بأن يصبح أكثر حدة وتحديداً مع توفر المزيد من السياق المحلي.

3. المساهمات الرئيسية

إطار عمل CRoCoDiL: بنية مبتكرة تربط بين الاتساق العالمي والاعتمادات المحلية للرموز باستخدام التمثيلات الكامنة المستمرة لتوجيه نماذج الانتشار المنفصلة.
المشفر التلقائي المتين (Robust Autoencoder): مشفر تلقائي عام يقوم بخرائط النصوص المنفصلة إلى فضاء مستمر وبالعكس باستخدام MDM كمفكك تشفير، محققاً إعادة بناء دقيقة بكفاءة عالية.
خوارمازيتان جديدتان:
- ConThenDisc: نهج هجين يفصل بين التوليد الدلالي العالمي (المستمر) وتفكيك الرموز المحلي (المنفصل).
- ConWithinDisc: استراتيجية انتشار متعددة تعمل على تحسين التوجيه الدلالي طوال عملية أخذ العينات.
الإثبات النظري: تبرير رسمي بأن الشرط على تمثيل كامن غني يسمح بأخذ عينات الرموز بالتوازي (factorized) دون فقدان الاعتمادات الهيكلية.

4. النتائج التجريبية

قيم المؤلفون CRoCoDiL باستخدام LLaDA-8B كنموذج MDM أساسي و Qwen-embedding-0.6B كمشفر أولي، وتم التدريب على مهام توليد أكواد بايثون.

أداء المشفر التلقائي: حقق الإطار إعادة بناء شبه مثالية لتسلسلات الأكواد (CER $\approx$ 0.10، CodeBERTScore $\approx$ 0.97) حتى مع عدد منخفض جداً من تقييمات الوظيفة العصبية (NFE)، مما يثبت فعالية مزيل الإخفاء الموجه.
سرعة وجودة التوليد غير المشروط:
- السرعة: حقق CRoCoDiL سرعة أخذ عينات تزيد عن 10 أضعاف مقارنة بالنموذج المرجعي LLaDA مع الحفاظ على الجودة أو تحسينها.
- المقاييس: في التوليد غير المشروط، حققت طريقة ConWithinDisc مع 40 NFE فقط جودة (MAUVE و Gen-PPL) تضاهي جودة LLaDA المرجعي الذي استخدم 512 NFE.
- الجودة: أظهرت الطرق تفوقاً في درجات MAUVE وانخفاضاً في الارتياب التوليدي (Generative Perplexity) عبر مختلف أطوال التسلسلات (256، 512، 1024 رمزاً) مقارنة بالنموذج المرجعي.
دراسات الاستبعاد (Ablation Studies):
- ضجيج الكامن: كان التدريب مع تعزيز الضجيج على $z_0$ أمراً حاسماً لاستقرار الاستدلال.
- توقيت التحديث: بالنسبة لـ ConWithinDisc، أدى تحديث متجه التوجيه في منتصف عملية أخذ العينات إلى أفضل توازن بين الهيكل والمرونة.
- حجم السجل (Register Size): لم يؤدِ زيادة عدد السجلات الكامنة إلى ما بعد حد معين (مثلاً $K > 16$ ) إلى تحسين الأداء، مما يشير إلى أن الفضاء الكامن المدمج كافٍ.

5. الأهمية

يمثل CRoCoDiL خطوة هامة للأمام في توليد النصوص غير التلقائي. فمن خلال فصل التقاط الاعتمادات الدلالية طويلة المدى (التي يعالجها الانتشار المستمر) عن التنبؤ بالرموز المحلية (الذي يعالجه MDM موجه)، يتغلب النموذج على عقبة "عدم الاتساق مقابل السرعة" التي واجهت نماذج الانتشار المقنعة السابقة.

تثبت هذه الدراسة أن أخذ عينات الرموز بالتوازي يمكن أن يكون سريعاً ومتسقاً إذا تم توجيه النموذج بواسطة "مخطط" دلالي مستمر. يوفر هذا النهج مساراً قابلاً للتطبيق نحو توليد نصوص عالي الجودة ومنخفض الكمون لا يعتمد على القيود المتسلسلة للنماذج التلقائية، مما قد يحدث ثورة في التطبيقات التي تتطلب تخليقاً سريعاً للنصوص، مثل توليد الأكواد البرمجية والترجمة في الوقت الفعلي.