ملخص تقني: نماذج الانتشار المستمرة يمكنها الالتزام بالقواعد الصورية (Formal Syntax)

بيان المشكلة

تقدم نماذج اللغة القائمة على الانتشار (Diffusion Language Models) بديلاً مقنعاً للنماذج ذات التوليد الذاتي الانحداري (Autoregressive Models) من خلال تمكين عمليات توليد عالمية غير سببية، وهي عمليات مفيدة للمهام التي تتطلب سياقاً ثنائي الاتجاه أو مراجعة شاملة (مثل ملء الفراغات أو التخطيط طويل الأمد). ومع ذلك، لا يزال هناك قصور جوهري يتمثل في أن الديناميكيات الكامنة المستمرة لهذه النماذج تجعل من الصعب فرض قيود نحوية منفصلة، مثل ضمان مطابقة المخرجات لمخطط JSON أو تعبير نمطي محدد (Regex).

في النماذج ذات التولدة الذاتية الانحدارية، يتم فرض الصلاحية النحوية عادةً عبر "فك التشفير المقيد" (Constrained Decoding)، والذي يقوم بتصفية خيارات الرمز التالي لضمان أن يكون المخرج النهائي سليم البنية. تعتمد هذه الآلية على الحفاظ على بادئة (Prefix) منفصلة صريحة. وفي المقابل، تعمل نماذج الانتشار المستمرة على تمثيلات كامنة مستمرة لكامل التسلسل في كل خطوة زمنية، وتفتقر إلى بادئة منفصلة صريحة. وبناءً على ذلك، فإن الأداة الجوهرية لفك التشفير المقيد — وهي حجب خيارات الرمز التالي التي تجعل البادئة غير قابلة للاكتمال — لا تنتقل مباشرة إلى هذه النماذج. أما التعديلات الحالية لنماذج الانتشار، فغالباً ما تستهدف متغيرات منفصلة متخصصة أو تعتمد على توجيه المصنف (Classifier Guidance)، وهو أمر يتطلب تدريب نموذج مساعد لكل قيد محدد، مما يعد نهجاً مكلفاً من حيث الموارد وغير عملي للمساحة الشاسعة من التعبيرات النمطية الممكنة.

المنهجية: DIFFINITY

يقدم المؤلفون DIFFINITY، وهو طريقة توجيه خالية من التدريب مصممة لتوجيه نماذج لغة الانتشار المستمرة للالتزام بالقيود النحوية الصورية المعبر عنها بالتعبيرات النمطية (Regular Expressions). تحاكي هذه الطريقة مبدأ "توجيه المصنف"، لكنها تستبدل الحاجة إلى مصنف مساعد مدرب بقيمة (Score) يتم حسابها تحليلياً.

الآلية الجوهرية

تعمل الطريقة عن طريق تعديل خطوة إزالة الضجيج (Denoising Step) في عملية الانتشار. فبدلاً من أخذ عينات من توزيع النموذج الأساسي المتوقع، يتم إزاحة مسار أخذ العينات باستخدام حد تدرج (Gradient Term) مشتق من احتمالية الصلاحية النحوية.

1. حساب الدرجة التحليلية (Analytic Score Computation):
   تقوم الطريقة ببناء تقدير تحليلي لاحتمالية أن تؤدي الحالة الكامنة $x_t$ إلى سلسلة صالحة يقبلها لغة نمطية معينة $L$.

   • يتم التعامل مع فك التشفير $Dec(x_t)$ كأنه يصدر توزيع "unigram" على المفردات لكل موضع رمز.
   • يتم تمثيل اللغة النمطية $L$ كآلة ذات حالات محددة (Deterministic Finite Automaton - DFA).
   • للتعامل مع عدم التطابق بين تعريفات التعبيرات النمطية على مستوى الحروف والمفردات على مستوى الرموز (Tokens) للنموذج، قدم المؤلفون بناء "آلة ذات حالات محددة متوافقة مع المفردات" (Vocabulary-aligned automaton). يعمل هذا على مواءمة الـ DFA مع جهاز الترميز (Tokenizer) الخاص بالنموذج، مما يضمن مراعاة جميع عمليات ترميز السلسلة الصالحة.
   • باستخدام البرمجة الديناميكية، تحسب الطريقة مصفوفات انتقال موزونة ($M_1, \dots, M_l$) بناءً على توزيع الـ unigram الحالي. ويتم حساب الاحتمال المتوقع $E_{s \sim Dec(x_t)}[s \in L]$ عن طريق تمرير توزيع الحالة الأولية عبر هذه المصفوفات وجمع احتمالات الوصول إلى الحالات المقبولة.

2. أخذ العينات الموجه (Guided Sampling):
   يتم تعديل خطوة إزالة الضجيج كما يلي:
   $$x_{t-1} = \mu_\theta(x_t, t) + \gamma \sigma_t^2 \nabla_{x_t} \log E_{s \sim Dec(x_t)}[s \in L] + \sigma_t \epsilon$$
   هنا، $\mu_\theta(x_t, t)$ هو تنبؤ النموذج الأساسي، ويعمل حد التدرج $\nabla_{x_t} \log E_{s \sim Dec(x_t)}[s \in L]$ كقوة توجيه. يدفع هذا التدرج المسار الكامن نحو مناطق في الفضاء المستمر تؤدي إلى فك تشفير سلاسل صالحة نحوياً. ويتحكم المعامل الفائق $\gamma$ في قوة هذا القيد.

3. التبرير النظري:
   يوضح المؤلفون أن هذا النهج يقرب عملية أخذ العينات من التكييف مع الصلاحية النحوية. ومن خلال استخدام التوقع التحليلي الدقيق بدلاً من وسيط متعلم، تستهدف الطة التوزيع الشرطي $Pr(x_0 | L)$ دون عدم الاستقرار أو التكلفة المرتبطة بتدريب مصنف منفصل.

المساهمات الرئيسية

1. توجيه خالٍ من التدريب: تقترح الورقة طريقة لتوجيه نماذج لغة الانتشار المستمرة للالتزام بقيود التعبيرات النمطية المنفصلة دون الحاجة لتدريب مصنفات مساعدة، حيث يتم حساب درجة التوجيه تحليلياً من القيد نفسه.
2. إطار عمل نظري: يقدم المؤلفون تبريراً رسمياً يوضح أن العينة الناتجة تستهدف النموذج الأساسي مشروطاً بالصلاحية النحوية، مما يربط النهج بنظرية التوليد الشرطي القائمة على الدرجة (Score-based conditional generation theory).
3. التنفيذ والتقييم: تم تنفيذ الطريقة تحت اسم DIFFINITY فوق نموذج الانتشار PLAID. وتم تقييمها على 180 قيداً من التعبيرات النمطية التي تغطي مخططات JSON وأنماط اللغة الطبيعية.

النتائج

تقارن عملية التقييم بين DIFFINITY وبين فك التشفير المقيد للنماذج ذات التوليد الذاتي الانحداري (باستخدام متغيرات GPT-2 مع مكتبة Guidance) ونماذج الانتشار المنفصلة مع فك التشفير المقيد (LLaDA + DINGO).

• تحقيق القيود: تحقق DIFFINITY معدلات عالية في تحقيق القيود، تتراوح بين 68% إلى 96% عبر الاختبارات المعيارية.
  • في اختبارات مخططات JSON، حققت نسبة تحقيق بلغت 68.4% (مقارنة بـ ~77% لـ GPT-2 Large، ولكن مع قيود حشو مختلفة) و 91.4% لـ Pass@10.
  • في اختبارات اللغة الطبيعية، حققت متوسط معدل تحقيق قدره 92.9%، متفوقة بشكل كبير على GPT-2 Large (20.5%) ومقاربة لـ LLaDA+DINGO (القريبة من 100%).
• الجودة والارتباك (Perplexity):
  • على عكس فك التشفير المقيد للنماذج ذات التوليد الذاتي الانحداري، والذي غالباً ما يعاني من "فخ التكرار اللانهائي" (التوقف في مناطق ذات احتمالية منخفضة) ويشوه توزيع النموذج، تحافظ DIFFINITY على جودة نصية عالية.
  • لا تتسبب DIFFINITY إلا في تكلفة ضئيلة في الارتباك مقارنة بأخذ العينات غير المقيد. بالنسبة لاختبارات اللغة الطبيعية، فإن ارتباك DIFFINY (60.0) يقارب النموذج الأساسي غير المقيد (61.6)، بينما تظهر النماذج ذات التوليد الذاتي الانحداري المقيد غالباً ارتباطاً أعلى أو انخفاضاً في السلاسة.
  • من حيث السلاسة، تتفوق DIFFINITY (35.8) على GPT-2 Small و Medium وهي مقاربة لـ GPT-2 Large.
• المقارنة مع توجيه المصنف: أدى توجيه المصنف القياسي (المدرب على الكمونات المشوشة) أداءً ضعيفاً، حيث حقق 0% في اختبارات JSON وأداءً منخفضاً جداً في مهام اللغة الطبيعية، مما يسلط الض الضوء على صعوبة تعلم هذه القيود المنفصلة عبر المصنفات المساعدة.
• الأعباء الحسابية: تتحمل DIFFINY تأخراً زمنياً (Latency) يعادل تقريباً 2-3 أضعاف التوليد غير المشروط، ويرجع ذلك أساساً إلى حساب المجامع الكثيفة لعمليات انتقال الآلة (Automaton transitions). ويتوسع استخدام الذاكرة مع عدد الانتقالات والحالات في الآلة المتوافقة مع المفردات.

الأهمية والادعاءات

تدعي الورقة أن نماذج الانتشار المستمرة يمكن توجيهها بفعالية للالتزام بالقواعد الصورية دون الحاجة للتدريب أو التشوهات التوزيعية التي تصاحب غالباً فك التشفير المقيد في النماذج ذات التوليد الذاتي الانحداري.

• المتانة: أثبتت DIFFINITY أنها أكثر موثوقية من فك التشفير المقيد للنماذج ذات التوليد الذاتي الانحداري، خاصة في ظل ميزانيات الرموز المحدودة حيث قد تفشل تلك النماذج في إكمال تسلسلات صالحة.
• الحفاظ على التوزيع: تنجح الطريقة في فرض القيود مع الحفاظ على التوزيع الاحتمالي للنموذج الأساسي، متجنبة الاستدلالات "الارتجالية" (Ad hoc) التي تضعف جودة المخرجات في طرق التوليد المقيد الأخرى.
• القدرة على التعميم: رغم محدوديتها حالياً بالقيود النمطية (Regular constraints)، إلا أن الإطار يوفر آلية مبدئية وخالية من التدريب لتوجيه نماذج الانتشار المستمرة، مما يقدم بديلاً واعداً للتدريب المكثف للمصنفات أو القيود الهيكلية لفك التشفير في الانتشار المنفصل.

يخلص المؤلفون إلى أنه على الرغم من أن العبء الحسابي الحالي ليس هيناً، فإن القدرة على توليد مخرجات مهيكلة صالحة نحوياً بدقة عالية تشير إلى اتجاه واعد للتوليد المهيكل في نماذج الانتشار. ويُقترح أن يركز العمل المستقبلي على هياكل البيانات الفعالة في استهلاك الذاكرة وتحسينات النواة (Kernel optimizations) لتقليل التأخير الزمني.