Path-Dependent Denoising: A Non-Conservative Field Perspective on Order Collapse in Diffusion Language Models

ملخص تقني: إزالة الضجيج المعتمد على المسار في نماذج اللغة الانتشارية

بيان المشكلة

تقدم نماذج اللغة الانتشارية (DLMs) بديلاً هيكلياً للنماذج ذات التوليد الذاتي الانحداري (AR) من خلال تمكين تحديث الرموز (tokens) بترتيبات عشوائية أو بالتوازي، مما يتيح نظرياً تجاوز عنق الزجاجة التسلسلي للتوليد من اليسار إلى اليمين. ومع ذلك، يوجد تناقض مركزي في الممارسة العملية: فبينما تسمح واجهة نماذج DLM بترتيب عشوائي، غالباً ما تنزاح السلوكيات المتعلمة نحو مسارات تشبه النماذج ذات التوليد الذاتي الانसाइडارجي (AR-like)، كما أن التوازي العالي غالباً ما يؤدي إلى تدهور جودة التوليد. تعزو التفسيرات الحالية ذلك إلى الطبيعة التسلسلية المتأصلة في اللغة أو الإشراف عبر سلسلة الأفكال (chain-of-thought). تجادل هذه الورقة بأن هذه التفسيرات تترك السؤال الهيكلي الرئيسي غير محدد بدقة: هل عائلة التوزيعات الشرطية المحلية التي يوفرها مزيل الضجيج (denoiser) عند خطوة زمنية عكسية ثابتة، تتشكل في توزيع مشترك واحد مستقل عن الترتيب، أم أنها تحدد فقط قواعد محلية غير متوافقة عبر ترتيبات التحديث المختلفة؟

المنهجية والإطار العملي

تؤطر الورقة المشكلة من خلال منظور التوافق الشرطي (conditional compatibility)، بالاستناد إلى الأدبيات المتعلقة بالتوزيعات المحددة شرطياً وحقول ماركوف العشوائية (Markov Random Fields). وتتمثل المنهجية الجوهرية في تعريف وتحليل الأشباه-مشتركة المستحثة بالترتيب (order-induced pseudo-joints) ومقياس يسمى الدوران المحلي (local circulation/curl).

1. الأشباه-مشتركة المستحثة بالترتيب: بالنسبة لكتلة من المواقع غير المحلولة $B$ وتبديل معين $\pi$، يستحث مزيل الضجيج توزيعاً شبه-مشترك $Q^\pi_{\theta,t}$ يُعرف كحاصل ضرب تسلسلي للمحللات الشرطية المحلية على طول مسار التفكيك المحدد ذاك. يتطلب التوليد الخالي من الترتيب أن تكون هذه الأشباه-مشتركة ثابتة عبر التبديلات ($Q^\pi \approx Q^{\pi'}$).
2. الدوران المحلي (Curl): تُعرف الورقة الدوران المحلي للترتيب $C^{a,b}_{ij}$ كنسبة لوغاريتمية بين اثنين من الأشباء-المشتركة الناتجة عن تبديل ترتيب تحديث موقعين متجاورين $i$ و $j$.
   $$C^{a,b}_{ij} = \log \frac{Q^{i \to j}(a,b)}{Q^{j \to i}(a,b)}$$
   هذا المقياس ثابت تجاه إزاحات اللوجيت الجمعية ويعمل كشاهد محلي على عدم التوافق.
3. تفكيك اعتماد المسار: يثبت المؤلفون أن الفارق اللوغاريتمي العالمي بين أي اثنين من الأشباء-المشتركة (اعتماد المسار) يتفكك تماماً إلى مجموع من الدورانات المحلية على طول سلسلة من التبديلات المتجاورة.
4. فصل أنماط الفشل: يميز الإطار ثلاثة مصادر متميزة لفشل فك التشفير المتوازي:
   • عدم التوافق (الدوران/Curl): دوران محلي غير صفري يسبب حساسية للترتيب.
   • الاعتماد الشرطي: حتى مع وجود دوران صفري، يفشل التحديث المتوازي المستقل إذا كانت الإحداثيات غير المحلولة تمتلك ارتباطاً كلياً شرطياً (Total Correlation - TC) عالياً.
   • خطأ التقدير الخاص بالترتيب: قد يؤدي النموذج أداءً أفضل في مسارات تفكيك معينة (مثل من اليسار إلى اليمين) بسبب انخفاض أخطاء التقدير الشرطي في تلك السياقات، حتى لو كان توزيع البيانات الأساسي متوافقاً.

المساهمات الرئيسية

تقدم الورقة أربع مساهمات نظرية:

• صياغة التوافق: تعيد صياغة إزالة الضجيج بترتيب عشوائي كمسألة ثبات في الأشباء-المشتركة، مع الفصل بين المواصفات الشرطية على مستوى النموذج وخيارات المشغل (operator) على مستوى فك التشفيد.
• تشخيص الدوران المحلي: تثبت أن الدوران الأساسي هو بالضبط نسبة اللوغاريتم بين الأشباء-المشتركة المتبادلة، وأن توقع هذا الدوران تحت ترتيب معين يساوي تباعد KL بين التوزيعين المستحثين بالترتيب.
• توصيف اعتماد المسار: تقدم حقيقة هيكلية دقيقة: يكون نموذج DLM عشوائياً حقاً في الترتيب على كتلة ما إذا وفقط إذا كان كل "مربع أساسي" يمكن الوصول إليه (تبديل زوجي) خالياً من الدوران. وقد أظهر أن الفجوات العالمية في الترتيب هي تراكم للدورانات المحلية.
• فصل أنماط الفشل: توضح أن القناع الموحد الأمثل بايزياً (Bayes-optimal uniform masking) يستلزم دوراناً صفرياً (أي أن اتجاهية البيانات وحدها لا تفرض عدم التوافق). وتوضح أيضاً أن تدهور التوازي يمكن أن يحدث حتى عند دوران صفري بسبب الارتباط الكلي الشرطي، وأن تفضيل الترتيب محكوم بأخطاء التقدير الشرطي الخاصة بالترتيب.

النتائج والنتائج النظرية

تستنتج الورقة عدة نظريات توضح آليات سلوك نماذج DLM:

• النظرية 3 (حدود بايز): في ظل القناع الموحد الأمثل بايزياً، يتلاشى الدوران المحلي. وهذا يعني أن الدوران غير الصفري في النماذج العملية ينشأ من السعة المحدودة، أو التحسين غير الكامل، أو التغطية غير المكتملة لسياقات القناع، وليس مجرد الطبيعة التسلسلية لبيانات اللغة.
• النظرية 4 (خطأ الاستقلال المتوازي): حتى مع وجود دوران توافق صفري، فإن التحديثات المتوازية المستقلة بضربة واحدة (one-shot) تتكبد عقوبة تساوي الارتباط الكلي الشرطي (TC) للكتلة. وهذا يفسر سبب فشل التوليد المتوازي حتى عندما يكون النموذج متوافقاً تماماً.
• النظرية 5 (تفضيل الترتيب): ترتيب فك التشفيد المفضل هو الذي يقلل من الخطأ التراكمي المتوقع للتقدير الشرطي المحلي. إذا كانت سياقات ما قبل البادئة (prefix-like) أسهل للنموذج في تقديرها من سياقات الأقنعة المختلطة العشوائية، فإن النموذج سينزاح طبيعياً نحو جداول زمنية من اليسار إلى اليمين.

الأهمية والادعاءات

تضع الورقة نفسها كـ إطار عمل موجه نحو الآليات بدلاً من كونها دراسة تجريبية لأداء نموذج محدد. وتكمن أهميتها في توفير:

1. تشخيصات هيكلية دقيقة: وسيلة لاختبار ما إذا كان فك تشفير DLM عشوائياً حقاً في الترتيب عبر قياس فجوات ترتيب الأشباء-المشتركة والدوران المحلي، بدلاً من الاعتماد على مقاييس استدلالية مثل الإنتروبيا أو الثقة.
2. تفسير موحد: إطار عمل يوحد الظواهر الملحوظة (مثل الانهيار نحو النماذج AR، وفشل التوازي) عبر الفصل بين اعتماد المسار المدفوع بعدم التوافق وبين الاعتماد الشرطي وخطأ التقدير.
3. واجهة تحقق: مجموعة ملموسة من الاختبارات التشغيلية (مثل تشخيصات المبدل/commutator، وتوصيف الخطأ الخاص بالترتيب) التي يمكن تطبيقها على نماذج موجودة لتشخيص مصادر فشل التوازي دون الحاجة لإعادة التدريب.

يدعي المؤلفون بتواضع أن هذا هو فرض هيكلي قابل للاختبار. ويقرون بأن الورقة لا تقدم بعد دليلاً تجريبياً واسع النطاق عبر جميع عائلات DLM لإثبات أن هذه المقاييس تتفوق على الوسائط الأبسط (مثل إنتروبيا الرمز) في التنبؤ بالفشل. إن التفكيك إلى عدم التوافق، والاعتماد الشرطي، وخطأ التقدير يُقدم كعملية نظيفة مفاهمياً ولكنها ليست فريدة تشغيلياً بعد في الممارسة. ويشير العمل إلى أنه لكي تكون نماذج DLM متوازية حقاً، يجب أن تستوفي ثلاثة شروط في آن واحد: أشباء-مشتركة مستقرة عبر الترتيبات، وارتباط كلي شرطي يمكن التحكم فيه على مستوى الكتلة، ودعم لتوزيعات السياق المستقرة عبر الجداول الزمنية المختلفة.