Locally Coherent Parallel Decoding in Diffusion Language Models

تخيل أنك تحاول كتابة قصة معقدة، مثل نص برمجي بلغة بايثون، ولكن لديك قيد محدد للغاية: يجب عليك كتابة القصة بأكملة دفعة واحدة، بدلاً من كتابتها كلمة بكلمة.

هذا هو التحدي الذي تواجهه نماذج لغة الانتشار (Diffusion Language Models - DLMs). فخلافاً لنماذج الذكاء الاصطناعي القياسية التي تكتب جملة بجملة (مثل شخص يكتب على لوحة المفاتيح)، تحاول نماذج DLM توليد النص بأكمله في وقت واحد، تماماً مثل رسام يملأ لوحة كاملة في جولة واحدة. هذا الأمر سريع للغاية، ولكنه يعاني من عيب رئيسي: وهو أنه غالباً ما ينتج كلاماً غير مفهوم (هراء).

إليك شرح بسيط للمشكلة وحل الورقة البحثية، CoDiLA، باستخدام تشبيهات من الحياة اليومية.

المشكلة: "الزحام الفوضوي"

تخيل غرفة مليئة بـ 100 شخص (نموذج الذكاء الاصطناعي) يحاولون كتابة جملة معاً. الجميع يصرخ بالكلمات في نفس الوقت، لكنهم لا يتحدثون مع بعضهم البعض.

• الشخص الأول يصرخ "def".
• الشخص الثاني يصرخ "merge".
• الشخص الثالث يصرخ "intervals".
• الشخص الرابع يصرخ "problem".

ولأنهم يعملون بشكل مستقل، فقد ينتهي بهم الأمر بإنشاء جملة لا معنى لها، مثل "def merge intervals problem". وفي البرمجة، هذا يؤدي إلى كسر قواعد اللغة (Syntax). النموذج بارع في تخمين الفكرة العامة (السياق العالمي/Global Context)، لكنه سيء جداً في التأكد من أن الكلمات المتجاورة مباشرة (السياق المحلي/Local Coherence) تتناسب مع بعضها البعض.

الحل القديم: "المشرف البطيء"

تضمنت المحاولات السابقة لإصلاح ذلك إضافة مشرف يقوم بمراجعة العمل كلمة بكلمة بعد أن يصرخ الحشد بالكلمات. لكن هذا يلغي الغرض من السرعة! الأمر يشبه توظيف معلم لتصحيح كل حرف في مقال الطالب قبل أن يتمكن الطالب من الانتقال إلى السطر التالي. هذا يبطئ كل شيء.

الحل: CoDiLA (نظام "قائد الفريق")

يقترح مؤلفو هذه الورقة نظاماً هجيناً يسمى CoDiLA (الانتشار المتماسك مع التراجع الذاتي المحلي). فكر في الأمر كبنية فريق مكونة من مستويين:

1. العقل الكبير (نموذج الانتشار): هذا هو "المهندس المعماري الشامل". ينظر إلى الصورة الكاملة ويقول: "حسناً، نحتاج إلى دالة هنا، ويجب أن تتعامل مع قائمة". إنه يولد مسودة أولية أو "سكيتش ناعم" لما يجب أن تكون عليه الكلمات القليلة التالية. هو لا يختار الكلمات الدقيقة بعد؛ بل يعطي فقط خريطة احتمالات (على سبيل المثال: "هذا الموضع مرجح بنسبة 80% أن يكون 'list'، و10% 'array'، و10% 'data'").

2. القائد المحلي (نموذج AR الصغير): هذا مساعد صغير وسريع جداً (يحتوي فقط على 0.6 مليار معلمة، مقارنة بـ 7 مليارات للمعوذ الرئيسي). مهمته هي النظر في "السكيتش الناعم" الذي وضعه العقل الكبير وإنهاء التفاصيل لمجموعة صغيرة من الكلمات (مثلاً 4 كلمات في كل مرة).

   • بدلاً من التخمين الأعمى، يقرأ القائد المحلي تلميحات العقل الكبير.
   • يقول: "العقل الكبير يعتقد أن هذه الكلمة هي 'list'، لذا سأتأكد من أن الكلمة التالية هي 'of' والكلمة التي تليها هي 'parentheses' للحفاظ على صحة القواعد".
   • يعمل مثل محرر محلي يضمن تدفق الجملة بسلاسة، ولكن فقط لمقاطع صغيرة من النص.

السر الخفي: "الاشتراط الناعم" (Soft-Conditioning)

الجزء الأكثر ذكاءً في CoDiLA هو كيفية تواصل العقل الكبير مع القائد المحلي.

• الطريقة القديمة (الصلبة): يقول العقل الكبير: "أعتقد أن الكلمة هي 'list'". إذا أخطأ العقل الكبير، يظل القائد المحلي عالقاً بكلمة خاطئة.
• طريقة CoDiLA (الناعمة): يقول العقل الكبير: "أنا متأكد بنسبة 80% أنها 'list'، ولكن ربما بنسبة 20% 'array'". هو ينقل هذا الشك/عدم اليقين إلى القائد المحلي.
• يستخدم القائد المحلي هذه المعلومات "الناعمة" لاتخاذ قرار أكثر ذكاءً. الأمر يشبه مدرب يخبر لاعباً: "الخطة هي تمريرة في الغالب، ولكن ابق عينك على الركض أيضاً". هذا يسمح للقائد المحلي بالتعافي من أخطاء العقل الكبير وضمان أن المخرجات النهائية سليمة لغوياً.

لماذا يهم هذا؟

• السرعة: لأن القائد المحلي لا يحتاج إلا لإصلاح كتل صغيرة من النص (4 كلمات) في كل مرة، فهو لا يبطئ العملية. النظام لا يزال يولد النص بالتوازي (بسرعة).
• الدقة: من خلال وجود محرر محلي يتحقق من الجيران المباشرين، يختفي "الكلام غير المفهوم". الكود يعمل بالفعل.
• الكفاءة: القائد المحلي صغير جداً. الأمر يشبه وجود مهندس معماري ضخم ومكلف (العقل الكبير) يصمم المنزل، ولكن هناك مراقب بناء صغير ورخيص (القائد المحلي) يتأكد من وضع الطوب بشكل مستقيم. أنت تحصل على أفضل ما في العالمين دون دفع تكلفة فريق ضخم.

النتيجة

تظهر الورقة البحثية أن هذه الطريقة تنتج كوداً أسرع من طرق الكتابة القياسية وأكثر دقة من الطرق السريعة السابقة. إنها تخلق "جبهة باريتو" (Pareto frontier) جديدة، مما يعني أنك لست مضطراً للاختيار بين السرعة والجودة؛ يمكنك الحصول على كليهما.

باختة القول: CoDiLA يشبه خط تجميع سريع ومتوازي حيث تقوم آلة ضخمة برسم الخطوط العريضة للمنتج، ويقوم روبوت صغير متخصص بصقل التفاصيل فوراً لضمان ملاءمة كل شيء لبعضه البعض، مما ينتج منتجاً عالي الجودة بسرعة البرق.