💬 NLP

Stability-Weighted Decoding for Diffusion Language Models

تقدم هذه الورقة "فك التشفير الموزون بالاستقرار" (Stability-Weighted Decoding - SWD)، وهي استراتيجية خالية من التدريب لنماذج الانتشار اللغوية تستفيد من عدم الاستقرار الزمني للرموز لمنع كشف القناع المبكر، مما يحسن بشكل كبير من دقة التوليد ومتانته في مهام البرمجة والرياضيات.

المؤلفون الأصليون: Yue Wu, Jian Huang

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yue Wu, Jian Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز معقد، ولكن بدلاً من وضع القطع واحدة تلو الأخرى من اليسار إلى اليمين (مثل الذكاء الاصطناعي التقليدي)، لديك صندوق سحري يبدأ باللغز كاملاً مغطى بالضباب. هدفك هو إزالة الضباب وكشف الصورة.

تعمل نماذج اللغة الانتشارية (dLLMs) مثل هذا الصندوق السحري. فهي تبدأ بجملة مغطاة بالضباب تماماً، ثم تحاول خطوة بخزوة تخمين الكلمات التي تنتمي إلى كل مكان، لتكشف بضعة مواضع في كل مرة. ولأنها تستطيع تخمين العديد من المواضع في وقت واحد، فهي أسرع بكثير من النماذج التقليدية.

ومع ذلك، هناك مشكلة كبيرة: الضباب مخادع.

المشكلة: "الثقة المزيفة"

تخيل أنك تنظر إلى بقعة ضبابية في لغزك. للحظة خاطفة، ينجلي الضباب بما يكفي لتبدو الكلمة وكأنها "كلب" (Dog). تشعر بثقة كبيرة وتصرخ: "إنه كلب!"، ثم تثبت تلك القطعة في مكانها.

ولكن بعد ذلك، وبينما تزيل الضباب من حولها، تدرك أن السياق يتطلب في الواقع كلمة "جذع شجرة" (Log). لقد كان "الكلب" مجرد خدعة من الضوء — وهماً لحظياً. ولأنك ثبّتّه في وقت مبكر جداً، فقد فسدت بقية قطع اللغز الآن.

النماذج الحالية للذكاء الاصطناعي ترتكب هذا الخطأ باستمرار. فهي تنظر إلى لحظة واحدة من الزمن، وترى كلمة تبدو "واثقة"، فتقوم بتثبيتها. إنها تتجاهل حقيقة أن الكلمة قد تكون غير مستقرة — بمعنى أنها تغير رأيها في كل مرة ينظر إليها الذكاء الاصطناعي مجدداً.

الحل: فك التشفير الموزون بالاستقرار (SWD)

يقترح مؤلفو هذه الورقة استراتيجية جديدة تسمى فك التشفير الموزون بالاستقرار (SWD). فكر فيها كـ "مرشح الصبر" للذكية الاصطناعي.

بدلاً من مجرد السؤال: "ما مدى ثقتك الآن؟"، يسأل SWD: "هل كنت واثقاً لفترة من الوقت، أم أنك تمر بتقلبات مزاجية فقط؟"

إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:

1. كاشف "التقلبات المزاجية" (تباعد KL)

تخيل أنك تجري مقابلة لمرشح لوظيفة ما.

المرشح (أ): يقول "أنا أحب هذه الوظيفة!" ويستمر في قول الشيء نفسه، وبنفس الحماس، لمدة 10 دقائق متواصلة.
المرشح (ب): يقول "أنا أحب هذه الوظيفة!" ولكن بعد 5 ثوانٍ يقول "في الواقع، ربما أكرهها"، وبعد 5 ثوانٍ أخرى يقول "لا، أنا أحبها!".

الذكاء الاصطناعي الحالي يعامل كلاهما على أنهما "واثقان" لأنهما قالا "أنا أحب هذه الوظيفة" في لحظة المقابلة.
SWD ينظر إلى التاريخ. إنه يرى أن المرشح (ب) غير مستقر. يدرك أن المرشح (ب) من المرجح أن يغير رأيه بمجرد رؤية بقية الفريق (السياق). لذا، يقول SWD: "لا يمكننا توظيف المرشح (ب) بعد. دعونا ننتظر حتى يتوقف عن الاهتزاز".

من الناحية التقنية، تحسب الورقة تباعد KL. وهذه مجرد طريقة رياضية معقدة لقياس "مقدار تغير إجابتك من الثانية الماضية إلى هذه الثانية؟". إذا تغيرت الإجابة كثيراً، فإن "درجة عدم الاستقرار" تكون عالية.

2. "العقوبة" (المعدّل)

يأخذ SWD درجة ثقة الذكاء الاصطناعي الأصلية ويطبق عليها عقوبة إذا كان المرشح غير مستقر.

ثقة عالية + استقرار عالٍ = درجة عالية جداً (افتح الكلمة/ثبّت الكلمة!)
ثقة عالية + عدم استقرار عالٍ = درجة منخفضة (أبقِ الضباب على هذه الكلمة في الوقت الحالي.)

إنه يشبه حارس الأمن في ملهى ليلي. حتى لو كنت تملك بطاقة VIP (ثقة عالية)، إذا كنت تتصرف بشكل مضطرب وغير مستقر (عدم استقرار عالٍ)، فإن الحارس (SWD) لن يسمح لك بالدخول بعد. إنهم يجعلوك تنتظر في الردهة حتى تهدأ.

لماذا يهم هذا؟

تظهر الورقة أنه باستخدام "مرشح الصبر" هذا، يرتكب الذكاء الاصطناعي أخطاء أقل.

أخطاء أقل في الهلوسة: يمنع الذكاء الاصطناعي من تثبيت الإجابات الخاطئة لمجرد أنها بدت جيدة للحظة عابرة.
نتائج أسرع: للمفارقة، من خلال الانتظار لفترة أطول قليلاً للتأكد من صحة الكلمة، ينهي الذكاء الاصطناعي اللغز بالكامل بشكل أسرع لأنه لا يضطر للعودة وإصلاح الأخطاء الجسيمة لاحقاً.
يعمل في كل مكان: لا يهم ما إذا كان الذكاء الاصطناعي يكتب كوداً برمجياً، أو يحل مسائل رياضية، أو يكتب قصة. هذا "المرشح للصبر" يعمل فوق أي نظام ذكاء اصطناعي موجود دون الحاجة لإعادة تدريب النموذج.

الخلاصة

تعلمنا هذه الورقة أن الثقة ليست كل شيء؛ بل الاستمرارية هي الأهم.

في عالم الذكاء الاصطناعي، مجرد كون النموذج يعتقد أنه يعرف الإجابة الآن لا يعني أنه من الآمن الالتزام بتلك الإجابة. من خلال إضافة فحص بسيط لمعرفة ما إذا كانت إجابة النموذج "مهتزة" أو "ثابتة"، يمكننا جعل هذه النماذج القوية الجديدة أكثر ذكاءً، وأكثر موثوقية، وأسرع بشكل مفاجئ.

إن SWD ببساطة يعلم الذكاء الاصطناعي أن "يفكر في الأمر ملياً" قبل اتخاذ قرار نهائي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الترميز الموزون بالاستقرار لنماذج اللغات الانتشارية" (Stability-Weighted Decoding for Diffusion Language Models).

1. بيان المشكلة

تقوم نماذج اللغات الانتشارية الضخمة (dLLMs) بتوليد النصوص من خلال إزالة الضجيج بشكل متكرر من تسلسل مغطى بالكامل (fully masked)، حيث يتم كشف مجموعة فرعية من الرموز (tokens) في كل خطوة. وبخلاف النماذج التوليدية ذات الترتيب التلقائي (Autoregressive)، تسمح هذه النماذج بالترميز المتوازي، مما يوفر نظرياً كفاءة أعلى. ومع ذلك، يوجد عائق حرج في اختيار الرموز: وهو تحديد الرموز المغطاة التي أصبحت موثوقة بما يكفي ليتم كشفها في أي خطوة معينة.

القيود الحالية: تعتمد استراتيجيات الترميز الحالية على مقاييس ثقة ثابتة (مثل: درجة الثقة، الهامش، أو الإنتروبيا) يتم حسابها عند لحظة زمنية واحدة. هذه الأساليب القائمة على "اللقطات" (snapshot-based) تتجاهل التاريخ الزمني لتوزيع تنبؤ الرمز.
المشكلة الجوهرية: غالباً ما تظهر الرموز عدم استقرار زمني؛ فقد تظهر ثقة عالية عابرة ولكنها تتذبذب بشكل كبير مع تطور السياق. الاعتماد فقط على المقاييس الثابتة يؤدي إلى الالتزام المبكر، حيث يتم كشف الرموز غير المستقرة في وقت مبكر جداً، مما يؤدي إلى تثبيت الأخطاء التي تنتشر عالمياً، مما يقلل من جودة التوليد، خاصة في مهام الاستدلال المعقدة.

2. المنهجية: الترميز الموزون بالاستقرار (SWD)

يقترح المؤلفون الترميز الموزون بالاستقرار (SWD)، وهو استراتيجية "تعمل بمجرد التوصيل" (plug-and-play) ولا تتطلب إعادة تدريب، وتدمج الاستقرار الزمني في آلية تسجيل درجات الرموز.

أ. الأساس النظري

تؤسس الورقة رابطاً معلوماتياً دقيقاً بين عدم الاستقرار الزمني والاعتماد على السياق المغطى.

مبرهنة (حد الحساسية والتبعية): إن عدم الاستقرار الزمني للرمز، والذي يُقاس عبر تباعد كولباك - ليبلر (KL divergence) بين توزيعات تنبؤاته في الخطوات المتتالية ( $D_{KL}(p_t || p_{t+1})$ )، يعمل كـ حد أدنى صارم للمعلومات المتبادلة بين الرمز والسياق المغطى المتبقي.
الاستنتاج: إذا تغير توزيع الرمز بشكل جذري (تباعد KL مرتفع) مع تحسن السياق، فهذا يعني أن الرمز لا يزال مرتبطاً بشدة بالمستقبل المجهول. ومن الناحية الرياضية، يعد كشف مثل هذا الرمز أمراً غير آمن.

ب. خوارزمية SWD

تعيد SWD صياغة اختيار الرموز كـ مشكلة تحسين مقيدة بالمخاطر: تعظيم منفعة الثقة مع مراعاة قيد الاستقرار.

الدرجة الأساسية: ابدأ بأي درجة قياسية $S_{base}(i)$ (مثل: الثقة، الهامش، أو الإنتروبيا).
تعديل الاستقرار: احسب عدم الاستقرار $D^{(i)}_{temp}$ (تباعد KL) بين الخطوة الحالية $t$ والخطوة السابقة $t+1$ .
دالة التسجيل: تُحسب الدرجة النهائية كالتالي:
$S_{SWD}(i) = S_{base}(i) \cdot \exp(-\lambda \cdot D^{(i)}_{temp})$
حيث $\lambda$ هو معلم فائق (hyperparameter) يتحكم في قوة العقوبة.
الآلية: يتم خفض أوزان الرموز ذات عدم الاستقرار العالي (تباعد KL كبير) بشكل أسي، مما يمنع النموذج من الالتزام بها حتى تستقر تنبؤاتها.

ج. التنفيذ

العمل بمجرد التوصيل (Plug-and-Play): لا تتطلب SWD إعادة تدريب النموذج أو تغييرات في البنية الهيكلية.
الكفاءة: تتطلب فقط تخزين قيم الـ (logits/probabilities) من التكرار السابق. العبء الحسابي ضئيل (حساب تباعد KL يمثل حوالي 3-4% من زمن التأخير الإجمالي)، بينما تقلل بشكل كبير من إجمالي عدد تقييمات الدالة (NFE) عبر تجنب انتشار الخطأ.

3. المساهمات الرئيسية

الرؤية النظرية: إثبات أن عدم الاستقرار الزمني هو حد أدنى صارم للمعلومات المتبادلة بين الرمز والسياق غير المكشوف، مما يوفر مبرراً رياضياً لقيود الاستقرار.
المعدل الشامل: تقديم SWD كاستراتيجية لا تتطلب تدريباً ومتوافقة مع أي سياسة ترميز قائمة على الدرجات (الثقة، الهامش، الإنتروبيا) واستراتيجية اختيار (Top-k، العتبة، أو EB-Sampler).
التحقق التجريبي: إثبات التحسن المستمر في الأداء عبر نماذج متنوعة (LLaDA-8B، Dream-7B) ومعايير مختلفة (توليد الكود، الاستدلال الرياضي).

4. النتائج التجريبية

قيم المؤلفون SWD على HumanEval و MBPP (البرمجة) و GSM8K و MATH500 (الرياضيات) باستخدام LLaDA-8B و Dream-7B.

التحسينات في الدقة:
- LLaDA-8B: حسنت SWD دقة HumanEval من 28.0% إلى 36.0% (مقارنة بأساس الثقة) ودقة MATH500 من 19.6% إلى 26.2%.
- Dream-7B: لوحظت مكاسب كبيرة، خاصة في MATH500، حيث قفزت الدقة من 10.8% إلى 35.0% (انخفاض هائل في الهلوسة).
الكفاءة (NFE): قللت SWD باستمرار من عدد تقييمات الدالة (NFE) مع الحفاظ على الدقة أو تحسينها. على سبيل المثال، في LLaDA-8B مع تسجيل الثقة، انخفض NFE من 102.9 إلى 77.2 بينما زادت الدقة.
المتانة:
- أنظمة التسريع: حافظت SWD على دقة عالية حتى تحت ظروف التسريع القوي (نسب تسريع عالية)، بينما عانت الأساليب المرجعية من انهيار الأداء.
- سياسات الاختيار: تفوقت SWD على الأساليب المرجعية عبر استراتيجيات Top-1 و Threshold و EB-Sampler.
المقارنة مع أحدث التقنيات (SOTA): تفوقت SWS على الأساليب الأخرى التي تراعي التاريخ مثل KLASS و CreditDecoding، وحسنت أداءها أيضاً عند الدمج معها (رغم وجود تناقص في العوائد بسبب تكرار الإشارات).

5. الأهمية

حل مشكلة "الالتزام المبكر": تعالج SWD خللاً جوهرياً في عملية الترميز الحالية لنماذج dLLM من خلال ضمان كشف الرموز فقط عندما تكون مستقرة إحصائياً، وليس فقط عندما تظهر ثقة مؤقتة.
الربط بين النظرية والتطبيق: قامت بترجمة حد معلوماتي مجرد (تباعد KL كوسيط للتبعية) إلى خوارزمية ترميز عملية وخفيفة الوزن.
القابلية للتوسع: كطريقة لا تتطلب تدريباً، يمكن تطبيق SWS فوراً على نماذج dLLM الحالية لتعزيز أدائها في مهام الاستدلال المعقدة وتوليد الكود دون تكلفة إعادة الضبط الدقيق (fine-tuning).
الاتجاه المستقبلي: تشير الورقة إلى أن الترميز الواعي بالاستقرار هو مبدأ قابل للتعميم ويمكن أن يمتد إلى نماذج الانتشار متعددة الوسائط (multimodal) ومخططات إعادة التغطية (re-masking) الأكثر مرونة.

في الختام، يقدم الترميز الموزون بالاستقرار آلية بسيطة وقوية لتعزيز موثوقية وكفاءة نماذج اللغات الانتشارية من خلال معاقبة عدم الاستقرار الزمني صراحةً، مما يمنع النموذج من التورط في الأخطاء أثناء عملية التوليد التكرارية.