📊 statistics

Uniform Diffusion Models Revisited: Leave-One-Out Denoiser and Absorbing State Reformulation

تعيد هذه الورقة مراجعة نماذج الانتشار الموحدة (Uniform Diffusion Models) من خلال تحديد عدم تطابق بين أهداف التدريب القياسية والديناميكيات العكسية المثلى، مقترحةً مُزيل ضجيج بنظام "استبعاد الواحد" (leave-one-out) وإعادة صياغة لحالة الامتصاص (absorbing-state) مما يحسن جودة التوليد بشكل كبير ويجسر فجوة الأداء مع نماذج الانتشار المقنعة (Masked Diffusion Models).

المؤلفون الأصليون: Samson Gourevitch, Yazid Janati, Dario Shariatian, Umut Simsekli, Eric Moulines, Eric P. Xing, Alain Durmus

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Samson Gourevitch, Yazid Janati, Dario Shariatian, Umut Simsekli, Eric Moulines, Eric P. Xing, Alain Durmus

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية كتابة قصة. يبدأ الروبوت بصفحة مليئة بالكلمات العشوائية والمبعثرة (ضجيج)، ويحتاج إلى تحويلها ببطء إلى جملة متماسكة. تسمى هذه العملية الانتشار (Diffusion).

هناك طريقتان رئيستان لبعثرة الكلمات قبل أن يحاول الروبوت إصلاحها:

الانتشار المقنع (Masked Diffusion - MDM): تقوم بتغطية بعض الكلمات بملصق أسود مكتوب عليه "قناع" (MASK). مهمة الروبوت هي تخمين الكلمة التي تقع تحت الملصق.
الانتشار الموحد (Uniform Diffusion - UDM): تأخذ كلمة وتستبدلها بكلمة عشوائية تماماً من القاموس. لا توجد ملصقات هنا؛ كل شيء مجرد خليط مبعثر.

لفترة طويلة، اعتقد الباحثون أن طريقة "القناع" أفضل لأنها تنتج نصوصاً ذات جودة أعلى. لكن هذه الورقة البحثية، "إعادة النظر في نماذج الانتشار الموحد" (Uniform Diffusion Models Revisited)، تجادل بأن طريقة "الموحد" كانت تُستخدم بشكل غير صحيح. وجد المؤلفون أن الطريقة التي كنا نعلم بها الروبوت لم تكن متوافقة مع الرياضيات، وبمجرد إصلاح طريقة التدريس، أصبحت طريقة "الموحد" جيدة بقدر طريقة "المقنع" (أو حتى أفضل منها).

إليك تفصيل لاكتشافاتهم الثلاثة الكبرى، مشروحة بتشبيهات بسيطة:

1. خطأ "ترك العنصر خارج الحسبة" (الطباخ معصوب العينين)

عندما يحاول الروبوت تخمين كلمة، فإنه ينظر إلى الصفحة الفوضوية.

الطريقة القديمة (المزيل للضجيج): ينظر الروبوت إلى الصفحة بأكملها، بما في ذلك الكلمة المحددة التي يحاول تخمينها، ويقول: "بناءً على كل ما أراه، بما في ذلك هذه الكلمة الفوضوية هنا، أعتقد أن الكلمة النظيفة هي 'تفاحة'".
المشكلة: في "الانتشار الموحد"، النظر إلى الكلمة الفوضوية في الواقع "يغش" الرياضيات. الأمر يشبه طباخاً يحاول تخمين وصفة حساء بينما يتذوق الملعقة المحترقة والمالحة التي يمسكها. طعم الملعقة (الضجيج) يفسد التخمين.
الحل (ترك العنصر خارج الحسبة - Leave-One-Out): أدرك المؤلفون أنه يجب تدريب الروبوت على تخمين الكلمة النظيفة دون النظر إلى النسخة الفوضوية لتلك الكلمة تحديداً. يجب عليه فقط النظر إلى الكلمات الأخرى في الصفحة ليقوم بتخمينه.
- تشبيه: تخيل أنك تحاول تخمين اللون المفضل لصديقك. إذا سألته: "ما هو لونك المفضل؟" وأجابك، فأنت تستخدم إجابته لتخمين إجابته. هذه عملية غش! بدلاً من ذلك، يجب أن تخمن بناءً على ما تعرفه عن شخصيته (الكلمات الأخرى) دون سؤاله مباشرة.
النتيجة: عندما دربوا الروبوت على استخدام طريقة "ترك العنصر خارج الحسبة" هذه، أصبح نموذج "الانتشار الموحد" فجأة أكثر ذكاءً، متفوقاً على أدائه السابق وملاحقاً لنماذج "الانتشار المقنع".

2. خدعة "الحالة الممتصة" (الممحاة السحرية)

أراد المؤلفون معرفة ما إذا كانت طريقة "القناع" تمتلك قوة سرية يفتقر إليها "الموحد". فابتكروا طريقة جديدة لتشغيل "الانتشار الموحد" تسمى AUDM (الانتشار الموحد بالحالة الممتصة).

المفهوم: تخيل أن لديك صفحة من النص. في "الانتشار الموحد" القياسي، يتم استبدال كل كلمة باستمرار وبشكل عشوائي. في هذه النسخة الجديدة، تتظاهر بأن بعض الكلمات "مقيدة" أو "ممتصة" (مثل أنها عالقة في حفرة).
السحر: أظهروا أنه إذا عاملت عملية "الموحد" بهذه الطريقة، فإنها تبدأ في تشبه عملية "المقنع" تماماً. الكلمات "المقيدة" تعمل تماماً مثل ملصقات "القناع".
الخلاصة: أثبت هذا أن الفرق بين الطريقتين ليس في نوع الضجيج (الاستبدال مقابل القناع)، بل كان الفرق في كيفية إعداد النماذج. من خلال استخدام خدعة "الحالة الممتصة"، تمكنوا من جعل نموذج "الموحد" يتصرف تماماً مثل نموذج "المقنع"، ليحصلوا على أفضل ما في العالمين.

3. "المتنبئ والمصحح" (مرور المحرر)

بمجرد أن يولد الروبوت قصة، فإنها لا تكون مثالية. عادةً، يتعين عليك إعادة تدريب الروبوت لجعلها أفضل.

الخدعة الجديدة: لأن المؤلفين اكتشفوا رياضيات "ترك العنصر خارج الحسبة"، فقد ابتكروا طريقة جديدة لإصلاح القصة بعد توليدها، دون الحاجة لإعادة تدريب الروبوت على الإطلاق.
كيف تعمل: يقوم الروبوت بتوليد جملة. ثم يقوم "مصحح" بالنظر إلى كلمة واحدة في كل مرة. ويسأل: "إذا تجاهلت هذه الكلمة المحددة ونظرت إلى بقية الجملة، هل لا تزال هذه الكلمة منطقية؟" إذا لم تكن كذلك، فإنه يستبدلها.
الفائدة: هذا يشبه قيام محرر بشري بعمل مراجعة سريعة للمسودة. إنه يجعل القصة النهائية أفضل بك كثيراً وأكثر تماسكاً، ولا يكلف أي قدر إضافي من قوة الحوسبة.

ملخص النتائج

كان "الانتشار الموحد" ضعيف الأداء ليس لأن الطريقة سيئة، بل لأن الهدف التدريبي كان خاطئاً.
إصلاح الهدف (باستخدام نهج "ترك العنصر خارج الحسبة") جعل نماذج "الانتشار الموحد" تولد نصوصاً أكثر وضوحاً ودقة.
الفجوة بين "المقنع" و"الموحد" ليست في الضجيج نفسه؛ بل في الرياضيات وحيل أخذ العينات المستخدمة لتنظيفه.
أدوات جديدة: قدموا "ممحاة سحرية" (الحالة الممتصة) لتحويل "الموحد" إلى "مقنع"، و"محرراً سريعاً" (المتنبئ والمصحح) لإصلاح النصوص فورياً.

باختصار، تقول الورقة البحثية: "كنا نظن أن 'الانتشار الموحد' هو الأخ الأضعف، لكنه كان يحتاج فقط إلى النظارات الصحيحة ليرى بوضوح. وبمجرد وضع النظارات الصحيحة (رياضيات ترك العنصر خارج الحسبة)، تبين أنه قوي بقدر طريقة 'المقنع' الشهيرة".

ملخص تقني: إعادة النظر في نماذج الانتشار الموحد (Uniform Diffusion Models)

بيان المشكلة

ظهرت نماذج الانتشار المنفصلة (Discrete Diffusion Models) كبديل تنافسي للنماذج ذات التوليد ذات الترتيب الذاتي (Autoregressive Generation) في المجالات اللغوية والمنظمة المنفصلة. يوجد نموذجان أساسيان: نماذج الانتشار المقنعة (MDM)، التي تستبدل الرموز (Tokens) برمز قناع مخصص، ونماذج الانتشار الموحدة (UDM)، التي تستبدل الرموز برمز يتم سحبه بشكل موحد من المفردات. وبينما أظهرت نماذج MDM مؤخرًا تشتتًا (Perplexity) أفضل عند أحجام المفردات الكبيرة، فإن الأسباب الجوهرية للفجوة في الأداء بين MDM وUDM لا تزال غير واضحة. وتحديدًا، ليس من المؤكد ما إذا كانت هذه الفجوة ناتجة عن الاختلافات الجوهرية في هوامش التشويه (Corruption Marginals) الخاصة بها (القناع مقابل الضجيج الموحد)، أم أنها ناتجة عن خيارات المعلمة (Parameterization) ومخططات أخذ العينات (Sampling Schemes) المقترنة بكل عملية.

علاوة على ذلك، غالبًا ما تستخدم تطبيقات UDM القياسية معلمة "وصلة الجسر" (Bridge Plug-in)، حيث تتنبأ الشبكة العصبية ببديل للرمز النظيف $\hat{x}_0(x_t, t)$ والذي يتم دمجه مباشرة في جسر الانتقال العكسي. ويبرز هنا سؤال نظري حرج: هل تقوم معلمة الوصلة هذه بتحسين التوزيع اللاحق لتقليل الحد الأدنى للأدلة (ELBO) عند التوزيع اللاحق لإزالة الضجيج القياسي $p_0|t(x_0|x_t)$ ، أم أنها تحسن هدفًا مختلفًا؟

المنهجية والمساهمات الرئيسية

تعيد الورقة النظر في نماذج UDM من خلال منظورين متكاملين: تحسين معلمة النواة العكسية وإعادة صياغة العملية الأمامية.

1. مثالية "ترك الواحد خارجًا" (Leave-One-Out - LOO) في نماذج UDM ذات الوصلة

يوضح المؤلفون أنه بالنسبة لنماذج UDM، فإن معلمة وصلة الجسر القياسية لا تقلل من الحد الأدنى للأدلة (ELBO) عند التوزيع اللاحق لإزالة الضجيج القياسي. بدلاً من ذلك، فإن التنبؤ الأمثل لمعلمة الوصلة هو التوزيع اللاحق لترك الواحد خارجًا (LOO posterior).

عدم التطابق: في نماذج MDM، يكون الجسر خطيًا بالنسبة للرمز النظيف، مما يجعل معلمة الوصلة ومعلمة الهامش يتطابقان، مع كون التوزيع اللاحق لإزالة الضجيج هو الأمثل. أما في نماذج UDM، فيكون الجسر غير خطي بسبب حد التطبيع (Normalization term). وبناءً على ذلك، تستهدف معلمة الوصلة كمية يكون فيها التنبؤ بالرمز النظيف عند الموضع $\ell$ مشروطًا بجميع الرموز المشوشة باستثناء الرمز الموجود في الموضع $\ell$ (أي $p(x_0^\ell | x_t^{-\ell})$ ).
الاشتقاق النظري: تشتق الورقة صيغ تحويل دقيقة بين منقي الضجيج القياسي، وتوزيع LOO اللاحق، والدرجة الملموسة (Concrete Score). وتسمح هذه الصيغ بـ:
- تدريب متنبئ LOO باستخدام دالة فقدان الإنتروبيا المتقاطعة (Cross-Entropy) القياسية عن طريق تحويل مخرجات الشبكة.
- تحويل منقي الضجيج المدرب إلى تمثيل LOO المطلوب لأخذ عينات مستنيرة دون الحاجة لتدريب إضافي.
الآثار المعمارية: التوزيع اللاحق لـ LOO ثابت هيكليًا تجاه الملاحظة المحلية $x_t^\ell$ . وبينما تفرض "محولات التجويف" (Hollow Transformers) -التي تمنع صراحةً الانتباه إلى الموضع الحالي- هذا الثبات، يوضح المؤلفون أن آليات الانتباه القياسية يمكنها تعلم هذا الثبات، كما أن حساسية التنبؤ للرمز المحلي تعمل كأداية تشخيص لعدم المثالية.

2. إعادة الصياغة بحالة الامتصاص (AUDM و MUDM)

لسد الفجوة بين UDM وMDM، تقترح الورقة إعادة صياغة الانتشار الموحد كـ عملية حالة امتصاص (Absorbing-state process) مشروطة بمتغيرات كامنة.

الانتشار الموحد ذو حالة الامتصاص (AUDM): تُنظر العملية الأمامية كخليط من انتقالات حالة الامتصاص حيث تكون الحالة الممتصة في كل موضع عبارة عن رمز عشوائي يتم سحبه من التوزيع الموحد. هذا البناء يحافظ على قانون UDM المشترك ولكنه يفككه إلى عمليات تشبه عملية إزالة القناع (Unmasking) في MDM.
الانتشار الموحد المقنع (MUDM): من خلال الشرط بمتغيرات زمن الانتقال الكامنة، توضح الورقة أنه يمكن رسم خريطة دقيقة لمشكلة إزالة الضجيج في UDM لتصبح مشكلة إزالة ضجيج في MDM. وهذا يسمح بإعادة استخدام منقيات MDM لتعريف نموذج ذي هوامش UDM.
آلية إعادة أخذ العينات: يقدم المؤلفون خطوة إعادة أخذ عينات للحالات الممتصة (أو أزمنة الانتقال) أثناء السلسلة العكسية. هذا المُنقّي "المرفوع" (Lifted Sampler) المعروف بـ (ReAUDM) يستعيد قانون السلسلة العكسية الدقيق لـ UDM مع وراثة التبسيطات الهيكلية وخصائص الاستمرارية (Carry-over) الموجودة في الانتشار المقنع.

3. تحسينات الاستدلال

بالاستفادة من تمثيل LOO، تقدم الورقة منقّي-مصحح (Predictor-Corrector Sampler) لا يتطلب تدريب نموذج إضافي.

يوفر توزيع LOO اللاحي التوزيع الشرطي الدقيق للموضع الواحد المطلوب لخطوة مصحح جيبس (Gibbs corrector).
يمكن تطبيق هذا المصحح على منقي الضجيج المدرب قياسيًا (بعد التحويل) أو على متنبئ LOO أصلي، مما يحسن جودة العينات بشكل كبير بتكلفة حسابية منخفضة.

النتائج التجريبية

يتحقق المؤلفون من رؤاهم النظرية عبر مهام نمذجة اللغة واسعة النطاق (LM1B, OpenWebText) ومهمة سودوكو أصغر نطاقًا.

المعلمة (Parameterization): عبر جميع مجموعات البيانات وأهداف التدريب (الإنتروبيا المتقاطعة وELBO)، تفوقت النماذج المجهزة بـ هدف LOO باستمرار على نظيراتها من منقيات الضجيج القياسية من حيث التشتت (Perplexity) في التحقق وأمامت التوليد (Gen-PPL مقابل الإنتروبيا).
كفاءة التدريب: يحقق استخدام هدف LOO مع دالة فقدان الإنتروبيا المتقاطعة القياسية أداءً يضاهي تدريب ELB للزمن المستمر ولكن مع تنفيذ أبسط.
أخذ العينات: يؤدي تطبيق أخذ عينات top-p أو درجة الحرارة (Temperature) على تمثيل LOO (بدلاً من المنقي الخام) إلى تحسين التوليد. كما أن منقّي-المصحح المقترح، الذي يستخدم شرطي LOO، يتفوق بشكل واضح (Pareto-dominates) على حدود أخذ العينات السلفي (Ancestral Sampling).
AUDM مقابل MDM: تطابق نماذج AUDM ونموذج ReAUDM أداء نماذج MDM أو تتفوق عليها في مهام النقل الصفري (Zero-shot transfer) وأمامت التوليد، مع تحسين الاحتمالية (Likelihood) ضمن عائلة الانتشار الموحد.
السودوكو: في مهمة السودوكو، حققت معلمات LOO دقة تقارب الكمال، متفوقة على نماذج MDM.

الأهمية والادعاءات

تخلص الورقة إلى أن فجوة الأداء التجريبية بين الانتشار المقنع والموحد مدفوعة بدرجة أقل باختيار الهوامش نفسها (القناع مقابل الضجيج الموحد) وبدرجة أكبر بالمعلمة وتصميم أخذ العينات المرتبط بها.

التوحيد: يوضح إعادة الصياغة بحالة الامتصاص أن المزايا الهيكلية للانتشار المقنع (الاستمرارية، والبوستيريور الأبسط) يمكن نقلها إلى الانتشار الموحد دون تغيير القانون المشترك الأساسي.
هدف التحسين: إن تحديد التوزيع اللاحق لـ LOO كهدف أمثل لـ UDMs ذات الوصلة يحل عدم التطابق النظري ويوفر هدف تدريب عملي وعالي الأداء.
الأثر العملي: يقدم العمل تحسينات فورية للاستدلال دون الحاجة لتدريب (عبر تحويل LOO ومنقّي-المصحح) واستراتيجية معلمة جديدة تحسن باستمرار جبهة التوليد لنماذج UDM.

يشير المؤلفون إلى أنه بينما يعد تفوق LOO قويًا تجريبيًا، فإن التفسير النظري لتفوقه في جبهة التوليد يظل سؤالًا مفتوحًا. بالإضافة إلى ذلك، بينما يحسن AUDM الاحتمالية، فإن أفضل جبهات التوليد لا تزال تحققها نماذج UDM المجهزة بمعلمة LOO، مما يشير إلى وجود مجال إضافي للتحسين في نماذج حالة الامتصاص.