🤖 machine learning

The Diffusion Duality, Chapter II: $Ψ$ -Samplers

تقدم هذه الورقة عائلة من أخذ العينات بأسلوب "المتنبئ-المصحح" (Predictor-Corrector) للانتشار المنفصل التي تتغلب على هضبة الأداء الخاصة بأخذ العينات السلفي لتحسين جودة التوليد مع زيادة الخطوات، بينما تقترح أيضاً منهجاً تدريبياً فعالاً من حيث الذاكرة يتحدى المفهوم القائل بأن الانتشار المقنع هو المستقبل الأفضل لنمذجة اللغة.

المؤلفون الأصليون: Justin Deschenaux, Caglar Gulcehre, Subham Sekhar Sahoo

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Justin Deschenaux, Caglar Gulcehre, Subham Sekhar Sahoo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول كتابة قصة، ولكن بدلاً من البدء بصفحة بيضاء والكتابة كلمة بكلمة (كما يفعل الكاتب التقليدي)، تبدأ بصفحة مغطاة بالضجيج الساكن (static noise) وتقوم بتنظيفها تدريجياً حتى تظهر قصة متماسكة. هكذا تعمل نماذج الانتشار (Diffusion Models). إنها أدوات ذكاء اصطناعي قوية تُستخدم لإنشاء الصور والنصوص.

ومع ذلك، هناك عقبة. فعندما تحاول هذه النماذج توليد النصوص، غالباً ما تقع في حلقة مفرغة من "الجودة المقبولة فقط". إذا طلبت منها كتابة جملة طويلة، فقد تبدأ بقوة ولكن جودتها تتراجع مع الاستمرار، أو قد تقع في فخ تكرار نفس الأنماط.

هذه الورقة البحثية، بعنوان "ثنائية الانتشار، الفصل الثاني: Ψ-Samplers"، تقدم مجموعة جديدة من الأدوات (تسمى Duo++ و Ψ-samplers) التي تعالج هذه المشكلات. إليك التفاصيل بتبسيط شديد:

1. المشكلة: خطأ "المرة الواحدة والنهائية"

فكر في توليد النصوص التقليدي (مثل روبوتات الدردشة القياسية) كقطار يتحرك للأمام على سكة حديد. بمجرد أن يتجاوز القطار محطة ما، لا يمكنه العودة. إذا ارتكب الذكاء الاصطناعي خطأً في البداية، فعليه الاستمرار في الكتابة بناءً على هذا الخطأ، مما يؤدي غالباً إلى إفساد الجملة بأكملها.

بعض النماذج الأحدث (تسمى نماذج الانتشار المقنعة - Masked Diffusion Models) أفضل لأنها تستطيع "إعادة القناع" (إخفاء) كلمة ما والمحاولة مرة أخرى. لكن المؤلفين وجدوا أن النماذج التي ركزوا عليها (نماذج الانتشار ذات الحالة الموحدة - Uniform-State Diffusion Models) كانت أفضل في تصحيح الأخطاء مبكراً، لكنها اصطدمت بـ "سقف زجاجي". فمهما أعطيتهم من وقت للتفكير (خطوات أكثر)، فإن جودتهم تتوقف عن التحسن. كانوا مثل طالب يدرس بجد ولكنه يتوقف عن التعلم بعد نقطة معينة.

2. الحل: "المحرر وشبكة الأمان" (Ψ-Samplers)

ابتكر المؤلفون طريقة جديدة لتوليد النصوص تسمى Ψ-samplers. تخيل كاتباً يعمل على مسودة:

المتنبئ (المسودة): يخمن الذكاء الاصطناعي الكلمة التالية التي يجب أن تكون موجودة.
المصحح (المحرر): هذا هو الجزء السحري. في الطرق القديمة، بمجرد كتابة الكلمة، كانت تُغلق ولا يمكن تغييرها. في هذه الطريقة الجديدة، يُسمح لـ "المحرر" بأن يقول: "انتظر، هذه الكلمة لا تناسب السياق. لنخفِها ونحاول اختيار كلمة أخرى"، حتى لو كانت قد كُتبت بالفعل.

تسمي الورقة البحثية هذا النظام "المتنبئ-المصحح" (Predictor-Corrector). إنه يشبه وجود شبكة أمان تلتقط الذكاء الاصطناعي إذا بدأ في السقوط. وقد أثبت المؤلفون أنه بإضافة هذه "شبكة الأمان" (التي يسمونها Ψ-posterior)، يمكن للذكاء الاصطناعي الاستمرار في تحسين كتابته كلما تركته يفكر لفترة أطول. وخلافاً للطرق القديمة التي تصطدم بسقف زجاجي، فإن هذه العينات (samplers) الجديدة تستمر في التحسن كلما أعطيتها خطوات أكثر.

النتيجة:

بالنسبة للنصوص: تكتب الطريقة الجديدة جملًا أفضل وبارتباك أقل (Perplexity أقل) من أفضل الطرق السابقة، خاصة عند منحها وقتاً أطول للتفكير.
بالنسبة للصور: تنتج أيضاً صوراً أكثر حدة ووضوحاً (درجات FID أفضل على مجموعة بيانات CIFAR-10) مقار بما سبق.

3. خدعة الكفاءة: "القائمة الذكية" (Fast Curriculum)

تدريب نماذج الذكاء الاصطناعي هذه عادة ما يكون مثل محاولة قراءة قاموس حيث كل كلمة فيه لها نكهة مختلفة من الآيس كريم؛ عليك تذوق كل واحدة منها لتجد المزيج الصحيح. وهذا يتطلب قدراً هائلاً من ذاكرة الكمبيوتر والوقت.

أدرك المؤلفون أنه عندما "يفكر" الذكاء الاصطناعي أثناء التدريب، فإنه يهتم عادةً فقط بأفضل عدد قليل من "النكهات" (الكلمات) ويتجاهل البقية. أما النكهات الأخرى فهي غير مرجحة لدرجة أنها قد تكون صفراً.

لذا، قاموا ببناء "منهج سريع" (Fast Curriculum) (جدول زمني للتدريب). بدلاً من تذوق القاموس بأكمله، يستخدم الذكاء الاصطناعي الآن "قائمة ذكية" تنظر فقط إلى أفضل 2 أو 3 خيارات مرجحة.

التشبيه: تخيل أنك تطلب طعاماً. بدلاً من قراءة قائمة تضم 10,000 عنصر، تنظر فقط إلى أفضل 3 عناصر يوصي بها الطاهي. ستحصل على نفس الوجبة الرائعة، لكنك ستوفر 33% من الوقت والذاكرة.
النتيجة: قاموا بتدريب النموذج بسرعة أكبر بنسبة 25% واستخدموا ذاكرة أقل بنسبة 33%، دون خسارة أي جودة في المنتج النهائي.

ملخص الادعاءات

تدعي الورقة البحثية ثلاثة أمور رئيسية:

طريقة عينات جديدة: ابتكروا طريقة عامة (Ψ-samplers) تسمح للذكاء الاصطناعي بـ "إعادة القناع" وتصحيح أخطائه أثناء توليد النصوص والصور، مما يؤدي إلى نتائج أعلى جودة تستمر في التحسن مع مرور الوقت.
أداء أفضل: يتفوق نموذجهم الجديد (Duo++) على النماذج الرائدة السابقة في توليد النصوص (OpenWebText) وتوليد الصور (CIFAR-10).
الكفاءة: جعلوا عملية التدريب أرخص وأسرع بكثير من خلال تجاهل "الضجيج" في البيانات، مما قلل استخدام الذاكرة بمقدار الثلث وسرّع التدريب بمقدار الربع.

باختصار، لقد منحوا الذكاء الاصطناً محرراً أفضل وطريقة أذكى للدراسة، مما يجعله يكتب قصصاً أفضل ويرسم صوراً أوضح دون الحاجة إلى حاسوب خارق للقيام بذلك.

ملخص تقني: ثنائية الانتشار، الفصل الثاني: $\Psi$ -samplers (أخذ العينات بـ $\Psi$ )

بيان المشكلة

برزت نماذج الانتشار المنفصلة (Discrete diffusion models) كبديل قوي للنماذج ذات الترتيب الذاتي (autoregressive models) في توليد النصوص والصور، حيث توفر فك تشفير متوازٍ وسياقاً ثنائي الاتجاه. ومن بين هذه النماذج، تتفوق نماذج الانتشار ذات الحالة الموحدة (USDMs) في التوليد في خطوات قليلة وفي المهام الموجهة، وذلك بفضل قدرتها على التصحيح الذاتي عبر مراجعة الرموز (tokens) عدة مرات. ومع ذلك، تواجه نماذج USDMs عائقين حرجين:

ثبات جودة أخذ العينات (Sampling Quality Plateau): تفشل أخذ العينات السلفية (ancestral samplers) القياسية لنماذج USDMs في تحسين جودة التوليد مع زيادة عدد خطوات أخذ العينات (NFEs)، على عكس أدائها في أنظمة الخطوات القليلة.
عدم كفاءة التدريب: إن المحاولات السابقة لتقليص فجوة الاحتمالية (likelihood gap) بين نماذج USDMs ونماذج الانتشار المقنعة (MDMs) عبر التعلم المنهجي (curriculum learning) (مثل نموذج Duo) مكلفة حاسوبياً، حيث تتطلب استهلاكاً عالياً للذاكرة وأوقات تدريب طويلة بسبب الحاجة إلى تجسيد متجهات كامنة عالية الأبعاد خلال مرحلة التدريب.

بينما تحقق نماذج الانتشار المقنعة (MDMs) عموماً احتمالات أعلى، إلا أنها تعاني من أخطاء تراكمية أثناء الاستدلال لأن الرموز، بمجرد إزالة القناع عنها، لا يمكن إعادة تقنيعها. وقد حسنت الأعمال الحديثة في طرق المتنبئ-المصحح (Predictor-Corrector - PC) (مثل ReMDM) من نماذج MDMs من خلال السماح بإعادة التقنيع (remasking)، لكن التطورات المماثلة لنماذج USDMs ظلت غير مستكشفة بشكل كافٍ، حيث غالباً ما تؤدي طرق PC الحالية لنماذج USDMs أداءً أقل من أخذ العينات السلفي.

المنهجية

يقدم البحث إطار عمل Duo++، الذي يعالج هذه التحديات من خلال ابتكارين رئيسيين: $\Psi$ -samplers للاستدلال، ومنهج تدريب قابل للتوسع للتدريب.

1. $\Psi$ -posteriors و $\Psi$ -samplers

يقترح المؤلفون عائلة من اللاحقات غير الماركوفية (non-Markovian posteriors)، تسمى $\Psi$ -posteriors، والتي تعمم طرق PC السابقة لتشمل أي توزيعات ضوضاء مسبقة (سواء كانت مقنعة أو موحدة).

التعريف: تُعرف $\Psi$ -posterior بأنها تراكب خطي لللاحقة العكسية القياسية ( $q_{s|t}$ ) والهامش للعملية الأمامية ( $q_s$ ):
$\Psi_{s|t}(\cdot|x^\ell, z^\ell_t) = \kappa_t q_{s|t}(\cdot|z^\ell_t, x^\ell) + (1-\kappa_t) q_s(\cdot|x^\ell)$
حيث $\kappa_t \in [0, 1]$ هو معامل يعتمد على الزمن.
الآلية: تسمح هذه الصيغة لأخذ العينات بحقن الضوضاء (عبر حد $q_s$ $q_{s}$ ) أثناء عملية التوليد.
- بالنسبة لـ MDMs، يتيح ذلك إعادة التقنيع (remasking): حيث يمكن للرموز التي تم فك تشفيرها سابقاً أن تعود إلى حالة القناع إذا ارتكب المُنقي (denoiser) خطأً، مما يصحح الأخطاء التراكمية.
- بالنسبة لـ USDs، يضمن ذلك أن يحتفظ كل رمز باحتمالية غير صفرية ليتم أخذ عيناته، حتى لو خصص له المُنقي احتمالاً قريباً من الصفر، مما يمنع أخذ العينات من العلوق في الحلول المحلية المثلى (local optima).
الضمان النظري: تم بناء $\Psi$ -posteriors لتتشارك نفس الهوامش (marginals) مع عملية الانتشار المنفصلة الماركوفية القياسية. وهذا يضمن أنه، في حال توفر عينات كافية، ستتقارب العملية نحو توزيع البيانات الصحيح.
التعميم: يستوعب هذا الإطار طرق PC الحالية (مثل ReMDM، وCampbell et al.، وGat et al.) كحالات خاصة حيث يتم اختيار جداول زمنية محددة لـ $\kappa_t$ .

2. منهج تدريب قابل للتوسع لتدريب أسرع

لمعالجة الاختناق الحسابي لاستراتيجية التعلم المنهجي المقترحة في Duo (Sahoo et al., 2025a)، قدم المؤلفون تنفيذاً فعالاً من حيث الذاكرة.

استغلال التشتت (Sparsity): تستبدل المنهجية الأصلية مدخلات الرموز المنفصلة بتخفيفات "softmax" منخفضة الحرارة لمتجهات غاوس (Gaussian latents). بالنسبة لقواميس الكلمات الكبيرة ( $K > 100,000$ )، يكون تجسيد متجه الوزن $K$ -أبعادي كاملاً أمراً غير ممكن.
تقريب Top- $k$ : لاحظ المؤلفون أنه عند درجات الحرارة المنخفضة، يكون توزيع softmax متشتتاً، حيث يتركز الثقل على عدد قليل من المدخلات فقط. لذا اقترحوا تقريب الجمع الخطي الكامل باستخدام مدخلات top- $k$ فقط ( $k \ll K$ ).
أخذ عينات فعال: بدلاً من توليد المتجه الكامل وفرزه، تستخدم الطريقة الإحصاءات الرتبوية (order statistics) لأخذ قيم top- $k$ وفهارسها مباشرة من توزيعات غاوس الأساسية دون الحاجة لتجسيد المتجه الكامل.
التطبيع (Normalization): تم اشتقاق تعبير مغلق لتقريب مُطبع softmax ( $\tilde{Z}$ ) من خلال مراعاة حدود top- $k$ المأخوذة والمساهمة المتوقعة للمصطلحات غير المأخوذة.
الكفاءة: يقلل هذا النهج من ذروة استخدام الذاكرة بنسبة 33% ويسرع التدريب بنسبة 25% مع الحفاظ على نفس أداء الاحتمالية.

المساهمات الرئيسية

$\Psi$ -Posteriors: إطار عمل موحد للانتشار المنفصل يقدم لاحقات تراكبية غير ماركوفية، مما يسمح بأخذ عينات Predictor-Corrector لأي توزيعات ضوضاء مسبقة (مقنعة أو موحدة) مع الحفاظ على اتساق الهوامش.
$\Psi$ -Samplers: عائلة من أخذ العينات التي تعمم طرق PC السابقة (بما في ذلك ReMDM). تجريبياً، تسمح هذه النماذج لـ USDMs بالتوسع بشكل أفضل مع زيادة عدد خطوات أخذ العينات (NFEs)، مما يغلق فجوة الأداء مع MDMs في توليد النصوص ويتفوق عليها في توليد الصور.
المنهج الفعال: استراتيجية تدريب قابلة للتوسع تستفيد من تشتت تخفيفات softmax منخفضة الحرارة لتقليل تكاليف الذاكرة والحوسبة بشكل كبير دون التضحية بجودة النموذج.

النتائج التجريبية

نمذجة اللغة (OpenWebText)

الأداء: تعمل $\Psi$ -samplers بشكل كبير على تحسين الارتباك التوليدي (Gen. PPL) لنماذج USDMs مقارنة بأخذ العينات السلفي.
التوسع: على عكس أخذ العينات السلفي، الذي يصل إلى حالة ثبات مع زيادة NFEs، تستمر $\Psi$ -samplers في التحسن مع زيادة الخطوات. عند تساوي التنوع (unigram entropy)، يحقق Duo++ مع $\Psi$ -samplers ارتباكاً توليدياً (Gen. PPL) أقل من MDLM مع ReMDM.
المهام اللاحقة: يطابق Duo++ أداء نموذج Duo الأصلي في مهام الإجابة على الأسئلة متعددة الخيارات (مثل ARC وHellaSwag) مع استخدام 25% أقل من العمليات الحسابية (FLOPs).

نمذجة الصور (CIFAR-10)

الجودة: على مجموعة بيانات CIFAR-10، يحقق Duo++ مع $\Psi$ -samplers نتائج متفوقة في FID وInception Score (IS) مقارنة بكل من أخذ العينات السلفي وReMDM.
التوسع: التحسن في جودة الصورة ثابت عبر عدد متغير من خطوات أخذ العينات، حيث يتفوق Duo++ على متغيرات MDLM.

كفاءة التدريب

الذاكرة والسرعة: يقلل المنهج الفعال المقترح من ذروة استخدام الذاكرة بنسبة 33% ويقلل إجمالي وقت التدريب بنسبة 25% مقارنة بمنهج Duo الأصلي.
الاحتمالية: تحقق النماذج المدربة بالمنهج الفعال ارتباكاً (perplexity) مماثلاً لنماذج Duo الأصلية على LM1B وOpenWebText.

الأهمية والادعاءات

يجادل البحث بأن الافتراض القائل بأن الانتشار المقنع (Masked Diffusion) هو المستقبل الحتمي لنمذجة اللغة القائمة على الانتشار هو افتراض مشكوك فيه. من خلال تقديم $\Psi$ -samplers، يثبت المؤلفون أن نماذج الانتشار ذات الحالة الموحدة (USDMs) يمكنها تحقيق:

توسع متفوق: أداء يستمر في التحسن مع زيادة خطوات أخذ العينات، على عكس أخذ العينات السلفي.
جودة تنافسية أو متفوقة: مطابقة أو تجاوز MDMs في توليد النصوص (عند اقترانها بأخذ عينات PC) والتفوق عليها في توليد الصور.
كفاءة عملية: مسار تدريب أكثر كفاءة بكثير من حيث الذاكرة والوقت مقارنة بنهج التعلم المنهجي السابق.

يشير العمل إلى أن "الثنائية" بين الانتشار الغاوسي والمنفصل، جنباً إلى جنب مع استراتيجيات أخذ عينات غير ماركوفية، توفر مساراً قوياً وقابلاً للتوسع للنمذجة التوليدية المنفصلة، مما يتحدى هيمنة النهج المقنع.