📊 statistics

Discrete diffusion samplers and bridges: Off-policy algorithms and applications in latent spaces

تقدم هذه الورقة تقنيات التدريب خارج السياسة (off-policy) وإطار عمل "جسر شرودنغر" (Schrödinger bridge) المبتكر من البيانات إلى الطاقة لعينات الانتشار المنفصلة، مما يثبت فعاليتها في تحسين أداء أخذ العينات على المعايير المرجعية الاصطناعية وتمكين أخذ عينات اللاحقة الخالية من البيانات ضمن الفضاءات الكامنة المنفصلة لنماذج توليد الصور.

المؤلفون الأصليون: Arran Carter, Sanghyeok Choi, Kirill Tamogashev, Víctor Elvira, Nikolay Malkin

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Arran Carter, Sanghyeok Choi, Kirill Tamogashev, Víctor Elvira, Nikolay Malkin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على أفضل المقاعد في مسرح ضخم ومظلم (التوزيع المستهدف). أنت تعرف مخطط المسرح وأين توجد المقاعد الجيدة (دالة الطاقة)، لكنك لا تعرف العدد الإجمالي للمقاعد، ولا يمكنك ببساطة الدخول واختيار مقعد لأن الأضواء مطفأة. أنت بحاجة إلى دليل يقودك إلى المقاعد الجيدة.

لسنوات، امتلك العلماء أدلة رائعة للمساحات المستمرة (مثل الأرضية الناعمة)، ولكن بالنسبة للمساحات المنفصلة (مثل شبكة من المقاعد المحددة والمنفصلة)، كانت هذه الأدلة غالباً ما تكون متعثرة. فقد كانت تتعثر في قسم واحد من المسرح أو تفقد صفوفاً كاملة من المقاعد الجيدة.

تقدم هذه الورقة البحثية طريقة جديدة وأكثر ذكاءً لتدريب هذه الأدلة باستخدام أخذ عينات الانتشار المنفصل (Discrete Diffusion Samplers). إليك شرح لابتكاراتهم الثلاثة الرئيسية بأسلوب مبسط:

1. "ذاكرة إعادة التشغيل" و"المستكشف" (التدريب خارج السياسة - Off-Policy Training)

المشكلة: تخيل مرشداً سياحياً يتعلم فقط من خلال المشي في المسار الذي يسلكه حالياً. إذا علق في طريق مسدود، فلن يتعلم أبداً عن المقاعد الرائعة الموجودة في الغرفة المجالة. إنه يعمل بنظام "داخل السياسة" (On-policy)، مما يعني أنه يتعلم فقط من أخطائه المباشرة.

الحل: يعلم المؤلفون المرشد استخدام تقنيات "خارج السياسة" (Off-Policy).

ذاكرة إعادة التشغيل (Replay Buffer): فكر في هذا كبنك للذاكرة. يحفظ المرشد كل مسار مثير للاهتمام سلكه من قبل، حتى لو كان ذلك قبل عدة أسابيع. أثناء التدريب، بدلاً من مجرد المشي في المسار الحالي، يقوم المرشد بمراجعة هذه المسارات القديمة للتعلم منها.
المستكشف (MCMC): أحياناً، يحتاج المرشد إلى دفعة بسيطة للخروج من المأزق. يضيف المؤلفون "مستكشفًا" (خوارزمية ماركوف تشين مونت كارلو - MCMC). هذا المستكشف هو مستكشف محلي يمكنه القفز حول المقاعد المجاورة للعثور على أماكن أفضل وتغذية تلك المعلومات بالعودة إلى المرشد الرئيسي.

النتيجة: باستخدام بنك الذاكرة هذا والمستكشف، يتعلم المرشد بشكل أسرع، والأهم من ذلك، أنه يجد جميع المقاعد الجيدة (الأنماط/modes) في المسرح، وليس فقط تلك التي تعثر عليها أولاً. في اختبارات الورقة، منعت هذه الطريقة المرشد من الاستقرار في زاوية واحدة من الغرفة.

2. "باني الجسور" (جسور شرويدنجر من البيانات إلى الطاقة - Data-to-Energy Schrödinger Bridges)

المشكلة: عادةً، تريد الانتقال من النقطة (أ) (توزيع بسيط ومعروف) إلى النقطة (ب) (هدفك المعقد). ولكن ماذا لو لم تكن النقطة (ب) قائمة من المقاعد التي يمكنك رؤيتها؟ ماذا لو كانت النقطة (ب) مجرد مجموعة من القواعد التي تصف مدى جودة المقعد (دالة طاقة)، دون أن تريك المقاعد نفسها؟

الحل: بنى المؤلفون جسراً بين هذين العالمين.

تخيل أن لديك خريطة لمدينة (النقطة أ) وقائمة بـ "أفضل الأحياء" المحددة فقط بناءً على درجات سمعتها (النقطة ب).
تنشئ الورقة البحثية "جسر شرويدنجر" يربط الخريطة المعروفة بقائمة السمعة. إنه يتعلم المسار للمشي من المدينة المعروفة إلى الحي القائم على السمعة، رغم أنك لا تستطيع رؤية الوجهة حتى تصل إليها.
لقد فعلوا ذلك لأول مرة في عالم "منفصل" (حيث المقاعد هي كتل متميزة، وليست شارعاً ناعماً).

النتيجة: نجحوا في بناء مسار من نقطة بداية بسيطة إلى وجهة معقدة قائمة على القواعد، وهو ما تم تصويره في الورقة كحركة من مزيج لثلاثة أشكال غاوسية إلى مزيج من اثنين، ممثلاً بأكواد ثنائية.

3. "المترجم" لمولدات الصور (أخذ العينات الخارجي - Outsourced Sampling)

المشكلة: تعمل مولدات الصور الحديثة (مثل تلك التي تصنع صور القطط أو الأرقام) غالباً في "فضاء كامن" (Latent Space). فكر في هذا كلغة شفرة سرية يستخدمها الذكاء الاصطناعي لفهم الصور. أحياناً، تريد إجبار الذكاء الاصطناعي على إنشاء نوع معين من الصور (مثلاً: "الأرقام الفردية فقط")، ولكن لا يمكنك بسهولة إخبار الذكاء الاصطناعي بكيفية القيام بذلك مباشرة.

الحل: استخدم المؤلفون مرشدهم الجديد لأخذ عينات مباشرة في لغة الشفرة السرية هذه.

بدلاً من محاولة إصلاح الصورة بكسل تلو الآخر، قاموا بتدريب مرشدهم للتنقل في الفضاء الكامن المنفصل (الشفرة السرية) لنموذج صور مدرب مسبقاً (VQ-VAE).
أخبروا المرشد: "ابحث عن الشفرات التي، عند فك تشفيرها، تبدو مثل الرقم '5' أو '7'".

النتيجة: نجح المرشد في تعلم كيفية التنقل في الشفرة السرية لإنتاج صور لأرقام محددة (مثل 1، 5، 7) وفئات (الأرقف الفردية مقابل الزوجية) دون الحاجة إلى رؤية الصور النهائية أثناء عملية التدريب. لقد نجح فعلياً في "إسناد العمل الصعب" للمرشد للبحث عن الصورة الصحيحة من خلال العمل داخل مساحة الشفرة.

ملخص

باختاًصر، تأخذ هذه الورقة البحثية تقنية أخذ عينات قوية تُستخدم للمشكلات المستمرة والناعمة وتكيفها لتناسب المشكلات المنفصلة والكتلية (مثل الشبكات أو الأكواد).

تجعل أخذ العينات أكثر ذكاءً من خلال السماح له بتذكر المسارات الماضية واستخدام مستكشفين محليين لتجنب التعثر.
تبني جسراً للوصول إلى وجهات محددة بالقواعد فقط، وليس بالأمثلة.
تثبت أن هذا يعمل لـ توليد الصور، مما يسمح للذكاء الاصطناعي بالعثور على صور محددة من خلال التنقل في "لغة الشفرة السرية" الداخلية الخاصة بها.

تزعم الورقة أن هذه الطرق تتفوق باستمرار على التقنيات السابقة، خاصة في السيناريوهات الصعبة حيث يميل أخذ العينات إلى الاستقرار في حل واحد فقط بدلاً من استكشاف جميع الحلول الجيدة.

ملخص تقني: عينات الانتشار المنفصلة والجسور (Discrete Diffusion Samplers and Bridges)

بيان المشكلة

تتناول الورقة البحثية تحدي أخذ العينات من توزيع $p(x) \propto e^{-E(x)}$ عبر فضاء حالة منفصل $\mathcal{S} = \{1, \dots, C\}^d$ ، حيث تكون دالة الطاقة $E$ معروفة ولكن ثابت التطبيع $Z$ غير قابل للحل (intractable). وبينما تم تطبيق عينات الانتشار بنجاً في الفضاءات المستمرة باستخدام التحكم الأمثل العشوائي ومطابقة مسار الفضاء، فإن تطبيقها على الفضاءات المنفصلة لا يزال غير متطور. غالباً ما تفشل عينات الانتشار المنفصلة الحالية في الاستفيداد من تقنيات التعلم المعزز خارج السياسة (off-policy RL) المعيارية في الإعدادات المستمرة، مما يؤدي إلى تغطية فرعية للأنماط (modes) وجودة عينات متدنية، لا سيما في التوزيعات شديدة تعدد الأنماط. علاوة على ذلك، فإن مشكلة بناء جسر بين توزيعين عشوائيين (جسر شرودنجر) في الفضاءات المنفصلة قد اقتصرت إلى حد كبير على الإعدادات التي تتوفر فيها عينات من كلا التوزيعين (من البيانات إلى البيانات)، بينما ظل إعداد "البيانات إلى الطاقة" (data-to-energy) -حيث يتم تعريف أحد التوزيعات فقط عبر كثافة غير معيرة- غير مستكشف.

المنهجية

يقترح المؤلفون إطار عمل يدمج استراتيجيات التدريب خارج السياسة في عينات الانتشار المنفصلة ويعمم هذه الأساليب على جسور شرودنجر المنفصلة.

1. التدريب خارج السياسة لعينات الانتشار المنفصلة

تتضمن المنهجية الجوهرية تدريب نواة أمامية $\overrightarrow{p}_\theta$ لمطابقة توزيع مستهدف عن طريق تقليل التباعد بين توزيع مسار العملية الأمامية وتوزيع مسار العملية الخلفية (التشويش). دراسات دوال التباعد (divergence) هي:

توازن المسار (Trajectory Balance - TB): يعامل ثابت التطبيع كمعلم قابل للتعلم.
تباين اللوغاريتم (Log-Variance - LV): يقلل من تباين نسبة اللوغاريتم بين الاحتمالات الأمامية والخلفية.

لتحسين الاستكشاف وتغطية الأنماط، يقدم المؤلفون ثلاث استراتيجيات خارج السياسة مقتبسة من التعلم المعزز وشبكات التدفق التوليدية (GFlowNets):

مخزن إعادة التشغيل (Replay Buffer): يخزن الحالات المأخوذة $X_N$ ويعيد استخدامها عن طريق أخذ عينات من المسارات الخلفية $\overleftarrow{p}^{\otimes N}$ للتدريب.
المخزن الموزون بالأهمية (Importance-Weighted Buffer): يخصص احتمالات أخذ العينات لعناصر المخزن بناءً على أوزان الأهمية للمسارات التي ولدت تلك العناصر، مما يعطي الأولوية للمناطق ذات الاحتمالية العالية التي قد يفتقدها العينة الحالي.
استكشاف ماركوف (MCMC Exploration): يعمل على تنقية العينات من مخزن إعادة التشغيل باستخدام خطوات ماركوف (مثل Swendsen-Wang أو Metropolis-Hastings) قبل استخدامها للتدريب. هذا يستفيد من دالة الطاقة مباشرة لتوجيه العينة نحو مناطق الكثافة العالية دون الحاجة إلى عمليات تشغيل النموذج (model rollouts).

2. جسور شرودنجر المنفصلة (من البيانات إلى الطاقة)

تعمم الورقة مشكلة أخذ العينات لإيجاد جسر شرودنجر (SB) بين أي توزيعين $p_0$ و $p_N$ . وخلافاً لأعمال جسر شرودنجر المنفصلة السابقة التي تفترض وجود عينات لكلا الطرفين، يتناول هذا العمل إعداد "البيانات إلى الطاقة" حيث يتم تعريف $p_N$ فقط عبر دالة طاقة.

تستخدم الطريقة إجراء التناسب التكراري (Iterative Proportional Fitting - IPF).
تتناوب بين ملاءمة النواة الخلفية (عبر الإمكان الأعظم على عينات من $p_0$ ) والنواة الأمامية (عبر خسارة تباين اللوغاريتم على عينات من $p_N$ المعرفة بالطاقة).
يتم دمج التقنيات خارج السياسة (المخازن و MCMC) في حلقة IPF لتسهيل استكشاف التوزيع المعرف بالطاقة.

3. التطبيق على الفضاءات الكامنة (Latent Spaces)

يطبق المؤلفون هذه العينات على أخذ العينات من البعد الخلفي "المستأجر" (outsourced). يقومون بتدريب عينات الانتشار في الفضاء الكامن المنفصل لنموذج VQ-VAE مدرب مسبقاً. الهدف هو أخذ عينات من التوزيع اللاحق $p(z|y) \propto p_{latent}(z)p(y|f(z))$ دون ملاحظة عينات شرطية غير منحازة، مما يؤدي فعلياً إلى تكييف النموذج التوليدي عبر تعلم أخذ العينات في فضائه الكامن.

المساهمات الرئيسية

خواراتزميات خارج السياسة للعينات المنفصلة: تقديم تقنيات التعلم المعزز خارج السياسة (مخازن إعادة التشغيل، الأوزان المرجحة بالأهمية، واستكشاف MCMC) في تدريب عينات الانتشار المنفصلة. توضح الورقة أن هذه التقنيات تحسن الأداء بشكل كبير مقارنة بالأساليات داخل السياسة (on-policy).
جسور شرودنجر (البيانات إلى الطاقة): أول تعميم لعينات الانتشار المنفصلة لمشكلة جسر شرودنجر (البيانات إلى الطاقة)، مما يسمح ببناء خرائط نقل بين توزيع يعتمد على العينات وتوزيع معرف بدالة طاقة.
أخذ العينات من البعد الخلفي في الفضاء الكامن: إثبات قدرة عينات الانتشار المنفصلة على الاستدلال من البعد الخلفي في النماذج التوليدية للصور، وإظهار القدرة على التكييف مع تسميات الفئات (مثل الأرقام الفردية/الزوجية) دون إعادة تدريب النموذج التوليدي.

النتائج التجريبية

قيم المؤلفون طرقهم على اختبارات معيارية اصطناعية وتطبيقات واقعية:

نماذج Ising و Potts: على شبكات $16 \times 16$ ، تفوقت الطرق خارج السياسة (تحديداً TB مع Buffer + MCMC) باستمرار على الطرق داخل السياسة والنموذج المرجعي MDNS. حققت مسافات Sinkhorn أقل وأخطاء أقل في المغناطيسية/الارتباط، خاصة عند درجات الحرارة المنخفضة (β عالية) حيث يسود انهيار النمط (mode collapse).
الكثافات الاصطناعية المقطعة: في التوزيعات متعددة الأنماط الصعبة (40GMM و ManyWell) التي تم تقطيعها عبر أكواد Gray، نجحت الطرق خارج السياسة في اكتشاف جميع الأنماط، بينما فشلت الطرق داخل السياسة و MDNS غالباً في تغطية التوزيع الكامل.
جسور شرودنجر: في مهام الجسر بين توزيعات بسيطة ومتعددة الأنماط، توسعت الطرق خارج السياسة بفعالية لتشمل أهدافاً معقدة حيث تنهار العينات داخل السياسة.
أخذ العينات المستأجر (Outsourced Sampling): تظهر تصورات أرقام MNIST المولدة من الفضاء الكامن أن كلاً من العينات داخل السياسة وخارج السياسة يمكنها توليد أرقام من الفئات المطلوبة (مثل فردي مقابل زوجي) بنجاح، مما يؤكد فائدة هذا النهج للتوليد الشرطي.

الأهمية والادعاءات

تدعي الورقة أن دمج تقنيات التدريب خارج السياسة يعد خطوة حاسمة للأمام لعينات الانتشار المنفصلة، مما يعالج مشكلة انهيار النمط ويحسن كفاءة أخذ العينات في الفضاءات المنفصلة عالية الأبعاد ومتعددة الأنماط. من خلال سد الفجوة بين الانتشار المنفصل والتعلم المعزز خارج السياسة، يظهر المؤلفون أن هذه العينات يمكنها التعامل مع مشاكل الفيزياء الإحصائية المعقدة (Ising/Potts) ومهام التحسين التوافقي بشكل أكثر فعالية من الطرق السابقة.

علاً، توسع الورقة النطاق النظري لجسور شرودنجر إلى إعداد "البيانات إلى الطاقة"، مما يوفر أداة جديدة للنقل بين التوزيعات حيث يتم تعريف أحدها عبر دالة طاقة. أخيراً، يوضح التطبيق على الفضاءات الكامنة مساراً عملياً لتكييف النماذج التوليدية المدربة مسبقاً دون الحاجة للوصول إلى توزيع البيانات الكامل أو إعادة تدريب النموذج نفسه.

يقر المؤلفون بالقيود، بما في ذلك الحاجة إلى تثبيت نواة التشويش والتكلفة الحسابية لتخزين المسارات، لكنهم يقترحون أن التدريب عند مقاييس زمنية أكثر خشونة (كما يدعمها التوسع في نظرية الوقت المستمر) قد يخفف من بعض هذه التكاليف. كما حددوا اتجاهات مستقبلية مثل تعلم دالات الطاقة من البيانات وتوسيع هذه الأساليب لتشمل نماذج توليد صور أكبر.