🤖 machine learning

Reinforcement Learning with Discrete Diffusion Policies for Combinatorial Action Spaces

تقدم هذه الورقة إطار عمل جديد للتعلم التعزيزي يستخدم نماذج الانتشار المنفصلة المدربة عبر تقنية "النزول المرآتي للسياسة" (policy mirror descent) لتحقيق أداء مستقر ورائد عالمياً وكفاءة فائقة في استخراج العينات ضمن فضاءات العمل التوافقية المعقدة.

المؤلفون الأصليون: Haitong Ma, Ofir Nabati, Aviv Rosenberg, Bo Dai, Oran Lang, Craig Boutilier, Na Li, Shie Mannor, Lior Shani, Guy Tenneholtz

نُشر 2026-05-21

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Haitong Ma, Ofir Nabati, Aviv Rosenberg, Bo Dai, Oran Lang, Craig Boutilier, Na Li, Shie Mannor, Lior Shani, Guy Tenneholtz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت اتخاذ القرارات في عالم تكون فيه الخيارات هائلة ومربكة. فبدلاً من الاختيار بين "يسار" أو "يمين"، يتعين على الروبوت اختيار تركيبة محددة من 100 زر مختلف، أو ربما ترتيب قائمة تشغيل تضم 50 أغنية، أو حتى تنسيق تحركات 11 لاعباً في كرة القدم في نفس اللحظة تماماً. هذا ما يسميه الباحثون فضاء العمل التوليفي (Combinatorial Action Space).

التعلم المعزز القياسي (Standard RL) يشبه طالباً يحاول التعلم عن طريق تخمين إجابة واحدة في كل مرة. في عالم مليء بالمليارات من التركيبات الممكنة، لن ينتهي هذا الطالب من الاختبار أبداً؛ سيظل عالقاً، مرتبكاً، وغير فعال.

تقدم هذه الورقة البحثية طريقة جديدة تسمى RL-D2 (التعلم المعزز باستخدام الانتشار المنفصل - Reinforcement Learning with Discrete Diffusion). فكر في الأمر كأنك تستبدل ذلك الطالب المتعثر بـ رئيس طهاة ماهر يستخدم تقنية خاصة تسمى "الانتشار" (Diffusion).

الفكرة الجوهرية: الطاهي "مزيل الضباب"

لفهم الابتكار، دعنا نلقي نظرة على كيفية عمل جزء "الانتشار":

المطبخ الفوضوي (المشكلة): تخيل أن لديك وجبة مثالية ولذيذة (القرار المثالي). الآن، تخيل أن شخصاً ما ألقى حفنة من المكونات العشوائية فوقها، مما جعل الطبق يبدو مشوشاً وضبابياً حتى أصبح مجرد كومة من الضجيج.
مهارة الطاهي (نموذج الانتشار): نموذج الانتشار هو مثل طاهٍ تدرب على عكس هذه العملية. يمكنه النظر إلى كومة من الضجيج العشوائي، ومن خلال خطوات متتالية، يقوم بإزالة "الضجيج" ليكشف عن الوجبة المثالية الكامنة تحتها. هو لا يخمن الوجبة من الصفر، بل يبدأ من الفوضى ويصقلها لتصبح نظاماً.
التحول النوعي: عادةً، يعمل الطهاة (نماذج الذكاء الاصطناعي) في خط مستقيم: يختارون مكوناً، ثم الذي يليه، ثم الذي يليه. وهذا ما يسمى "النموذج التتابعي" (Autoregressive). لكن في المواقف المعقدة (مثل مباراة كرة قدم)، لا يهم الترتيب الذي تختار به الأشياء بقدر ما تهم التركيبة النهائية. يمكن لـ "طاهي الانتشار" النظر إلى الكومة الفوضوية بأكملها وإصلاح عدة أشياء في وقت واحد، دون أن يكون مجبراً على اتباع قاعدة "هذا أولاً، ثم ذاك".

السر الخفي: استراتيجية "المرآة"

إن أعظم إنجاز للورقة البحثية ليس مجرد استخدام "طاهي مزيل الضباب" هذا، بل في كيفية تعليم هذا الطاهي كيف يجب أن تبدو "الوجبة المثالية".

عادةً، عندما تعلم ذكاءً اصطناعياً، تقول له: "افعل شيئاً أفضل مما فعلته في المرة السابقة". هذا غالباً ما يؤدي إلى ارتباك الذكاء الاصطناعي أو انهياره لأنه يحاول تغيير الكثير بسرعة كبيرة.

استخدم المؤلفون حيلة رياضية تسمى انحدار المرآة للسياسة (Policy Mirror Descent - PMD).

التشبيه: تخيل أنك تحاول الوصول إلى أعلى نقطة في جبل يغطيه الضباب. بدلاً من مجرد اتخاذ خطوة عشوائية للأعلى، أنت تمسك بـ مرآة سحرية. هذه المرآة تريك المسار المثالي الذي يجب أن تسلكه للوصقة إلى القمة، بناءً على الخريطة التي تملكها حتى الآن.
الهدف: مهمة الذكاء الاصطناعي ليست تخمين الجبل، بل مهمته ببساطة هي نسخ الانعكاس الموجود في المرآة. إنه يحاول جعل خياراته تبدو تماماً مثل الخيارات "المثالية" المعروضة في المرآة.

من خلال الفصل بين "إيجاد أفضل مسار" (وهو ما تفعله المرآة) وبين "تعلم كيفية الحركة" (وهو ما يفعله نموذج الانتشار)، يصبح التدريب مستقراً وسريعاً للغاية.

طريقتان للتعلم: "المستكشف" مقابل "المثالي"

تختبر الورقة البحثية طريقتين مختلفتين لمطابقة الذكاء الاصطناعي مع "صورة المرآة"، وهما يعملان كشخصيتين مختلفتين:

FKL (المستكشف السريع): هذا الإصدار يشبه طالباً يريد تجربة كل شيء يبدو واعداً. يتعلم بسرعة كبيرة في البداية وهو رائع عندما لا تملك الكثير من الوقت أو البيانات. ومع ذلك، إذا ضغطت عليه بقوة دون ضبط دقيق، فقد يعلق في مسار واحد (يحدث له "انهيار") ويتوقف عن استكشاف أفكار جديدة.
RKL (المثالي المتزن): هذا الإصدار أكثر حذراً. يركز على إيجاد الحركة الواحدة الأفضل والتمسك بها. يتعلم ببطء أكبر في البداية، ولكنه أكثر استقراراً ويصل في النهاية إلى ذروة أداء أعلى في المهام الصعبة جداً.

أين اختبروا ذلك؟

لم يكتف الباحثون بالنظرية فقط؛ بل وضعوا طريقتهم قيد الاختبار في ثلاث "ساحات" مختلفة تماماً:

تسلسل الحمض النووي (مختبر البيولوجيا): حاولوا توليد تسلسلات حمض نووي تجعل الخلايا تنتج بروتيناً معيناً بشكل أكبر. نجحت طريقتهم في إنشاء تسلسلات أفضل وبسرعة أكبر من الطرق السابقة، مما يعني "تصميم" بيولوجيا أفضل.
ألعاب الفيديو (صالة الألعاب): لعبوا ألعاب "أتاري" كلاسيكية (مثل Breakout و Space Invaders) ولكن مع لمسة مختلفة: بدلاً من الضغط على زر واحد، كان على الذكاء الاصطناعي التخطيط لسلسلة من 4 أو 8 حركات في آن واحد. فشلت الطرق القياسية عندما تصبح السلسلة طويلة، لكن "طاهي مزيل الضباب" تعامل مع التعقيد بسهولة، متفوقاً على أفضل لاعبي الذكاء الاصطناعي.
كرة القدم (الرياضة الجماعية): لعبوا نسخة من لعبة "Google Research Football". هنا، كان على الذكاء الاصطناعي التحكم في 11 لاعباً في وقت واحد. ساعدت استراتيجية "المرآة" الفريق على التنسيق بشكل مثالي، مما أدى للفوز في المزيد من المباريات مقارنة بأفضل فرق الذكاء الاصطناعي الأخرى، خاصة في السيناريوهات الأكثر صعوبة.

الخلاصة

تحل هذه الورقة البحثية مشكلة رئيسية: كيف تعلم ذكاءً اصطناعياً اتخاذ قرارات معقدة متعددة الأجزاء دون أن يشعر بالإرهاق؟

لقد فعلوا ذلك من خلال:

استخدام نموذج انتشار ("طاهٍ مزيل للضباب") يمكنه التعامل مع التركيبات الفوضوية والمعقدة دون أن يكون مقيداً بترتيب صارم.
استخدام استراتيجية مرآة (انحدار المرآة للسياسة) لإعطاء الذكاء الاصطناعي هدفاً مستقراً ومثالياً لنسخه، بدلاً من تركه يخمن بعشوائية.

النتيجة هي ذكاء اصطناعي يتعلم بشكل أسرع، ويتعامل مع أعداد هائلة من الخيارات بشكل أفضل، ويحقق مستويات رائدة في كل شيء، من البيولوجيا إلى ألعاب الفيديو.

ملخص تقني: التعلم التعزيزي باستخدام سياسات الانتشار المنفصلة للفضاءات الإجرائية التوافقية

1. بيان المشكلة

يواجه التعلم التعزيزي (RL) تحديات كبيرة عند التوسع في فضاءات الإجراءات المنفصلة التوافقية الكبيرة، والتي تنتشر في التطبيقات الواقعية مثل التخطيط الهرمي مع الإجراءات الكلية (macro-actions)، والتنسيق بين الوكلاء المتعددين، وتوصيات القوائم في أنظمة التوصية. تعاني خوارزميات التعلم التعزيزي القياسية في هذه الفضاءات بسبب النمو الأسي لحجم فضاء الإجراءات، مما يتطلب تمثيلات سياسة عالية الكفاءة واستراتيجيات استكشاف فعالة.

حاولت النهج السابقة التخفيف من هذا التعقيد من خلال تقليل الأبعاد، أو التدريب الهرمي، أو افتراض خصائص هيكلية محددة. مؤخرًا، تم تطبيق النماذج ذات الترتيب الذاتي (autoregressive models) على الإجراءات التوافقية؛ ومع ذلك، فإنها تعاني من تكالتد مرتفع أثناء الاستدلال بسبب التوليد المتسلسل وتفرض ترتيبات سببية اصطناعية للإجراءات قد تقيد القدرة التعبيرية للسياسة. وعلى الرغم من أن نماذج الانتشار (diffusion models) أظهرت وعودًا في التحكم المستمر والمهام التوليدية المنفصلة، إلا أن إطار عمل مبدئي وفعال لتدريب سياسات الانتشار المنفصلة عبر التعلم التعزيزي عبر الإنترنت (online RL) لا يزال غير مستكشف.

2. المنهجية: RL-D2

يقدم المؤلفون RL-D2، وهو إطار عمل مبتكر لتدريب نماذج الانتشار المنفصلة كسياسات لفضاءات الإجراءات التوافقية. يكمن الابتكار الجوهري في عملية تدريب فعالة عبر الإنترنت تفصل بين تحسين هدف التعلم التعزيزي وبين المهمة المعقدة لتعلم التمثيل.

2.1. هدف تدرج المرآة للسياسة (PMD)

يعيد الإطار صياغة تحديث السياسة كمسألة مطابقة توزيعية. بدلاً من تحسين هدف التعلم التعزيزي مباشرة، تستخدم الطريقة تدرج المرآة للسياسة (PMD) لتحديد توزيع هدف مثالي ومنتظم ( $\pi_{MD}$ ). بالنظر إلى السياسة الحالية $\pi_{old}$ ودالة الميزة (advantage function) $A_{\pi_{old}}$ ، يتم اشتقاق توزيع الهدف تحليليًا:
$\pi_{MD}(a|s) \propto \pi_{old}(a|s) \exp(A_{\pi_{old}}(s, a)/\lambda)$
حيث $\lambda$ هو معامل درجة الحرارة. بعد ذلك، يتم تدريب نموذج الانتشار التعبيري لمحاكاة هذا التوزيع المستقر.

2.2. تقليل التباعد

يتم تحقيق تحديث السياسة عن طريق تقليل التباعد بين سياسة الانتشار ( $\pi_\theta$ ) وهدف PMD ( $\pi_{MD}$ ). يحلل البحث نوعين محددين بناءً على تباعد كولباك - ليبلر (KL):

تباعد KL الأمامي (FKL): يقلل $d_{KL}(\pi_{MD}, \pi_\theta)$ . هذا السلوك "الباحث عن المتوسط" يشجع السياسة على تغطية أنماط (modes) توزيع الهدف، مما يعزز الاستكشاف. وقد اشتق المؤلفون حد ELBO موزوناً قابلاً للحساب لهذا الهدف، مما يسمح بالتدريب خارج السياسة (off-policy) وإعادة وزن الإجراءات التي تم أخذ عينات منها بناءً على قيم الميزة الخاصة بها.
تباعد KL العكسي (RKL): يقلل $d_{KL}(\pi_\theta, \pi_{MD})$ . هذا السلوك "الباحث عن النمط" يركز على الإجراءات ذات القيمة الأعلى، وهو مكافئ نظريًا لتحسين PMD الأصلي. نظرًا لصعوبة حساب احتمالية الانتشار، قام المؤلفون ببناء عملية قرار ماركوف (MDP) معززة لاشتقاق نسبة أخذ عينات الأهمية القابلة للحساب، وتحسين الهدف باستخدام آلية قص (clipping) شبيهة بـ PPO.

2.3. تعلم الانتشار عبر الإنترنت (On-Policy)

لضمان توافق توزيع التدريب مع توزيع الاستدلال، يقترح المؤلفون تعلم الانتشار عبر الإنترنت (On-Policy Diffusion Learning). بدلاً من توليد إجراءات مشوشة من عملية أمامية ثابتة تبدأ من إجراء نظيف، يتم توليد مسار الانتشار عبر الإنترنت عن طريق أخذ عينات من العملية العكسية المتعلمة للسياسة الحالية. هذا يعزز الاستقرار وكفاءة العينات.

3. المساهمات الرئيسية

إطار عمل RL-D2: إطار عمل جديد وفعال للتدريب عبر الإنترنت لاستخدام نماذج الانتشار المنفصلة كسياسات في التعلم التعزيزي لفضاءات الإجراءات التوافقية الكبيرة. إنه يعيد صياغة تحديثات السياسة كمسائل مطابقة توزيعية باستخدام أهداف PMD.
الاشتقاقات النظرية: الاشتقاق والتحليل لطريقتين عمليتين لتحسين السياسة بناءً على تقليل تباعد KL الأمامي والعكسي لهدف PMD.
التحقق التجريبي: تجارب واسعة النطاق عبر ثلاثة مجالات تحديّة أظهرت نتائج متفوقة على أحدث ما توصل إليه العلم:
- توليد تسلسل DNA: الضبط الدقيق الموجه بالمكافأة لنموذج انتشار منفصل.
- التعلم طويل الأمد (Long-Horizon RL): التخطيط بالإجراءات الكلية في بيئات MinAtar وAtari.
- التعلم متعدد الوكلاء: التعلم التعاوني في مجال كرة القدم من أبحاث جوجل (Google Research Football).

4. النتائج التجريبية

يسجل البحث أداءً وتفوقًا في كفاءة العينات عبر جميع المجالات المختبرة:

توليد تسلسل DNA: حقق RL-D2 درجات مكافأة تضاهي أفضل النتائج مع الحفاظ على ارتفاع الاحتمالية اللوغاريتمية (الطبيعية) للتسلسلات المولدة. كما أظهر كفاءة حوسبية كبيرة، حيث قلل استهلاك ذاكرة وحدة معالجة الرسومات من 66.4 جيجابايت إلى 10.6 جيجابايت، ووقت التدريب من 268 دقيقة إلى 97 دقيقة مقارنة بالمرجع الأساسي DRAKES.
Atari (الإجراءات الكلية): تفوق RL-D2 على المراجع القوية (DQN, IMPALA, R2D2, PPO) في 36 من أصل 56 بيئة Atari. وأظهر قوة خاصة في المهام التي تتطلب استراتيجيات طويلة الأمد (مثل Breakestout و Space Invaders). كما أظهرت الطريقة قابلية للتوسع، حيث حافظت على الأداء مع زيادة أطوال الإجراءات الكلية (حتى 16)، بينما فشلت المراجع مثل DQN-Macro بسبب النمو الأسي لفضاء الإجراءات.
كرة القدم من أبحاق جوجل (Google Research Football): في مهام تعدد الوكلاء التعاونية (تصل إلى 11 ضد 11)، حققت سياسة الانتشار المنفصلة أعلى معدلات فوز متوسطة، متفوقة على المراجع ذات الترتيب الذاتي (MAT, MAPPO) ومظهرة القدرة على التقاط التبعيات المعقدة بين الوكلاء دون تحليل عاملي مقيد.

المقايضات التجريبية: FKL مقابل RKL

يسلط المؤلفون الضوء على مقايضة رئيسية بين نوعي التباعد:

FKL: يظهر كفاءة أعلى في العينات وتدفقًا أسرع في التقارب الأولي، مما يجعله مناسبًا للسيناريوهات محدودة البيانات (مثل Atari). ومع ذلك، فهو أقل استقرارًا ويتطلب ضبطًا دقيقًا لدرجة الحرارة لتجنب الانهيار.
RKL: يضمن تدريبًا مستقرًا ويحقق أداءً نهائيًا أعلى في المهام الصعبة مع توفر بيانات كافية (مثل Google Football)، رغم أنه يتعلم ببطء أكبر في البداية.

5. الأهمية والادعاءات

يزعم البحث أن RL-D2 يوفر حلاً قابلاً للتوسع وعالي الأداء للتحدي طويل الأمد في التعلم التعزيزي ضمن فضاءات الإجراءات التوافقية الكبيرة. ومن خلال الاستفادة من القدرة التعبيرية لنماذج الانتشار المنفصلة وتثبيت التعلم عبر المطابقة التوزيعية القائمة على PMD، يتعامل إطار العمل بفعالية مع مشكلات اتخاذ القرار المعقدة حيث تفشل الطرق التقليدية غالبًا.

يؤكد المؤلفون أن نهجهم يقدم ميزة متميزة على الحلول المنفصلة "الصندوق الأسود" القياسية (مثل الخوارزميات التطورية) من خلال تعلم سياسة مشروطة بالحالة تستغل ديناميكيات الانتقال وتعمم على حالات غير مرئية، بدلاً من تحسين الأهداف الثابتة من الصفر. علاوة على ذلك، فإن الطبيعة المنفصلة للطريقة تعمل على استقرار عملية التعلم، مما يعزز الأداء بشكل كبير في الفضاءات المنفصلة المعقدة وغير المهيكلة.