🤖 machine learning

ParetoSlider: Diffusion Models Post-Training for Continuous Reward Control

يُعد ParetoSlider إطار عمل للتعلم التعزيزي متعدد الأهداف يقوم بتدريب نموذج انتشار واحد لتقريب جبهة باريتو بأكملها، مما يمكّن المستخدمين من التنقل بين المقايضات المثلى بين الأهداف التوليدية المتعارضة أثناء وقت الاستدلال دون الحاجة إلى إعادة التدريب أو الاحتفاظ بنقاط تفتيش متعددة.

المؤلفون الأصليون: Shelly Golan, Michael Finkelson, Ariel Bereslavsky, Yotam Nitzan, Or Patashnik

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shelly Golan, Michael Finkelson, Ariel Bereslavsky, Yotam Nitzan, Or Patashnik

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يحاول طهي الطبق المثالي. لديك هدفان متنافسان: تريد أن يكون الطعام صحيًا (قليل السعرات الحرارية) ولكن أيضًا لذيذًا (متبل بشكل جيد).

في الماضي، إذا طلبت من ذكاء اصطناعي للطهي أن يساعدك، فسيتعين عليك اختيار وصفة واحدة مسبقًا. ستقول: "اصنع لي طبقًا بنسبة 70% صحي و30% لذيذ". سيقوم الذكاء الاصطناعي بطهي هذه النسخة المحددة، وإذا غيرت رأيك لاحقًا وأردت نسبة 50/50، فسيتعين عليك رمي القدر بالكامل والبدء في الطهي من جديد تمامًا. هكذا تعمل مولدات الصور الحالية بالذكاء الاصطناعي: إنها محبوسة في "نكهة" واحدة محددة من التسوية.

ParetoSlider يشبه إعطاء ذلك الطاهي منزلقًا سحريًا يسمح لك بضبط المذاق أثناء تقديم الطعام، دون الحاجة أبدًا لإعادة عملية الطهي من البداة.

إليك شرح بسيط لكيفية عمله، باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: فخ "الوصفة الثابتة"

يتم تدريب نماذج الذكاء الاصطناعي الحالية باستخدام طريقة تسمى "التعلم التعزيزي". فكر في هذا كمعلم يعطي طالبًا درجة.

الطريقة القديمة: يعطي المعلم الطالب درجة واحدة بناءً على معادلة ثابتة (على سبيل المثال: 50% صحة + 50% مذاق). يدرس الطالب بجد للحصول على تلك الدرجة المحددة. إذا أردت توازنًا مختلفًا لاحقًا، يجب على الطالب العودة إلى المدرسة وتعلم منهج دراسي جديد تمامًا.
النتيجة: ينتهي بك الأمر مع العديد من نماذج الذكاء الاصطناعي المختلفة، كل منها بارع في تسوية محددة واحدة، لكن لا يوجد منها ما يمكنه التكيف في الوقت الفعلي.

2. الحل: "المنزلق السحري" (ParetoSlider)

ابتكر الباحثون نظامًا جديدًا يسمى ParetoSlider. بدلاً من تعليم الذكاء الاصطناعي وصفة ثابتة واحدة، علموه كل الوصفات الممكنة دفعة واحدة.

التشبيه: تخيل مفتاح تعتيم للضوء، ولكن بدلًا من مجرد "ساطع" أو "خافت"، فإنه يتحكم في طيف من الألوان.
كيف يعمل: يتم تدريب الذككاء الاصطناعي باستخدام "متجه تفضيل" (مجموعة من الأقراص/المقابض). يمكنك أن تقول للذكاء الاصطناعي: "أريد 80% واقعية صورية و20% أسلوب رسم تخطيطي"، أو "أريد 50% من الحفاظ على الصورة الأصلية و50% من التعديل الجديد".
السحر: نظرًا لأن الذكاء الاصطناعي تعلم الطيف الكامل للاحتمالات أثناء التدريب، يمكنك تحريك ذلك المنزلق ذهابًا وإيابًا في اللحظة الأخيرة (وقت الاستدلال). يقوم الذكاء الاصطناعي فورًا بتعديل مخرجاته لتتطابق مع تفضيلك الجديد دون الحاجة إلى إعادة التدريب أو تبديل النماذج.

3. السر الخفي: "التسوية المتأخرة" (Late Scalarization)

أحد أكبر التحديات في تعليم الذكاء الاصطناعي كيفية الموازنة بين أهداف متعددة هو أن بعض الأهداف تكون "أعلى صوتًا" من غيرها.

التشبيه: تخيل فرقة موسيقية حيث يعزف الطبال بقوة 100 ديسيبل بينما تعزف الكمان بقوة 10 ديسيبل. إذا قمت بمزج الصوت فقط، فإن الطبول ستغطي على الكمان، وسيتعلم الذكاء الاصطناعي أن يكون طبالًا فقط.
الحل: تقدم الورقة البحثية تقنية تسمى "التسوية المتأخرة" (Late Scalarization). قبل مزج الإشارات، يقوم الذكاء الاصطناعي بـ "تطبيعها" (Normalization). إنه يخفض مستوى صوت الطبول الصاخبة ويرفع صوت الكمان الهادئ حتى يصبحا على قدم المساواة. وفقط بعد موازنتهما، يقوم بدمجهما وفقًا لإعدادات المنزلق الخاصة بك. يضمن هذا عدم قيام أي هدف واحد بالسيطرة على عملية التعلم.

4. أمثلة من العالم الحقيقي

اختبرت الورقة البحثية هذا على ثلاثة أنواع مختلفة من المهام الإبداعية:

تحويل النص إلى صورة (معرض الفنون): تكتب "كلب لطيف". يمكنك تحريك التحكم من واقعية صورية (يبدو كصورة حقيقية) إلى رسم تخطيطي (يبدو كرسم بالقلم الرصاص). بينما تحرك المنزلق، تتحول الصورة بسلاسة من صورة فوتوغرافية إلى رسم، لتمر بكل الأنماط الموجودة بينهما بشكل مثالي.
تعديل الصور (محرر الصور): ترفع صورة لنفسك وتقول: "حولني إلى محارب".
- تحريك المنزلق نحو الحفاظ (Preservation): تبدو تمامًا كما أنت، مع سيف صغير فقط.
- تحريك المنزلق نحو التعديل (Editing): تصبح محاربًا خياليًا كاملًا، ولكن قد تفقد بعض ملامح وجهك الأصلية.
- المنزلق: يمكنك إيجاد الحل الوسط المثالي حيث تبدو كمحارب ولكن لا تزال تبدو كأنك أنت.
تحويل النص إلى فيديو (صانع الأفلام): يمكنك التحريك بين الواقعية (يبدو كأنه تسجيل كاميرا) و الرسوم المتحركة (يبدو مثل أفلام ديزني). ينتقل الفيديو بسلاسة بين هذين العالمين.

لماذا يهم هذا؟

قبل هذا، إذا كنت تريد استكشاف توازنات إبداعية مختلفة، كان عليك تدريب نموذج ذكاء اصطناعي جديد لكل تفضيل. كان ذلك بطيئًا، ومكلفًا، ويتطلب تخزين مئات النماذج المختلفة.

ParetoSlider يشبه امتلاك جهاز تحكم عن بعد عالمي للإبداع. فهو يسمح لذكاء اصطناعي واحد وذكي بأن يفهم أن "المثالية" ليست نقطة ثابتة واحدة، بل هي نطاق كامل من الاحتمالات. إنه يمنح المستخدمين غير الخبراء القدرة على التنقل بحدس وسهولة عبر المقايضات المعقدة، مما يجعل أدوات الفن بالذكاء الاصطناعي أكثر مرونة وسهولة في الاستخدام.

باختصار: إنه يحول الذكاء الاصطناعي الجامد الذي يناسب الجميع إلى أداة مرنة وقابلة للتخصيص تستمع إلى تفضيلاتك في الوقت الفعلي.

إليك ملخص تقني مفصل لورقة البحث "ParetoSlider: التحكم المستمر في المكافآت عبر تدريب نماذج الانتشار في مرحلة ما بعد التدريب" (ParetoSlider: Diffusion Models Post-Training for Continuous Reward Control).

١. بيان المشكلة

تعتمد طرق التعلم التعزيزي (RL) الحالية في مرحلة ما بعد التدريب (post-training) للنماذج التوليدية (الانتشار وتطابق التدفق - diffusion and flow-matching) عادةً على التحسين أحادي الهدف أو التجميع القياسي المبكر (early scalarization).

القصور: عندما توجد أهداف متعددة، وغالباً ما تكون متضاربة (على سبيل المثال، الالتزام بنص وصفي مقابل الحفاظ على الصورة المصدر في عملية التحرير، أو الواقعية الفوتوغرافية مقابل أسلوب الرسم التخطيطي)، تقوم الطرق القياسية بدمج هذه الأهداف في مجموع موزون ثابت واحد للمكافآت أثناء التدريب.
النتيجة: هذا يجبر النموذج على التقارب نحو نقطة تشغيل واحدة وثابتة (مقايضة محددة). ولا يمكن للمستخدمين تعديل التوازن بين الأهداف عند الاستنتاج (inference) دون إعادة تدريب النموذج أو الاحتفاظ بنماذج متعددة (نسخة لكل مجموعة من الأوزان).
الفجوة: تفتقر نهج التعلم التعزيزي متعدد الأهداف (MORL) الحالية للتوليد البصري إما إلى التحكم في وقت الاستنتاج، أو تتطلب تخزين نماذج متعددة (يتوسع خطياً مع عدد الأهداف)، أو تعاني من عبء حوسبي عالٍ أثناء أخذ العينات.

٢. المنهجية: ParetoSlider

يقترح المؤلفون ParetoSlider، وهو إطار عمل للتعلم التعزيزي متعدد الأهداف (MORL) يدرب نموذج انتشار واحد لتقريب جبهة باريتو (Pareto front) بأكملها (مجموعة المقايضات المثلى حيث لا يمكن تحسين هدف واحد دون تدهور هدف آخر).

المكونات الأساسية

السياسة المشروطة بالتفضيلات (Preference-Conditioned Policy):
- بدلاً من سياسة ثابتة، يتم تكييف النموذج مع متجه تفضيل مستمر $\omega = [\omega_1, \dots, \omega_M]$ ، حيث يقع $\omega$ في "المنبسط الاحتمالي" (probability simplex) (حيث $\sum \omega_m = 1, \omega_m \ge 0$ ).
- أثناء التدريب، يقوم النموذج بأخذ عينات من متجهات $\omega$ مختلفة، ليتعلم كيفية ربط أي تفضيل محدد بالنقطة المقابلة له على جبهة باريتو.
- عند الاستنتاج، يمكن للمستخدمين تحريك $\omega$ بشكل مستمر للتحكم في المقايضة دون الحاجة لإعادة التدريب.
استراتيجية التجميع القياسي المتأخر (Late-Scalarization Strategy):
- المشكلة: يؤدي تجميع المكافآت الخام مباشرة (التجميع القياسي المبكر) قبل المعايرة (normalization) إلى "اختطاف المكافأة" (reward hijacking)، حيث تهيمن الأهداف ذات القيم الكبيرة أو التباينات العالية على التدرج (gradient)، مما يتجاهل متجه تفضيل المستخدم $\omega$ .
- الحل: يستخدم ParetoSlider التجميع القياسي المتأخر.
  - الخطوة ١: حساب المزايا ( $A_m$ ) لكل هدف مكافأة $m$ بشكل مستقل ضمن مجموعة من العينات.
  - الخطوة ٢: معايرة هذه المزايا بشكل مستقل لإزالة عدم التوازن في المقاييس.
  - الخطوة ٣: حساب خسارة DiffusionNFT منفصلة ( $L_m$ ) لكل هدف.
  - الخطوة ٤: تجميع الخسائر فقط في الخطوة النهائية باستخدام أوزان التفضيل: $L_{total} = \sum \omega_m L_m$ .
- يضمن هذا أن مشهد التحسين محدد بدقة بواسطة التفضيل المستهدف $\omega$ ، وليس بالمقاييس التعسفية لدوال المكافأة.
البنية والاشتراط (Architecture & Conditioning):
- مبني على DiffusionNFT، وهو إطار عمل تعلم تعزيزي عبر الإنترنت (online RL) فعال لنماذج تطابق التدفق (flow-matching) يعمل على تحسين العملية الأمامية بدلاً من مسار العملية العكسية.
- آليات الاشتراط: يتم حقن متجه التفضيل $\omega$ $ω$ في هيكل المحول (transformer backbone) عبر وحدات خفيفة الوزن (LoRA + اشتراط محدد):
  - النص إلى صورة (SD3.5): يحقن $\omega$ عبر تضمينات الخطوات الزمنية (timestep embeddings) وتعديل متبقي مشترك (shared residual modulation) على تيار الصورة.
  - الصورة إلى صورة (FluxKontext): يعدل مقياس وإزاحة الـ AdaLN لسياق (النص).
  - النص إلى فيديو (LTX-2): يستخدم آلية كتلة-متبقية مشتركة تستهدف تيار الفيديو.

٣. المساهمات الرئيسية

تقريب باريتو لنموذج واحد: يقدم إطار عمل حيث يلتقط نموذج واحد من المعلمات جبهة باريتو بأكملها، مما يلغي الحاجة إلى نماذج متعددة أو استكمال النماذج (model interpolation).
التحكم في وقت الاستنتاج: يتيح تحكماً مستمراً ودقيقاً في المكافآت المتنافسة (مثل الانتقال من "الواقعية الفوتوغرافية" إلى "الرسم التخطيطي") عبر شريط تمرير بسيط للتفضيل.
نموذج تدريب مبتكر: يقترح التجميع القياسي المتأخر مع معايرة مزايا لكل مكافأة، مما يمنع اختطاف المكافأة ويضمن الالتزام الدقيق بتفضيلات المستخدم.
القابلية للتوسع: يثبت قابليته للتطبيق عبر مهام متنوعة (النص إلى صورة، تحرير الصور، النص إلى فيديو) ومع هياكل أساسية حديثة (SD3.5, FluxKontext, LTX-2).

٤. النتائج التجريبية

قيم المؤلفون ParetoSlider مقابل خطوط الأساس بما في ذلك الأوزان الثابتة (نماذج منفصلة لأوزان ثابتة)، و Flow-Multi (اختيار العينات القائم على باريتو)، و إعادة كتابة المطالبات (Prompt Rewriting)، ومقاييس التوجيه القياسية (CFG).

الأداء النوعي:
- النص إلى صورة: انتقالات سلسة بين الواقعية الفوتوغرافية والأساليب المختلفة (الرسم التخطيطي، الأنمي، الألوان المائية). يحافظ النموذج على التماسك عبر الطيف بأكمله.
- تحرير الصور: يوازن بنجاح بين الالتزام بالتعليمات (مثل "حولها إلى محارب") والحفاظ على المصدر (الحفاظ على ملامح الوجه). النقطة الوسطى "المتوازنة" تقوم بالاستكمال (interpolation) بدقة بين الأطراف المتطرفة.
- النص إلى فيديو: يتحكم في المقايضة بين الواقعية الفوتوغرافية وأساليب الرسوم المتحركة ثلاثية الأبعاد في الفيديوهات المولدة.
الأداء الكمي:
- تغطية جبهة باريتو: يرسم ParetoSlider باستمرار جبهة باريتو مرتبة وسلسة تهيمن على جميع خطوط الأساس.
- الحجم الفائق (Hypervolume - HV): يحقق مؤشرات حجم فائق أعلى بكثير مقارنة بالأوزان الثابتة وخطوط الأساس الأخرى، مما يشير إلى تقارب أفضل نحو الجبهة المثلى وانتشار أفضل عبر الأهداف.
- الكفاءة: يحل نموذج واحد مدرب محل الحاجة إلى $N$ من النماذج المنفصلة (حيث $N$ هو عدد نقاط المقايضة المطلوبة)، مما يوفر في التخزين وحوسبة التدريب.

٥. الأهمية

تحول في النموذج المعرفي: ينقل المجال من "المحاذاة الثابتة" (تدريب نموذج لهدف واحد محدد) إلى "المحاذاة الديناميكية" (تدريب نموذج لفهم وتنفيذ طيف من الأهداف).
تجربة المستخدم: يوفر واجهة عملية للمستخدمين غير الخبراء للتنقل بين الأهداف المعقدة والمتضاربة (على سبيل المثال، "أريد أن يكون التحرير قوياً، ولكن مع الحفاظ على ملامح الوجه معروفة") دون الحاجة لمعرفة تقنية بأوزان المكافأة أو بنية النموذج.
القابلية للتوسع: يقدم حلاً قابلاً للتوسع للمحاذاة متعددة الأهداف في التوليد البصري، معالجاً "الثلاثية" المتمثلة في المرونة، والكفاءة، والقابلية للتوسع التي واجهت محاولات MORL السابقة.
المتانة: يضمن نهج التجميع القياسي المتأخر أن النموذج يتعلم الأهمية النسبية للأهداف كما حددها المستخدم، بدلاً من الانحياز للمقاييس العددية المتأصلة في نماذج المكافأة.

في الختام، يضع ParetoSlider معياراً جديداً لمحاذاة النماذج التوليدية مع التفضيلات البشرية، مما يتيح تحكماً مرناً ومستمراً في المقايضات التي تحدد جودة التوليد البصري العالية.