🤖 machine learning

SIPO: Stabilized and Improved Preference Optimization for Aligning Diffusion Models

تقدم الورقة البحثية SIPO، وهو إطار عمل مستقر ومحسن لتحسين التفضيلات لنماذج الانتشار يعالج عدم استقرار التدريب وانحياز السياسة الخارجية من خلال آلية مبتكرة لقص التدرج وإعادة وزن الأهمية الواعية بالخطوات الزمنية، مما يظهر أداءً فائقاً عبر مهام توليد الصور والفيديو.

المؤلفون الأصليون: Xiaomeng Yang, Mengping Yang, Junyan Wang, Zhijian Zhou, Zhiyu Tan, Hao Li

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaomeng Yang, Mengping Yang, Junyan Wang, Zhijian Zhou, Zhiyu Tan, Hao Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم فنان موهوب (نموذج انتشار - Diffusion Model) كيف يرسم لوحات يحبها البشر حقاً. الفنان بارع بالفعل في إنشاء صور من الصفر، لكنه لا يعرف دائماً بالضبط ما تريده أنت. تريد أن تعطيه ملاحظات مثل: "أنا أحب هذه الصورة أكثر من تلك".

تقدم هذه الورقة البحثية طريقة تعليم جديدة تسمى SIPO (تحسين التفضيلات المستقر والمحسن). وهي تعالج مشكلتين رئيسيتين كانتا تحدثان عندما يحاول الناس تعليم هؤلاء الفنانين باستخدام الطرق السابقة.

إليك التفاصيل باستخدام تشبيهات بسيطة:

المشكلة: "الفصل الدراسي الفوضوي"

وجد المؤلفون أن الطرق السابقة (مثل Diffusion-DPO) كانت تشبه فصلاً دراسياً فوضوياً حيث يصرخ المعلم بالتعليمات في أوقات عشوائية، مما يربك الطالب.

مشكلة "التوقيت السيئ":
- التشبيه: تخيل أن الفنان يقوم برسم لوحة. يبدأ بلوحة بيضاء (مليئة بالضجيج/الضوضاء) ثم يضيف التفاصيل ببطء حتى تصبح الصورة واضحة.
- المشكلة: الطريقة القديمة حاولت تقديم ملاحظات على كل ثانية من عملية الرسم. ولكن في البداية (الخطوات الزمنية المبكرة)، تكون اللوحة مجرد ضباب من الضجيج. تقديم الملاحظات هنا يشبه الصراخ "ارسم أنفاً!" بينما اللوحة ليست سوى بقعة رمادية باهتة. هذا يسبب الارتباك ويؤدي إلى إحباط الفنان (عدم استقرار التدريب).
- الحل: يعمل SIPO كمعلم ذكي يقول: "دعنا نتجاهل الستين ثانية الأولى عندما تكون اللوحة مجرد ضباب. دعنا نقدم الملاحظات فقط عندما تبدأ الأشكال في الظهور". هذا يمنع الفنان من الارتباك بسبب الضجيج.
مشكلة "الطالب الخطأ":
- التشبيه: تخيل أنك تدرب طالباً باستخدام كتاب مدرسي كتبه طالب آخر. الكتاب يحتوي على الإجابات الصحيحة، لكن الأسلوب مختلف قليلاً عن طريقة تفكير طالبك الحالي.
- المشكلة: استخدمت الطريقة القديمة بيانات "خارج الخط" (Offline Data) (أمثلة معدة مسبقاً) لم تتطابق تماماً مع ما كان الفنان الحالي قادراً على فعله. هذا خلق فجوة بين ما يتعلمه الفنان وما يفعله فعلياً، مما تسبب في فقدانه للثقة أو ارتكابه أخطاء غريبة لاحقاً (انحياز خارج السياسة - off-policy bias).
- الحل: يستخدم SIPO "مترجماً" (يسمى إعادة وزن الأهمية - importance re-weighting). ينظر إلى كل مثال ويقول: "هذا المثال مشابه جداً لما يستطيع فناننا فعله، لذا سنستمع إليه بتركيز. أما ذلك المثال فهو مختلف جداً، لذا سنخفض صوته". هذا يضمن أن يتعلم الفنان من الأمثلة الأكثر صلة دون أن يشعر بالارتباك من الأمثلة غير المتوافقة.

الحل: SIPO

تقترح الورقة البحثية SIPO كتحسين يتكون من خطوتين:

DPO-C&M (القص والتقنيع - Clipping and Masking): هذا هو "المعلم الذكي". يقوم بـ تقنيع (تجاهل) الأجزاء المبكرة والمشوشة من عملية الرسم حيث لا تكون الملاحظات مفيدة. كما يقوم بـ قص (تحديد) الملاحظات حتى لا تصبح متطرفة وتخيف الفنان.
إعادة الوزن المدركة للزمن (Timestep-Aware Reweighting): هذا هو "المترجم". يقوم بتعديل مستوى صوت الملاحظات بناءً على مدى تطابق المثال مع مستوى مهارة الفنان الحالية. إذا كان المثال مطابقاً تماماً، فإنه يرفع صوته. وإذا كان مثالاً غريباً وغير متناسق، فإنه يخفض صوته.

النتائج: فنان أفضل وأكثر هدوءاً

اختبر المؤلفون هذه الطريقة على كل من مولدات الصور (مثل Stable Diffusion) ومولدات الفيديو (مثل CogVideoX).

الاستقرار: كانت الطرق السابقة تشبه الأفعوانية (Rollercoaster)؛ حيث كان أداء الفنان يرتفع وينخفض بجنون، وأحياناً ينهار تماماً بعد بضعة أيام من التدريب. أما SIPO فهو يشبه المصعد الناعم؛ حيث يتحسن الفنان بشكل مستمر ولا ينهار.
الحساسية: كانت الطرق القديمة حساسة جداً لإعداد "درجة الحرارة" (مقبض يسمى $\beta$ ). إذا قمت بتدوير المقبض بشكل خاطئ قليلاً، سيفشل الفنان. أما SIPO فهو قوي؛ إذ يعمل بشكل جيد حتى لو لم تضبط المقبض بدقة مثالية.
الجودة: في الاختبارات المباشرة، أنتج SIPO صوراً وفيديوهات يفضلها البشر بشكل أكبر من الطرق القديمة. لم يكتفِ بصنع صور "مقبولة" فحسب، بل صنع صوراً أكثر اتساقاً، وألواناً أكثر حيوية، وأكثر توافقاً مع الذوق البشري.

الملخص

باختاً، SIPO هو طريقة أذكى لتدريب الفنانين من الذكاء الاصطناعي. فبدلاً من الصراخ بالتعليمات عليهم بينما لا يزالون مرتبكين بسبب الضجيج، فإنه ينتظر اللحظة المناسبة للتحدث ويعدل صوته ليتناسب مع مستوى الفنان الحالي. والنتيجة هي عملية تدريب أقل عرضة للانهيار وتنتج فناً أفضل وأكثر محاكاة للبشر.

ملخص تقني: SIPO (تحسين التفضيل المستقر والمحسن)

1. بيان المشكلة

بينما أحدثت نماذج الانتشار (Diffusion Models) ثورة في توليد الصور والفيديو، لا يزال مواءمة هذه النماذج مع التفضيلات البشرية أمراً صعباً. تعاني تقنيات المواءمة الحالية، ولا سيما Diffusion-DPO (التحسين المباشر للتفضيل)، من مشكلتين جوهريتين تعيقان التدريب المستقر والفعال:

عدم استقرار التدريب: تتضمن عملية إزالة الضجيج (denoising) في نماذج الانتشار مسارات طويلة الأمد ذات خطوات زمنية متنوعة. حددت الورقة أن عدم استقرار التدريب ينشأ أساساً من الخطوات الزمنية المبكرة، والتي تمتلك أوزان أهمية منخفضة وتباينات عالية في التدرج (gradient variances). يؤدي هذا إلى ديناميكيات خسارة غير رتيبة، وحساسية للمعاملات (تحديداً لبارامتر درجة الحرارة $\beta$ )، واحتمالية انهيار التدريب حيث يتدهور الأداء بمرور الوقت.
انحياز السياسة الخارجة عن النطاق (Off-Policy Bias): يتم بناء بيانات تحسين التفضيل عادةً من نموذج مرجعي ثابت أو مصادر خارج نطاق التوزيع بدلاً من نموذج السياسة الحالي. يخلق هذا فجوة توزيعية حيث تلتقط بيانات التدريب مجموعة فرعية ضيقة من فضاء الحالة-الفعل، بينما يجب على النموذج التعميم عبر فضاء أوسع. يؤدي هذا التباين إلى تقدير غير دقيق لدرجة القيم الخارجة عن النطاق، واختطاف المكافأة (reward hacking)، وتدهور التعميم، خاصة في توليد الفيديو حيث يكون التماسك الزمني أمراً حاسماً.

2. المنهجية: إطار عمل SIPO

يقترح المؤلفون SIPO (تحسين التفضيل المستقر والمحسن)، وهو إطار عمل مصمم لمعالجة عدم الاستقرار والانحياز المذكورين أعلاه من خلال تحليل منهجي لمسارات الانتشار وإدخال آليات أخذ عينات الأهمية.

2.1. تحليل مسارات الانتشار

من خلال تحليل منهجي على Stable Diffusion 1.5، لاحظ المؤلفون أن:

الخطوات الزمنية المبكرة (تحديداً $t \in [0, 63]$ ) تقابل أوزان أهمية منخفضة وتدخل تدرجات ضوضائية تؤدي إلى زعزعة استقرار التدريب.
الخطوات الزمنية المتوسطة إلى المتأخرة توفر الإشارات الأكثر معلوماتية لمواءمة التفضيل.
أداء أخذ العينات الموحد للخطوات الزمنية يقل عن أداء التركيز على الخطوات المتوسطة.

2.2. DPO-C&M (القص والتقنيع - Clipping & Masking)

لمعالجة عدم الاستقرار، قدم المؤلفون DPO-C&M، الذي يعدل هدف Diffusion-DPO القياسي:

توزين الأهمية: يتم حساب وزن الأهمية $w(t)$ من خلال مقارنة الانتقال العكسي المتعلم $p_\theta(x_{t-1}|x_t)$ مع التوزيع الخلفي الأمامي $q(x_{t-1}|x_t, x_0)$ .
القص والتقنيع (Clipping and Masking): يتم تقنيع (masking) الخطوات الزمنية ذات أوزان الأهمية المنخفضة (التي تشير إلى تدرجات غير موثوقة أو ضوضائية). وتحديداً، يتم قص الأوزان ضمن نطاق $[1-\epsilon, 1+\epsilon]$ لمنع التباين العالي. يعمل هذا كقناع ناعم (soft mask) لكبح التدرجات من المناطق التي تتباعد فيها المسارات الأمامية والعكسية بشكل كبير.

2.3. إعادة التوزين حسب الأهمية الواعية بالخطوة الزمنية

للتخفيف من انحياز السياسة الخارجة عن النطاق، يدمج SIPO مخطط إعادة توزين الأهمية المقتص بالخطوة الزمنية:

تصحيح السياسة الخارجة عن النطاق: يعيد الإطار تفسير هدف تحسين التفضيل باستخدام أخذ عينات الأهمية. يقوم بإعادة وزن التحديثات بناءً على نسبة الاحتمالية بين السياسة الحالية $p_\theta$ وتوزيع أخذ العينات الخارج عن النطاق $q$ .
هدف منظم بـ KL: تصيغ الطريقة عملية التحسين كتقليل للتباعد (KL divergence) بين النموذج الحالي وتوزيع مستهدف "مشكل" $p^*$ ، والذي يوازن بين تغذية المكافأة والتفضيلات السابقة.
أحجام الخطوات التكيفية: يقوم مصطلح نسبة اللوغاريتم المعاد وزنه بتوسيع التحديثات بشكل تكيفي. فهو يعزز العينات المفضلة المقدرة بأقل من قيمتها ويقلل من وزن العينات المفرطة في الثقة. هذا يقدم حداً علوياً ناعماً حول التوزيع المرجعي، مما يمنع اختطاف المكافأة ويقلل من الحساسية لبارامتر $\beta$ .

تدمج دالة خسارة SIPO النهائية أوزان الأهمية المقتصة هذه في إشارة التفضيل الزوجية عند كل خطوة إزالة ضجيج، مما يضمن تحديثات مستقرة حتى عند التدريب على مجموعات بيانات ثابتة وخارجة عن النطاق.

3. المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

التحليل المنهجي: تحقيق مفصل في ديناميكيات تحسين التفضيل القائم على الانتشار، مما كشف أن الخطوات الزمنية المبكرة تزعزع استقرار تدريب DPO بينما تقود الخطوات المتوسطة إلى المتأخرة مكاسب الأداء.
إطار عمل SIPO: اقتراح إطار عمل مبدئي يعتمد على وزن الأهمية، يعمل على استقرار التدريب وتخفيف عدم التطابق مع السياسة الخارجة عن النطاق من خلال إعادة وزن التدرجات وفقاً لاحتمالية العينة وجودة الخطوة الزمنية.
التحقق التجريبي: تجارب واسعة النطاق تثبت أن SIPO يعمل باستمرار على استقرار عملية تحسين التفضيل ويتفوق على البدائل الموجودة (مثل Diffusion-DPO و DPO-C&M) عبر مهام توليد الصور والفيديو.

4. النتائج التجريبية

قيم المؤلفون SIPO على نماذج أساسية مختلفة، بما في ذلك Stable Diffusion 1.5، SDXL، CogVideoX-2B/5B، و Wan2.1-1.3B.

النص إلى فيديو (Text-to-Video): في نموذج CogVideoX-2B، أظهر Diffusion-DPO تدهوراً شديداً بعد 1000 خطوة (انخفاض إجمالي درجة VBench من 80.91 إلى 67.28)، بينما ظل SIPO مستقراً وتحسن (81.68). تفوق SIPO باستمرار على Diffusion-DPO و DPO-C&M في درجات الإجمالي، الجودة، والدلالة (Total, Quality, and Semantic) عبر جميع نماذج الفيديو المختبرة.
النص إلى صورة (Text-to-Image): في نماذج SD1.5 و SDXL باستخدام مجموعة بيانات Pick-a-Pic، حقق SIPO أعلى الدرجات في ثلاثة من أصل أربعة مقاييس (PickScore، HPSv2، Aesthetics) مقارنة بـ Diffusion-DPO والبدائل الأخرى مثل Diffusion-KTO و SPO.
حساسية البارامترات: أظهر SIPO متانة أعلى بكثير تجاه بارامتر درجة الحرارة $\beta$ . فبينما تذبذب أداء Diffusion-DPO بشكل حاد مع قيم $\beta$ المختلفة، حافظ SIPO على أداء ثابت عبر نطاق واسع.
التقييم البشري: في دراسة شملت 200 مطالبة و12 مُقيماً، حقق SIPO معدل فوز بنسبة 67% (المرتبة الأولى)، متفوقاً بشكل كبير على Diffusion-DPO والنماذج الأساسية.
التعلم عبر الإنترنت/التكراري (Online/Iterative Learning): في سيناريوهات التدريب التكراري، حافظ SIPO على أداء مستقر، بينما أظهر Diffusion-DPO تدهوراً بسبب اختطاف المكافأة وانزياح التوزيع.

5. الأهمية والادعاءات

تزعم الورقة أن SIPO يوفر إرشادات قيمة لتحسين تحسين التفضيل من خلال التأكيد على أهمية المواءمة الواعية بالخطوة الزمنية. يؤكد المؤلفون أن طريقتهم:

تستقر التدريب: من خلال تحديد وتقنيع الخطوات الزمنية المبكرة غير المعلوماتية، يمنع SIPO انهيار التدريب الذي غالباً ما يُلاحظ في Diffusion-DPO.
تخفف من انحياز السياسة الخارجة عن النطاق: يسمح مخطط إعادة وزن الأهمية بتدريب فعال على مجموعات البيانات الثابتة (offline) دون الحاجة إلى استكشاف معقد للسياسة (on-policy).
تتعمم بشكل جيد: النهج فعال عبر بنيات نماذج مختلفة (بما في ذلك النماذج القائمة على التدفق مثل WanX) وعبر وسائط مختلفة (الصورة والفيديو).

يخلص المؤلفون إلى أن SIPO يقدم نهجاً قابلاً للتوسع ومبنياً على أسس سليمة لمواءمة التوليد القائم على الانتشار مع التفضيلات البشرية، مما يجعل المخرجات أكثر اتساقاً وقابلية للتحكم دون الحاجة إلى قدرات توليدية جديدة تتجاوز النماذج الأساسية. ويوصون بدمج هذا التحسين مع اختيار دقيق للبيانات وتصفية السلامة.