🤖 machine learning

Linear-DPO: Linear Direct Preference Optimization for Diffusion and Flow-Matching Generative Models

تقترح هذه الورقة البحثية Linear-DPO، وهو إطار عمل موحد لتحسين التفضيلات يشتق هدفاً عاماً لكل من نماذج الانتشار (diffusion) ونماذج مطابقة التدفق (flow-matching) عن طريق استبدال المنفعة القياسية القائمة على دالة السيجمويد (sigmoid) بمنفعة خطية ونموذج مرجعي يتم تحديثه عبر المتوسط المتحرك الأسي (EMA) للتغلب على عدم توافق الأهداف وتحسين محاذاة توليد الصور من النصوص.

المؤلفون الأصليون: Kesong Li, Yixuan Xu, Kuo-kun Tseng, Weiyi Lu, Kan Liu, Tao Lan

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kesong Li, Yixuan Xu, Kuo-kun Tseng, Weiyi Lu, Kan Liu, Tao Lan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً موهوباً جداً يمكنه رسم لوحات بناءً على أوصافك. لقد تعلم هذا الفنان من خلال النظر إلى مليارات الصور والتعليقات النصية من الإنترنت. إنه بارع في جعل الأشياء تبدو واقعية، لكنه لا يعرف دائماً ما يفضله البشر فعلياً. أحياناً، يصنع صوراً صحيحة تقنياً ولكنها غريبة نوعاً ما، أو قبيحة، أو ببساطة ليست ما طلبته بالضبط.

لإصلاح ذلك، نحتاج إلى تعليم الفنان كيف يستمع إلى التعليقات البشرية. تقدم هذه الورقة البحثية طريقة جديدة وأكثر ذكاءً لهذا التعليم، تسمى Linear-DPO.

إليك تفصيل بسيط لكيفية عملها، باستخدام بعض التشبيهات من الحياة اليومية:

1. المشكلة: المعلم الذي يستخدم "نموذجاً واحداً للجميع"

في السابق، حاول الباحثون تعليم هؤلاء الفنانين بالذكاء الاصطناوي باستخدام طريقة تسمى DPO (تحسين التفضيل المباشر). فكر في DPO كمعلم صارم يقول لك: "إذا أجبت بشكل صحيح، فهذا رائع! وإذا أخطأت، فتوقف عن المحاولة فوراً".

المشكلة: قاعدة "التوقف فوراً" هذه تعمل جيداً مع النماذج اللغوية (مثل روبوتات الدردشة) حيث تحتاج فقط إلى اختيار الكلمة الصحيحة. ولكن بالنسبة لتوليد الصور، فالأمر يشبه محاولة نحت تمثال عبر إزالة القطع الكبيرة فقط ثم التوقف بمجرد أن يبدو الشكل "مقبولاً". لن تصل أبداً إلى التفاصيل الدقيقة لأن المعلم يتوقف عن تقديم الملاحظات في وقت مبكر جداً.
الفجوة: أيضاً، الطريقة القديمة كانت تعمل فقط مع نوع واحد محدد من فناني الذكاء الاصطناائي (يسمى نماذج "الانتشار" أو Diffusion). أما الفنانون الأحدث والأسرع (الذين يسمون نماذج "مطابقة التدفق" أو Flow-Matching)، فقد تُركوا خارج الفصل الدراسي تماماً.

2. الحل: فصل دراسي موحد

أدرك مؤلفو هذه الورقة أن كل من فناني "الانتشار" القدامى وفناني "مطابقة التدفق" الجدد يقومون في الواقع بنفس الشيء، ولكن بطرق مختلفة قليلاً. لذا قاموا ببناء إطار عمل موحد.

التشبيه: تخيل أن الطريقة القديمة كانت لمعلم يتحدث فقط إلى الطلاب الذين يرتدون قمصاناً زرقاء. الطريقة الجديدة هي معلم يتحدث لغة عالمية يفهمها كل من طلاب "القمصان الزرقاء" وطلاب "القمصان الحمراء" ببراعة. هذا يسمح بتدريب أحدث فناني الذكاء الاصطناعي وأكثرهم قوة (مثل SD3) باستخدام تعلم التفضيلات لأول مرة.

3. السر الخفي: "المنفعة الخطية" (Linear Utility)

الابتكار الأكبر هو تغيير كيفية تقديم المعلم للملاحظات.

الطريقة القديمة (Sigmoid): استخدمت الطريقة القديمة دالة "Sigmoid". تخيل مفتاح إضاءة؛ فهو إما "إيقاف تشغيل" (0) أو "تشغيل" (1). بمجرد أن يحصل الطالب على إجابة "جيدة بما يكفي"، ينقل المفتاح إلى وضع التشغيل، ويتوقف المعلم عن تصحيحه. هذا يجعل الطالب يعلق عند مستوى "جيد بما يكفي" ولا يتحسن أكثر من ذلك.
الطريقة الجديدة (Linear-DPO): استبدل المؤلفون مفتاح الإضاءة بـ مفتاح تعتيم (دالة خطية).
- كيف تعمل: حتى عندما يؤدي الطالب أداءً جيداً، يستمر المعلم في تقديم دفعات صغيرة ولطيفة. الأمر يشبه مدرباً يقول: "عمل جيد، ولكن دعنا نجعل الألوان أكثر سطوعاً بقليل"، حتى بعد انتهاء اللوحة بالفعل.
- النتيجة: هذا يحافظ على عملية التعلم سلسة ومستمرة. لا يتوقف الفنان عن التحسن لمجرد أنه حقق درجة "جيدة"؛ بل يستمر في صقل التفاصيل حتى تصبح اللوحة جميلة حقاً.

4. "الهدف المتحرك" المرجعي

في التدريب، تقوم عادةً بمقارنة عمل الطالب بـ "مرجع" (نموذج أساسي) للتأكد من أنه لا يخرج عن المسار.

الطريقة القديمة: كان المرجع عبارة عن تمثال ثابت وجامد. بمجرد أن يصبح الطالب أفضل من التمثال، تصبح المقارنة عديمة الفائدة.
الط الجديدة: يستخدم المؤلفون مرجع EMA (المتوسط المتحرك الأسي). تخيل أن المرجع هو ظل يتبع الطالب ببطء. مع تحسن الطالب، يتحرك الظل معه. هذا يضمن أن الطالب يتم تحديه دائماً ليكون أفضل "بقليل" من حالته الحالية، مما يمنعه من التراخي أو الركود.

5. النتائج

اختبرت هذه الورقة هذه الطة الجديدة على عدة فناني ذكاء اصطناعي مشهورين (SD1.5، SDXL، وSD3 الأحدث).

النتيجة: أنتج الفنانون الذين تدربوا باستخدام Linear-DPO صوراً صنفها البشر بأنها أفضل بكثير. بدت أكثر واقعية، واتبعت التعليمات بدقة أكبر، وكانت ذات تفاصيل أغنى.
الدليل: في الاختبارات المباشرة، تفوقت الطريقة الجديدة على الطرق القديمة (مثل DPO القياسي أو الضبط الدقيق البسيط) في كل مرة تقريباً، خاصة في النماذج الأحدث والأكثر قوة.

الملخص

فكر في Linear-DPO كترقية من معلم يستخدم مفتاح إضاءة (تشغيل/إيقاف، يتوقف مبكراً جداً) إلى معلم يستخدم مفتاح تعتيم (تغذية راجعة سلسة ومستمرة). لقد تأكدوا أيضاً من أن هذا المعلم يمكنه تعليم جميع أنواع فناني الذكاء الاصطناعي، وليس فقط القدامى منهم. والنتيجة هي فن مولد بالذكاء الاصطناعي يبدو أقرب بكثير إلى ما يريد البشر رؤيته حقاً.

ملخص تقني: Linear-DPO

بيان المشكلة

أثبتت عملية تحسين التفضيل المباشر (DPO) فعاليتها في مواءمة النماذج اللغوية الكبيرة (LLMs) مع التفضيلات البشرية، لكنها تواجه تحديات كبيرة عند تطبيقها على توليد الصور من النصوص (T2I). تعاني النهج الحالية، مثل Diffusion-DPO، من مشكلتين رئيسيتين:

محدودية بنية النموذج: تقتصر التحليلات النظرية والتنفيذات الحالية على نماذج الانتشار لإزالة الضجيج (مثل SD1.5 و SDXL) القائمة على بنية U-Net. وهي تغفل نماذج مطابقة التدفق (Flow-matching) (مثل SD3-Medium و Qwen-Image)، التي تستخدم تقنية "المنتدى المتصل" (Rectified Flow) وبنية MMDiT، والتي أصبحت هي المعيار الأحدث لتوليد الصور عالية الدقة.
عدم تطابق الهدف: يعتمد هدف DPO القياسي، المستمد من النمذجة اللغوية المنفصلة، على دالة منفعة قائمة على دالة "سيجمويد" (Sigmoid) تشجع على "تعظيم الهامش". في هذا النموذج، تتلاشى التدرجات بسرعة بمجرد أن يصبح الفارق في الاحتمالية بين العينات المختارة والمرفوضة كبيراً بما يكفي. هذا السلوك غير مناسب لمهام التوليد القائمة على الانحدار (الانتشار ومطابقة التدفق)، والتي تتطلب تحديثات مستمرة، مستقرة، وذات خطوات صغيرة على مدى زمني طويل لصقل التفاصيل البصرية الدقيقة. يؤدي التلاشي السريع للتدرج في DPO القياسي إلى فخ "التقارب الزائف"، مما يجعل النماذج جامدة وتتوقف عن صقل التفاصيل في مرحلة مبكرة من التدريب.

المنهجية

1. إطار عمل SDE الموحد للانتشار ومطابقة التدفق

استنتج المؤلفون هدف DPO عاماً يوحد نماذج الانتشار ومطابقة التدفق تحت إطار عمل واحد للمعادلات التفاضلية العشوائية (SDE).

إعادة تفسير مطابقة التدفق: بينما تُعرف مطابقة التدفق عادةً بواسطة معادلة تفاضلية عادية (ODE) حتمية، أعاد المؤلفون صياغتها كمعادلة SDE قائمة على السرعة. ومن خلال إدخال العشوائية اللازمة، استنتجوا احتمالات شرطية ( $q(x_{t-1}|x_t)$ ) لمطابقة التدفق تكون متكافئة رياضياً مع تلك الموجودة في نماذج الانتشار.
صياغة الخسارة الموحدة: يسمح هذا باستنباط دالة خسارة DPO واحدة (المعادلة 11) قابلة للتطبيق على كلا النموذجين. وتكون الخسارة عبارة عن دالة لوجستية للفرق بين الخطأ التربيعي لنموذج السياسة والخطأ التربيعي للنموذج المرجعي على هدف التنبؤ (الضجيج $\epsilon$ للانتشار، والسرعة $v$ لمطابقة التدفق).

2. تحليل التدرج و Linear-DPO

من خلال تحليل منظور التدرج، حدد المؤلفون أن DPO القياسي يعمل كعملية ضبط دقيق تحت الإشراف (SFT) موزونة، حيث يتم تعديل الأوزان بواسطة دالة سيجمويد. وجادلوا بأن هذا غير مثالي للمهام التوليدية بسبب:

التحديثات الضخمة للغاية: عامل القياس $\bar{\beta}$ في سياقات الانتشار أكبر بكثير مما هو عليه في معالجة اللغات الطبيعية (NLP)، مما يسبب تدرجات متقلبة.
টি
البارامترات المترابطة: نفس المعامل يتحكم في كل من درجة التمييز وحجم التحديث.
التشبع المبكر: تتشبع دالة السيجمويد بسرعة، مما يوقف التعلم قبل اكتمال صقل التفاصيل الدقيقة.

ولمعالجة ذلك، تم اقتراح Linear-DPO مع تعديلين جوهريين:

دالة منفعة خطية: تم استبدال بوابة السيجمويد الهجومية بدالة منفعة خطية مستدامة ( $u_{linear}(x) = 0.2x + 0.5$ )، مقصوصة ضمن النطاق $[\eta, 1]$ . يضمن هذا أنه حتى عندما تنفصل التفضيلات، يستمر النموذج في تلقي تدرجات صغيرة ومستمرة لصقل التفاصيل، مما يتجنب فخ "التقارب الزائف".
النموذج المرجعي المحدث عبر EMA: بدلاً من استخدام نموذج مرجعي ثابت (الذي يمكن أن يعيق التحسن بمجرد أن يتفوق نموذج السياسة عليه) أو التحديثات المفاجئة، يحافظ Linear-DPO على المتوسط المتحرك الأسي (EMA) لنموذج السياسة كنموذج مرجعي. وهذا يشجع على الاستمرار في التحسين ويؤدي إلى استقرار التدريب.

المساهمات الرئيسية

هدف DPO معمّم: إنشاء صياغة DPO موحدة تربط نماذج التوليد بالانتشار ومطابقة التدفق عبر منظور SDE للزمن العكسي.
تحليل التدرج و Linear-DPO: تحليل نظري يكشف عن عدم مثالية الأهداف القائمة على السيجمويد للمهام التوليدية القائمة على الانحدار، مما أدى إلى اقتراح Linear-DPO مع دالة منفعة خطية وتحديثات مرجع EMA.
التحقق التجريبي: إثبات فعالية وقابلية توسع Linear-DPO عبر مجموعة من النماذج، بدءاً من الانتشار القياسي (SD1.5, SDXL) وصولاً إلى نماذج مطابقة التدفق المتقدمة (SD3-Medium).

النتائج التجريبية

قيم المؤلفون Linear-DPO على SD1.5 و SDXL و SD3-Medium باستخدام مجموعات بيانات مثل Pick-a-Pic v2 ومجموعة فرعية عالية الجودة من HPDv3.

الأداء الكمي: تفوق Linear-DPO باستمرار على النماذج المرجعية (SFT, Diffusion-DPO, Diffusion-KTO, DSPO, MaPO, DMPO) عبر مقاييس مؤتمتة متعددة، بما في ذلك PickScore و HPSv2/v3 و Aesthetics و CLIP و Image Reward. والجدير بالذكر أنه حقق نتائج رائدة في المواءمة مع التفضيلات البشرية والجودة البصرية.
التحسينات النوعية: أظهرت المقارنات البصرية أن Linear-DPO قلل بشكل كبير من التشويه الهيكلي وحسّن التوافق بين النص والصورة في SD1.5. وبالنسبة لنموذج SD3-M عالي السعة، فقد عزز أيضاً الجودة الجمالية، وتناغم الألوان، وتفاصيل الخلفية.
دراسات الاستئصال (Ablation Studies): أكدت التجارب أن دالة المنفعة الخطية تفوقت على أشكال المنفعة الأخرى (Kahneman-Tversky, Loss-Averse, Risk-Seeking). بالإضافة إلى ذلك، فإن استخدام نموذج مرجع EMA مع عامل اضمحلال $\gamma=0.995$ حقق أفضل أداء، مما منع عدم الاستقرار المرتبط بالمراجع الثابتة أو المحدثة بشكل مفاجئ.

الأهمية

يزعم البحث أن Linear-DPO يقدم مساراً مبدئياً لتعلم التفضيلات في النماذج التوليدية واسعة النطاق. ومن خلال معالجة الفجوة النظرية بين الانتشار ومطابقة التدفق وتصحيح عدم التطابق في التحسين في DPO القياسي، يوفر هذا النهج إطار عمل متعدد الاستخدامات يدعم كلاً من أداء المواءمة المتفوق وقابلية التوسع. يضع المؤلفون Linear-DPO كحل لمشكلة "التقارب الزائف"، مما يمكّن النماذج من الحفاظ على عمليات الصقل عبر آفاق تدريب طويلة، وهو أمر بالغ الأهمية لتوليد صور عالية الدقة.