🤖 AI

Beyond VLM-Based Rewards: Diffusion-Native Latent Reward Modeling

تقدم هذه الورقة نموذج DiNa-LRM، وهو نموذج مكافأة كامن أصيل في عملية الانتشار (diffusion-native) وفعال حاسوبياً، يصيغ تعلم التفضيلات مباشرة على حالات الانتشار المشوشة للتغلب على عدم تطابق النطاق والتكاليف العالية لنماذج المكافآت القائمة على النماذج اللغوية البصرية، محققاً أداء محاذاة فائقاً مع متطلبات موارد أقل بكثير.

المؤلفون الأصليون: Gongye Liu, Bo Yang, Yida Zhi, Zhizhou Zhong, Lei Ke, Didan Deng, Han Gao, Yongxiang Huang, Kaihao Zhang, Hongbo Fu, Wenhan Luo

نُشر 2026-05-25

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gongye Liu, Bo Yang, Yida Zhi, Zhizhou Zhong, Lei Ke, Didan Deng, Han Gao, Yongxiang Huang, Kaihao Zhang, Hongbo Fu, Wenhan Luo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا فنانًا كيفية رسم لوحات بناءً على أوصافك. يستخدم الروبوت نظامًا داخليًا معقدًا (يسمى نموذج الانتشار - Diffusion Model) يبدأ من ضجيج مشوش (static) ثم يقوم بتنقيته ببطء حتى تظهر صورة واضحة.

لتعليم هذا الروبوت الرسم بما يعجبك حقًا، فأنت بحاجة إلى "معلم" (نموذج مكافأة - Reward Model) ينظر إلى مسودات الروبوت ويقول له: "عمل جيد!" أو "حاول مجددًا".

المشكلة: المعلم القديم كان ثقيلًا وفي غير محله

في الوقت الحالي، أفضل "المعلمين" هي نماذج الرؤية واللغة الضخمة (VLMs). فكر في هذه النماذج كأنها مكتبات عملاقة فائقة الذكاء قرأت كل الكتب ورأت كل الصور في العالم.

المشكلة: هذه المكتبات العملاقة ثقيلة؛ فهي تتطلب قدرة حوسبة كبيرة للتشغيل، وهي بطيئة.
عدم التوافق: يعمل الفنان الروبوت في "عالم مجرد ومضغوط" (الفضاء الكامن - Latent Space)، لكن معلم المكتبة العملاقة ينظر إلى الصورة النهائية عالية الدقة (فضاء البكسل - Pixel Space). الأمر يشبه مطالبة طاهٍ بتقييم حساء عن طريق تذوق المكونات الخام بعد طهيها، بدلًا من تذوق الحساء أثناء غليه. هذا عدم التوافق يجعل عملية التعليم غير فعالة ومربكة.

الحل: DiNa-LRM (المعلم الأصلي)

ابتكر المؤلفون نوعًا جديدًا من المعلمين يسمى DiNa-LRM. بدلًا من استئجار مكتبة خارجية ضخمة، قاموا بتحويل العقل الداخلي للفنان الروبوت نفسه ليكون هو المعلم.

إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. العين "المعايرة للضجيج"

يقوم الفنان الروبوت بإنشاء الصور من خلال البدء بالضجيج (الاشتباك) ثم تنقيته بمرور الوقت.

الطريقة القديمة: المعلم ينظر فقط إلى الصورة النهائية والنظيفة.
طريقة DiNa-LRM: هذا المعلم الجديد مرتاح للنظر إلى الصورة بينما لا تزال ضبابية ومشوشة.
التشبيه: تخيل منتجًا موسيقيًا يعلم فرقة موسيقية. المعلم التقليدي ينتظر حتى يتم مزج الأغنية وإخراجها النهائي بالكامل لينتقدها. أما DiNa-LRM فهو مثل المنتج الذي يجلس في الاستوديو أثناء عملية التسجيل، يستمع إلى المسارات الخام والمشوشة. ولأن المعلم يفهم "الضجيج" بشكل طبيعي، فهو يعرف تمامًا مقدار عدم اليقين المتوقع في كل مرحلة. إذا كانت الصورة ضبابية جدًا، يقول المعلم: "لست متأكدًا بنسبة 100% بعد، لذا سأكون أكثر حذرًا في تقييمي". وإذا كانت الصورة واضحة، يقيمها المعلم بثقة عالية.

2. "تجميع الزمن" (Time-Travel Ensembling)

عندما يحتاج المعلم لإعطاء درجة نهائية لصورة مكتملة، فإنه لا يكتفي بالنظر إليها مرة واحدة فقط.

التشبيه: تخيل أنك تحاول تخمين حبكة فيلم. يمكنك مشاهدة المشهد الأخير فقط، لكن ذلك قد يكون مضللاً. أو يمكنك مشاهدة الفيلم عند اكتمال 10%، و50%، و90%، ودمج تلك الرؤى للحصول على فهم أفضل.
كيف يفعل DiNa-LRM ذلك: إنه ينظر إلى الصورة في مراحل مختلفة من "النقاء" (مستويات ضجيج مختلفة) ويدمج كل تلك الآراء في درجة واحدة نهائية وأكثر دقة. يسمى هذا تجميع الضجيج (Noise Ensembling). وهذا ما يجعله أكثر قوة وموثوقية دون الحاجة إلى عقل أكبر.

3. النتائج: أسرع، أرخص، وأذكى

اختبر المؤلفون هذا المعلم الجديد مقابل المكتبات العملاقة الأخرى ومحاولات أخرى.

الأداء: DiNa-LRM يكاد يكون بجودة أفضل المكتبات العملاقة في تحديد الصور التي يفضلها البشر.
الكفاءة: نظرًا لأنه يعيش داخل "عالم الروبوت المضغوط"، فإنه لا يحتاج إلى فك تشفير الصورة إلى صورة كاملة لتقييمها.
- استخدم ذاكرة أقل بنسبة 51% (مثل الحاجة إلى نصف سعة الـ RAM في جهاز الكمبيوتر الخاص بك).
- استخدم قدرة حوسبة أقل بنسبة 71% لعملية التقييم الفعلية.
التدريب: عند استخدامه لتدريب الفنان الروبوت، يتعلم الروبوت بشكل أسرع ولا يرتبك بسبب عدم التوافق بين رؤية المعلم ورؤية الفنان.

الملخص

يقدم البحث نموذج DiNa-LRM، وهو نموذج مكافأة يتحدث نفس "لغة" مولد الصور الذي يعلمه. بدلاً من إجبار خبير خارجي ضخم على ترجمة أفكاره إلى لغة المولد، يستخدم DiNa-LRM الهيكل الداخلي للمولد نفسه لتقييم عمله. إنه أكثر ذكاءً في التعامل مع عدم اليقين (الضجيج)، ويمكنه النظر إلى العمل قيد التنفيذ لاتخاذ أحكام نهائية أفضل، ويفعل كل ذلك مع استخدام قدر أقل بكثير من قوة الكمبيوتر.

ملخص تقني: DiNa-LRM – نموذج مكافأة كامن أصيل للانتشار (Diffusion-Native Latent Reward Modeling)

1. بيان المشكلة

يعتمد محاذاة نماذج الانتشار (Diffusion Models) ومطابقة التدفق (Flow-matching) مع التفضيلات البشرية بشكل كبير على دوال المكافأة. تعتمد معظم النهج الحالية المتطورة بشكل أساسي على نماذج الرؤية واللغة (VLMs) كركائز للمكافأة. وبينما توفر هذه النماذج قدرات تمييزية قوية، إلا أنها تقدم عائقين حرجين لمحاذاة نماذج الانتشار:

الأعباء الحسابية والذاكرة: تُعد المكافآت القائمة على نماذج الرؤية واللغة مكلفة عند استدعائها بشكل متكرر أثناء التحسين، مما يخلق عنق زجاجة لكفاءة التدريب.
عدم تطابق النطاق: تعمل نماذج الرؤية واللغة عادةً في فضاء البكسل (Pixel Space)، بينما يتم تدريب وتحسين مولدات الانتشار الكامنة في الفضاء الكامن (Latent Space). هذا عدم التطابق بين البكسل والكمن يعقد عملية المحاذاة، لا سيما لطرق تدرج المكافأة (Reward-gradient methods)، ويؤدي إلى أعباء إضافية غير ضرورية على النظام.

في المقابل، بينما أظهرت نماذج الانتشار وعوداً كركائز تمييزية، فإن المحاولات السابقة لاستخدامها كمكافآت كانت غالباً مرتبطة بخوارزميات تحسين محددة على مستوى الخطوة، أو ركزت على الحالات الوسيطة المشوشة دون تأسيس إطار عمل عام للأغراض الشاملة لمقارنة نماذج الرؤية واللغة في تقييم العينات النظيفة.

2. المنهجية: DiNa-LRM

يقترح المؤلفون DiNa-LRM (نموذج مكافأة كامن أصيل للانتشار)، وهو إطار عمل يصيغ تعلم التفضيلات مباشرة على حالات الانتشار المشوشة ضمن الفضاء الكامن. تتكون الطريقة من ثلاثة مكونات أساسية:

أ. صياغة التفضيل الأصيلة للانتشار

بدلاً من تقييم العينات النظيفة ( $x_0$ ) مباشرة، يوسع Di-Na-LRM نموذج ثرستون (Thurstone model) ليشمل حالات الانتشار المشوشة ( $x_t$ ).

عدم اليقين المعاير بالضجيج: يدرك المؤلفون أن أحكام التفضيل على الحالات المشوشة هي بطبيعتها أقل يقيناً مع زيادة مستوى الضجيج. لذا قدموا عدم يقين مقارنة معاير بالضجيج $\sigma_u^2(t)$ يتناسب مع مستوى ضجيج الانتشار $\sigma^2(t)$ :
$\sigma_u^2(t) = k\sigma^2(t) + \sigma_u^2$
تضمن هذه الصياغة بقاء هدف المكافأة متسقاً مع المنطو (Manifold) المشوش الذي تتم مواجهته أثناء التدريب المسبق للانتشار. وهي تعمل كمنظم واعٍ بعدم اليقين، مما يمنع التدرجات عالية التباين من زعزعة استقرار التدريب في الأنظمة ذات الضجيج العالي.
هدف التدريب: يتم تحسين النموذج باستخدام فقدان الأمانة (Fidelity Loss) عبر أزواج التفضيل $(x_t^+, x_t^-)$ ، حيث يتم تعديل احتمالية المقارنة بواسطة عدم اليقين المرتبط بالخطوة الزمنية.

ب. بنية المكافأة الكامنة

يتم تنفيذ DiNa-LRM فوق ركيزة انتشار كامنة مدربة مسبقاً (مثل SD3.5-Medium) مع رأس تقييم خفيف الوزن يعتمد على الاستعلام.

استخراج الميزات متعدد الطبقات: يتم استخراج الميزات البصرية والنصية من طبقات متعددة للركيزة.
التكيف المشروط بالخطوة الزمنية: يتم تعديل الميزات بواسطة تضمينات الخطوة الزمنية باستخدام FiLM (التعديل الخطي المعتمد على الميزة) لجعل رأس المكافأة مدركاً صراحةً لمستوى الضجيج.
تقييم Q-Former ذو البوابة: يقوم Q-Former ذو البوابة بتجميع هذه الميزات متعددة الطبقات والمشروطة بالخطوة الزمنية لإنتاج درجة مكافأة عددية. تعمل هذه البنية بالكامل في الفضاء الكامن لـ VAE، متجنبةً فك التشفير إلى فضاء البكسل.

ج. التوسع وقت الاستنتاج عبر تجميع الضجيج (Noise Ensembling)

لتحسين المتانة وتقليل الحساسية لخطوة تقييم محددة، يدعم DiNa-LRM تجميع الضجيج.

بد-لاً من تقييم عينة نظيفة عند مستوى ضجيج واحد ثابت، يقوم النموذج بتقييم العينة عند خطوات زمنية متعددة $\{t_k\}$ .
يتم دمج الميزات المستخرجة عند هذه الخطوات الزمنية المختلفة ومعالجتها بواسطة نفس رأس Q-Former لإنتاج درجة مجمعة. يعمل هذا كآلية توسع وقت الاختبار "أصيلة للانتشار".

3. المساهمات الرئيسية

صياغة التفضيل الأصيلة للانتشار: يوسع البحث نموذج ثرستون للتفضيل ليشمل حالات الانتشار المشوشة من خلال تقديم عدم يقين معاير بالضجيج يتناسب مع مستوى ضجيج الانتشار، مما يسد الفجوة التوزيعية بين التدريب المسبق وتعلم المكافأة.
التوسع وقت الاستنتاج: يقترح المؤلفون استراتيجية تجميع الضجيج التي تجمع الميزات عبر خطوات زمنية متعددة، مما يوفر آلية لتوسيع الأداء وقت الاختبار تستفيد من مسار الانتشار العالمي بدلاً من تقدير نقطة واحدة.
التحقق التجريبي: يثبت العمل أن المكافآت الأصيلة للانتشار يمكن أن تحقق أداءً تنافسياً مع الحكام الأقوياء القائمين على نماذج الرؤية واللغة (VLMs) مع العمل أصيلاً في الفضاء الكامن.

4. النتائج التجريبية

قيم المؤلفون DiNa-LRM عبر عدة اختبارات وسيناريوهات محاذاة:

دقة نمذجة المكافأة:
- يتفوق DiNa-LRM بشكل كبير على خطوط الأساس الأخرى القائمة على الانتشار (مثل LRM-SD1.5، LRM-SDXL) عبر ImageReward وHPDv2 وHPDv3 وGenAI Bench.
- يحقق أداءً تنافسياً مع مكافآت نماذج الرؤية واللغة المتطورة (مثل HPSv3 وUnifiedReward) في المتوسط، مع تقلص الفجوة بشكل ملحوظ في مجموعات بيانات محددة مثل HPDv2 وHPDv3.
- تجميع الضجيج: يؤدي تطبيق تجميع الضجيج إلى تحسين متوسط الدقة بشكل أكبر (على سبيل المثال، من 71.49% إلى 72.48% في المتوسط)، مما يؤكد فائدة تجميع الأدلة عبر مستويات الضجيج.
محاذاة التفضيل (ReFL):
- في تجارب محاذاة ما بعد التدريب باستخدام ReFL على SD3.5-M، أظهر DiNa-LRM تقارباً أسرع في درجات الوكيل وتحسيناً في المقاييس "الذهبية" (PickScore المحتفظ به) مقارنة بـ HPSv3.
- الكفاءة: يقلل DiNa-LRM التكاليف الموردية بشكل كبير مقارنة بمكافآت نماذج الرؤية واللغة. فقد قلل من ذروة استخدام ذاكرة VRAM بنسبة 51.4%، ومن عمليات حساب FLOPs لحساب المكافأة بنسبة 71.1%، ومن عمليات حساب FLOPs في مرحلة التحسين بنسبة 46.4%.
التعميم:
- تعمم الصياغة عبر ركائز انتشار مختلفة (SDXL، FLUX.1-Dev، Z-Image-Turbo)، وتتفوق باستمرار على خطوط الأساس السابقة القائمة على الانتشار.
- تظهر تجارب القابلية للنقل أن نموذج مكافأة مدرب على SD3.5-M يمكنه محاذاة SD3.5-L بفعالية ضمن نفس الفضاء الكامن.

5. الأهمية والادعاءات

يدعي البحث أن DiNa-LRM يقدم بديلاً عملياً وفعالاً لمكافآت نماذج الرؤية واللغة في فضاء البكسل لمحاذاة التفضيلات. تكمن أهميته الأساسية في:

الميزة الهيكلية: من خلال العمل أصيلاً في الفضاء الكامن، فإنه يلغي عدم التطابق بين الكمن والبكسل والأعباء الحسابية لفك التشفير، مما يجعله متوافقاً للغاية مع طرق محاذاة تدرج المكافأة.
صديق للتحسين: يوفر إشارة قابلة للتفاضل وفعالة تحسن ديناميكيات التدريب وتقلل متطلبات الموارد دون التضحية بجودة المحاذاة.
القابلية للتوسع: توفر آلية تجميع الضجيج طريقة جديدة وأصيلة للانتشار لتوسيع أداء وقت الاستنتاج.

يقر المؤلفون بالقيود، مشيرين إلى أن المكافأة مرتبطة بفضاءات كامنة محددة (مما يحد من الانتقال بين الركائز دون إعادة تدريب) وأن نمذجة الفضاء الكامن قد تقلل من التركيز على بعض عيوب مستوى البكسل، مما قد يؤدي إلى سلوكيات "اختراق المكافأة" (مثل الحقن البشري الزائف أو الانحراف الأسلوبي) أثناء التحسين طويل الأمد. ويقترحون أن العمل المستقبلي يجب أن يركز على ركائز موحدة أقوى ودمج تنظيم خفيف الوزن في فضاء البكسل.