🤖 AI

AEGPO: Adaptive Entropy-Guided Policy Optimization for Diffusion Models

تقترح هذه الورقة البحثية إطار عمل AEGPO، وهو إطار جديد لتحسين السياسات لنماذج الانتشار يستفيد من إنتروبيا الانتباه كوكيل إشارة مزدوج لتخصيص ميزانيات التدحرج ديناميكيًا عبر العينات وتوجيه الاستكشاف بشكل انتقائي عند الخطوات الزمنية الحرجة، مما يؤدي إلى تحسين سرعة التقارب وأداء المحاذاة بشكل كبير مقارنة بطرق GRPO القياسية.

المؤلفون الأصليون: Yuming Li, Qingyu Li, Chengyu Bai, Xiangyang Luo, Zeyue Xue, Wenyu Qin, Meng Wang, Yikai Wang, Shanghang Zhang

نُشر 2026-02-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuming Li, Qingyu Li, Chengyu Bai, Xiangyang Luo, Zeyue Xue, Wenyu Qin, Meng Wang, Yikai Wang, Shanghang Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً فناناً كيف يرسم لوحات بناءً على أوصافك. تريد من الروبوت أن يتعلم بسرعة وأن يبدع صوراً يحبها البشر حقاً. ولتحقيق ذلك، تستخدم طريقة تسمى التعلم المعزز من التغذية الراجعة البشرية (RLHF). فكر في الأمر كأن الروبوت يحاول الرسم، وأنت تقوم بتقييم النتيجة، ثم يحاول الروبوت مجدداً للحصول على درجة أفضل.

الطريقة القياسية الحالية تسمى GRPO. ومع ذلك، وجد مؤلفو هذه الورقة البحثية أن GRPO تشبه طالباً يدرس لاجتياز اختبار عن طريق قراءة كل صفحة من الكتاب المدرسي نفس عدد المرات بالضبط، بغض النظر عما إذا كانت الصفحة سهلة أو صعبة للغاية. هذا يهدر الوقت في الأشياء السهلة ولا يقضي وقتاً كافياً في الأجزاء الصعبة.

إليك التقسيم البسيط لحلهم، AEGPO:

المشكلة: "مقاس واحد لا يناسب الجميع" لا ينجح

الطريقة القديمة (GRPO) تعامل كل أمر رسم وكل خطوة في عملية الرسم بنفس الطريقة.

المشكلة: بعض أوامر الرسم سهلة بالنسبة للروبوت (فهو يعرف بالفعل كيفية رسمها)، بينما البعض الآخر صعب جداً. وبالمثل، هناك لحظات معينة في عملية الرسم تكون حاسمة للحصول على التفاصيل بدقة، بينما تكون لحظات أخرى روتينية فقط.
النتيجة: يهدر الروبوت طاقته في ممارسة أشياء يعرفها بالفعل، ويفوت اللحظات الحاسمة التي يحتاج فيها إلى التعلم أكثر من غيرها.

الاكتشاف: "مقياس الارتباك"

نظر الباحثون داخل عقل الروبوت (تحديداً في جزء يسمى الانتباه - Attention) ليروا كيف كان يفكر. ووجدوا إشارة خفية يسمونها "إنتروبيا الانتباه" (Attention Entropy).

فكر في الإنتروبيا على أنها "مقياس الارتباك" أو "مقياس تشتت النظر".

إنتروبيا منخفضة: الروبوت مركز. إنه يعرف تماماً ما يجب فعله. إنه واثق.
إنتروبيا عالية: الروبوت ينظر في كل مكان، غير متأكد من أي جزء من الوصف يجب التركيز عليه. إنه مرتبك أو يستكشف احتمالات عديدة.

لقد وجدوا شيئين مذهلين بخصوص هذا المقياس:

إشارة "قيمة التعلم": إذا تغير مستوى ارتباك الروبوت كثيراً بين نفسه القديمة ونفسه الجديدة بعد الدرس، فإن ذلك الأمر (Prompt) كان ذا قيمة عالية. لقد أجبر الروبوت على تعلم شيء جديد. أما إذا لم يتغير مستوى الارتباك إلا قلياً، فقد كان الأمر سهلاً ولم يعلمه الكثير.
إشارة "اللحظة الحاسمة": خلال عملية الرسم، يرتفع مستوى ارتباك الروبوت في لحظات محددة. تحدث هذه الطفرات عندما يتخذ الروبوت قرارات كبيرة (مثل "هل يجب أن يكون هذا ذئباً أم كلباً؟"). هذه هي اللحظات الدقيقة التي يحتاج فيها الروبوت إلى استكشاف خيارات مختلفة لتعلم المسار الأفضل.

الحل: AEGPO (المدرب الذكي)

بنى المؤلفون نظاماً جديداً يسمى AEGPO يستخدم "مقياس الارتباك" هذا ليعمل كمدرب ذكي. يقوم الأمر بـشيئين:

1. الاستراتيجية الشاملة: "التركيز على الأشياء الصعبة"
بدلاً من إعطاء كل أمر رسم نفس القدر من وقت الممارسة، يستخدم AEGPO إشارة "قيمة التعلم".

الأوامر السهلة: يحصل الروبوت على جولات ممارسة أقل لأنه يعرفها بالفعل.
الأوامة الصعبة: يحصل الروبوت على جولات ممارسة أكثر لأن هذه هي التي تجعله يتطور حقاً.
تشبيه: تخيل مدرساً يتوقف عن قضاء الوقت في جداول الضرب التي تعرفها بالفعل، ويقضي كل وقته في مساعدتك على حل مسائل التفاضل والتكامل المعقدة التي تعاني منها.

2. الاستراتيجية المحلية: "الاستكشاف في الوقت المناسب"
بدلاً من التفرع (تجربة احتمالات مختلفة) في أوقات ثابتة وعشوائية، ينتظر AEGPO ارتفاع "مقياس الارتباك".

هو يشجع الروبوت فقط على تجربة مسارات إبداعية مختلفة عندما يكون الروبوت مرتبكاً بالفعل ويستكشف الخيارات.
تشبيه: تخيل متنزهاً (Hiker). بدلاً من تفقد الخريطة كل 10 دقائق، يتوقف المتنزّه للنظر في الخريطة فقط عندما يصبح المسار ضبابياً ولا يعرف أي اتجاه يسلك. هذا يوفر الطاقة ويضمن عدم ضياعه.

النتائج

اختبر الباحثون هذا النظام على نماذج تحويل النص إلى صورة (روبوتات تحول الكلمات إلى صور).

السرعة: تعلم الروبوت أسرع بمقدار 2 إلى 5 مرات من ذي قبل. لقد وصل إلى نفس مستوى المهارة في وقت أقل بكثير.
الجودة: كانت الصور النهائية أكثر توافقاً مع التفضيلات البشرية (بدت أكثر شبهاً بما يريده الناس).
الكفاءة: لم يتطلب الأمر سوبر كمبيوتر؛ فقد استخدم فقط إشارات "الارتباك" الداخلية للروبوت لتحديد كيفية الدراسة.

الملخص

AEGPO هو طريقة أذكى لتدريب الفنانين من الذكاء الاصطناعي. فبدلاً من الممارسة العشوائية لكل شيء، يستخدم "ارتباك" الذكاء الاصطناعي الداخلي لمعرفة ماذا يتدرب عليه (الأوامر الصعبة) ومتى يستكشف أفكاراً جديدة (اللحظات الحاسمة). وهذا يجعل عملية التدريب أسرع بكثير والنتيجة النهائية أفضل بكثير.

ملخص تقني: AEGPO – تحسين السياسة الموجه بالإنتروبيا التكيفية لنماذج الانتشار

1. بيان المشكلة

أصبح التعلم المعزز من التغذية الراجعة البشرية (RLHF)، ولا سيما تحسين السياسة النسبي للمجموعات (GRPO)، نموذجاً قياسياً لمواءمة نماذج الانتشار (Diffusion) ومطابقة التدفق (Flow-matching) مع التفضيلات البشرية. ومع ذلك، تعاني متغيرات GRPO الحالية من عدم كفاءة جوهري في جانبين بسبب اعتمادها على استدلالات ثابتة:

تخصيص العينات غير الفعال: تخصص الطرق القياسية عدداً موحداً من عمليات التمرير (rollouts) لكل مطالبة (prompt)، متجاهلة التباين الكبير في "قيمة التعلم" عبر العينات المختلفة. فبعض المطالبات تؤدي إلى تغييرات طفيفة في السياسة، بينما تدفع أخرى تحسينات جوهرية.
الاستكشاف الزمني الثابت: عادة ما تتبع استراتيجيات الاستكشاف (مثل التفرع في عمليات التمرير القائمة على الأشجار) جداول زمنية محددة مسبقاً وثابتة. وتفشل هذه الجداول في التكيف مع الطبيعة الديناميكية لعملية إزالة الضجيج (denoising)، حيث تختلف اللحظات الحرجة للاستكشاف بشكل كبير بين المطالبات ومراحل التدريب المختلفة.

تؤدي هذه القيود إلى هدر الموارد الحسابية على عينات منخفضة القيمة واستكشاف دون المستوى الأمثل في الخطوات الزمنية غير الحرجة، مما يبطئ التقارب ويحد من أداء المواءمة النهائي.

2. المنهجية: AEGPO

يقترح المؤلفون تحسين السياسة الموجه بالإنتروبيا التكية (AEGPO)، وهو إطار عمل "قالب جاهز للتركيب" (plug-and-play) يستفيد من إشارات الانتباه الجوهرية لتوجيه كل من اختيار العينات والاستكشاف ديناميكياً. وتتمثل الرؤية الأساسية في أن إنتروبيا الانتباه (Attention Entropy) تعمل كوكيل مزدوج الإشارة قوي.

2.1 الإشارات الجوهرية

تحدد الطريقة مقياسين جوهريين مستمدين من خرائط انتباه النموذج:

$\Delta$ Entropy (إشارة مستوى العينة): التغير النسبي في تشتت الانتباه بين السياسة الحالية والسياسة الأساسية.
- التعريف: $\Delta\text{Entropy} = \frac{1}{T} \sum_{t=1}^{T} |\text{Entropy}_{\theta}(t) - \text{Entropy}_{\theta_{base}}(t)|$ .
- الوظيفة: يعمل كوكيل قوي لـ قيمة تعلم العينة. تشير $\Delta$ Entropy العالية إلى أن المطالبة تجبر النموذج على إعادة تنظيم استراتيجية الانتباه لديه بشكل كبير، مما يعني إمكانات تعلم عالية.
Entropy( $t$ ) (إشارة مستوى الخطوة الزمنية): تشتت الانتباه المطلق عند خطوة إزالة ضجيج محددة $t$ $t$ .
- التعريف: متوسط إنتروبيا شانون لأوزان الانتباه عبر توكنات النص لميزات الصورة عند الخطوة $t$ .
- الوظيفة: تحدد ذروات Entropy( $t$ ) خطوات الاستكشاف الحرجة. وتتوافق هذه الذروات مع لحظات عدم اليقين العالي أو التكامل الدلالي الواسع (والتي تحدث غالباً في مراحل الهيكلة المبكرة ومراحل الصقل المتأخرة)، حيث يحقق الاستكشاف أعلى تباين وتنوع في المكافأة.

2.2 الاستراتيجية التكيفية مزدوجة المستوى

يستخدم AEGPO هذه الإشارات لإعادة تخصيص الحوسبة دون زيادة إجمالي ميزانية التمرير:

التخصيص التكيفي العالمي:
- يتم تقسيم مجموعة المطالبات إلى فئات "عالية القيمة" و"منخفضة القيمة" بناءً على وسيط $\Delta$ Entropy.
- تُخصص للمطالبات عالية القيمة (عالية $\Delta$ Entropy) ميزانية تمرير أكبر ( $r_{high}$ )، بينما تتلقى المطالبات منخفضة القيمة عمليات تمرير أقل ( $r_{low}$ ).
- القيد: $r_{high} + r_{low} = 2r_{avg}$ ، لضمان بقاء إجمالي الحوسبة ثابتاً.
الاستكشاف التكيفي المحلي:
- بدلاً من جداول التفرع الثابتة، تحدد الطريقة ديناميكياً أفضل $K$ من الخطوات الزمنية ذات ذروات Entropy( $t$ ) الأعلى لكل عملية تمرير.
- يتم إجراء التفرع (الاستكشاف) حصرياً عند هذه الخطوات الزمنية المحددة ذات التشتت العالي.
- يضمن ذلك تركيز الاستكشاف على اللحظات الأكثر إفادة في مسار إزالة الضجيج.

3. المساهمات الرئيسية

اكتشاف الإشارة المزدوجة: تثبت الورقة أن إنتروبيا الانتباه هي وكيل داخلي مزدوج الإشارة، حيث يشير التغير النسبي ( $\Delta$ Entropy) إلى قيمة تعلم العينة، بينما تحدد الذروات المطلقة (Entropy( $t$ )) خطوات الاستكشاف الحرجة.
إطار عمل AEGPO: تقديم إطار عمل تكيفي مزدح المستوى يحسن اختيار العينات واستكشاف الخطوات الزمنية باستخدام آليات خفيفة الوزن موجهة بالإنتروبيا.
القدرة على التعميم: إثبات أن AEGPO مستقل عن النموذج ومستقل عن إطار العمل، حيث نجح في تعزيز طرق تحسين السياسة المتنوعة (DanceGRPO، وBranchGRPO، وFlowGRPO، وDiffusionNFT) والنماذج الأساسية (FLUX.1-dev، وSD3.5-M).

4. النتائج التجريبية

أُجريت التجارب على مجموعات بيانات HPDv2.1 وPick-a-Pic باستخدام FLUX.1-dev وSD3.5-M كنماذج أساسية.

سرعة التقارب: يسرع AEGPO عملية تحسين السياسة بشكل كبير. فقد حقق تقارباً أسرع بـ 2 ضعف في DanceGRPO و5 أضعاف في DiffusionNFT مقارنة بالمتغيرات القياسية، ليصل إلى مكافآت نهائية متفوقة في خطوات أقل.
مقاييس الأداء:
- في FLUX.1-dev، حقق BranchGRPO + AEGPO درجة HPS-v2.1 جديدة هي 0.374 (ارتفاعاً من 0.363) ودرجة Pick Score بلغت 0.232 (ارتفاعاً من 0.229).
- في SD3.5-M، حسّن DiffusionNFT + AEGPO درجة HPS-v2.1 إلى 0.343 ودرجة ImageReward إلى 1.57.
المفاضلة بين المكافأة وKL (Reward-KL Trade-off): تتفوق نماذج AEGPO باستمرار على النماذج المرجعية على جبهة Pareto الخاصة بالمكافأة-KL، حيث تحقق مكافآت مواءمة أعلى بكثير لأي مستوى معين من انحراف السياسة (تباعد KL).
دراسات الاستئصال (Ablation Studies): يوفر كل من التخصيص العالمي (G) والاستكشاف المحلي (L) فوائد مستقلة، بينما يحقق النهج المدمج (G+L) أعلى أداء.
العبء الحسابي: تفرض الطريقة عبئاً طفيفاً (زيادة بنسبة 11.1% تقريباً في وقت الخطوة وزيادة ضئيلة في ذاكرة VRAM) بسبب استخراج خرائط الانتباه المتوسطة، وهو أمر مبرر بالانخفاض الهائل في إجمالي خطوات التدريب المطلوبة للوصول إلى ذروة الأداء.

5. الأهمية والادعاءات

تدعي الورقة أن AEGPO يعالج أوجه عدم الكفاءة الجوهرية في أخذ العينات الثابتة في نماذج الانتشار. ومن خلال الانتقال من التخصيص القائم على الاستدلالات إلى التكيف القائم على الإشارات الجوهرية، يضمن هذا النهج تركيز الموارد الحسابية على العينات الأكثر إفادة وفي اللحظات الأكثر حرجاً في عملية التوليد.

يؤكد المؤلفون أن AEGPO هو وحدة قابلة للتعميم والتركيب المباشر لا تتطلب دوال خسارة جديدة أو نمذجة معقدة للمكافأة. بدلاً من ذلك، تستفيد من ديناميكيات الانتباه الداخلية للنموذج لتوجيه التحسين، مما يوفر مساراً أكثر كفاءة نحو مواءمة عالية الجودة عبر مختلف بنيات نماذج الانتشار. وتشير الدراسة إلى أن الإشارات الجوهرية مثل إنتروبيا الانتباه هي موارد غير مستغلة بشكل كافٍ لتحسين كفاءة تحسين السياسة في النماذج التوليدية.