🤖 machine learning

TMPO: Trajectory Matching Policy Optimization for Diverse and Efficient Diffusion Alignment

تقدم هذه الورقة البحثية "تحسين سياسة مطابقة المسار" (TMPO)، وهي طريقة محاذاة مبتكرة لنماذج الانتشار تستبدل تعظيم المكافأة القياسية بمطابقة التوزيع على مستوى المسار عبر هدف "توازن المسار بـ Softmax" و"أخذ عينات الشجرة العشوائية الديناميكية" للتخفيف بفعالية من اختراق المكافأة، مما يحقق توازناً أمثلاً بين التنوع التوليدي وأداء المهمة.

المؤلفون الأصليون: Jiaming Li, Chenyu Zhu, Zhiyuan Ma, Nanxi Yi, Youjun Bao, Li Sun, Quanying Lv, Xiang Fang, Daizong Liu, Jianjun Li, Kun He, Bowen Zhou

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiaming Li, Chenyu Zhu, Zhiyuan Ma, Nanxi Yi, Youjun Bao, Li Sun, Quanying Lv, Xiang Fang, Daizong Liu, Jianjun Li, Kun He, Bowen Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم فناناً موهوباً (مولد صور يعمل بالذكاء الاصطناعي) كيف يرسم بناءً على ملاحظاتك. تريد من الفنان أن يبدع صوراً جميلة تطابق وصفك، لكنك تريد أيضاً أن يكون مبدعاً ومتنوعاً، لا أن يكتفي برسم نفس الشيء مراراً وتكراراً.

تقدم هذه الورقة البحثية، TMPO، طريقة جديدة لتعليم هذا الفنان تحل مشكلة رئيسية: وهي أن الفنان يميل إلى "الغش" عبر إيجاد حيلة محددة واحدة تحقق له درجة عالية منك، ثم يكرر هذه الحيلة بلا نهاية.

إليك تفصيل أفكار الورقة باستخدام تشبيهات بسيطة:

1. المشكلة: "لاعب ذو حركة واحدة"

طرق تدريب هؤلاء الفنانين من الذكاء الاصطناعي الحالية تعمل مثل معلم صارم يهتم فقط بالدرجة النهائية.

السيناريو: تطلب من الفنان "رسم روبوت يمارس اليوغا".
الطريقة القديمة (تعظيم المكافأة): يحاول الفنان تجربة بعض الوضعيات. إحدى الوضعيات تحصل على درجة 9/10. يقول المعلم: "رائع! افعل ذلك مجدداً!". يدرك الفنان: "إذا قمت بهذه الوضعية المحددة لليوغا، سأحصل دائماً على درجة عالية". لذا، يتوقف عن تجربة وضعيات أخرى. يتوقف عن رسم الروبوتات في استوديوهات مختلفة، أو بألوان مختلفة، أو بحركات يوغا متنوعة. إنه فقط يرسم ذلك الروبوت نفسه، مراراً وتكراراً.
النتيجة: يصبح الذكاء الاصطناعي مملاً. إنه ينتج ما يسمى بـ "انهيار النمط" (mode collapse)، حيث لا يولد إلا نوعاً واحداً من الصور، رغم وجود آلاف الطرق الأخرى الصحيحة والجميلة لرسم روبوت يمارس اليوغا. كما يبدأ في "التلاعب" بالنظام، بإضافة تفاصيل غريبة تخدع نظام التقييم ولكنها تبدو سيئة للبشر.

2. الحل: TMPO (تحسين سياسة مطابقة المسار)

يقترح المؤلفون طريقة تعليم جديدة تسمى TMPO. بدلاً من مجرد قول: "افعل الشيء الوحيد الذي حصل على أعلى درجة"، تقوم TMPO بتغيير الهدف تماماً.

الهدف الجديد: بدلاً من تعظيم درجة واحدة، تطلب TMPO من الفنان مطابقة توزيع المكافآت.
التشبيه: تخيل أن المعلم لديه حقيبة من النتائج "الجيدة" المختلفة. بعضها مثالي (10/10)، وبعضها جيد جداً (8/10)، وبعضها مقبول (6/10).
- المعلم القديم كان يقول: "أرني فقط الـ 10/10".
- معلم TMPO يقول: "أريدك أن ترسم كل النتائج الجيدة بما يتناسب مع جودتها. إذا كانت هناك ثلاث طرق للحصول على 8/10، فأنا أريد رؤية الثلاث طرق جميعها، وليس واحدة فقط".
كيف يعمل: يقوم الذكاء الاصطناعي بتوليد "شجرة" كاملة من المحاولات المختلفة في وقت واحد. ثم ينظر إلى المجموعة كاملة ويقول: "حسناً، يجب أن أتأكد من أن فرصتي في رسم هذه النسخ المختلفة تتوافق مع 'جودة' كل نسخة منها". هذا يجبر الذكاء الاصطناعي على الاستمرار في استكشاف أنماط وتنسيقات مختلفة، مما يحافظ على التنوع.

3. السر الخفي: خدعة "الشجرة"

تدريب ذكاء اصطناعي على النظر إلى 27 نسخة مختلفة من صورة واحدة في آن واحد هو أمر بطيء ومكلف للغاية (مثل طلب من رسام أن يرسم 27 لوحة كاملة قبل اختيار الأفضل بينها).

الابتكار: تستخدم TMPO تقنية تسمى أخذ عينات الشجرة العشوائية الديناميكية (Dynamic Stochastic Tree Sampling).
التشبيه: تخيل أن الفنان يبدأ برسم خلفية (الـ "prefix"). بدلاً من إنهاء 27 لوحة منفصلة من الصفر، يرسم خلفية واحدة. ثم عند ثلاث لحظات محددة، يتفرع إلى اتجاهات مختلفة.
- الفرع 1: "حسناً، لنرسم الروبوت باللون الأزرق".
- الفرع 2: "حسناً، لنرسم الروبوت باللون الأحمر".
- الفرع 3: "حسناً، لنرسم الروبوت باللون الأخضر".
ولأنهم يتشاركون الخلفية الأولية، لا يضطر الذكاء الاصطناعي لإعادة رسم المشهد بأكل في كل مرة من الـ 27 مرة. إنه يحسب فقط الاختلافات عند "نقاط التفرع". هذا يوفر وقتاً هائلاً (بنسبة تصل إلى 27% أسرع في اختباراتهم) مع الاستمرار في السماح للذكاء الاصطناعي باستكشاف احتمالات عديدة مختلفة.

4. النتائج: تنوع أكثر، غش أقل

اختبرت الورقة البحثية هذا على نموذج شهير (FLUX.1) في ثلاث مهام مختلفة:

التوليد التركيبي (Compositional Generation): التأكد من وجود الأشياء في أماكنها الصحيحة (مثل "قطة على حصيرة").
رسم النصوص (Text Rendering): كتابة الكلمات بشكل صحيح داخل الصورة.
التفضيل البشري (Human Preference): صنع صور تبدو جيدة للبشر.

ماذا حدث؟

التنوع: أنتجت TMPO صوراً أكثر تنوعاً بنسبة 9.1% من أفضل الطرق الموجودة حالياً. الصور تبدو مختلفة عن بعضها البعض، وليست نسخاً مكررة.
الجودة: لم تضحِّ بالجودة من أجل التنوع. كانت الصور لا تزال دقيقة وعالية الجودة.
الكفاءة: كانت أسرع في التدريب بفضل خدعة "الشجرة".

الملخص

فكر في TMPO كمعلم فن حكيم يدرك أنه إذا كنت تمدح الإجابة "المثالية" فقط، فإن الطالب سيتوقف عن التفكير بإبداع. بد instead، تعلم TMPO الذكاء الاصطناعي تقدير طيف الإجابات الجيدة. ومن خلال استخدام هيكل "الشجرة" لاستكشاف مسارات عديدة في وقت واحد دون إضاعة الوقت، فإنها تخلق ذكاءً اصطناعياً ذكياً (يحصل على درجات عالية) ومبدعاً (لا يعلق في روتين واحد).

تزعم الورقة أن هذا يحل مشكلة "التلاعب بالمكافأة" (حيث يغش الذكاء الاصطناعي النظام) من خلال إثبات رياضي بأن مطابقة توزيع المكافآت تجبر الذكاء الاصطناعي على تغطية جميع الاحتمالات "الجيدة"، وليس فقط الاحتمال "الأفضل" الوحيد.

ملخص تقني: TMPO لمحاذاة الانتشار المتنوعة والفعالة

1. بيان المشكلة

أظهر التعلم التعزيزي (RL) إمكانات كبيرة في محاذاة نماذج الانتشار (Diffusion) ومطابقة التدفق (Flow-matching) مع المهام النهائية. ومع ذلك، تعتمد الطرق الحالية بشكل أساسي على تعظيم المكافأة القياسية (Scalar Reward Maximization)، وهو ما حدده المؤلفون بأنه باحث عن النمط (Mode-seeking) بطبيعته. يتسبب هدف التحسين هذا في تركيز النماذج للكتلة الاحتمالية على عدد قليل من المسارات ذات المكافأة العالية، مما يؤدي إلى نمطي فشل حرجين:

تدهور التنوع التوليدي: ينهار النموذج في مجموعة ضيقة من التكوينات والأساليب (انهيار النمط البصري)، متجاهلاً التوزيع غير المتماثل للمخرجات المعقولة التي تم تعلمها أثناء مرحلة ما قبل التدريب.
تضخيم المكافآت غير الموثوقة: من خلال التعزيز المفرط لميزات محددة تعمل كوكلاء للمكافآت (مثل دقة التعرف الضوئي على الحروف OCR أو درجات جمالية معينة)، يقوم النموذج بتضخيم السمات الزائفة، وغالبًا ما يكون ذلك على حساب جودة التوليد الإجمالية.

تفشل استراتيجيات التخفيف الحالية، مثل تنظيم KL (KL regularization)، في تغيير الطبيعة الباحثة عن النمط لهدف التحسين، بينما تعتمد مناهج شبكات التدفق التوليدية (GFlowNet) الحالية غالبًا على تقديرات تدفق الحالة غير القابلة للاحتساب أو القيود المحلية التي تراكم الأخطاء عبر آفاق إزالة الضجيج الطويلة.

2. المنهجية: تحسين سياسة مطابقة المسار (TMPO)

يغير TMPO جوهريًا نموذج التحسين من تعظيم المكافأة القياسية إلى مطابقة توزيع مكافأة مستوى المسار.

2.1 توازن المسار بنظام Softmax (Softmax-TB)

بدلاً من تعظيم المكافأة المتوقعة، يهدف TMPO إلى مطابقة احتمالات المسار للسياسة مع توزيع مستهدف ناتج عن المكافآت.

الهدف: بالنسبة لمجموعة من $K$ من المسارات المولدة من نفس المطالبة (Prompt)، تقوم الطريقة بمطابقة احتمالات السياسة $P_\theta(\tau)$ مع توزيع بولتزمان $q(\tau) \propto \exp(\beta R(\tau))$ .
صياغة خالية من دالة التقسيم (Partition-Free): من خلال تطبيع الاحتمالات والمكافآت ضمن مجموعة الـ $K$ مسار، يتم التخلص من دالة التقسيم العالمية غير القابلة للاحتساب. تحدد الطريقة ميزة Softmax-TB:
$A_i = \log q_i - \log p_i = \log \frac{\exp(\beta R_i)}{\sum_j \exp(\beta R_j)} - \log \frac{P_\theta(\tau_i)}{\sum_j P_\theta(\tau_j)}$
الضمان النظري: يثبت المؤلفون أن تقليل هذا الهدف يكافئ تقليل تباعد KL الأمامي ( $D_{KL}(q \parallel p)$ ) داخل المجموعة. وعلى عكس تقارب KL العكسي (المستخدم في تدرجات السياسة القياسية)، فإن KL الأمامي هو مغطٍ للنمط (Mode-covering): فهو يفرض عقوبة لانهائية إذا اقتربت احتمالية السياسة $p_i$ من الصفر لأي مسار $i$ لديه وزن مستهدف موجب $q_i$ . وهذا يضمن نظريًا الحفاظ على التنوع دون الحاجة إلى تنظيم KL إضافي.

2.2 أخذ عينات شجري ستوكاستي ديناميكي

لمعالجة التكلفة الحسابية لأخذ عينات مسارات متعددة مستقلة لنماذج مطابقة التدفق واسعة النطاق، يقدم TMPO استراتيجية أخذ عينات بهيكل شجري:

مشاركة البادئة (Prefix Sharing): تتشارك المسارات بادئة ODE حتمية (خطوات إزالة ضجيج مشتركة) وتتفرع عند نقاط ستوكاستية (عشوائية) مجدولة ديناميكيًا.
التفرع الديناميكي: نقاط التفرع ليست ثابتة؛ فهي تتبع منهجًا تعليميًا ينتقل من مناطق الضجيج العالي المبكرة (تنوع خشن الحبيبات) إلى مناطق الضوضاء المنخفضة المتأخرة (تباينات دقيقة الحبيبات) مع تقدم التدريب. يتم تشويه مواضع التفرع ستوكاستيًا باستخدام توزيع Beta لمنع الإفراط في التخصيص لهندسة شجرية ثابتة.
الكفاءة: يقلل هذا النهج من الحسابات المكررة عن طريق مشاركة التمرير الأمامي للبادئة المشتركة، مما يقلل وقت التدريب بشكل كبير مع الحفاظ على الاستكشاف الفعال.

3. المساهمات الرئيسية

تحديد السبب الجذري: يحدد البحث طبيعة البحث عن النمط في تعظيم المكافأة كسبب رئيسي لـ "اختراق المكافأة" (Reward Hacking) وتدهور التنوع في انتشار RL، مقترحًا التحول إلى مطابقة التوزيع.
هدف Softmax-TB: تقديم هدف مطابقة توزيع على مستوى المسار وخالٍ من دالة التقسيم، يرث خصائص التغطية للنمط من تباعد KL الأمامي، مما يحافظ طبيعيًا على التنوع التوليدي.
أخذ عينات شجري ستوكاستي ديناميكي: آلية أخذ عينات قابلة للتوسع تقلل وقت تدريب النماذج واسعة النطاق عن طريق مشاركة بادئات إزالة الضجيج وتعديل جداول التفرع ديناميكيًا.

4. النتائج التجريبية

قيم المؤلفون TMPO على هيكل FLUX.1-dev عبر ثلاث مهام محاذاة: توليد الصور التركيبي (GenEval)، ورسم النصوص البصرية (OCR)، ومحاذاة التفضيلات البشرية (PickScore).

التنوع: حسن TMPO التنوع التوليدي بنسبة 9.1% في المتوسط مقارنة بأحدث الطرق (Flow-GRPO، MixGRPO، TreeGRPO، GARDO). وكان الطريقة الوحيدة التي حافظت باستمرار على درجات LGMD موجبة، مما يشير إلى تنوع صحي، بينما أظهرت النماذج المرجعية غالبًا درجات LGMD سالبة (انهيار النمط).
الأداء: حقق TMPO أداءً تنافسيًا أو متفوقًا في المقاييس الخاصة بالمهام (دقة GenEval، دقة OCR) ودرجات التفضيل البشري (HPS-v2.1، ImageReward، PickScore).
الكفاءة: باستخدام مشاركة البادئة وأخذ العينات الشجري، قلل TMPO وقت تدريب التكرار بنسبة تصل إلى 27% مقارنة بالطرق الحالية.
المقايضات: أظهر تحليل باريتو أن TMPO يحقق التوازن الأمثل بين تعظيم المكافأة، والحفاظ على التنوع، وكفاءة التدريب.

5. الأهمية والادعاءات

يزعم البحث أن TMPO يقدم حلاً جذريًا لمعضلة اختراق المكافأة في محاذاة الذكاء الاصطناعي التوليدي. من خلال إعادة صياغة الهدف لمطابقة التوزيعات المستحثة بالمكافأة بدلاً من تعظيم المكافآت القياسية، يفرض TMPO هيكليًا الحفاظ على التنوع دون الاعتماد على تنظيم خارجي أو إعادة وزن تجريبي. توضح الطريقة أنه من الممكن تحقيق درجات محاذاة عالية مع الحفاظ على توزيع المخرجات الغني ومتعدد الأنماط الذي تم تعلمه أثناء مرحلة ما قبل التدريب، وكل ذلك مع تقليل العبء الحسابي المرتبط عادةً بطرق RL متعددة المسارات. يضع المؤلفون TMPO كإطار عمل قابل للتوسع مناسب لنماذج مطابقة التدفق واسعة النطاق، مع إمكانات التوسع لتوليد الفيديو وتوليد حركة الروبوتات.