🤖 machine learning

Flow-Factory: A Unified Framework for Reinforcement Learning in Flow-Matching Models

يُعد Flow-Factory إطار عمل موحداً ونموذجيًا يعمل على تبسيط وتسريع التعلم التعزيزي لنماذج مطابقة التدفق (flow-matching) والنماذج الانتشارية (diffusion models) من خلال فصل الخوارزميات، والبنيات، والمكافآت لتمكين النمذجة الأولية السريعة والتدريب القابل للتوسع والجاهز للإنتاج عبر نماذج متنوعة.

المؤلفون الأصليون: Bowen Ping, Chengyou Jia, Minnan Luo, Hangwei Qian, Ivor Tsang

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bowen Ping, Chengyou Jia, Minnan Luo, Hangwei Qian, Ivor Tsang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك شيف يحاول تعليم روبوت كيفية طهي الوجبة المثالية. في عالم الذكاء الاصطناعي، هذا "الروبوت" هو نموذج مطابقة التدفق (Flow-Matching Model) (وهو نوع من المولدات فائقة الذكاء التي تنشئ الصور والفيديوهات والفنون). في الوقت الحالي، تبدع هذه الروبوتات في جعل الأشياء تبدو واقعية، لكنها لا تعرف دائمًا ما الذي يفضله البشر حقًا.

لإصلاح ذلك، يستخدم الباحثون التعلم التعزيزي (Reinforcement Learning - RL). فكر في الأمر كمسابقة طبخ يحاول فيها الروبوت تجربة وصفة، ثم يتذوقها حكم (نموذج المكافأة) ويعطيها درجة. بعد ذلك، يحاول الروبوت مرة أخرى، ويقوم بتعديل وصفته للحصول على درجة أعلى.

المشكلة هي أن الأدوات الحالية لإدارة هذه المسابقات فوضوية للغاية. إنها تشبه امتلاك فرن مختلف، ومجموعة أكواب قياس مختلفة، وكتاب قواعد مختلف لكل وصفة جديدة تريد تجربتها. إذا أردت الانتقال من خبز كعكة إلى صنع "سوفليه"، فقد تضطر غالبًا إلى إعادة بناء مطبخك بالكامل.

إليك "Flow-Factory".

تقدم الورقة البحثية "Flow-Factory" باعتباره مطبخًا عالميًا معياريًا يحل هذه المشكلات. إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. مطبخ "الليغو" (البنية المعيارية - Modular Architecture)

في الأيام الخوالي، إذا أردت تجربة تقنية طبخ جديدة (خوارزمية) على نوع جديد من الأفران (النماذج)، كان عليك لحام الأجزاء معًا. كان الأمر جامدًا وصعب التغيير.

"Flow-Factory" يشبه مجموعة الليغو (Lego).

القطع: النماذج (الأفران)، والخوارزميات (تقنيات الطبخ)، والحكام (المكافآت) كلها عبارة عن كتل منفصلة ومعيارية.
الرابط: يستخدمون "سجلًا" (كتالوج رئيسي). لست بحاجة لمعرفة كيف يعمل الفرن من الداخل لتستخدمه؛ يكفي أن تُركب "قطعة الفرن" في "قطعة التقنية".
النتيجة: يمكن للباحثين المزج والتبديل بين العناصر. هل تريد تجربة خوارزمية "الصلصة الحارة" على "فرن الفيديو"؟ فقط قم بتغيير إعداد في ملف التكوين (مثل بطاقة الوصفة). لا داعي لإعادة بناء المطبخ. هذا يحول مهمة هندسية معقدة إلى تجربة بسيطة تعتمد على "التركيب والتشغيل" (Plug-and-Play).

2. المكونات "المُحضرة مسبقًا" (تحسين الذاكرة - Memory Optimization)

تدريب هذه النماذج من الذكاء الاصطناعي يشبه الجري في ماراثون وأنت تحمل حقيبة ظهر ثقيلة. هذه "الحقيبة" هي ذاكرة الكمبيوتر (GPU RAM).

المشكلة: في كل مرة يحاول فيها الروبوت وصفة جديدة، يتعين على المطبخ التوقف لتقطيع الخضروات، وتتبيل اللحم، وتحضير المكونات من الصفر، حتى لو كانت هي نفس المكونات تمامًا في المرة السابقة. هذا يهدر كميات هائلة من الوقت والمساحة.
حل Flow-Factory: قدموا مفهوم "المعالجة المسبقة" (Pre-processing). قبل أن تبدأ مسابقة الطبخ حتى، يقوم المطبخ بتقطيع جميع الخضروات وتتبيل اللحم مسبقًا، وتخزينها في ثلاجة (تخزين القرص الصلب).
الفائدة: خلال التدريب الفعلي، لا يحتاج الروبوت إلى حمل حقيبة ظهر ثقيلة بالمكونات الخام. هو فقط يأخذ العناصر المحضرة مسبقًا. هذا يوفر مساحات هائلة، مما يسمح للروبوت بطبخ أطباق أكثر في وقت واحد (أحجام دفعات أكبر) والعمل بشكل أسرع بكثير.

3. "لجنة الحكام" (نظام مكافأة مرن - Flexible Reward System)

في الماضي، كان الحكام يستطيعون تذوق طبق واحد فقط في كل مرة وإعطائه درجة (Pointwise). لكن في بعض الأحيان، تحتاج إلى مقارنة الأطباق ببعضها البعض (على سبيل المثال: "الطبق أ أفضل من الطب ب") أو الجمع بين أنواع مختلفة من الملاحظات (على سبيل المثال: "يبدو جيدًا، لكن رائحته سيئة").

حل Flow-Factory: بنوا لجنة تحكيم مرنة.
- يمكنها التعامل مع الحكام الذين يقيمون الأطبى الفردية.
- يمكنها التعامل مع الحكام الذين يرتبون مجموعة من الأطباء مقابل بعضها البعض.
- يمكنها أيضًا دمج عدة حكام في درجة نهائية واحدة تلقائيًا.
- كما أنها تتجنب "الحجز المزدوج" للحكام. إذا كانت وصفتان مختلفتان تحتاجان إلى نفس الحكم، فإن النظام يقوم بتحميل ذلك الحكم مرة واحدة فقط، مما يوفر الذاكرة.

ماذا أثبتوا؟

اختبر المؤلفون "Flow-Factory" عبر تشغيل ثلاث مسابقات طبخ مختلفة ومعقدة (خوارزميات) على نموذج ذكاء اصطناعي شهير يسمى Flux.

النتيجة 1: كانت النتائج جيدة تمامًا مثل قواعد البيانات الأصلية الفوضوية. "مطبخ الليغو" لم يفسد الطعام.
النتيجة 2: بفضل خدعة "المكونات المُحضرة مسبقًا"، كان التدريب أسرع بمقدار 1.74 مرة واستخدم ذاكرة أقل بنسبة 13%. وهذا يعني أن الباحثين العاديين الذين يمتلكون أجهزة كمبيوتر قياسية يمكنهم الآن القيام بأشياء كانت تتطلب سابقًا خوادم ضخمة ومكلفة للغاية.

الخلاصة

Flow-Factory هو مجموعة أدوات توحيدية تزيل الفوضى من عملية تعليم الذكاء الاصطناعي اتباع التفضيلات البشرية. إنه يحول كابوسًا مجزأً وثقيلًا من الناحية الهندسية إلى نظام معياري سلس، حيث يمكن للباحثين التركيز على ابتكار أفكار جديدة بدلاً من إصلاح الأكواد البرمجية المعطلة. إنه الفرق بين بناء منزل طوبة بطوبة باستخدام مطرقة، وبين تركيب منزل جاهز مسبق الصنع.

1. بيان المشكلة

بينما أصبح التعلم المعزز (RL) نموذجاً حاسماً لمحاذاة نماذج الانتشار (Diffusion) ونماذج مطابقة التدفق (Flow-matching) مع التفضيلات البشرية، يعاني النظام البيئي الحالي من ثلاثة عوائق هندسية وبحثية رئيسية:

قواعد برمجية مجزأة ومترابطة: ترتبط التنفيذات الحالية ارتباطاً وثيقًا بين المنطق الخوارزمي (مثل صياغات SDE المحددة) وهياكل النماذج الخاصة بها. وهذا يجبر الباحثين على إعادة كتابة الكود عند الانتقال بين النماذج أو الخوارزميات، مما يعيق المقارنة العادلة والنمذجة الأولية السريعة.
عدم كفاءة التدريب واختناقات الذاكرة: يتطلب الضبط الدقيق باستخدام التعلم المعزز عمليات تمرير أمامي متكررة لأخذ عينات المسارات وحساب المكافآت. وتستهلك النماذج الكبيرة ذات المكونات المجمدة (مشفرات النصوص، VAEs) ذاكرة رسومية (GPU) مفرطة، مما يحد من أحجام الدفعات (Batch sizes) وقابلية التوسع على الأجهزة العادية.
مرونة محدودة لنماذج المكافآت: تدعم الأطر الحالية بشكل أساس المتوسط مكافآت النقطة الواحدة (scoring individual samples). وهي تفتقر إلى واجهات موحدة للمكافآت الجماعية الناشئة (القائمة على التصنيف) أو التحسين متعدد الأهداف المعقد، مما يؤدي غالباً إلى تحميل نماذج مكررة واستخدام غير فعال للموارد.

2. المنهجية: إطار عمل Flow-Factory

يعالج Flow-Factory هذه التحديات من خلال بنية موحدة، نمطية، وقائمة على السجل (Registry-based) مصممة لفصل النماذج، الخوارزميات، والمكافآت.

أ. فصل المكونات القائم على السجل

يقدم إطار العمل بنية قياسية قابلة للتركيب والتشغيل (plug-and-play) تتكون من أربعة أنواع أساسية من المكونات:

BaseAdapter: يتولى عمليات النموذج (الترميز، التمرير الأمامي، حفظ نقاط التحقق).
BaseTrainer: يدير المنطق الخوارزمي (أخذ العينات، حساب الميزة/Advantage، التحسين).
BaseRewardModel: يحسب إشارات المكافأة.
SDESchedulerMixin: يدير أخذ العينات العشوائية وحساب الاحتمالية اللوغاريتمية.

الآلية الرئيسية: من خلال الالتزام بهذه الواجهات، تنخفض تعقيدات التكامل لدمج $M$ من النماذج مع $N$ من الخوارزميات من $O(M \times N)$ إلى $O(M + N)$ . يتم تسجيل المكونات عالمياً ويتم إنشاؤها عبر تكوينات YAML، مما يسمح بالتوريث عبر الهياكل المختلفة دون الحاجة لإعادة كتابة الكود.

ب. تحسين الذاكرة القائم على المعالجة المسبقة

لمعالجة قيود ذاكرة الذاكرة الرسومية، يستخدم Flow-Factory استراتيجية مكونة من مرحلتين:

مرحلة ما قبل التدريب: يقوم بحساب وتخزين جميع تضمينات الشروط (embeddings) مسبقاً (تضمينات المطالبة، التضمينات المجمعة، وVAE latents) على القرص الصلب.
مرحلة التدريب: يتم إخراج المكونات المجمدة (مشفرات النصوص، VAEs) تماماً من ذاكرة الـ GPU. يبقى فقط الـ Transformer المستهدف في الـ GPU، حيث يقوم بتحميل التضمينات المخزنة مسبقاً مباشرة.
الأثر: هذا يلغي عمليات الترميز المتكررة أثناء دورات التعلم المعزز، مما يقلل بشكل كبير من بصمة الذاكرة ويزيد من معدل الإنتاجية (Throughput).

ج. نظام المكافآت المتعدد المرن

يوفر إطار العمل واجهة مكافآت موحدة تدعم:

مكافآت النقطة الواحدة (Pointwise Rewards): تقييم العينات الفردية ( $score(x) \to R$ ).
المكافآت الجماعية (Groupwise Rewards): تقييم التصنيفات النسبية داخل المجموعات ( $rank(\{x_i\}) \to R_k$ ).
التحسين: يتميز بخاصية إلغاء تكرار النماذج تلقائياً (تحميل العمود الفقي المشترك مرة واحدة فقط) واستراتيجيات تجميع المزايا القابلة للتكوين (مثل الجمع الموزون أو التطبيع بأسلوب GDPO).

3. الخوارزميات المدعومة

ينفذ Flow-Factory خوارزميات التعلم المعزز الحديثة لنماذج مطابقة التدفق، والتي تشترك جميعها في نفس الواجهات الأساسية:

Flow-GRPO ومتغيراتها: توسع أخذ عينات ODE الحتمي عن طريق حقن الضجيج العشوائي (SDE) لتمكين الاستكشاف في التعلم المعزز. يدعم متغيرات مثل MixGRPO (هجين ODE/SDE للسرعة) و GRPO-Guard (إعادة وزن الخسارة لمنع اختراق المكافأة/reward hacking).
DiffusionNFT: يحسن هدف التباين (contrastive objective) على عملية مطابقة التدفق الأمامية، مما يحدد اتجاهات تحسين السياسة دون الحاجة لتقدير الاحتمالية القابلة للتتبع.
التحكم بالميزة الموزونة (AWM): يربط تحسين التعلم المعزز بالتدريب المسبق عن طريق وزن خسارة مطابقة السرعة (velocity matching loss) مع مزايا العينة الواحدة.
استقلالية الحل (Solver Agnosticism): يتم فصل خوارزميات مثل DiffusionNFT و AWM عن ديناميكيات أخذ العينات، مما يسمح باستخدام مختلف حلول ODE واستراتيجيات الخطوات الزمنية.

4. النتائج التجريبية

قيم المؤلفون Flow-Factory باستخدام نموذج FLUX.1-dev مع نماذج مكافآت PickScore و Text-Rendering.

إعادة إنتاج مستويات الأداء الحديثة (SOTA): نجح إطار العمل في إعادة إنتاج مكاسب الأداء لـ Flow-GRPO و DiffusionNFT و AWM الواردة في الأدبيات الأصلية. حققت جميع الخوارزميات تكافؤاً في الأداء مع التنفيذات المرجعية، مما يؤكد دقة البنية المفككة.
التحسينات النوعية: أظهرت النماذج التي تم ضبطها بالتعلم المعزز جودة بصرية محسنة وتوافقاً أفضل مع التفضيلات الجمالية البشرية مقارنة بالنموذج الأساسي.
كفاءة التدريب (8×H200 GPUs):
- الذاكرة: انخفضت ذروة ذاكرة الـ GPU لكل جهاز بنسبة 13.0% (من 61.08 جيجابايت إلى 53.14 جيجابايت) بسبب إخراج المكونات المجمدة.
- السرعة: أدى إلغاء عمليات الترميز المتكررة إلى تقليل الوقت لكل خطوة من 144.02 ثانية إلى 82.68 ثانية، مما حقق تسارعاً بمقدار 1.74×.

5. المساهمات الرئيسية

بنية نمطية موحدة: نظام قائم على السجل يسمح للباحثين بخلط ومطابقة النماذج، الخوارزميات، والمكافآت عبر التكوين فقط، مما يقلل بشكل كبير من الأعباء الهندسية.
تحسين الذاكرة: مسار معالجة مسبقة يقوم بإخراج المكونات المجمدة، مما يسمح بأحجام دفعات أكبر والتدريب على الأجهزة العادية.
نظام مكافآت مرن: واجهة موحدة للمكافآت النقطية والجماعية مع إلغاء التكرار التلقائي، مما يدعم التحسين متعدد الأهداف المعقد.
دعم واسع للخوارزميات: دعم أصيل لديناميكيات SDE المتنوعة ونماذج التعلم المعزز (GRPO, NFT, AWM) عبر عائلات نماذج متعددة (Flux, Qwen-Image, WAN).

6. الأهمية

يمثل Flow-Factory خطوة حاسمة نحو دمقرطة أبحاث التعلم المعزز للنماذج التوليدية. ومن خلال حل الاختناقات الهندسية المتمثلة في التجزئة وعدم كفاءة الذاكرة، فإنه يسمح للباحثين بالتركيز على الابتكار الخوارزمي بدلاً من تفاصيل التنفيذ. يعمل إطار العمل على تسريع النمذجة الأولية لاستراتيجيات المحاذاة الجديدة، ويسهل إجراء اختبارات معيارية مبدئية عبر بنيات مختلفة، ويخفض حاجز الدخول لتوسيع نطاق المحاذاة القائمة على التعلم المعزز لنماذج مطابقة التدفق واسعة النطاق.