ملخص تقني: FlowConsist

بيان المشكلة

تهدف نماذج التدفق السريعة (Fast flow models)، بما في ذلك نماذج الاتساق (Consistency Models) وMeanFlow، إلى تسريع عملية التوليد عبر التعلم المباشر للتنبؤ بتكامل مسارات المعادلات التفاضلية العادية (ODE)، مما يتيح التوليد في خطوة واحدة أو خطوات قليلة. ومع ذلك، يرى المؤلفون أن أساليب التدريب الحالية تعاني من مشكلتين جوهريتين تؤديان إلى تدهور الأداء:

1. الانحراف المنهجي للمسار (Systematic Trajectory Drift): تقوم الطرق الحالية ببناء السرعات الشرطية عن طريق إقران عينات الضوضاء ($\epsilon$) وعينات البيانات ($x$) بشكل عشوائي. وبينما يتساوى التوقع لهذه السرعات الشرطية مع السرعة الهامشية (marginal velocity)، فإن المسارات الشرطية الفردية تتقاطع مع مسارات هامشية متميزة متعددة. إن التدريب على هذه السرعات الشرطية يؤدي إلى انحراف هدف التحسين بعيداً عن مسار الـ ODE الهامشي الحقيقي والوحيد، مما يؤدي إلى مسارات غير متسقة.
2. تراكم الخطأ (Error Accumulation): تتراكم أخطاء التقريب الناتجة عن النموذج عبر فترات زمنية طويلة. وفي نماذج التدفق السريعة التي تعتمد على السرعات المتنبأ بها ذاتياً للتدريب، تتراكم هذه الأخطاء، مما يسبب انحرافات كبيرة بين العينات المولدة وتوزيع البيانات الحقيقي، لا سيما في التوليد بخطوة واحدة (1-NFE).

المنهجية

يقترح المؤلفون FlowConsist، وهو إطار عمل تدريبي مصمم لفرض اتساق المسار وتصحيح تراكم الخطأ دون الحاجة إلى نموذج معلم (teacher model) مُدرب مسبقاً.

1. فرض اتساق المسار (استبدال السرعات الشرطية)

الرؤية النظرية الجوهرية هي أن الاعتماد على السرعات الشرطية ($v_t = \epsilon - x$) يُدخل حداً للتباين ($L_{var}$) في دالة الخسارة، مما يجبر النموذج على كبح التدرجات في الاتجاهات ذات التباين العالي ويمنع الملاءمة الدقيقة للمسارات المنحنية.

• التحول النظري: بدلاً من استخدام السرعة الشرطية المقرونة كبديل للسرعة الهامشية، يستبدل FlowConsist السرعة الشرطية في هدف الاتساق بـ السرعة الهامشية التي يتنبأ بها النموذج نفسه ($u_\theta$).
• التنفيذ: اشتق المؤلفون هدف تدريب جديد (المعادلة 7) يجمع بين حد مطابقة التدفق القياسي وحد تنظيم اتساق المسار.
  • يقلل الهدف من الفرق بين السرعة المتوسطة المتنبأ بها والهدف المستمد من تنبؤ السرعة الهامشية الخاص بالنموذج نفسه.
  • من المهم ملاحظة أن السرعة الشرطية تُستخدم فقط في حد يتقارب مع السرعة الهامشية في التوقع بمجرد تدريب النموذج، مما يقضي فعلياً على الانحراف المنهجي أثناء عملية التحسين.
• توجيه المصنف الحر (CFG): تدمج الطريقة تقنية CFG من خلال معاملة مقياس التوجيه $\omega$ كمدخل ثانوي، مما يسمح للنموذذ بتعلم تمثيل موحد يمكن تعديله أثناء الاستنتاج.

2. تصحيح المسار (معالجة تراكم الخطأ)

لمعالجة التباعد الرتيب الناتج عن تراكم أخطاء التقريب عبر الخطوات الزمنية، قدم المؤلفون استراتيجية تصحيح المسار.

• محاذاة السرعة الهامشية: على عكس الطرق السابقة التي تصحح الضوضاء الأولية فقط، يقوم FlowConsist بمحاذاة التوزيع الهامشي للعينات المولدة بواسطة النموذج مع توزيع البيانات الحقيقي عند كل خطوة زمنية على طول المسار.
• آلية خالية من المعلم (Teacher-Free): بدلاً من الاعتماد على نموذج معلم مُدرب مسبقاً (كما في DMD) لتقدير السرعات الهامية الحقيقية، يستخدم FlowConsist نموذجاً مساعداً ($G_\psi$) مدرباً لتقدير السرعة الهامشية للعينات المولدة بواسطة النموذج الرئيسي ($F_\theta$).
• عملية التصحيح: يتم تدريب النموذج الرئيسي لمحاذاة سرعته الهامشية المتنبأ بها مع السرعة المقدرة بواسطة النموذج المساعد. هذا يعمل فعلياً على "سحب" تنبؤات النموذج للعودة نحو توزيع البيانات الحقيقي، مما يصحح الأخطاء التراكمية التي قد تتراكم في عملية الربط أحادية الخطوة.

المساهمات الرئيسية

1. تحديد الانحراف في المسار: تقدم الورقة برهاناً نظرياً (النظرية 1 و2) يثبت أن السرعات الشرطية في مطابقة التدفق تمتلك بطبيعتها تبايناً غير صفري، مما يؤدي إلى انحراف مسار حتمي عند استخدامها كتقديرات لحظية للسرعة في نماذج التدفق السريع.
2. هدف تدريب مبتكر: يقترح المؤلفون بديلاً مبدئياً (المعادلة 7) يستبدل السرعات الشرطية بالسرعات الهامشية المتنبأ بها ذاتياً، مما يضمن بقاء عملية التحسين مرتكزة على مسار هامشي متسق.
3. استراتيجية تصحيح المسار: تم تقديم طريقة خالية من المعلم (المعادلة 11) لمحاذاة التوزيعات الهامشية عند كل خطوة زمنية، مما يخفف من تراكم أخطاء التقريب عبر الفترات الزمنية الطويلة.
4. أداء رائد (State-of-the-Art): حققت الطريقة رقماً قياسياً جديداً في ImageNet 256×256 بمسافة فريدشيهت لإنتروبيا (FID) بلغت 1.52 باستخدام خطوة استنتاج واحدة فقط (1-NFE)، دون الحاجة إلى عملية تقطير (distillation) من نموذج معلم.

النتائج التجريبية

• مجموعة البيانات والإعداد: أُجريت التجارب على ImageNet 256×256 باستخدام بنية DiT وفضاء كامن لـ VAE مُدرب مسبقاً.
• دراسات الاستئصال (Ablation Studies):
  • استبدال خسارة MeanFlow القياسية بخسارة اتساق المسار الهامشي المقترحة (المعادلة 7) أدى إلى تحسين FID من 5.86 إلى 4.99.
  • إضافة خسارة محاذاة السرعة الهامشية (المعادلة 11) قللت FID أكثر لتصل إلى 4.31.
  • أظهرت الطريقة متانة عبر مختلف مقاييس CFG ونسب التكامل لمكونات الخسارة.
• المقارنة: حقق FlowConsist-XL/2 قيمة FID بلغت 1.52 (1-NFE)، متفوقاً على أفضل نموذج تدفق سريع غير مُقطر سابق (iMF-XL/2 بقيمة 1.72) ومقترباً من أداء الطرق المعتمدة على التقطير. كما تفوق على نماذج الانتشار متعددة الخطوات من حيث الكفاءة (خطوة واحدة مقابل أكثر من 250 خطوة) مع الحفاظ على جودة تنافسية.

الأهمية

تزعم الورقة أن FlowConsist تقدم منظوراً جديداً لنمذجة التدفق السريع من خلال معالجة الأسباب الجذرية لمحدودية الأداء في الأطر الحالية: عدم التطابق النظري بين السرعات الشرطية والهامشية، والتراكم العملي لأخطاء التقريب. ومن خلال تصحيح هذه المشكلات، يوضح المؤلفون أن التوليد عالي الدقة في خطوة واحدة هو أمر ممكن من خلال تحسين أهداف التدريب وحدها، مما يسد الفجوة بين النماذج الخالية من المعلم والنماذج المعتمدة على التقطير. يؤكد هذا العمل أن اتساق المسار هو متطلب أساسي لنماذج التدفق السريع لتنفيذ عمليات الربط الخطي بين الخطوات الزمنية بنجاح.