A Few-Step Generative Model on Cumulative Flow Maps

ملخص تقني: نموذج توليدي بعدد قليل من الخطوات على خرائط التدفق التراكمي

بيان المشكلة
تُصاغ النماذج التوليدية، بما في ذلك نماذج الانتشار (diffusion models) ومطابقة التدفق (flow matching)، عادةً كتعلم خرائط تدفق لحظية (أو ديناميكيات لحظية) تتنبأ بتحديثات الحالة المحلية بناءً على الحالة الراهنة $x(t)$. ولتوليد البيانات، تتطلب هذه النماذج تكاملاً عددياً تكرارياً عبر العديد من الخطوات الزمنية الصغيرة لتقريب خريطة التدفق التراكمي — وهو النقل في زمن محدد الذي ينقل العينات من توزيع مصدر بسيط إلى توزيع بيانات معقد. وتؤدي عملية أخذ العينات متعددة الخطوات هذه إلى تكالفي حسابية كبيرة.

بينما استكشفت الجهود الأخيرة طرقاً لتوليد الخطوة الواحدة أو الخطوات القليلة، تواجه النهج الحالية قيوداً:

1. الطرق القائمة على التقطير (Distillation-based methods): غالباً ما تتطلب مسارات تدريب معقدة (معلم-طالب).
2. نماذج الاتساق (Consistency models) و"المتوسط التدفق" (Mean Flow): (الذي يتعلم متوسط السرعات) مصممة أساساً لصياغات محددة (مثل مطابقة التدفق للتنبؤ بـ $u$) ولا تتعمم بشكل طبيعي على أطر عمل أخرى مستخدمة على نطاق واسع في رسومات الحاسوب، مثل DDIM أو EDM أو مطابقة التدفق للتنبؤ بـ $x_1$.
3. تعلم خرائط التدفق بعيدة المدى مباشرة: يعد أمراً صعباً لأن النظراء الشرطيين المطلوبين لأهداف التدريب القياسية لا وجود لهم بالنسبة للمجالات التراكمية، مما يخلق عائقاً تدريبياً جوهرياً.

المنهجية: خرائط التدفق التراكمي (CFM)
يقترح المؤلفون خرائط التدفق التراكمي (CFM)، وهو إطار عمل موحد يربط التحديثات اللحظية بالانتقال في زمن محدد عبر بارامتريّة مجال تراكمي صريح.

• التجريد الموحد: تُجرد الطريقة خريطة التدفق اللحظية $\psi_{t \to t+h}$ باستخدام دالة مجردة $F[m_t(x), x, t, t+h]$، حيث $m_t(x)$ هو المجال اللحظي (على سبيل المثال، السرعة). هذا التجريد يوحد مختلف البارامتريات ($u$-FM، $x_1$-FM، DDIM، EDM).
• البارامتريّة التراكمية: توسع CFM هذا المفهوم ليشمل النقل بعيد المدى عبر تعريف خريطة تدفق تراكمي $\psi_{t \to r}$ كحد لتكوين الخرائط اللحظية. يتعلم النموذج مجال بارامتريّة تراكمي $m_{t \to r}(x)$ بحيث يكون $\psi_{t \to r}(x) = F[m_{t \to r}(x), x, t, r]$. وهذا يسمح للنموذج بالتقدم في عملية أخذ العينات من الزمن $t$ إلى أي زمن مستقبلي $r$ في خطوة واحدة أو خطوات قليلة.
• التدريب عبر معادلات المجال: التحدي الرئيسي هو أن المجال التراكمي الشرطي $m_{t \to r}(x | X_1)$ لا يوجد بشكل متسق ذاتياً. للتغلب على ذلك، اشتق المؤلفون إعادة صياغة قائمة على معادلة المجال (النظرية 3). حيث يعبرون عن المجال التراكمي بدلالة المجال اللحظي ومشتقاته:
  $$m_{t \to r}(x) = G(t, r)m_t(x) + H(t, r)E[\dots]$$
  تسمح هذه الصياغة ببناء دالة خسارة بديلة (المعادلة 7) تستخدم المجال اللحظي الشرطي $m_t(x | X_1)$ (القابل للتعلم) للإشراف على المجال التراكمي. تتضمن الخسارة حدود الاشتقاق ($\partial_t m$ و $\partial_x m$) التي يتم حسابها عبر حاصل ضرب جاكوبي-متجه (JVP) أو التقريبات المنفصلة.
• التنفيذ: لا يتطلب هذا النهج سوى تغييرات طفيفة في البنية المعمارية. فهو يعزز تضمين الوقت (time embedding) بمُدمج إضافي للزمن المستهدف $r$ ويستخدم التضمين المتوسط $(emb_t + emb_r)/2$. لا يتطلب الأمر تقطيراً أو زيادة في السعة.

المساهمات الرئيسية

1. تجريد خريطة التدفق اللحظي-التراكمي: تصيغ الورقة خرائط التدفق التراكمي كعمليات نقل في زمن محدد يتم الحصول عليها عبر تكوين الخرائط اللحظية، مما يوحد التوليد متعدد الخطوات وقليل الخطوات تحت إطار رياضي واحد.
2. التعميم لما وراء التنبؤ بـ $u$: تعمم CFM مفهوم "المتوسط التدفق" على مجموعة واسعة من الصياغات التوليدية، بما في ذلك $u$- و $x_1$-flow matching، و EDM، و DDIM. وهذا يتيح التوليد في خطوات قليلة في الإعدادات التي لا يمكن تطبيق الطرق السابقة (مثل Mean Flow) فيها، مثل نمذجة توزيعات الهندسة وتوليد الصور في فضاء البكسل.
3. تدريب مستقل عن النموذج: من خلال اشتقاق هدف قائم على معادلة المجال، تمكن الطريقة من تعلم خرائط التدفق التراكمي دون تغييرات في البنية المعمارية أو تقطير، مما يقلل بشكل كبير من خطوات أخذ العينات في النماذج الحالية.

النتائج التجريبية
قيم المؤلفون CFM عبر خمس مهام متنوعة من رسومات الحاسوب، مظهرين تسريعاً كبيراً (10×–200×) مع الحفاظ على جودة التوليد أو تحسينها:

• توليد الصور (CelebA-HQ): باستخدام CFM-DDIM، يحقق النموذج توليداً في خطوة واحدة و4 خطوات بمعاملات FID مقاربة للنماذج المرجعية المكونة من 128 خطوة، متفوقاً على طرق التقطير والتدريب المعتمدة على الاتساق.
• نمذجة التوزيع الهندسي: في مهمة GeoDist، يحقق CFM-EDM تسريعاً بمعدل 6×–10× دون تدهور في مسافة Chamfer مقارنة بالنماذج المرجعية المكونة من 60 خطوة. ومن الجدير بالذكر أن طرق التنبؤ بـ $u$ تفشل في دعم التوليد في خطوات قليلة في هذا المجال، بينما ينجح CFM-EDM.
• توقع الموضع المشترك (PDT): عند تطبيقه على مجموعة بيانات RigNet، يقلل CFM-DDIM الاستدلال من 1000 خطوة إلى 5 خطوات (تسريع بمعدل 200×) مع الحفاظ على دقة توقع المفاصل (CD-J2J، IoU، Precision، Recall) مقاربة بنموذج 1000 خطوة الأصلي.
• توليد السكتات المشروطة بالصور: في مجموعة بيانات ControlSketch، يولد CFM سكتات متجهة في خطوة واحدة أو 4 خطوات (تسريع بمعدل 50×) مع دقة (MS-SSIM، DreamSim) تضاهي نموذج SwiftSketch المكون من 50 خطوة.
• توليد 3D SDF: بالنسبة لإعادة بناء SDF الشرطي المتفرق (64 نقطة)، يحقق CFM-$x_1$-FM تسريعاً بمعدل 6–16× مقارنة بـ Functional Diffusion مع جودة إعادة بناء مماثلة.

الأهمية والادعاءات
تدعي الورقة أن CFM توفر إطار عمل رياضياً عاماً مناسباً بشكل خاص لتطبيقات رسومات الحاسوب التي تتضمن تمثيلات بيانات متنوعة (صور، سحب نقاط، مجالات ضمنية). تكمن أهميتها الأساسية في:

• فك الارتباط بين الكفاءة والبنية المعمارية: تحقق تسريعاً جذرياً في الاستدلال (يصل إلى 200×) فقط عن طريق تعديل هدف التدريب وتضمينات الزمن، دون الحاجة إلى تقطير أو تغييرات شاملة في البنية.
• إطار عمل موحد: تجسر الفجوة بين الديناميكيات اللحظية والنقل بعيد المدى، مقدمة حلاً مبدئياً للتوليد في خطوات قليلة عبر النماذج التي فشلت فيها نهج "متوسط السرعة" السابقة.
• العملية: طريقة مستقلة عن النموذج ويمكن تطبيقها على النماذج المدربة مسبقاً لتسريعها، أو استخدامها لتدريب نماذج جديدة قليلة الخطوات من الصفر.

يؤكد المؤلفون أنه بينما تعد CFM قابلة للتطبيق على نطاق واسع من النماذج، فإن تقييمهم الحالي يقتصر على خمس تطبيقات وأربع صياغات ممثلة، مما يترك التوسع إلى مجموعات بيانات أكبر (مثل ImageNet) كعمل مستقبلي.