Terminal Velocity Matching

فيما يلي ملخص تقني مفصل لورقة البحث "مطابقة السرعة النهائية" (Terminal Velocity Matching - TVM) من إعداد لينقي زو وآخرون، والمنشورة في ICLR 2026.

1. بيان المشكلة

تنتج النماذج التوليدية الحالية، ولا سيما نماذج الانتشار (Diffusion Models) ومطابقة التدفق (Flow Matching)، عينات عالية الدقة ولكنها تعاني من بطء سرعة الاستنتاج بسبب الحاجة إلى خطوات أخذ عينات عديدة (على سبيل المثال، أكثر من 50 خطوة من حلّال المعادلات التفاضلية العادية ODE). وبينما تهدف الطرق الحديثة مثل نماذج الاتساق (Consistency Models - CT) وMeanFlow إلى تقليل ذلك إلى خطوة واحدة أو خطوات قليلة، إلا أنها تواجه تحديات كبيرة:

• الضمانات التوزيعية: تفتقر العديد من طرق الخطوات القليلة إلى روابط نظرية صريحة لمطابقة التوزيع (مثل مسافة Wasserstein)، وغالبًا ما تعتمد على مطابقة المسارات التجريبية.
• عدم استقرار التدريب: تعاني الطرق التي تحاول تعلم المسارات المتكاملة من عدم استقرار التدرج، خاصة عند استخدام التوجيه الخالي من التصنيف (Classifier-Free Guidance - CFG) أو عند التوسع إلى دقات عالية.
• القيود الهيكلية: تفتقر نماذج محولات الانتشار القياسية (DiT) إلى استمرارية ليبشيتز (Lipschitz continuity)، مما يؤدي إلى زعزعة استقرار أهداف التدريب التي تعتمد على مشتقات حقل السرعة.
• القابلية للتوسع: تتطلب بعض طرق مطابقة التوزيع (مثل مطابقة العزم الاستقرائي - Inductive Moment Matching) جسيمات متعددة لكل خطوة، مما يحد من قابليتها للتوسع مع النماذج الكبيرة.

2. المنهجية: مطابقة السرعة النهائية (TVM)

إن TVM هو إطار عمل تدريب أحادي المرحلة يتعلم مسارات التدفق الحقيقية من خلال مطابقة السرعة النهائية للمسار بدلاً من السرعة الأولية.

المفهوم الجوهري

بدلاً من مطابقة السرعة عند بداية المسار (كما في مطابقة التدفق القياسية)، يقوم TVM بنمذجة الانتقال بين أي خطوتين زمنيتين $t$ و $s$ ($s < t$). وهو يعرّف خريطة إزاحة صافية $f_\theta(x_t, t, s)$ ويفرض شرط السرعة النهائية:
$$\frac{d}{ds} f_\theta(x_t, t, s) = u_\theta(x_t + f_\theta(x_t, t, s), s)$$
يضمن هذا الشرط أن السرعة اللحظية للمسار المتوقع للنموذج عند نهاية الفترة ($s$) تطابق حقل السرعة الحقيقي عند تلك النقطة.

الأساس النظري

• الحد العلوي لـ Wasserstein: يثبت المؤلفون أن تقليل خسارة مطابقة السرعة النهائية يوفر حداً علوياً على مسافة 2-Wasserstein بين توزيع البيانات وتوزيع النموذج، بافتراض أن حقل السرعة مستمر ليبشيتز. وهذا يقدم ضماناً نظرياً أقوى من طرق مطابقة المسارات السابقة.
• الهدف الموحد: تعمل دالة الخسارة على تحسين ما يلي بشكل مشترك:
  1. خطأ السرعة النهائية: مطابقة مشتق خريطة الإزاحة مع السرعة المتوقعة عند النقطة المستهدفة.
  2. مطابقة التدفق (الحالة الحدية): عندما تكون $t=s$، يتقلص الهدف إلى مطابقة التدفق القياسية، مما يضمن تعلم النموذج لحقل السرعة اللحظية الصحيح.

التنفيذ العملي والتغييرات الهيكلية

لجعل TVM مستقراً وفعالاً، قدم المؤلفون عدة ابتكارات هندسية حاسمة:

1. التحكم شبه الليبشيتزي (Semi-Lipschitz Control): نماذج DiT القياسية ليست مستمرة ليبشيتز، مما يسبب عدم استقرار التدريب. قام المؤلفون بتعديل البنية من خلال:
   • استبدال LayerNorm بـ RMSNorm.
   • تطبيق RMSNorm على تطبيع الاستعلام-المفتاح (QK normalization).
   • تطبيع معاملات التعديل (المقياس والإزاحة) في Adaptive LayerNorm (AdaLN) لمنع النمو غير المحدود.
   • استخدام تهيئة ليبشيتز للطبقات الخطية.
2. نواة Flash Attention JVP: يتطلب هدف التدريب حساب المشتق الزمني لمخرجات الشبكة، وهو ما يتضمن حاصل ضرب جاكوبي-متجه (Jacobian-Vector Products - JVP). إن آلية الانتباه القياسية في PyTorch غير فعالة لعمليات JVP وتفتقر إلى دعم المرور الخلفي (backward pass). طور المؤلفون نواة Flash Attention مخصصة تقوم بدمج عملية المرور الأمامي وحساب JVP، وتدعم عمليات المرور الخلفي عبر JVP، مما يقلل بشكل كبير من استهلاك الذاكرة (لتجنب أخطاء نفاذ الذاية OOM).
3. التمثيل المعلمي المقياس ومعالجة CFG:
   • يتم قياس مخرجات الشبكة بواسطة وزن CFG $w$ ($f_\theta \propto w$) للتعامل مع قوة التوجيه المتغيرة خطياً.
   • تتضمن الخسارة معامل وزن $1/w^2$ لمنع انفجار التدرج أثناء أخذ عينات CFG العشوائية.
   • على عكس نماذج الاتساق، يسم يسمح TVM بـ أخذ عينات CFG عشوائية أثناء التدريب دون انهيار، رغم أن استخدام CF constant يعطي نتائج أفضل قليلاً لـ FID.

3. المساهمات الرئيسية

• الجدة النظرية: اقتراح مطابقة السرعة النهائية، وهو هدف جديد يوفر حداً علوياً لمسافة 2-Wasserstein، مما يقدم ضمانات على مستوى التوزيع للنماذج ذات الخطوة الواحدة دون الحاجة لجسيمات متعددة.
• الاستقرار الهيكلي: تحديد وإصلاح نقص استمرارية ليبشيتز في نماذج DiT، مما يتيح تدريباً مستقراً أحادي المرحلة للنماذج ذات الخطوات القليلة.
• الكفاءة: تطوير نواة Flash Attention متخصصة لعمليات المرور الخلفي لـ JVP، مما يسمح بتدريب النماذج عالية الأبعاد التي قد تعاني لولا ذلك من نفاذ الذاكرة.
• إطار عمل موحد: ينتقل الطريقة بسلاسة بين أخذ العينات متعدد الخطوات وذات الخطوة الواحدة دون الحاجة لإعادة التدريب أو تعلم المناهج (curriculum learning).

4. النتائج التجريبية

قيم المؤلفون TVM على مجموعة بيانات ImageNet بدقات 256×256 و512×512، مقارنةً بأفضل نماذج الانتشار الأساسية وطرق الخطوات القليلة (MeanFlow, sCT, IMM).

ImageNet-256×256:

• 1-NFE (خطوة واحدة): حقق 3.29 FID، متفوقاً على MeanFlow (3.43) وIMM (8.05).
• 4-NFE: حقق 1.99 FID، متجاوزاً نموذج DiT الأساسي (2.27) ومساوياً لأداء الانتشار عالي الخطوات.

ImageNet-512×512:

• 1-NFE (خطوة واحدة): حقق 4.32 FID، متفوقاً على sCT (4.33) وMeanFlow (5.24).
• 4-NFE: حقق 2.94 FID، متفوقاً على DiT (3.04) وsCT.

كفاءة التدريب:

• يتقارب TVM مع أخذ عينات CFG العشوائية، بينما يظهر MeanFlow تقلبات كبيرة في معيار التدرج تحت نفس الظروف.
• لا يتطلب الطريقة أي منهج تعليمي (جداول إحماء) أو تعديلات معقدة على الخسارة.

5. الأهمية

تمثل مطابقة السرعة النهائية قفزة نوعية في النمذجة التوليدية ذات الخطوة الواحدة والخطوات القليلة. من خلال تحويل التركيز من السرعة الأولية إلى السرعة النهائية، نجح المؤلفون في سد الفجوة بين مطابقة التوزيع النظرية والاستنتاج السريع والعملي.

• القابلية للتوسع: يتوسع الطريقة بفعالية إلى الدقات العالية (512×512) وأحجام النماذج الكبيرة (XL/2) دون العبء الحسابي لتدريب الجسيمات المتعددة.
• البساطة: يحقق نتائج رائدة باستخدام هدف بسيط مفاهيمياً وتغييرات هيكلية طفيفة، مما يجعله مرشحاً قوياً لأنظمة الذكاء الاصطناعي التوليدي عالية الأداء في المستقبل.
• الرؤية النظرية: توفر البراهن التي تربط الهدف بمسافة 2-Wasserstein أساساً صارماً لسبب عمل هذه النماذج ذات الخطوات القليلة، مما يشير إلى أن التحكم في السلوك النهائي لمسارات التدفق هو المفتاح لمحاذاة التوزيع.

باختصار، يثبت TVM أن التصميم النظري المبدئي، مقترناً بالتحسينات الهيكلية والبرمجية المستهدفة، يمكن أن يتغلب على المقايضة التقليدية بين جودة التوليد، وسرعة الاستنتاج، واستقرار التدريب.