ملخص تقني: استكشاف واستغلال الاستقرار في مطابقة التدفق الكامن (Latent Flow Matching)

1. بيان المشكلة

لا تزال عملية تدريب النماذج التوليدية، وخاصة نماذج الانتشار (Diffusion Models) ونظيراتها من نماذج مطابقة التدفق (Flow Matching - FM)، مكلفة حاسوبياً. تتطلب هذه النماذج عادةً مجموعات بيانات ضخمة، وموارد حوسبة واسعة، وفترات تدريب طويلة، وفي حالات التكييف (conditional setups)، تتطلب توصيفات (annotations) مكثفة. وبينما توفر مطابقة التدفق صياغة حتمية لتوليد العينات عبر المعادلات التفاضلية العادية (ODEs) والتي غالباً ما تقلل من خطوات أخذ العينات مقار بالمعدلات التفاضلية العشوائية (SDEs)، فإن تكلفة تدريب هذه النماذج على مجموعات بيانات كاملة النطاق تظل عائقاً كبيراً.

السؤال المركزي الذي يتناوله هذا العمل هو ما إذا كان يمكن تقليل حجم مجموعة البيانات وسعة النموذج بشكل كبير دون التضحي بجودة التوليد. يستقصي المؤلفون ما إذا كانت نماذج مطابقة التدفق الكامن (LFM) مستقرة تحت الاضطرابات الرئيسية، بما في ذلك تقليص مجموعة البيانات (pruning)، والتغييرات الهيكلية، وتغيير إعدادات التدريب. ويفترضون أنه إذا كانت مسارات النقل في LFM مستقرة بطبيعتها، فيمكن استغلال هذه الخاصية لاستخلاص خوارزميات تدريب واستدلال أكثر كفاءة.

2. المنهجية

2.1. الأساس النظري: الاستقرار في مطابقة التدفق

يبني هذا العمل على الملاحظة القائلة بأن التدفق المصحح (Rectified Flow) يقبل تعبيراً مغلق الشكل لمجال السرعة. بالنسبة لمجموعة بيانات محدودة، يكون مجال السرعة الأمثل عبارة عن مجموع مرجح لعينات التدريب، حيث يتم تحديد الأوزان بواسطة دالة (softmax) على المسافات المربعة بين الحالة الحالية وعينات التدريب المقيسة. ويشير المؤلفون إلى أن دالة (softmax) هذه تصبح "حادة" (peaked) في وقت مبكر من مرحلة النقل، مما يعني أن عينة تدريب واحدة غالباً ما تهيمن على مجال السرعة لمسار معين.

هذه الرؤية النظرية تشير إلى أن مسار النقل يتحدد بشكل كبير بوجود عينات "مهيمنة" محددة. وبناءً على ذلك، فإن إزالة العينات غير المهيمنة (التقليص/pruning) لا ينبغي أن يترك معظم المسارات دون تغيير. ويقوم المؤلفون بصياغة ذلك من خلال تحديد مقياس التعيين (assignment metric): بالنسبة لمسار يبدأ عند الضوضاء $x_0$، يحددون العينة التدريبية $x_i$ التي ينتهي إليها. ويفترضون أن هذا التعيين يظل ثابتاً حتى عند إزالة جزء كبير من مجموعة البيانات، بشرط الاحتفاظ بالعينة المهيمنة لذلك المسار.

2.2. استراتيجيات تقليص البيانات (Data Pruning)

لاستغلال هذا الاستقرار، يقترح المؤلفون ثلاث معايير لتقليص البيانات مستمدة من النماذج التمييزية ولكن تمت إعادة صياغتها لتناسب هدف مطابقة التدفق (الذي يستخدم مسارات ضوضاء وخطوات زمنية مشتركة):

1. التسجيل القائم على التدرج (G): يتم ترتيب العينات حسب مقدار معيار التدرج (gradient norm) للخسارة.
2. التسجيل القائم على الخسارة (L): يتم ترتيب العينات حسب مقدار الخسارة المحسوبة على طول مسارات ضوضاء مشتركة.
3. التسجيل القائم على التجميع (C): يتم تجميع العينات في فضاء تمثيل (embedding space) مدرب مسبقاً (مثل CLIP). يقترح المؤلفون متغيرين محددين:
   • التناسب ($C_p$): يختار العينات بما يتناسب مع حجم الكتلة (cluster size).
   • التوازن ($C_b$): يختار عدداً متساوياً من العينات من كل كتلة للتخفيف من عدم التوازن التوزيعي.
   • القائم على النواة ($C_b^\kappa$): يختار العينات بشكل جشع (greedily) لمطابقة متوسط نواة غاوس (Gaussian kernel) للكتلة في الفضاء الكامن.

كما يقيم المؤلفون "عكس" هذه المعايير (اختيار أقل الدرجات) لاختبار مدى قوة ادعاء الاستقرار.

2.3. الاستدلال من الخشن إلى الناعم (Coarse-to-Fine - C2F)

استغلالاً لاستقرار المسارات عبر سعات النماذج المختلفة، يقترح المؤلفون استراتيجية استدلال مكونة من مرحلتين:

1. النموذج الخشن (Coarse Model): بنية خفيفة الوزن (مثل DiT-S/2) يتم تدريبها على مجموعة فرعية مقلصة من البيانات. وهي تتعامل مع المرحلة الأولى من المسار ($t \in [0, t_0)$).
2. النموذج الناعم (Fine Model): بنية عالية السعة (مثل DiT-XL/2)، مدربة مسبقاً على مجموعة البيانات الكاملة، وتتعامل مع المرحلة الثانية من المسار ($t \in [t_0, 1]$).

لضمان انتقال سلس عند نقطة "الدرزة" (seam) $t_0$، يتم ضبط النموذج الخشن بدقة باستخدام خسارة الاستمرارية (continuity loss). تقلل هذه الخسارة من الفرق بين مجالات السرعة للنموذج الخشن والنموذج الناعم عند $t_0$. ويستخدم مسار النموذج الناعم لتوليد الحالة المستهدفة $x_{t_0}$ عبر عكس التكامل (ODE inversion)، مما يضمن تعلم النموذج الخشن كيف يتوافق مع مسار النموذج الناعم.

3. المساهمات الرئيسية

1. الإثبات التجريبي لاستقرار LFM: يظهر المؤلفون أن نماذج LFM المدربة بشكل مستقل تتقارب نحو مسارات نقل متسقة للغاية تحت تقليص مجموعة البيانات، والتغييرات الهيكلية، والبدء العشوائي المختلف. ويرتبط هذا الاستقرار بالخصائص النظرية لهدف مطابقة التدفق.
2. خوارما تقليص عملية: يقدمون ثلاثة معايير للتقليص (التدرج، الخسارة، التجميع) مناسبة لـ FM. ويثبتون أن التقليص الشديد (على سبيل المثال، إزالة 50-95% من البيانات) لا يؤدي إلى تدهور الأداء بل يمكن أن يحسن سرعة التقارب وجودة التوليد في ظل ميزانيات حوسبة محدودة.
3. تسريع الاستدلال (Coarse-to-Fine): يقترحون استراتيجية توليد مكونة من نموذجين تقسم المسار. تحقق هذه الطريقة تسريعاً كبيراً في الاستدلال (حوالي 2.15$\times$) مع الحفاظ على جودة التوليد، بشرط صحة فرضية الاستقرار عبر بنيات النماذج.
4. تخفيف الانحياز عبر التقليص المتوازن: يظهر المؤلفون أن التقليص المتوازن للكتل ($C_b$) يمكن أن يخفف من الانحيازات في البيانات المولدة (مثل الجنس، ولون البشرة) دون الحاجة إلى موازنة واعية بالتسميات (label-aware)، وذلك من خلال مساواة تمثيل الكتل الدلالية في مجموعة التدريب.

4. النتائج التجريبية

تم تقييم الطرق على مجموعات بيانات CelebA-HQ، و FFHQ، و ImageNet-1K.

• الاستقرار تحت التقليص: في CelebA-HQ، أنتجت النماذج المدربة على مجموعات فرعية منفصلة (مقلمة بنسبة 50%) صوراً متشابهة بصرياً عند البدء من نفس بذرة الضوضاء $x_0$. تراوح تشابه جيب التمام (ArcFace cosine similarity) بين النماذج المقلمة وغير المقلمة بين 0.79 و 0.83، وهو أعلى بكভাবে من الأزواج العشوائية (0.37).
• مقاييس الأداء:
  • CelebA-HQ: أدى تقليص 50% من البيانات باستخدام التجميع المتوازن ($C_b$) إلى تحسين طفيف في مسافة Fréchet Inception Distance (FID) من 24.24 (غير مقلم) إلى 22.80.
  • ImageNet: أدى تقليص 75% من البيانات ($pr=0.75$) إلى تقارب أسرع وحافظ على أو حسن قليلاً من FID مقارنة بمجموعة البيانات الكاملة. وحتى عند تقليص بنسبة 95%، تقارب النموذج بشكل أسرع في البداية، رغم أن الأداء تدهور بعد عدد معين من التكرارات.
• المتانة تجاه الاضطرابات:
  • البنية: أدت زيادة سعة النموذج (من DiT-S/2 إلى DiT-XL/2) إلى تغييرات طفيفة في المسار (التشابه $s=0.81$). أدى الانتقال إلى بنية U-Net إلى تقليل التشابه ($s=0.55$) ولكنه حافظ على السمات العامة.
  • الفضاء الكامن: الاستقرار حساس لتغيير تمثيل الفضاء الكامن (مثل تغيير بذرة VAE أو تطبيق تحويلات قابلة للعكس)، مما أدى إلى كسر الاستقرار.
  • الهدف: أدى الانتقال من مطابقة التدفق إلى الانتشار القائم على الدرجة (score-based diffusion) إلى تغيير المسارات تماماً، مما يشير إلى أن الاستقرار خاص بهدف FM.
• كفاءة Coarse-to-Fine: في CelebA-HQ، قللت طريقة C2F مع $t_0=0.7$ من وقت الاستدلال من 93.95 مللي ثانية/صورة (النموذج الناعم فقط) إلى 43.53 مللي ثانية/صورة (تسريع بنحو 2.15$\times$) مع الحفاظ على FID.
• العدالة: قلل التقليص المتوازن ($C_b$) من تباعد KL نحو التوزيع الموحد عبر السمات (الجنس، العمر، لون البشرة) بشكل أكثر فعالية من النماذج غير المقلمة، رغم كونه غير واعٍ بالتسميات.

5. الأهمية والادعاءات

يدعي المؤلفون أن الاستقرار الملحوظ هو خاصية مميزة لنموذج التدفق المصحح (Rectified Flow) تحت تمثيلات كامنة ثابتة، وليس مجرد نتاج خوارزميات تدريب محددة.

• الكفاءة: الأهمية الأساسية هي القدرة على تقليل وقت التدريب ومتطلبات البيانات دون التضحية بالجودة. يوضح المؤلفون أنه بالنسبة لمجموعات البيانات الكبيرة مثل ImageNet، يمكن للتقليص أن يسرع التقارب، وبالنسبة للمجموعات الأصغر مثل CelebA-HQ، يمكنه تحسين جودة التوليد.
• تسريع الاستدلال: تقدم طريقة C2F طريقة مبدئية لتقليل تكاليف الاستدلال عن طريق تفويض المراحل المبكرة (الخشنة) من التوليد إلى نماذج خفيفة الوزن، والاعتماد على استقرار المسار لضمان أن النموذج عالي السعة يحتاج فقط إلى صقل التفاصيل النهائية.
• التحكم في الانحياز: يشير هذا العمل إلى أن تقليص مجموعة البيانات، وتحديداً عبر التجميع المتوازن، يمكن أن يعمل كآلية للتحكم في الاختلالات التوزيعية في البيانات المولدة وتخفيفها، مما يوفر مساراً نحو نماذج توليدية أكثر عدلاً دون الحاجة إلى إعادة وزن معقدة واعية بالتسميات.

يخلص البحث إلى أنه بينما يعد الاستقرار متيناً تجاه تغييرات البيانات وسعة النموذج، فإنه حساس لتغييرات هيكل الفضاء الكامن والهدف التوليدي نفسه. تسمح هذه الرؤية للممارسين بتصميم خطوط إنتاج أكثر كفاءة في الموارد مع الحفاظ على توليد عالي الدقة.