ملخص تقني: الاقتران الهيكلي لمطابقة التدفق (SCFM)

بيان المشكلة

برزت "مطابقة التدفق" (Flow Matching - FM) القياسية كإطار عمل فعال للغاية لتدريب التدفقات الطبيعية المستمرة، مما يوفر تحسيناً قابلاً للتوسع وجودة عينات عالية الدقّة. ومع ذلك، فهي تعتمد عادةً على توزيع مصدر ثابت وغير مهيكل (مثل التوزيع الطبيعي المتماثل المناحي). وبناءً على ذلك، فإن خريطة النقل المتعلمة لا تشجع صراحةً على ظهور هياكل كامنة مفسرة مفيدة للتجميع (Clustering)، أو فك التشابك (Disentanglement)، أو المهام اللاحقة.

في المقابل، تتفوق نماذج المتغيرات الكامنة مثل المشفرات التلقائية التباينية (VAEs) في تعلم تمثيلات مهيكلة ومفسرة غالباً من خلال الاستدلال الموزع. ومع ذلك، فإن جودة توليدها غالباً ما تكون محدودة بفصائل فك التشفير المقيدة أو تقريبات اللاحقة (Posterior approximations)، مما يؤدي غالباً إلى دقة عينات أقل مقار بنماذج الانتشار (Diffusion) أو النماذج القائمة على التدفق.

هناك فجوة بين الطرق التي تتعلم هياكل كامنة مفيدة والطرق التي تنتج عينات عالية الدقة ضمن إطار عمل موحد وشامل.

المنهجية: الاقتران الهيكلي لمطابقة التدفق (SCFM)

يقترح المؤلفون الاقتران الهيكلي لمطابقة التدفق (SCFM)، وهو إطار عمل تعاوني يعزز مطابقة التدفق بتعلم التمثيل الكامن المهيكل. يعمل SCFM ضمن صيغة "المسافة المتداخلة العشوائية" (Stochastic-interpolant)، حيث يستبدل المصدر الثابت القياسي بمتغير معزز $x_0 = (z, \epsilon)$، حيث:

• $z$ هو متغير كامن هيكلي يتبع توزيعاً سابقاً مهيكلاً قابلاً للتعلم $p_\psi(z)$ (مثل نموذج الخليط الغاوسي - GMM).
• $\epsilon$ هو ضجيج خارجي يوفر درجات حرية للنقل، ويتبع توزيعاً سابقاً ثابتاً $p(\epsilon)$.

الآليات الجوهرية

1. الاقتران المستحث بواسطة المشفر: بدلاً من الاقتران المستقل بين المصدر والبيانات، يستخدم SCFM مشفراً $q_\phi(z|x_1)$ لاستحثاث اقتران $\Gamma_{enc}(x_0, x_1) = p_{data}(x_1) q_\phi(z|x_1) p(\epsilon)$. وهذا يجعل التمثيل الكامن جزءاً أصيلاً من مشكلة النقل بدلاً من كونه مكوناً إضافياً.
2. شبكة التعرف المشتركة: تعمل شبكة واحدة تعتمد على الزمن لأغراض مزدوجة:
   • الأوقات المتوسطة ($t < 1$): تعمل كمقدر لمتوسط اللاحقة في مطابقة التدفق التبايني، مما يقرب حقل السرعة الهامشي المطلوب للتدريب.
   • نقطة النهاية ($t = 1$): تعمل كـ "مشفر تبايني" لنموذج المتغيرات الكامنة، حيث تقوم بتمثيل اللاحقة التقريبية $q_\phi(z|x_1)$.
3. الهدف المشترك: يقوم الإطار بتحسين فقدان مطابقة التدفق بشكل مشترك (تقليل المسافة بين حقل المتجهات المستحث ومتجه السرعة الهامشي) وفقدان نهاية طرفية بأسلوب VAE (تقليل الحد الأدنى للاحتمال الأدنى - ELBO). يعمل فقدان النهاية الطرفية على مواءمة اللاحقة المجمعة للاقتران التدريبي مع التوزيع السابق القابل للتعلم $p_\psi(z)$، مما يضمن تدريب التدفق وأخذ العينات من نفس التوزيع المهيكل.

أنماط أخذ العينات

يدعم SCFM استراتيجيتين لأخذ العينات:

• تكامل ODE الكامل: التوليد غير المشروط عن طريق أخذ عينة $z \sim p_\psi(z)$ و $\epsilon \sim p(\epsilon)$، ثم تكامل الـ ODE من $t=0$ إلى $t=1$.
• الصقل المبتدئ بواسطة فك التشفير: لتحسين مقايضة الجودة مقابل الحوسبة، يمكن لفك التشفير $p_\theta(x_1|z)$ توليد اقتراح أولي $\hat{x}_1$. بعد ذلك، يتم بدء التدفق عند وقت متوسط $t_0$ باستخدام هذا الاقتراح وتكامله فقط حتى $t=1$، مما يتطلب عمليات تقييم أقل للـ ODE.

المساهمات الرئيسية

1. إطار عمل موحد: تقديم SCFM، الذي يتعلم بشكل مشترك توزيعاً كامناً سابقاً وخريطة نقل مستمرة. الابتكار الجوهري هو استخدام متغير مصدر معزز $x_0 = (z, \epsilon)$ مقترن عبر مشفر، مما يفصل البنية الدلالية عن مرونة النقل.
2. التدريب التعاوني: إثبات أن شبكة التعرف المشتركة المعتمدة على الزمن وهدف النهاية الطرفية بأسلوب VAE يمكن أن يوفقا بين اقتران التدريب والتوزيع السابق لأخذ العينات. وهذا يدمج مطابقة التدفق وتدريب VAE دون الحاجة إلى تدريب مكونات الشبكة على مرحلتين أو بشكل مستقل.
3. التحقق التجريبي: تقديم أدلة على أن SCFM يتعلم تمثيلات كامنة هيكلية فعالة للتجميع، وفك التشابك، والتصنيف اللاحق، مع الحفاظ على جودة توليد العينات المنافسة لمطابقة التدفق القياسية.

النتائج التجريبية

قيم المؤلفون SCFM على مجموعات بيانات MNIST، وCIFAR-10، وCars3D، وShapes3D، وImageNet-128.

• التمثيلات الهيكلية:
  • تجميع MNIST: حقق SCFM (مع فقدان $\beta$-VAE الطرفي) دقة تجميع متفوقة (90.4%) ومعلومات متبادلة طبيعية (87.8%) مقارنة بـ VaDE وMFCVAE.
  • CIFAR-10 وImageNet-128: حققت التمثيلات الكامنة المجمدة من SCFM دقة استقصاء خطية وغير خطية أعلى من VAEs القياسية ونتائج تنافسية مقابل نماذج تعلم التمثيل الأخرى (مثل DIM)، مما يشير إلى الاحتفاظ بالمعلومات ذات الصلة بالفئة دون إشراف.
• فك التشابك: في Cars3D وShapes3D، حقق SCFM درجات تنافسية في FactorVAE وDCI، مما يظهر القدرة على تعلم هياكل كامنة حساسة للعوامل في بيئة غير خاضعة للإشراف.
• جودة العينات:
  • CIFAR-10: حقق SCFM مسافة فريدشيه للإنتروبيا (FID) قدرها 2.117، وهو ما يطابق تقريباً خط الأساس لمطابقة التدفّق القياسية (2.137).
  • ImageNet-128: وصل SCFM إلى FID قدره 17.180، متفوقاً قليلاً على خط الأساس SiT-XL/2 المشروط بالفئة (17.243) ومتفوقاً بشكل كبير على نظيره غير المشروط (26.349).
• الكفاءة: حسنت وضعية "الصقل المبتدئ بواسطة فك التشفير" مقايضة الجودة مقابل الحوسبة، حيث اقتربت من FID التدفق الكامل بعدد أقل بكثير من عمليات تقييم الدالة (FLOPs).

الأهمية والادعاءات

يزعم البحث أن SCFM ينجح في سد الفجوة بين تعلم التمثيل ونمذجة التوليد عالية الدقة. ومن خلال جعل توزيع المصدر قابلاً للتعلم ومهيكلاً، يُمكّن SCFM مطابقة التدفق من تعلم هياكل كامنة ذات معنى (للتجميع وفك التشابك) دون التضحية بدقة التوليد.

يؤكد المؤلفون أن المتغير الكامن $z$ يكتسب معنى دلالياً بطريقة غير خاضعة للإشراف، مما يوفر تحكماً هيكلياً ضمنياً من خلال التوزيع السابق المتعلم بدلاً من طلب شروط صريحة (مثل التسميات أو الأوامر النصية) وقت أخذ العينات. وبينما يقر العمل بأن SCFM يضيف أعباء حوسبية إضافية (زيادة في المعلمات وFLOPs) ويعتمد على جودة نموذج اللاتنت الطرفي للصقل، إلا أن العمل يثبت أن المصدر المهيكل يمكن تعلمه لتعزيز فائدة نماذج التدفق كأدوات لتعلم التمثيل مع الحفاظ على نقاط قوتها الأساسية في التوليد.