ملخص تقني: إسقاط الدوال لنمذجة التدفق (FP-FM)

بيان المشكلة

أثبتت النمذجة التوليدية، لا سيما عبر الانتشار (Diffusion) ومطابقة التدفق (Flow Matching)، نجاحاً في إنشاء بيانات اصطناعية عالية الدقة. ومع ذلك، لا يزال هناك تحدٍ كبير يتمثل في التكيف متعدد العينات (many-shot adaptation): وهو القدرة على تكييف نموذج توليدي بكفاءة مع توزيع مستهدف جديد وغير مرئي باستخدام مجموعة من نقاط العينات من ذلك التوزيع فقط، دون الحاجة إلى تدريب إضافي أو ضبط دقيق (fine-tuning).

تعتمد النمذجة الشرطية التقليدية غالباً على متغيرات شرطية صريحة (مثل المطالبات اللغوية الطبيعية أو تسميات الفئات). وبينما تكون هذه المتغيرات فعالة للفئات المعروفة، إلا أنها غير كافية عندما يتم تعريف التوزيع المستهدف بواسطة أمثلة بصرية محددة (مثل توليد صور لشخص معين) أو مزيجات معقدة لا يمكن وصفها بسهولة باستخدام مفردات ثابتة. علاوة على ذلك، فإن أساليب الضبط الدقيق القياسية مكلفة حاسوبياً، حيث تتطلب خطوات تدرج (gradient steps) لكل توزيع جديد، مما يعيق التطبيقات ذات زمن الاستجابة المنخفض.

يقترح المؤلفون إعداداً يجب أن يتعلم فيه النموذج عائلة من التوزيعات $\{p^\iota_X\}_{\iota \in \mathcal{I}}$ أثناء التدريب، وعند تلقي عينات من توزيع جديد $p^\iota_X$ (حيث لم يسبق رؤية $\iota$ أثناء التدريب)، يجب عليه توليد عينات منه بكفاءة.

المنهجية: إسقاط الدوال لنمذجة التدفق (FP-FM)

تتمثل الرؤية الجوهرية لـ FP-FM في إعادة صياغة مشكلة التكيف ضمن إطار مطابقة التدفق (Flow Matching) باستخدام منظور مشفر الدوال (Function Encoder). فبدلاً من تعلم حقل سرعة واحد أو الشرط على متغير منفصل، يتعلم FP-M مجموعة من الدوال الأساسية التي تشغل فضاء حقول السرعة الناجمة عن توزيعات التدريب.

الأساس النظري

1. مطابقة التدفق (Flow Matching): يتعلم النموذج حقل سرعة $v(x, t) = \mathbb{E}[X_1 - X_0 | X_t = x]$ الذي ينقل توزيع الضوضاء $X_0 \sim \mathcal{N}(0, I)$ إلى التوزيع المستهدف $X_1 \sim p_X$.
2. فضاء الدوال (Function Space): يتم التعامل مع مجموعة حقول السرعة $\mathcal{V}$ كفضاء هيلبرت (Hilbert space). وتتوافق دالة الخسارة في مطابقة التدفق (متوسط الخطأ التربيعي) مع المعيار المربع في هذا الفضاء.
3. تعلم الأساسات (Basis Learning): يتعلم FP-FM عدد $k$ من الدوال الأساسية $\{g_i\}_{i=1}^k$ (الممثلة كشبكات عصبية) لتشغل حقول السرعة الخاصة بتوزيعات التدريب.
4. التكيف عبر الإسقاط (Adaptation via Projection): للتكيف مع توزيع مستهدف جديد بناءً على العينات، تقوم الخوارزمية بحساب المعاملات $c_\iota$ عبر إسقاط المربعات الصغرى (least-squares projection) لحقل السرعة المستهدف على الأساس المتعلم. ويتم تقريب الضرب الداخلي المطلوب لهذا الإسقاط باستخدام العينات المقدمة من التوزيع المستهدف، مما يتجنب الحاجة إلى معرفة حقل السرعة الحقيقي تحليلياً.

ثلاثة متغيرات

يقدم البحث ثلاثة متغيرات لـ FP-FM، توفر مقايضة بين القدرة التعبيرية (expressivity) والتكلفة الحسابية:

1. FP-FM الساكن (Static FP-FM):

   • الآلية: المعاملات $c_\iota$ ثابتة لتوزيع معين. يتم تقريب حقل السرعة كـ $v_\iota(x, t) \approx \sum c_{\iota,i} g_i(x, t)$.
   • القصور: يفترض وجود علاقة خطية بين التوزيع وحقل السرعة الخاص به. وبما أن معادلة الاستمرارية غير خطية، فإن هذا المتغير يواجه صعوبة في التعامل مع التوزيعات غير المرئية (المزيجات أو الدعائم الجديدة) التي تقع خارج النطاق الخطي لحقول السرعة للتدريب.

2. FP-FM الزمني (Temporal FP-FM):

   • الآلية: تصبح المعاملات معتمدة على الزمن، $c_\iota(t)$. التقريب هو $v_\iota(x, t) \approx \sum c_{\iota,i}(t) g_i(x, t)$.
   • التحسين: من خلال السماح للمعاملات بالتغير عبر الزمن، يمكن للنموذج التقاط الديناميكيات غير الخطية لمعادلة الاستمرارية بشكل أفضل، مما يحسن التعميم بشكل كبير على التوزيعات غير المرئية.

3. FP-FM الديناميكي (Dynamic FP-FM):

   • الآلية: المعاملات تعتمد على الحالة والزمن، $c_\iota(x, t)$. التقريب هو $v_\iota(x, t) \approx \sum c_{\iota,i}(x, t) g_i(x, t)$.
   • التنفيذ: يتطلب هذا حل مسألة مربعات صغرى موضعية عند كل حالة $x$ وزمن $t$. وقد اشتق المؤلفون نظرية (النظرية 1) لحساب التوقع الشرطي $\mathbb{E}[X_1 - X_0 | X_t = x]$ بكفاءة باستخدام أخذ العينات بالأهمية (importance sampling)، متجاوزين الحاجة إلى الوصول المباشر إلى حقل السرعة الحقيقي.
   • الأداء: يوفر أعلى قدرة تعبيرية، قادراً على نمذجة الدعائم المعقدة وغير المرئية والمزيجات بدقة عالية.

المساهمات الرئيسية

• الابتكار الخوارزمي: يقترح FP-FM، وهي طريقة تشترط التوليد مباشرة على عينات التوزيع المستهدف بدلاً من متغيرات شرطية صريحة، مما يتيح التكيف "صفر الشروط" (zero-shot) مع التوزيعات غير المرئية دون الحاجة لضبط دقيق.
• التكامل النظري: يدمج بنجاح مشفرات الدوال مع مطابقة التدفق، مستخدماً الضرب الداخلي الموزون بالتوزيع لإسقاط حقول السرعة على أساس متعلم.
• طيف القدرة التعبيرية مقابل الحوسبة: يقدم متغيرات (ساكن، زمني، ديناميكي)، مما يوفر للممارسين مقايضة قابلة للضبط بين القدرة التعبيرية للنموذج وزمن الاستجابة عند الاستدلال.
• التقدير الفعال: يشتق مُقدِّراً قائماً على طريقة مونت كارلو (النظرية 1) للتوقعات الشرطية المطلوبة في المتغير الديناميكي، مما يجعل حساب المعاملات المعتمد على الحالة أمراً ممكناً.

النتائج التجريبية

قيم المؤلفون FP-FM على ثلاث مجموعات بيانات: الأقواس ثنائية الأبعاد (2D Arcs) (تصور منخفض الأبعاد)، MNIST (صور مهيكلة)، وImageNet (صور عالية النطاق وعالية الأبعاد). وقارنوا النتائج مع نماذج مطابقة التدفق غير الشرطية، ومطابقة التدور الشرطية، والتوجيه المصنف (classifier-guided)، والتوجيه الموزع (distribution-guided)، والضبط الدقيق القياسي.

• التعميم: تفوقت متغيرات FP-FM باستمرار على النماذج المرجعية في التوزيعات غير المرئية (UD) (مزيجات من فئات التدريب) والدعامة غير المرئية (US) (فئات أو أشكال جديدة تماماً).
  • في الأقواس ثنائية الأبعاد، حقق FP-FM الديناميكي أعلى دقة (0.976 في UD، و0.734 في US)، متفوقاً بشكل كبير على الضبط الدقيق والنماذج الشرطية التي تفشل في التعميم على المزيجات أو الدعائم الجديدة.
  • في MNIST، حقق FP-FM الديناميكي أفضل قيم للدقة (Precision)، والاستدعاء (Recall)، وفيد (FID) عبر جميع التقسيمات، بما في ذلك الرقم '9' غير المرئي.
  • في ImageNet، أنتج FP-FM الدينامي أعلى جودة للصور للفئات غير المرئية، بينما أظهرت المتغيرات الساكنة والزمنية قيوداً بسبب قيود الذاكرة وانخفاض القدرة التعبيرية.
• الكفاءة:
  • يعد FP-FM أسرع بكثير من الضبط الدقيق (الذي يتطلب نزولاً تدرجياً لكل توزيع جديد).
  • يعد FP-FM الدينامي أكثر تكلفة حاسوبية من المتغيرات الساكنة والزمنية والنماذج الشرطية بسبب حساب المعاملات لكل عينة، لكنه يظل أسرع من الضبط الدقيق الكامل.
• المقاييس: تسلط النتائج الضوء على اتجاه واضح: كلما زادت القدرة التعبيرية لحساب المعاملات (ساكن $\leftarrow$ زمني $\leftarrow$ ديناميكي)، تحسنت القدرة على التقاط التوزيعات غير المرئية، خاصة في الدقة (Precision) (لتجنب الإفراط في تقريب منحى البيانات).

الأهمية والادعاءات

يزعم البحث أن FP-FM يمثل بديلاً عملياً وفعالاً للنهج الحالية في التوليد الشرطي. وتكمن أهميته الأساسية في:

1. إلغاء الحاجة إلى متغيرات شرطية: فهو يسمح للنماذج بالتكيف مع التوزيعات المعرفة فقط من خلال العينات، وهو أمر أكثر بديهية لمهام مثل التوليد الموجه بالموضوع (subject-driven generation).
2. الكفاءة الحسابية: يتيح التكيف السريع مع التوزيعات الجديدة دون خطوات التدرج المكلفة المطلوبة للضبط الدقيق.
3. التعامل مع الدعائم غير المرئية: على عكس النماذج الشرطية القياسية التي تعتمد على مفردات أو تسميات فئات ثابتة، يمكن لـ FP-FM التعميم على دعائم جديدة تماماً (مثل توزيع حلزوني أو فئة رقم جديدة) من خلال الاستفادة من بنية فضاء الدوال.

يخلص المؤلفون إلى أن الشرط على العينات صراحةً باستخدام منظور فضاء الدوال يعد خطوة أولى واعدة نحو تكييف النماذج التوليدية مع التوزيعات غير المرئية، مما يوفر طيفاً من الحلول التي توازن بين الدقة والتكلفة الحسابية. كما يقرون بالقيود، مشيرين إلى أن الأداء يعتمد على عدد وجودة العينات المقدمة، وأن الطريقة أكثر تكلفة قليلاً من النماذج الشرطية البسيطة.