Discriminative Flow Matching Via Local Generative Predictors

1. بيان المشكلة

تعتمد الرؤية الحاسوبية التمييزية التقليدية (مثل التصنيف وكشف الأشياء) على الإسقاط الساكن (static projection)، حيث يتم تعيين الميزات المدخلة إلى مخرجات (القيم المنطقية أو الإحداثيات) في خطوة حسابية واحدة. ورغم كفاءة هذا النموذج، إلا أنه يفتقر إلى عملية الصقل التكرارية والمتانة الموجودة في الرؤية البيولوجية والنماذج التوليدية الحديثة (مثل نماذج الانتشار - Diffusion Models).

تواجه المحاولات الأخيرة لجلب الصقل الديناميكي التكراري إلى المهام التمييزية (مثل DiffusionDet) عقبات كبيرة:

• التكلفة الحسابية: يتطلب تدريب الشبكات العميقة لتقريب حقول المتجهات العالمية عملية انتشار عكسي (backpropagation) عبر حلول المعادلات التفاضلية العادية (ODE solvers) أو رسوم بيانية غير م unrolled ضخمة، مما يؤدي إلى زيادة استهلاك الذاكرة بشكل خطي مع العمق.
• قيود التعلم المحلي: غالبًا ما تواجه طرق التعلم المحلي الحالية (مثل Forward-Forward وNoProp) صعوبة في التوسع لتشمل مهام التنبؤ الكثيف (مثل كشف الأشياء) لأنها تعتمد على أهداف "جودة" (goodness) قياسية تفشل في الحفاظ على المعلومات المكانية عالية الأبعاد المطلوبة لتحديد المواقع بدقة.

يكمن التحدي الجوهري في تطوير إطار عمل يربز بين الديناميكيات المستمرة التوليدية وبين الاستدلال التمييزي السريع والدقيق دون التكاليف الباهظة للذاكرة الناتجة عن الانتشار العكسي العالمي.

2. المنهجية: مطابقة التدفق التمييزي (Discriminative Flow Matching)

يقترح المؤلفون مطابقة التدفق التمييزي، وهو إطار عمل يعيد صياغة التصنيف والكشف كعملية نقل مشروطة. بدلاً من رأس واحد ساكن، يتعلم النموذج حقل متجه ينقل العينات من توزيع ضوضاء بسيط ($z_0 \sim \mathcal{N}(0, I)$) إلى متشعب هدف متوافق مع المهمة ($z_1$).

المكونات المعمارية الرئيسية:

1. العمود الفقري المشترك (Shared Backbone): يقوم مستخرج ميزات قياسي (CNN أو Vision Transformer) بمعالجة الصورة المدخلة $x$ لإنتاج الميزات $f(x)$.
2. مجموعة التدفق التوليدي (Generative Flow Ensemble): بدلاً من فك تشفير عميق واحد، يلحق النموذج $T$ من متنبئات حقل المتجهات المستقلة (كتل/رؤوس) بالعمود الفقري المشترك.
   • كل متنبئ $v_{\theta_k}$ يأخذ الحالة الكامنة الحالية $z_t$، وميزات الصورة $f(x)$، والوقت $t$ كمدخلات.
   • يتم تدريبهم للتنبؤ بحقل المتجه المستهدف $v^* = z_1 - z_0$.
3. هدف التدريب المحلي (على مستوى الكتلة):
   • محلية التدرج (Gradient Locality): من الضروري أن يتم تدريب كل كتلة $k$ بشكل مستقل. لا يعتمد حساب التدرج للكتلة $k$ على معاملات الكتل الأخرى ($j \neq k$).
   • دالة الخسارة: تجمع الخسارة الإجمالية بين خسارة مطابقة التدفق (متوسط مربع الخطأ بين حقول المتجهات المتوقعة والحقيقية) وخسارة المهمة المساعدة (مثل Cross-Entropy للتصنيف، أو L1/GIoU للكشف) والتي تُحسب على تقدير خطوة واحدة للهدف.
   • كفاءة الذاكرة: من خلال إعادة ضبط الرسم البياني للحساب بعد تحديث كل كتلة، يتم تحديد ذروة ذاكرة التنشيط عند $O(B \cdot d)$، بشكل مستقل عن عدد الكتل $T$.

استراتيجيات الاستدلال:

يدعم إطار العمل أوضاع استدلال متعددة:

• المسبار الخطي (Linear Probe): يقيم ميزات العمود الفقري مباشرة.
• الخطوة الواحدة (Single-Step): يستخدم تحديث Euler واحد ($\hat{z}_1 = z_0 + v_{\theta}(z_0, 0)$) للاستدلال السريع.
• التجميع (Ensemble): يجمع التنبؤات من جميع الكتل المستقلة $T$ لتشكيل إجماع، مما يحسن المتانة.
• متعدد الخطوات (ODE): يحل المعادلة التفاضلية العادية بالتتابع باستخدام تكامل Euler. يشير البحث إلى أن هذا قد يكون غير مستقر إذا لم تكن المتنبئات متخصصة لفترات زمنية محددة.

3. المساهمات الرئيسية

1. التوسع إلى المخرجات المهيكلة: وسع المؤلفون مطابقة التدفق المشروط من التصنيف العالمي إلى كشف الأشياء، وصياغة المهمة كنقل للضوضاء إلى مجموعات متبادلة الترتيب (permutation-invariant) من إحداثيات صناديق الإحاطة.
2. مجموعة التدفق التوليدي: قدموا بنية مبتكرة حيث تشترك عدة متنبئات لحقل المتجهات المستقلة في عمود فقري واحد. يوفر هذا استدلال إجماع قوي دون تكلفة ذاكرة تدريب شبكات كاملة متعددة.
3. القابلية للتوسع والكفاءة: يتوسع الأسلوب ليشمل بنيات CNN وViT، ويدعم التدريب من الصفر والضبط الدقيق. ويحقق دقة تنافسية مع تقليل استهلاك ذاكرة التدريب بشكل كبير مقارنة بالانتشار العكسي القياسي.
4. التحليل النظري والتجريبي:
   • أثبتوا أن الاتساق المحلي في تكامل Euler يؤدي إلى صقل المسار بشكل مستقر.
   • أظهروا أن استدلال التجميع (Ensemble aggregation) هو الاستراتيجية الأكثر استقرارًا، بينما يمكن أن يعاني تكامل ODE متعدد الخطوات من انحراف المسار، خاصة في شبكات CNN.
   • أظهروا أن الميزات القوية لا تضمن بالضرورة حقول متجهات متسقة؛ إذ إن هندسة المتشعب المتعلم هي العامل الحاسم.

4. النتائج التجريبية

تم تقييم إطار العمل على PASCAL VOC (كشف الأشياء) و CIFAR-10/100, ImageNet-R (التصنيف).

• كشف الأشياء (PASCAL VOC):
  • باستخدام عمود فقري ResNet-50، حققت مطابقة التدفق حوالي ~30 mAP، وهي نسبة قابلة للمقارنة مع الانتشار العكسي (BP).
  • توفير الذاكرة: مع حجم دفعة قدره 1، استخدمت مطابقة التدفق ~510 ميجابايت مقابل ~579 ميجابايت للانتشار العكسي. ومع زيادة عدد طبقات فك التشفير، نمت ميزة مطابقة التدفق في الذاكرة، حيث حافظت على ذاكرة تنشيط ثابتة بينما كان الانتشار العكسي يتوسع خطيًا.
• تصنيف الصور (الضبط الدقيق لـ ViT):
  • CIFAR-10: حققت مطابقة التدفق دقة 98.19% (مقابل 96.74% للانتشار العكسي) مع استخدام ذاكرة أقل.
  • CIFAR-100: حققت 84.47% (مقابل 86.24% للانتشار العكسي).
  • ImageNet-R: حققت 73.4% (مقابل 75.9% للانتشار العكسي).
  • ملاحظة: غالبًا ما تتفوق مطابقة التدفق على أو تضاهي الانتشار العكسي في مجموعات البيانات البسيطة مع استخدام ذاكرة أقل باستمرار.
• ديناميكيات الاستدلال:
  • أثبت استدلال التجميع (متوسط التنبؤات من الكتل المتوازية) أنه الاستراتيجية الأكثر متانة.
  • التدريب المتسلسل حسن جودة الميزات للـ CNN ولكنه أدى إلى ضعف في الاستدلال التوليدي (انحراف المسار).
  • التدريب المتوازي كان أفضل لـ ViT من حيث جودة الميزات.

5. الأهمية والأثر

يمثل هذا البحث خطوة هامة نحو تعلم تمييزي فعال ومستوحى من النماذج التوليدية.

• الربط بين النماذج: نجح في توحيد متانة التدفقات الزمنية المستمرة مع الكفاءة المطلوبة للمهام التمييزية.
• القيود العتادية: من خلال فصل حساب التدرج وتحديد سقف لذاكرة التنشيط، فإنه يتيح تدريب مسارات توليدية أكثر عمقًا على أجهزة ذات ذاكرة وصول عشوائي (VRAM) محدودة، وهو ما يعد عائقًا حرجًا في التعلم العميق الحديث.
• أفق تحسين جديد: يتحدى البحث ضرورة الانتشار العكسي الشامل (end-to-end) للمهام المعقدة، مشيرًا إلى أن التحسين المحلي على مستوى الكتلة مع أعمدة فقارية مشتركة يمكن أن يعطي نتائج تنافسية، وأحيانًا متفوقة، مع استقرار أفضل ومتطلبات موارد أقل.

باختة، تقدم مطابقة التدفظ التمييزي بديلاً عمليًا وفعال الذاكرة للانتشار العكسي القياسي لكل من التصنيف والكشف، مستفيدة من مبادئ النقل الأمثل وتعلم التجميع لتحقيق استدلال قوي.