ملخص تقني: GeoFlowVLM

بيان المشكلة

تقوم نماذج الرؤية واللغة (VLMs) ثنائية المشفر القياسية، مثل CLIP وSigLIP، برسم خرائط للصور والنصوص إلى نقاط حتمية على كرة وحدة مشتركة عبر التنميط $\ell_2$-normalization. وبين أن هذا التمثيل فعال للاسترجاع والنقل صفري المعرفة (zero-shot transfer)، إلا أنه يفشل في تحديد كمية عدم اليقين في التنبؤ. وتحديداً، فهو لا يكشف عن عدم اليقين الأليلي (aleatoric uncertainty) (الغموض المتبادل المتأصل حيث ترسم مدخلات واحدة العديد من المخرجات الصالحة) ولا عدم اليقين الإبستيمي (epistemic uncertainty) (نقص الدعم للاستعلامات التي تقع خارج توزيع التدريب).

تعاني طرق تقدير عدم اليقين (UQ) اللاحقة (post-hoc) الموجودة من مشكلتين رئيسيتين:

1. تجاهل الهندسة (Geometry Agnosticism): تعمل العديد من الطرق في الفضاء الإقليدي المحيط، متجاهلة قيد التنميط $\ell_2$ الذي يحدد فضاء تضمين الـ VLM.
2. نمذجة غير مكتملة لعدم اليقين: تلتقط معظم الطرق نوعاً واحداً فقط من عدم اليقين (إما الأليلي أو الإبستيمي) أو تفشل في احترام الهندسة الكروية لكلا الوسائط في آن واحد. فعلى سبيل المثال، يلتقط نموذج ProbVLM كلا النوعين ولكنه يستخدم نهجاً استدلالياً يفتقر إلى الهيكل الكروي ويقيس عدم يقين المحول (adapter) بدلاً من كثافة العمود الفقري (backbone).

التحدي المركزي هو تقدير كمية كلا نوعي عدم اليقين من تضمينات VLM المجمدة دون إعادة تدريب المشفرات الأساسية، مع الاحترام الصارم لهندسة الكرة الحاصلة (product hypersphere) ($S^{d-1} \times S^{d-1}$).

المنهجية: GeoFlowVLM

يقترح المؤلفون GeoFlowVLM، وهو محول احتمالي لاحق يتعلم التوزيع المشترك لتضمينات $\ell_2$-normalized المقترنة على الكرة الحاصلة.

البنية الأساسية والتدريب

• مطابقة التدفق الريماني (Riemannian Flow Matching): يستخدم النموذج مطابقة التدفق الريماني لتعلم كثافة مشتركة $p_\phi(e_I, e_T)$ على المتشعب $M = S^{d-1} \times S^{d-1}$. وهو يقوم بالانحدار نحو هدف مماس جيوديسي ذو صيغة مغلقة، متجنباً تقريبات نواة الحرارة (heat-kernel) المكلفة.
• حقل سرعة واحد مقنع (Single Masked Velocity Field): الخيار التصميمي الرئيسي هو استخدام شبكة عصبية واحدة مع قناع ثنائي مهيكل كتلويًا $m \in \{0, 1\}^{2d}$. يتعامل حقل السرعة الواحد هذا مع ثلاثة أنماط متميزة عبر أقنعة مختلفة:
  1. التدفق المشترك ($m_{joint}$): يولد كل من تضمينات الصورة والنص.
  2. التدفق الشرطي ($m_{I \to T}$): يولد النص بناءً على صورة ثابتة.
  3. التدفق الشرطي ($m_{T \to I}$): يولد الصورة بناءً على نص ثابت.
• هدف التدريب: يتم تدريب النموذج باستخدام هدف مطابقة التدفق الشرطي المقنع (masked CFM). يفرض القناع الإشراف على الأبعاد المولدة فقط بينما يبقي الأبعاد المشروطة ثابتة عند قيمها المرصودة ($t=0$). يستخدم التدريب النقل الأمثل الإنتروبي (entropic optimal transport) للاقتران بين عينات المصدر والهدف، مما يؤدي إلى استقامة المسارات على المتشعب.
• الاتساق: يثبت النظرية 1 أن النموذج، في حد المجتمع (population limit)، يستعيد حقول سرعة التدفق الشرطي الريماني الصالحة لكلا الاتجاهين المتبادلين والتوزيع المشترك دون الحاجة إلى خسائر اتساق إضافية.

مخرجات عدم اليقين

من النموذج المشترك المدرب، يتم اشتقاق مقياسين لعدم اليقين:

1. عدم اليقين الأليلي (إنتروبيا الاسترجاع):

   • مشتق من التوزيع اللاحق الشرطي $p_\phi(e_T | e_I)$ (أو العكس).
   • يتم سحب عينات من التدفق الشرطي وتجميعها عبر معرض استرجاع لتشكيل توزيع لاحق منفصل $\pi$.
   • تقيس إنتروبيا شانون $H(\pi)$ غموض الاسترجاع.
   • التبرير النظري: باستخدام متباينة فانو (Fano's inequality)، توفر الإنتروبيا حداً أدنى صارماً لمخاطر بايز (MAP Bayes risk)، مما يثبت أن الإنتروبيا العالية تقابل صعوبة الاسترجاع العالية.

2. عدم اليقين الإبستيمي (النمطية الهامشية):

   • مشتق عبر تفكيك سلسلة السلسلة الدقيق لـ (Negative Log-Likelihood - NLL):
     $$-\log p_\phi(e_I, e_T) = \underbrace{[-\log p_\phi(e_I) - \log p_\phi(e_T)]}_{\text{Epistemic Typicality}} - \underbrace{\text{PMI}_\phi(e_I, e_T)}_{\text{Cross-modal Matching}}$$
   • يجادل المؤلفون بأن مصطلح معلومات التبادل النقطي (PMI) هو تمييز بنيوي (يقيس التوافق) وليس إبستيمياً.
   • يتم تعريف درجة عدم اليقين الإبستيمي على أنها مجموع النمطيات الهامشية: $u_{ep} = -\log p_\phi(e_I) - \log p_\phi(e_T)$.
   • يتم حساب هذه الهوامش من النموذج المشترك باستخدام هوية بايز وتكامل الوقت العكسي لمعادلة التفاضل العادية (ODE) للتدفق، دون الحاجة إلى بارامترات إضافية.

المساهمات الرئيسية

1. محول GeoFlowVLM: محول احتمالي لاحق يتم تدريبه عبر مطابقة التدفق الريماني على الكرة الحاصلة باستخدام حقل سرعة مقنع واحد. يوفر كثافات مشتركة وهامشية وشرطية دون إعادة تدريب المشفر. وتؤكد دراسة الاستئصال (ablation) أن احترام الهندسة الكروية ضروري بنيوياً لضاتبة عدم اليقين.
2. إنتروبيا الاسترجاع الشرطية: مقدر أليلي جديد يحدد الغموض المتبادل. يتتبع صعوبة الاسترجاع بمعايرة أحادية الميل (monotonic calibration) شبه مثالية عبر الاختبارات المرجعية، ويتفوق بشكل كبير على النماذج المرجعية (ProbVLM, AsymVLM, GroVE).
3. تفكيك سلسلة السلسلة: اشتقاق نظري يوضح أن NLL المشترك يتفكك إلى نمطية هامشية (الإشارة الإبستيمية الصحيحة) وPMI المتبادل (إشارة تمييزية). وهذا يفسر النجاح التجريبي لطرق كثافة كل وسيط على حدة مثل REPVLM ويؤطرها كامتداد متماسك للنموذج المشترك.

النتائج التجريبية

تم تقييم الطريقة على عمود فقري من نوع OpenCLIP ViT-H/14 مجمد، تم تدريبه على Conceptual Captions (CC-1M) واختباره صفري المعرفة على سبعة اختبارات مرجعية.

• عدم اليقين الأليلي (الاسترجاع):

  • تم التقييم على MS-COCO، وFlickr30k، وCUB-200 (لكل من الصورة-إلى-النص والنص-إلى-الصورة).
  • حقق GeoFlowVLM معايرة أحادية الميل شبه مثالية (Spearman $\rho \approx -1.0$) بين الإنتروبيا المتوقعة وRecall@1، متفوقاً بشكل كبير على النماذج المرجعية (ProbVLM, AsymVLM, GroVE).
  • أظهر ProbVLM ارتباطاً إيجابياً (ارتفاع عدم اليقين عند الاستعلامات الصحيحة)، بينما أظهرت النماذج المرجعية الأخرى اتجاهات غير مستقرة أو غير أحادية الميل.

• عدم اليقين الإبستيمي (التصنيف صفري المعرفة):

  • تم التقييم على ImageNet-1K، وFood-101، وCIFAR-100، وObjectNet.
  • أنتجت مجموع النمطيات الهامشية ($u_{ep}$) دقة اختيارية متزايدة باستمرار مع انخفاض التغطية (رفض العينات ذات عدم اليقين العالي).
  • أكد تحليل المكونات أن PMI هو مقياس إبستيمي ضعيف بمفرده (غالباً ما يرفض التنبؤات الصحيحة)، بينما توفر النمطية الهامشية الإشارة الموثوقة.
  • ضاهى GeoFlowVLM نموذج REPVLM أو تفوق عليه، مع ميزة ملحوظة في ObjectNet (إزاحة وجهة النظر)، والتي تُعزى إلى قدرة النموذج المشترك على التقاط البنية المتبادلة التي تفتقدها تدفقات كل وسيط بشكل مستقل.

• الدراسات الاستئصالية (Ablations):

  • الهندسة: فشل نموذج أساسي إقليدي (ببنية متطابقة ولكن يعمل في $\mathbb{R}^d \times \mathbb{R}^d$) فشلاً ذريعاً في كل من مقاييس عدم اليقين الأليلي والإبستيمي، مما يؤكد ضرورة الهندسة الريمانية.
  • الكفاءة: تم تحقيق تقديرات موثوقة باستخدام 10 خطوات فقط من تكامل ODE ومسبار Hutchinson واحد لتقدير التباعد.
  • العمود الفقري: انتقلت النتائج إلى عمود SigLIP، رغم أن الطرق القائمة على الكثافة أظهرت أداءً متراجعاً على ImageNet-1K بسبب طبيعة تضمينات SigLIP الأكثر تماثلاً (isotropic).

الأهمية والادعاءات

يدعي البحث أن GeoFlowVLM يعالج فجوة حرجة في تقدير عدم اليقين اللاحق (post-hoc UQ) لنماذج VLM المجمدة من خلال توفير نموذج واحد مدرك للهندسة يكشف عن كل من عدم اليقين الأليلي والإبستيمي.

• الرؤية النظرية: يقدم العمل تفسيراً مبدئياً لسبب كون النمطية الهامشية هي الإشارة الإبستيمية الصحيحة في هذا السياق ولماذا لا ينبغي استخدام PMI المتبادل كمقياس لعدم اليقين. كما يثبت أن النمذجة المشتركة على الكرة الحاصلة هي أغنى هيكلياً من نمذجة كل وسيط على حدة.
• المنفعة العملية: يوفر مقدراً معايرًا ومتماثل الاتجاه لصعوبة الاسترجاع، بالإضافة إلى درجة قوية قائمة على الكثافة للكشف عن البيانات خارج التوزيع في التصنيف صفري المعرفة، وكل ذلك دون تعديل عمود فقري الـ VLM المدرب مسبقاً.
• القيود: يشير المؤلفون إلى أن نظرية الاتساق هي نتيجة لحد المجتمع؛ بينما تظل الحدود المتعلقة بالعينات المحدودة مفتوحة. كما أن درجات عدم اليقين الإبستيمية هي درجات قائمة على الكثافة (النمطية) وليست بايزية (تباين خلفية البارامترات). بالإضافة إلى ذلك، تتطلب الطريقة تدريباً لمرة واحدة على بيانات واسعة النطاق وعدة عمليات حل لـ ODE لكل استعلام، مما يميزها عن النهج الخالي من التدريب.

يخلص المؤلفون إلى أن نمذجة التضمين المشترك هي استراتيجية عامة للحصول على استدلال احتمالي أغنى للتمثيلات البصرية واللغوية، خاصة للتطبيقات الحساسة للسلامة مثل الاسترجاع الطبي والأنظمة ذاتية القيادة.