🤖 machine learning

Epistemic Uncertainty Quantification for Pre-trained VLMs via Riemannian Flow Matching

تقدم هذه الورقة البحثية REPVLM، وهي طريقة تستفيد من مطابقة التدفق الريماني (Riemannian Flow Matching) لحساب كثافات الاحتمالية على المتشعب الكروي الفائق لتمثيلات نماذج الرؤية واللغة (Vision-Language Model) سابقة التدريب، مما يتيح تقديراً فعالاً لعدم اليقين المعرفي، والكشف عن البيانات خارج النطاق، والتنظيم الآلي للبيانات.

المؤلفون الأصليون: Li Ju, Mayank Nautiyal, Andreas Hellander, Ekta Vats, Prashant Singh

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Li Ju, Mayank Nautiyal, Andreas Hellander, Ekta Vats, Prashant Singh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "REPVLM: تقدير عدم اليقين المعرفي للنماذج اللغوية البصرية المسبقة التدريب عبر مطابقة التدفق الريماني" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: الروبوت "المفرط في الثقة"

تخيل أن لديك روبوتاً فائق الذكاء (نموذج لغوي بصري أو VLM) قد قرأ كل الكتب تقريباً وشاهد كل الصور الموجودة على الإنترنت. يمكنه وصف صورة لقطة أو غروب شمس بشكل مثالي.

ومع ذلك، هناك عيب خفي: الروبوت مفرط في الثقة.

إذا عرضت عليه صورة لمحمص خبز يشبه القطة، أو جملة لا معنى لها، فسيظل الروبوت يعطيك إجابة بيقين 100%. هو لا يعرف ما لا يعرفه. في عالم الذكاء الاصطنا-ي، يُسمى هذا نقصاً في "عدم اليقين المعرفي" (أو جهل النموذج). يحتاج الروبوت إلى طريقة ليقول بها: "أنا لست متأكداً من هذا"، حتى يتمكن البشر من التدخل والتحقق.

الحل: تشبيه "الحفلة المزدحمة"

يقترح المؤلفون طريقة جديدة تسمى REPVLM لإصلاح هذه المشكلة. لفهم كيفية عملها، تخيل أن عقل الروبوت عبارة عن غرفة حفلات ضخمة وغير مرئية (فضاء رياضي يسمى "الكرة الفائقة" أو hypersphere).

الحشد: عندما تم تدريب الروبوت، تعلم الأشياء الشائعة (قطط، كلاب، سيارات، "مرحباً"). في تشبيه الحفلة الخاص بنا، هذه الأشياء الشائعة تشبه ساحات الرقص المزدحمة. الجميع يرقص معاً في مجموعات متراصة.
الزوايا الفارغة: إذا عرضت على الروبوت شيئاً غريباً (مثل قطة-محمص خبز أو نص بلا معنى)، فسيتم توجيه هذا المدخل إلى بقعة في الغرفة حيث لا يوجد أحد يرقص. إنها زاوية فارغة ووحيدة.
الرؤية الجوهرية: تجادل الورقة البحثية بأنه إذا وقع المدخل في منطقة مزدحمة، فإن الروبوت يكون واثقاً. أما إذا وقع في منطقة فارغة، فإنه يكون جاهلاً ويجب أن يكون غير متيقن.

الأداة السحرية: "مطابقة التدفق" (Flow Matching)

الجزء الصعب هو قياس مدى ازدحام بقعة معينة بدقة. لا يمكنك مجرد عد الأشخاص لأن الغرفة كبيرة ومعقدة للغاية.

يستخدم المؤلفون خدعة رياضية تسمى "مطابقة التدفق الريماني" (Riemannian Flow Matching). إليك التشبيه:

تدفق المياه: تخيل أن الزوايا الفارغة من الغرفة مليئة بالمياه، وأن ساحات الرقص المزدحمة هي جزر.
التيار: يتعلم نظام REPVLM "التيار" الخاص بالمياه. يتعلم كيف تتدفق المياه طبيعياً من الأماكن الفارغة نحو الجزر المزدحمة.
القياس: من خلال تتبع مسار قطرة ماء إلى الوراء لمعرفة من أين أتت، يمكن للنظام حساب مدى "كثافة" (ازدحام) المنطقة بدقة.
- إذا تدفقت المياه بسهولة من حشد كثيف، فالمدخل آمن.
- إذا اضطرت المياه للسفر لمسافة طويلة ومنعزلة من فراغ خالٍ، فإن المدخل "غير متيقن".

هذه الطريقة مميزة لأنها تحترم شكل الغرفة. معظم العمليات الرياضية تحاول قياس المسافة بخط مستقيم (مثل المسطرة)، لكن هذه الغرفة منحنية مثل الكرة. يستخدم REPVLM "الجيوديسيا" (geodesics) (وهي أقصر مسار على سطح منحني، مثل مسار الطيران على الكرة الأرضية) لقياس المسافة بدقة.

ما الذي وجدوه (النتائج)

اختبر الفريق جهاز "قياس الازدحام" الجديد هذا على عدة اختبارات معيارية:

رصد الأخطاء: عندما طلبوا من الروبوت تجاهل أكثر إجاباته "عدم يقيناً" (تلك التي تقع في الزوايا الفارغة)، كانت الإجابات المتبقية صحيحة دائماً تقريباً. كانت الطريقة شبه مثالية في تحديد متى يكون الروبوت مرتبكاً.
إيجاد الأشياء الغريبة: اختبروا النظام على بيانات "خارج التوزيع" (Out-of-Distribution) (صور لا تشبه شيئاً مما تدرب عليه الروبوت). نجح REPVLM في تصنيف هذه البيانات كـ "كثافة منخفضة" (زوايا فارغة) وقال: "أنا لا أعرف هذا".
تنظيف البيانات: أظهروا أن هذه الطريقة يمكنها تلقائياً العثور على الصور السيئة، أو الضبابية، أو غير المنطقية في مجموعات البيانات الضخمة، لتعمل كمرشح لتنظيف البيانات قبل تدريب روبوتات مستقبلية.

لماذا هذا مهم؟

كانت الطرق السابقة لجعل الروبوتات تعترف بعدم اليقين إما بطيئة جداً (تتطلب تشغيل نفس الاختبار 100 مرة) أو لم تعمل جيداً مع هذه الأنواع المحددة من النماذج.

REPVLM يتميز بكونه:

سريعاً: لا يحتاج إلى تشغيل الروبوت عدة مرات.
أصيلاً (Native): يعمل مباشرة على شكل عقل الروبوت دون الحاجة إلى إعادة بناء الروبوت.
دقيقاً: يخلق رابطاً شبه مثالي بين "الكثافة المنخفضة للحشود" و"ارتفاع نسبة الخطأ".

ملاحظة حول القيود

المؤلفون صريحون بشأن الحدود:

مشكلة التمثيل (Proxy Problem): لتعلم أين توجد "الحشود"، يحتاج النظام إلى عينة من البيانات (تمثيل) تشبه ما تدرب عليه الروبوت أصلاً. إذا تم تدريب الروبوت على بيانات نظيفة، وحاولت استخدام هذا على بيانات فوضوية، فقد يكون "خريطة الحشود" غير دقيقة تماماً.
تحذير العدالة: بما أن النظام يصنف الأشياء "النادرة" كأشياء "غير متيقن منها"، فقد يقوم بالخطأ بتصنيف أشياء صحيحة ولكنها نادرة (مثل صور لمجموعات ممثلة تمثيلاً ناقصاً) كأخطاء، فقط لأنها أقل شيوعاً في بيانات التدريب. يقترح المؤلفون أن يراجع البشر هذه العناصر المصنفة بدلاً من حذفها تلقائياً.

الملخص

باخت-صار، يمنح REPVLM الروبوت فائق الذكاء "شعوراً داخلياً". يفعل ذلك من خلال رسم خريطة لمعرفة الروبوت داخل غرفة حفلات مزدحمة. إذا كان الروبوت في مكان مزدحم، فهو واثق. وإذا كان في مكان فارغ، فهو يعرف أنه جاهل. هذا يسمح لنا بالثقة في الروبوت أكثر لأننا نعرف بالضبط متى يكون مجرد تخمين.

ملخص تقني: REPVLM – تقدير عدم اليقين المعرفي للنماذج البصرية-اللغوية المسبقة التدريب عبر مطابقة التدفق الريماني

1. بيان المشكلة

حققت النماذج البصرية-اللغوية (VLMs) المسبقة التدريب مثل CLIP وBLIP وSigLIP نجاحاً ملحوظاً في تعلم التمثيلات عبر الوسائط من خلال التدريب التبايني واسع النطاق. ومع ذلك، فإن هذه النماذج هي بطبيعتها نماذج حتمية، حيث تقوم بخرائط المدخلات إلى نقاط ثابتة واحدة في فضاء تمثيل عالي الأبعاد. يفتقر هذا الهيكل إلى آلية جوهرية لتقدير عدم اليقين المعرفي (أي جهل النموذج أو نقص معرفته بتمثيلاته الخاصة).

بينما توجد أطر عمل حالية لتقدير عدم اليقين (UQ) للنماذج البصرية-اللغية، إلا أنها تعالج في الغالب عدم اليقين العرضي (الغموض في البيانات) من خلال تعلم تمثيلات احتمالية. أما الطرق المصممة لعدم اليقين المعرفي، مثل المجموعات العميقة (Deep Ensembles) أو إسقاط مونت كارلو (Monte Carlo Dropout)، فهي غالباً ما تكون مكلفة حوسبياً للنماذج الضخمة مسبقة التدريب أو تعطي تقديرات غير مثالية تعتمد على الدفعات (Batch-dependent). هناك حاجة ماسة لمقياس قابل للتوسع وجوهري يقيس مباشرة ثقة النموذج في تمثيلاته دون الحاجة إلى إعادة تدريب مكلفة أو أخذ عينات من فضاء المعلمات.

2. المنهجية: REPVLM

يقترح المؤلفون إطار عمل REPVLM، الذي يقدر عدم اليقين المعرفي من خلال تقدير كثافة الاحتمال لتمثيلات النماذج البصرية-اللغوية مباشرة على منوالها (Manifold) الأصلي.

الدافع النظري
يؤسس البحث رابطاً نظرياً بين كثافة التمثيل وعدم اليقين المعرفي من خلال سلسلة ثلاثية الخطوات:

من التغاير إلى معيار جاكوبي: تحت الافتراضات البايزية القياسية والخطية المحلية، يرتبط عدم اليقين المعرفي العالي بمعيار "بارامتر-جاكوبي" كبير، مما يشير إلى الحساسية تجاه اضطرابات المعلمات.
من معيار جاكوبي إلى كثافة البيانات: في المناطق ذات الكثافة العالية لبيانات التدريب، يميل معيار جاكوبي للمشفر إلى أن يكون صغيراً (سلاسة)، بينما في المناطق منخفضة الكثافة (خارج التوزيع - OOD)، يظل غير مقيد.
من كثافة البيانات إلى كثافة التمثيل: مدفوعين بديناميكيات "المحاذاة والانتظام" في التعلم التبايني، يفترض المؤلفون افتراضاً تجريبياً مفاده أن كثافة بيانات المدخلات $p(x)$ ترتبط بكثافة التمثيلات الناتجة $p(z)$ على الكرة الفائقة (Hypersphere).
وبناءً على ذلك، يعمل السلب اللوغاريتمي للاحتمالية، $-\log p(z)$ ، كوكيل مبدئي لعدم اليقين المعرفي: حيث تشير المناطق منخفضة الكثافة إلى جهل النموذج.

مطابقة التدفق الريماني (RFM)
لحساب $p(z)$ بكفاءة على الكرة الفائقة $S^{d-1}$ (حيث توجد تمثيلات VLMs المعيرة بـ $\ell_2$ -norm)، يستخدم REPVLM مطابقة التدفق الريماني الشرطية (CRFM):

نمذجة أصلية للمنوال: بخلاف مطابقة التدفق الإقليدية القياسية، يعمل REPVLM مباشرة على الكرة الفائقة. فهو يتعلم حقل متجه $v_t$ ينقل توزيعاً قاعدياً منتظماً بسيطاً $P_0 = \text{Unif}(S^{d-1})$ إلى التوزيعات التجريبية الخاصة بكل وسيط $P_1$ (صورة ونص).
الاستيفاء الجيوديسي: يتم بناء مسار الاحتمال على طول المسارات الجيوديسية (الدوائر العظمى) بدلاً من الخطوط المستقيمة، مما يحترم الهندسة الجوهرية للفضاء الدلالي.
إطار عمل شرطي موحد: تتعلم شبكة عصبية واحدة حقل المتجه مشروطاً بالوسيط ( $c \in \{\text{image}, \text{text}\}$ )، مما يسمح بتقدير عدم يقين مستقل عن المهام.
حساب الاحتمالية: يتم حساب الكثافة اللوغاريتمية الدقيقة عن طريق تكامل تباعد (Divergence) حقل المتجه المتعلم على طول مسار معادلة التفاضل العكسية (Reverse ODE). وللتعامل مع التمثيلات عالية الأبعاد بكفاءة، يستخدم المؤلفون مقدّر أثر "هاتشينسون" المقيد بالمنوال لتقريب التباعد بأقل تكلفة حوسبية.

3. المساهمات الرئيسية

الدافع النظري: يقدم البحث اشتقاقاً رسمياً يوضح أن $-\log p(z)$ هو وكيل رتيب لعدم اليقين المعرفي في المشفرات التباينية، ويربط بين عدم اليقين البايزي وكثافة التمثيل.
منهجية أصلية للمنوال (REPVLM): يقدم المؤلفون طريقة قابلة للتوسع لتقدير عدم اليقين (UQ) تمدد مطابقة التدفق الريماني إلى مساحات تمثيل VLMs، مما يسمح بحساب كثافة الاحتمال الجوهري لكل من الوسائط البصرية والنصية دون تعديل العمود الفقري (Backbone) مسبق التدريب.
التحقق التجريبي: تم التحقق من المنهجية عبر اختبارات متعددة، مما أظهر ارتباطاً شبه مثالي بين درجات عدم اليقين وأخطاء التنبؤ، متفوقة بشكل كبير على النماذج المرجعية في التصنيف الانتقائي وكشف البيانات خارج التوزيع (OOD).

4. النتائج التجريبية

قيم المؤلفون REPVLM عبر ستة اختبارات معيارية (ImageNet-1K, Food101, CIFAR-100, ObjectNet, ImageNet-R, ImageNet-Sketch) باستخدام ثلاثة مجموعات بيانات وسيطة مختلفة للتدريب (Conceptual Captions, DataComp-1B, LAION-2B).

التصنيف الانتقائي: حقق REPVLM ارتباط سبيرمان شبه مثالي ( $S \ge 0.988$ ) بين عدم اليقين وخطأ التنبؤ عبر الاختبارات المعيارية. وقد تفوق باستمرار على النماذج المرجعية مثل ProbVLM وMonte Carlo Dropout وEmbedding Norm في تحديد أخطاء النموذج.
المتانة تجاه تغير التوزيع: في مجموعات البيانات ذات التوزيع المتغير (ObjectNet, ImageNet-R, ImageNet-Sketch)، كان REPVLM هو الطريقة الوحيدة التي حققت $S=1.000$ عبر جميع خلايا التغير، بينما أظهرت الطرق الأخرى (مثل ProbVLM وGMM) تبايناً عالياً أو ارتباطات سالبة.
التطبيقات:
- كشف البيانات خارج التوزيع (OOD): فصلت درجات عدم اليقين بفعالية بين البيانات داخل التوزيع (ID) والبيانات القريبة من خارج التوزيع (Near-OOD) والبعيدة عنه (Far-OOD)، مما أعطى منحنيات ROC ودقة (Precision-Recall) عالية.
- تنقية البيانات الآلية: كانت العينات ذات عدم اليقين العالي التي حددها REPVLM تتوافق مع مدخلات مشوشة، ضبابية، أو غير منطقية، مما أظهر فائدة في تنظيف مجموعات البيانات الضخمة من الويب.
الكفاءة: يتطلب REPVLM عبئاً إضافياً قدره ~0.55 GFLOPs فقط فوق العمود الفقري، مما يجعله أكثر كفاءة بكثير من Monte Carlo Dropout (الذي يتطلب ~10 تمريرات أمامية) بينما يوفر تقديرات أكثر موثوقية لعدم اليقين المعرفي مقارنة بـ ProbVLM.

5. الأهمية والقيود

الأهمية
يجادل البحث بأن كثافة التمثيل على المنوال هي الكمية التشغيلية لعدم اليقين المعرفي في النماذج البصرية-اللغوية المسبقة التدريب. ومن خلال الاستفادة من الهيكل الهندسي لمساحة التمثيل عبر مطابقة التدفق الريماني، يوفر REPVLM مقياساً قابلاً للتوسع، جوهرياً، وعالي الموثوقية لثقة النموذج. وهذا يتيح تطبيقات عملية مثل تنقية البيانات الآلية وكشف OOD القوي دون التكلفة الحوسبية لطرق المجموعات (Ensembles).

القيود
يقر المؤلفون صراحة بعدة قيود:

الوكيل النظري: الرابط بين عدم اليقين المعرفي البايزي وكثافة التمثيل هو حجة وكيل مبنية على افتراضات تجريبية (تحديداً فيما يتعلق بالحفاظ على الكثافة في المشفرات التباينية غير القابلة للعكس)، وليس هوية رسمية.
الاعتماد على الوكيل: مثل جميع الطرق اللاحقة (Post-hoc)، يتطلب REPVLM مجموعة بيانات وسيطة ممثلة لنطاق التدريب المسبق لنموذج VLM المستهدف. قد تتطلب النماذج المتخصصة وسطاء من داخل المجال (In-domain).
الافتراضات الهندسية: تفترض النظرية تمثيلات معيرة بـ $\ell_2$ على $S^{d-1}$ من مشفرات مدربة على تشابه جيب التمام (مثل CLIP). ويشير المؤلفون إلى أن النتائج قد لا تمتد لنماذج ذات هندسات مختلفة (مثل SigLIP، الذي أظهر أداءً متراجعاً في اختبارات داخل التوزيع بسبب تغيرات الكثافة المدفوعة بالنسيج).
مخاطر العدالة: يحذر المؤلفون من أن عدم اليقين القائم على الكثافة يخلط بين الندرة والجهل. فالمدخلات النادرة ولكن الصحيحة (مثل تلك القادمة من مجموعات ممثلة تمثيلاً ناقصاً) قد تُصنف كقيم شاذة ذات عدم يقين عالٍ. في الإعدادات الحرجة للسلامة، يجب التعامل مع هذه العينات كمرشحات للمراجعة البشرية بدلاً من الإزالة التلقائية.