Variational Visual Question Answering for Uncertainty-Aware Selective Prediction

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الاستدلال المتغير للإجابة على الأسئلة البصرية من أجل التنبؤ الانتقائي الواعي بعدم اليقين" (Variational Visual Question Answering for Uncertainty-Aware Selective Prediction).

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) أداءً يقارب الأداء البشري في اختبارات معايير الإجابة على الأسئلة البصرية (VQA)، لكنها تعاني من مشكلات حرجة تتعلق بالموثوقية:

• الثقة المفرطة والهلوسة: غالبًا ما تتنبأ النماذج بإجابات خاطئة بثقة عالية، خاصة عند التعامل مع مدخلات خارج نطاق التوزيع (OOD) أو المدخلات العدائية.
• الافتقار إلى تقدير عدم اليقين: تفتقر نماذج (VLMs) القياسية التي يتم تدريبها باستخدام محسّنات مثل AdamW إلى آلية قوية للتعبير عن جملة "لا أعرف"، مما يجعلها غير مناسبة للمجالات الحساسة للسلامة (مثل التشخيص الطبي).
• محدودية الحلول الحالية:
  • المُحددات الخارجية (External Selectors): إضافة رأس (head) أو أداة منفصلة لتقدير عدم اليقين يؤدي إلى زيادة الأعباء الحسابية ويخلق نقاط فشل جديدة دون تحسين موثوقية النموذج الأساسي.
  • الطرق البايزية (Bayesian Methods): تاريخيًا، كانت طرق "بايز المتغيرة" (Varietary Bayes) غير فعالة أو مكلفة جدًا حسابيًا بالنسبة لبنى المحولات (Transformers) الضخمة.
  • إسقاط مونت كارلو (MC Dropout): رغم فائدتها، إلا أنها غالبًا ما تتطلب قدرة حوسبة كبيرة أثناء الاستنتاج وقد لا توفر أفضل كفاءة في العينات.

التحدي الجوهري هو تمكين التنبؤ الانتقائي (حيث يمتنع النموذج عن الإجابة عندما يكون غير متيقن) دون التضحية بالدقة أو تكبد تكالوف حسابية باهظة.

2. المنهجية: الإجابة المتغيرة على الأسئلة البصرية (VarVQA)

يقترح المؤلفون إطار عمل VarVQA، وهو إطار يدمج الاستدلال المتغير مباشرة في تدريب نماذج المحولات متعددة الوسائط الضخمة باستخدام مُحسّن النيوتن عبر الإنترنت المتغير المحسّن (IVON).

أ. التدريب باستخدام IVON

بدلاً من تعلم تقديرات نقطية للأوزان ($\theta$) عبر AdamW، يتعلم النموذج توزيعًا خلفيًا (posterior distribution) $q(\theta)$ للأوزان.

• الهدف: تقليل الحد الأدត الأدنى المتغير (variational lower bound):
  $$L(q(\theta)) = \lambda \mathbb{E}_{q(\theta)}[\bar{\ell}(\theta)] + D_{KL}(q(\theta) \parallel p(\theta))$$
• مُحسّن IVON: تقوم هذه الطريقة بتقريب مصفوفة هسيان (Hessian matrix) عبر الإنترنت لإجراء تحديثات التدرج الطبيعي. وهي تقوم بتحديث كل من المتوسط ($m$) والتباين ($v$) لتوزيع الأوزان.
  • على عكس تقريب لابلاس (Laplace approximation)، فهي لا تتطلب مرورًا ثانيًا على البيانات.
  • على عكس إسقاط مونت كارلو (MC Dropout)، فهي تتعلم شكلًا خلفيًا ثابتًا، مما يجعل استخدامها أسهل في المهام اللاحقة مثل التجميع (ensembling).
• الكفاءة: يحقق IVON دقة مقاربة لـ AdamW مع زيادة طفيفة جدًا في عبء التدريب (حوالي 0.8% إلى 4.2% اعتمادًا على حجم النموذج).

ب. استراتيجيات الاستنتاج

تقيم الورقة وضعين للاستنتاج:

1. متوسط VarVQA (VarVQA Mean): يستخدم فقط معاملات المتوسط المتعلمة ($m$) لعملية تمرير أمامي واحدة. هذا يطابق سرعة استنتاج AdamW ولكنه يحتفظ ببعض فوائد الموثوقية.
2. أخذ عينات VarVQA (VarVQA Sampling): يأخذ عينات $S$ من الأوزان من التوزيع الخلفي $q(\theta)$ لتوليد $S$ من التنبؤات. يتم تجميع هذه العينات لحساب متوسط الاحتمالية ($\bar{\mu}$) والتباين ($\bar{\sigma}^2$).

ج. المُحدد المتحفظ من المخاطر ($g_{BPA}$)

الابتكار الرئيسي هو مُحدد ما وراء متوسط التنبؤ (Beyond Predictive Averaging - BPA). تستخدم الطرق القياسية متوسط الاحتمالية ($\bar{\mu}$) كدرجة ثقة، بينما يقترح المؤلفون معاقبة التنبؤات ذات التباين العالي لإنشاء حد ثقة محافظ:
$$g_{BPA}(x) = \bar{\mu}_{\kappa}(x) - \bar{\sigma}_{\kappa}(x)$$
حيث $\kappa$ هو مؤشر الفئة الأكثر احتمالية.

• المنطق: هذا يقرب القرن الـ 16 من توزيع الفئة المتوقعة (بافتراض التوزيع الطبيعي)، مما يوفر حد ثقة أدنى.
• الفائدة: يقلل هذا بشكل فعال من النتائج الإيجابية الكاذبة في السيناريوهات عالية المخاطر من خلال إجبار النموذج على الامتناع عن الإجابة عندما يكون تباين التنبؤ مرتفعًا، حتى لو كان متوسط الاحتمالية مرتفعًا.

3. المساهمات الرئيسية

1. أول تطبيق للتعلم المتغير على التنبؤ الانتقائي متعدد الوسائط: يثبت أن الطرق المتغيرة (عبر IVON) فعالة لنماذج VLMs الضخمة (مثل ViLT و BEiT-3) في مجال التنبؤ الانتقائي، وهو مجال كان يهيمن عليه سابقًا الدراسات أحادية الوسائط.
2. معايرة وموثوقية فائقة: يحقق VarVQA خطأ معايرة متوقع (ECE) أقل بكثير وأداء تنبؤ انتقائي أفضل مقارنة بـ AdamW و MC Dropout، خاصة في السيناريوهات عالية المخاطر (مثل انخفاض نسبة الخطأ المسموح بها إلى $\le 1\%$).
3. كفاءة العينات: يتفوق VarVQA على MC Dropout بنفس ميزانية الحوسبة أثناء الاستنتاج. والجدير بالذكر أن عينة خلفية واحدة غالبًا ما تقدم إجابات أكثر موثوقية من AdamW.
4. مُحدد جديد متحفظ من المخاطر: إن تقديم $g_{BPA}$، الذي يستفيد من تباين المخرجات، يتفوق باستمرار على متوسط التنبؤ القياسي في البيئات عالية المخاطر.
5. المتانة تجاه البيانات خارج النطاق (OOD): تظهر الطريقة متانة محسنة عند اختبارها على بيانات مختلطة من داخل النطاق (VQAv2) وخارج النطاق (AdVQA).

4. النتائج التجريبية

أُجريت التجارب على VQAv2 (للإجابة على الأسئلة البصرية) و NLVR2 (للاستدلال البصري) باستخدام ViLT و BEiT-3 (بنسختي Base و Large).

• الدقة: يطابق VarVQA دقة AdamW أو يتفوق عليها قليلاً (على سبيل المثال، BEiT-3 Large على VQAv2: 78.89% مقابل 78.59%).
• المعايرة (ECE): يقلل VarVQA من خطأ المعايرة المتوقع (ECE) بشكل كبير. بالنسبة لنموذج BEiT-3 Large على VQAv2، انخفض ECE من 0.039 (AdamW) إلى 0.018 (VarVQA).
• التنبؤ الانتقائي (عالي المخاطر):
  • المقياس: التغطية عند مستوى الخطر (Coverage at Risk - C@R) والموثوقية الفعالة ($\Phi_c$).
  • الأداء: عند مستوى تحمل خطر صارم قدره 0.5% (خطأ واحد لكل 200 عينة)، حسن VarVQA التغطية بنسبة 7–9% في VQAv2 و 9–14% في NLVR2 مقارنة بـ AdamW.
  • المقارنة: تفوق VarVQA مع 64 عينة على "التجميع العميق" (Deep Ensembles) -الذي يتطلب تدريب 3 نماذج- في العديد من المقاييس، بينما تفوق "متوسط VarVQA" (تمرير واحد) غالبًا على AdamW.
• المتانة تجاه OOD: في الإعدادات المختلطة (VQAv2/AdVQA)، حافظ VarVQA على معايرة وتنبؤ انتقائي نسبي أفضل مع زيادة نسبة البيانات خارج النطاق، بينما تدهورت موثوقية AdamW بشكل حاد.
• التحليل النوعي: تُظهر الأمثلة البصرية أن VarVQA يمتنع بشكل صحيح عن الإجابة في حالات "الهلوسة" حيث توقع AdamW إجابات خاطئة بثقة، كما يجيب بشكل صحيح على الأسئلة التي امتنع عنها AdamW.

5. الأهمية والخاتمة

تؤسس هذه الورقة التعلم المتغير كبديل فعال ومتفوق للتحسين القياسي لجعل نماذج VLMs أكثر أمانًا وموثوقية.

• الأثر العملي: من خلال "دمج" الموثوقية أثناء التدريب بدلاً من إضافتها كفكرة لاحقة، يتيح VarVQA نشر نماذج VLMs في التطبيقات الحساسة للسلامة حيث تكون النتائج الإيجابية الكاذبة مكلفة.
• الكفاءة: تتحدى هذه الدراسة الفرضية القائلة بأن الطرق البايزية مكلفة للغاية للنماذج الضخمة، حيث تظهر أن IVON يوفر توازنًا مثاليًا بين الحوسبة والموثوقية.
• الاتجاهات المستقبلية: يقترح المؤلفون أن التركيز المستقبلي يمكن أن ينصب على انتشار التباين (variance propagation) في تمرير أمامي واحد لإلغاء تكاليف أخذ العينات تمامًا، واستكشاف التوزيعات الخلفية كاملة التباين (full-covariance) لنمذجة أكثر ثراءً لعدم اليقين.

باختصار، يوفر VarVQA إطار عمل مبدئيًا وممكنًا حسابيًا للحد من الهلوسة والثقة المفرطة في النماذج متعددة الوسائط، مما يعزز بشكل كبير من فائدتها في البيئات الواقعية عالية المخاطر.