ملخص تقني: أين تكمن الموثوقية في نماذج الرؤية واللغة

بيان المشكلة

غالبًا ما تنتج نماذج الرؤية واللغة (VLMs) إجابات بليغة ولكنها غير صحيحة (هلوسات) لا تدعمها المدخلات البصرية. وفي سيناريوهات النشر عالية المخاطر (مثل الفرز الطبي، أو التحليل العلمي)، تبرز حاجة ماسة لإشارات موثوقية تكون تنبؤية بالصحة وقابلة للتفسير الآلي في آن واحد.

هناك حدس سائد، يُسمى افتراض الانتباه-الثقة (Attention–Confidence Assumption)، يفترض أن موثوقية نموذج الرؤية واللغة يمكن قراءتها مباشرة من خرائط الانتباه الخاصة به: فإذا ركز انتباه النموذج البصري بشكل حاد على المنطقة المستعلم عنها، يجب أن تكون الإجابة موثوقة؛ بينما يشير الانتباه المنتشر إلى موثوقية أقل. تتحدى هذه الورقة هذا الافتراض، متسائلة عما إذا كان هيكل الانتباه (الحدة، التجزؤ، الإنتروبيا) معايرًا بالفعل مع احتمالية كون النموذج صحيحًا، أم أن معلومات الموثوقية تكمن في مكان آخر في الحوسبة.

المنهجية: مسبار موثوقية نماذج الرؤية واللغة (VRP)

يقدم المؤلفون مسبار موثوقية نماذج الرؤية واللغة (VRP)، وهو مسار آلي موحد مصمم لمقارنة ثلاث فئات متميزة من الإشارات مقابل تسمية صحة واحدة عبر ثلاث عائلات من نماذج الرؤية واللغة مفتوحة الأوزان (LLaVA-1.5، PaliGemma، Qwen2-VL؛ بحجم 3-7 مليار معلمة) وأربعة معايير قياسية (POPE، LLaVA-Bench، مجموعة مخصصة للعد والمكان، VQAv2، TextVQA).

يعمل المسار عبر ثلاث مراحل:

1. المقاييس الهيكلية (الانتباه): يتم اختزال ت tensors الانتباه المتقاطع إلى ناقلات مكانية لكل طبقة. ويتم استخراج كميتين هيكليتين: الإنتروبيا المكانية ($H_s$) وعدد المكونات الثانوية ($C_k$)، حيث يقيس الأخير تجزؤ الانتباه إلى مكونات متصلة.
2. القراءات الآلية (الحالات الخفية):
   • عدسة اللوجيت (Logit Lens): يتم إسقاط التدفق المتبقي عبر مصفوفة عدم التضمين (unembedding matrix) عند كل طبقة لحساب هامش الحقيقة ($\Delta M_\ell$)، والذي يقيس التباعد بين الرمز الصحيح والمنافسين.
   • المسابير المتفرقة (Sparse Probes): يتم تدريب مسابير خطية ذات تنظيم L1 على الحالات الخفية لتحديد الدوائر السببية المتفرقة المرتبطة بالصحة.
   • التحليل المتبقي: يتم تفكيك مساهمة طبقات MLP مقابل طبقات الانتباه في نمو هامش الحقيقة.
3. المقاييس السلوكية: يتم قياس الاتساق الذاتي (Self-consistency) عن طريق أخذ عينات من $K=10$ مخرجات وحساب دعم الإجابة الأكثر تكرارًا، مما يعمل كخط أساس سلوكي عالي التكلفة.

تستخدم الدراسة تدخلات سببية للتحقق من النتائج، بما في ذلك قناع التغطية لأعلى 30% (لاختبار ضرورة الانتباه) واستئصال العصبونات (لاختبار الدور السببي لوحدات خفية محددة).

النتائج الرئيسية

1. هيكل الانتباه ليس متنبئًا بالصحة

خلافًا لافتراض الانتباه-الثقة، فإن هيكل الانتباه هو متنبئ يكاد يكون معدومًا بالصحة.

• الدليل الإحصائي: في مجموعة بيانات مجمعة قدرها $n=3,090$، فإن الارتباط النقطي-البيسري (point-biserial correlation) بين عدد المكونات الثانوية ($C_k$) والصحة هو $R_{pb} = 0.001$، وبين الإنتروبيا المكانية ($H_s$) هو $R_{pb} = -0.012$. وكلاهما لا يمكن تمييزهما إحصائيًا عن الصفر.
• اختبار الضغط الخاضع للإشراف: حتى نموذج تجميعي (Ensemble) من نوع XGBoost–Random Forest مدرب على 11 ميزة مشتقة من الانتباه، مع الوصول الكامل إلى التسميات، يحقق دقة تتراوح بين 52-55% فقط (قريبة من الصدفة).
• الضرورة السببية مقابل الكفاية: بينما يعد الانتباه ضروريًا سببيًا لاستخراج الميزات (حيث يؤدي قناع أعلى 30% من الرقع المستهدفة بالانتباه إلى انخفاض الدقة بنسبة 8.2-11.3 نقطة مئوية)، فإن هيكله (الحدة أو التجزؤ) لا يشفر عدم اليقين المعاير. يمكن للنموذج أن ينتبه تمامًا للكائن الصحيح ومع ذلك يهلوس.

2. الموثوقية تظهر متأخرة وتدفعها الـ MLP

تصبح الموثوقية مقروءة فقط في المراحل المتأخرة من التدفق المتبقي.

• ديناميكيات عدسة اللوجيت: ينمو هامش الحقيقة بشكل مطرد مع العمق. بالنسبة لـ LLaVA، تستمر "مرحلة صامتة" حتى الطبقة 21، مع ذروة عند الطبقة 24. أما PaliGemma فيدمج مبكرًا (ذروة عند الطبقة 14)، بينما يظهر Qwen2-VL إعادة فصل دورية.
• هيمنة الـ MLP: ينمو هامش الحقيقة بشكل أساسي مدفوعًا بـ عمليات كتابة الـ MLP (من 47.6% إلى 82.1% من نمو الهامش)، وليس عمليات كتابة الانتباه. يشير هذا إلى أن الموثوقية تعتمد على تعزيز المفاهيم الكامنة في مساحة المفردات بدلاً من التماسك المكاني في خريطة الانتباه.
• القوة التنبؤية: يحقق مسبار خطي واحد للحالة الخفية AUROC > 0.95 على POPE لـ LLaVA وQwen2-VL، وهو ما يتفوق بشكل كبير على المقاييس القائمة على الانتباه (AUROC $\approx$ 0.50).

3. عدم التماثل في المتانة الهيكلية

تختلف مواقع وتوزيع دوائر الموثوقية بشكل حاد حسب البنية المعمارية:

• الدمج المتأخر (LLaVA): تتركز الموثوقية في عنق زجاجة متأخر وهش. يؤدي استئصال أفضل 5 عصبونات مختارة بواسطة المسبار في الطبقة الأخيرة إلى انخفاض قدره 8.3 نقطة مئوية في دقة تحديد الكائنات. الإشارة هنا متفرقة وموضعية.
• الدمج المبكر/الدوري (PaliGemma, Qwen2-VL): الموثوقية موزعة على نطاق واسع. تتحمل هذه النماذج تدمير حوالي 50% من أبعاد الحالة الخفية في الطبقة الذروية مع انخفاض لا يتجاوز 1 نقطة مئوية. يعمل الدمج المبكر في PaliGemma والتحسين الدوري في Qwen2-VL على تحوط الإشارة عبر العديد من الطبقات، مما يجعلها قوية تجاه تلف الوحدة الواحدة ولكنها أكثر غموضًا تجاه التفسير على مستوى العصبون.

4. مقارنة المتنبئات

• مسابير الحالة الخفية: أقوى إشارة داخلية تمر بمرة واحدة (AUROC > 0.95 لـ LLaVA/Qwen2-VL).
• الاتساق الذاتي: أقوى متنبئ سلوكي ($R_{pb}=0.43$) ولكنه يتطلب تكلفة استدلال تبلغ 10 أضعاف.
• خرائط الانتباه: غير مفيدة إحصائيًا (AUROC $\approx$ 0.50).

الأهمية والادعاءات

تدعي الورقة دحض افتراض الانتباه-الثقة، موضحة أن حدة الانتباه هي إشارة مضللة معرفيًا كإشارة للثقة. ويجادل المؤلفون بأن:

1. الانتباه يجيب على سؤال مختلف عن الموثوقية: فهو يشير إلى أي الميزات تم استرجاعها، وليس ما إذا كانت تلك الميزات ستُفسر بشكل صحيح.
2. الموثوقية ظاهرة متأخرة وتقودها الـ MLP: الحوسبة التي تميز بين الإجابات الصحيحة والخاطئة تحدث متأخرًا في التدفق المتبقي وتهيمن عليها عمليات الـ MLP.
3. آثار تصميم أدوات المراقبة:
   • استبدال خرائط حرارة الانتباه: من أجل النشر الحساس للسلامة، يجب أن تحل مسابير الحالة الخفية محل خرائط الانتباه كإشارة ثقة أساسية.
   • الخصوصية المعمارية: يجب تخصيص أدوات المراقبة لتناسب بنية النموذج. تعتمد مجموعات الدمج المتأخر (مثل LLaVA) على دوائر متأخرة متفرقة وهشة، بينما توزع مجموعات الدمج المبكر الموثوقية، مما يتطلب قراءات كثيفة.
   • مقايضة التكلفة والعائد: بينما يعد الاتساق الذاتي متنبئًا قويًا، فإن تكلفته في الاستدلال تجعل مسابير الحالة الخفية هي الحل المفضل للتطبيقات منخفضة زمن الاستجابة.

يخلص المؤلفون إلى ضر جنب الاستعارة "المريحة ولكن المفروضة تجريبيًا للانتباه كعامل ثقة" واستبدالها بمراقبات موثوقية تعتمد على الحالة الخفية والاتساق.