Witness Evidence Portfolios: Single-Prefill Risk Detection for Closed Multimodal Answers
تقدم الورقة البحثية "محافظ أدلة الشهود" (WEP)، وهي طريقة للكشف عن المخاطر في وقت الاستدلال ذات صندوق أبيض، تقوم بتحليل المساهمات البصرية طبقة تلو الأخرى لإنشاء مسارات أدلة قابلة للتفسير، مما يحسن بشكل كبير من موثوقية الإجابات متعددة الوسائط المغلقة دون الحاجة إلى تشويه الصور، أو عمليات التمرير الخلفي، أو مُحقِّقين خارجيين.
المؤلفون الأصليون:Fexiang Liu, Shiye Wang, Qiang Qiu, Zheng Wang
تخيل أنك توظف روبوتًا ذكيًا جدًا وواثقًا جدًا للإجابة على الأسئلة المتعلقة بالصور. تعرض عليه صورة لحديقة وتسأله: "هل هناك جزر هنا؟" يصرخ الروبوت فورًا: "لا!" بيقين يصل إلى 99%. ولكن ماذا لو كان الروبوت في الواقع ينظر إلى كلمة "حديقة" في زاوية الصورة، أو إلى سحابة عشوائية، وهو مجرد تخمين؟ هذا هو العالم المعقد لـ نماذج اللغات الكبيرة متعددة الوسائط (MLLMs). هذه أنظمة ذكاء اصطناعي يمكنها "رؤية" الصور و"قراءة" النصوص، ودمجهما معًا للإجابة على الأسئلة. المشكلة الكبرى ليست فقط في الحصول على الإجابة الصحيحة، بل في معرفة متى يكون الذكاء الاصطناعي مخطئًا رغم ثقته العالية. في العالم الحقيقي، نحتاج إلى معرفة ما إذا كان بإمكاننا الوثوق بإجابة الروبوت أم يجب علينا مراجعتها. تتناول هذه الورقة البحثية السؤال التالي: كيف يمكننا معرفة ما إذا كانت ثقة الروبوت حقيقية، أم أنها مجرد تخمين محظوظ بناءً على الجزء الخطأ من الصورة؟
إليك محافظ أدلة الشهود (WEP)، وهي طريقة جديدة طورها "فيشيانغ ليو" وزملاؤه لتعمل كـ "محقق" لهذه الروبوتات الذكية. فكر في عقل الذكاء الاصطناعي كأنه مكتبة ضخمة حيث تترك كل طبقة من طبقات عملية التفكير الخاصة به أثرًا من "فتات الخبز". عادةً، نحن ننظر فقط إلى الإجابة النهائية التي يقدمها الروبوت. ومع ذلك، فإن WEP تعود للوراء وتتحقق من "فتات الخبز" الذي تركه خلفه أثناء اللحظة الخاطفة التي كان الروبوت يفكر فيها. إنها تطرح سؤالين بسيطين: أين بحث الروبوت عن أدلته، ومدى تركيز تلك الأدلة.
إليك كيف يعمل WEP، باستخدام تشبيه مرح. تخيل أن الروبوت هو محقق يحاول حل "قضية الجزر".
خريطة الشهود: أولاً، يحدد WEP "الشهود". إذا كان السؤال عن الجزر، فإن الشهود هم أجزاء الصورة التي تبدو بالفعل مثل الجزر.
أثر الدليل: بينما يفكر الروبوت، فإنه يجمع "أدلة موقعة". هذا يشبه بطاقة تسجيل حيث تعني الأرقام الموجبة "هذا يدعم الإجابة" والأرقام السالبة "هذا يعارضها". يقوم WEP بتتبع الأجزاء الدقيقة من الصورة التي ساهمت في إجابة الروبوت النهائية بـ "لا".
الفحصان:
الأصل (فحص "أين"): هل هبطت أدلته الإيجابية فعليًا على شهود الجزر؟ أم أنها هبطت بالخطأ على سياج خلفي أو عنوان مخطط بياني؟ إذا قال الروبوت "لا يوجد جزر" ولكن أدلته الإيجابية عالقة في سياج، فإن WEP يصنفه كإجابة محفوفة بالمخاطر.
التركيز (فحص "التركيز"): هل أدلة الروبوت متراصة بإحكام في المكان الصحيح، أم أنها مشتتة في جميع أنحاء الصورة مثل شخص مرتبك؟ إذا كانت الأدلة منتشرة في كل مكان، فهذا يشير إلى أن الروبوت يخمن بدلاً من أن يرى.
اختبر الباحثون "حقيبة المحقق" هذه على ثلاثة نماذج مختلفة من الذكاء الاصطناعي (Qwen3-VL، وLLaVA، وInternVL) وأربعة مجموعات مختلفة من الأسئلة البصرية الخادعة. وجدوا أن WEP بارع للغاية في رصد الإجابات الواثقة ولكن الخاطئة. في الواقع، عبر جميع التوليفات الـ 12 من النماذج والاختبارات، حسن WEP القدرة على ترتيب الأخطاء بمتوسط قدره 0.134 (مقاسًا بدقة متوسط الخطأ). وهذا يعني أنه إذا كان لديك قائمة من الإجابات للمراجعة، فإن WEP يساعدك على العثور على الأخطاء بشكل أسرع بكثير من مجرد النظر إلى درجة ثقة الروبوت وحدها.
ما يجعل هذا الأمر مميزًا هو أن WEP لا يحتاج إلى طلب إعادة المحاولة من الروبوت، أو تغيير الصورة، أو استخدام روبوت ثانٍ للتحقق من العمل. إنه يستخدم نفس "مسار التفكير" الذي اتخذه الروبوت في المرة الأولى، فقط من خلال استراق النظر إلى الملاحظات الداخلية التي تركها خلفه. لقد أثبت الفريق أيضًا أن هذا يعمل لأن الدليل يتطابق بالفعل مع السؤال، وليس لمجرد خدعة رياضية عشوائية. فعندما قاموا بخلط الأدلة حولًا بحيث لم تعد تتطابق مع السؤال، توقف النظام عن العمل، مما أظهر أن "أين" و"مدى التركيز" للأدلة أمر بالغ الأهمية حقًا.
باختصار، يمنحنا WEP طريقة للنظر تحت غطاء رؤية الذكاء الاصطناعي. هو لا يغير إجابة الروبوت، ولكنه يعطينا "درجة مخاطرة" تخبرنا: "مهلًا، هذه الإجابة واثقة، لكن الروبوت كان ينظر إلى الشيء الخطأ". وهذا يسمح لنا ببناء أنظمة أكثر أمانًا حيث يمكننا الوثوق بالروبوت عندما يكون محقًا، وكشفه عندما يكون مخطئًا رغم ثقته. كل ذلك دون إبطاء العمليات أو الحاجة إلى أدوات إضافية. إنه يشبه امتلاك متدرب شديد الملاحظة يتحقق بهدوء من ملاحظات المحقق قبل تقديم التقرير النهائي.
ملخص تقني: محافظ أدلة الشهود (WEP)
بيان المشكلة يتطلب النشر الموثوق للنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) آليات لتحديد ما إذا كان ينبغي الوثوق بالإجابة البصرية الواثقة، أو مراجعتها، أو توجيهها إلى نظام أقوى. وبينما تشير درجات الثقة القياسية (بناءً على هوامش المرشحين) إلى مدى بعد الإجابة المتوقعة عن منافسيها، إلا أنها تفشل في الكشف عن مصدر القرار. فقد ينتج النموذج إجابة "لا" عالية الثقة لسؤال مثل "هل توجد جزر في هذه الصورة؟" حتى عندما تتركز القراءات البصرية الداخلية الداعمة لهذا القرار في مناطق غير ذات صلة (مثل عناوين الرسوم البيانية أو الخلفيات) بدلاً من الدليل البصري الفعلي. تعتمد الطرق الحالية للكشف عن الهلوسة أو تقييم المخاطر على حالات داخلية عامة، أو تتطلب تغييرات في الصور، أو عمليات فك ترميز إضافية، أو مُحقِّقين خارجيين، مما يترك فجوة في اكتشاف القرارات غير المدعومة باستخدام مسار الاستدلال الأصلي فقط.
المنهجية: محافظ أدلة الشهود (WEP) إن WEP هو إطار عمل للكشف عن المخاطر بنظام "الصندوق الأبيض" (white-box) مصمم للنماذج اللغوية الكبيرة متعددة الوسائط ذات الإجابات المغلقة. وهو يعمل خلال تمريرة "تعبئة مسبقة" (prefill pass) واحدة، مستخدماً نفس المسار الأمامي الذي يولد الإجابة، دون الحاجة إلى تمريرات خلفية، أو تغيير في الصور، أو نماذج خارجية.
خرائط شهود مرتبطة بالسؤال: تحدد الطريقة أولاً "الشهود" في الفضاء البصري المرتبط بالسؤال. بالنسبة لرمز السؤال j، يتم حساب توزيع ربط Bj(v) على الرموز البصرية v. ويتم تجميع هذه الرموز في خريطة شاهد السؤال PQ(v)، بوزن يعتمد على أهمية الرمز للقرار النهائي. وهذا يميز المناطق ذات الصلة بالسؤال عن المناطق البارزة بشكل عام. كما يتم تعريف مرجع بصري موحد U(v) للتحكم في التداخل البصري العام.
تقدير دليل القرار الموقّع: يقدر WEP مساهمة الرموز البصرية الداخلية في هامش المرشح المتوقع. بالنسبة لمرشح y، يتم تحديد اتجاه القراءة dy بناءً على مصفوفة عدم التضمين (unembedding matrix) ولوغاريتمات المنافسين. تُحسب مساهمة Cℓ,y(s) للرمز المصدر s عند الطبقة ℓ عن طريق إسقاط متجهات القيمة الداخلية على هذا الاتجاه. ويتم نقل هذه المساهمات مرة أخرى إلى الفضاء البصري لتشكيل خرائط أدلة موقعة Eℓ,y(v)، حيث تدعم القيم الموجبة التنبؤ بينما تعارضه القيم السالبة.
عائلات المسارات (Route Families): يلخص WEP خرائط الأدلة هذه في عائلتين من المسارات القابلة للتفسير:
مسارات الأصل (Provenance Routes): تقيس مدى التداخل بين أدلة الشهود الموقعة والشهود المرتبطة بالسؤال (PQ) مقابل المرجع الموحد (U). وهي تتبع تحديداً ما إذا كانت الأدلة تتماشى مع الكيانات المحددة المطلوبة (مثل "الجزر") أو مع مناطق الصورة العامة. ويقوم مقياس متبقٍ (residual score) برصد فائض التوافق مع شهود محددة للسؤال.
مسارات التركيز (Concentration Routes): تقيس التوزيع المكاني للأدلة الموقعة. وهي تحسب الإنتروبيا المعيارية لتحديد ما إذا كانت الأدلة الداعمة مركزة ضيقة (مما قد يشير إلى الاعتماد على طريق مختصر) أو ما إذا كانت الأدلة المتعارضة موزعة بشكل منتشر.
التحقق المتداخل ودمج المحفظة: لتجنب الإفراط في التخصيص (overfitting) واختيار الإشارة الأكثر موثوقية، يستخدم WEP عملية تحقق مجموعات متداخلة. تختار الطية الداخلية (inner fold) عائلة المسارات المتفوقة (الأصل أو التركيز) بناءً على أداء ترتيب الخطأ دون الوصول إلى تسميات الطية الخارجية. بعد ذلك، يتم ضبط محفظة "أعلى-k" متفرقة من المسارات من العائلة المختارة على مجموعة المعايرة. وأخيراً، يتم توحيد درجات المسارات المختارة ودمجها مع ثقة هامش المرشح الأساسية لإنتاج درجة المخاطر النهائية.
المساهمات الرئيسية
رؤية أدلة القرار الموقعة: تقدم الورقة منظوراً جديداً لترتيب المخاطر يقيم ما إذا كانت المساهمات البصرية الداخلية تدعم أو تعارض هامش المرشح الحالي، متجاوزة بذلك مقاييس الثقة البسيطة.
التفكيكات المتكاملة: تقترح الورقة تفكيكين متكاملين لأدلة بصرية موقعة: الأصل (التوافق الخاص بالسؤال) والتركيز (التوزيع المكاني)، مقترنين بمحدد منخفض السعة لاختيار العائلة المثلى.
الكشف عالي الكفاءة بنظام الصندوق الأبيض: يحقق WEP الكشف عن المخاطر باستخدام تمريرة تعبئة مسبقة واحدة مزودة بأدوات، مع إعادة حساب صفوف نادرة، دون الحاجة إلى تغيير الصور، أو تمريرات خلفية، أو مُحقِّقين خارجيين.
النتائج تم تقييم الطريقة عبر ثلاثة نماذج أساسية (Qwen3-VL-8B، LLaVA-1.5-7B، InternVL3.5-8B) وأربعة اختبارات للإجابات الثنائية (AMBER-D، Causal-HalBench، VSR، HallusionBench).
الأداء: حسن WEP متوسط دقة المتوسط (AP) بمقدار 0.134 عبر جميع الـ 12 زوجاً من النماذج والمجموعات البيانية. أظهرت جميع الأزواج الاثني عشر عشرة مكاسب إيجابية، وكانت 10 من أصل 12 فترة ثقة لـ bootstrap العنقودي موجبة تماماً.
فائدة الفرز (Triage Utility): عند ميزانيات المراجعة المنخفضة (1%، 5%، 10%)، حسن WEP دقة اكتشاف الأخطاء بشكل كبير مقارنة بالنماذج المرجعية للثقة، مما أدى بفعالية إلى تركيز الأخطاء في أعلى قائمة المراجعة.
الدراسات الاستقصائية (Ablations):
حققت الأدلة غير الموقعة ومتوسط المسارات الموحدة مكاسب ضئيلة.
أدت عائلتا الأصل والتركيز إلى أداء جيد بشكل فردي، لكنهما لم يتفوقا على استراتيجية الاختيار المتداخل، التي اختارت العائلة الأفضل لكل سياق بشكل تكيفي.
حققت الضوابط باستخدام مسارات إضافية (مثل Visual Contrastive Decoding) نتائج أسوأ من WEP في مجموعة التنبؤ المتطابق الصارمة، مما يبرز كفاءة WEP.
أكدت ضوابط خلط الأدلة أن المكاسب تعتمد على الأدلة الداخلية المتطابقة وليس على تحولات توزيع الدرجات.
الأهمية والادعاءات تدعي الورقة أن WCP يثبت أن أصل الشهود البصري المرتبط بالسؤال يمثل إشارة عملية وفعالة لاتخاذ القرار بشأن الإجابات متعددة الوسائط المغلقة التي تستوجب المراجعة أو التوجيه. ومن خلال تعزيز ثقة المرشح بأصل الأدلة الموقعة وتوزيع التركيز، يوفر WEP آلية قابلة للفحص ومنخفضة التكلفة لضمان الموثوقية في نشر النماذج اللغوية الكبيرة متعددة الوسائط. ويؤكد المؤلفون أن الطريقة لا تحل محل طبقة التحكم في المخاطر الخاصة بالتوجيه الانتقائي، بل تعززها بإشارات قابلة للتفسير ومتوافقة مع السؤال مستمدة مباشرة من مسار الاستدلال الحالي للنموذج. وتشير النتائج إلى أن تحليل مصدر وتوزيع الأدلة البصرية الداخلية يقدم رؤية مكملة لدرجات الثقة لاكتشاف الإجابات غير المدعومة أو الهلوسة.