Counterfactual Sensitivity Is Not Repairability: Auditing Replay Probes for Video Evidence
تقدم هذه الورقة CARVE، وهي طريقة تدقيق مضادة للواقع تعتمد على الصندوق الأسود، تميز بين التأسيس البصري الحقيقي والارتباطات الزائفة في الوكلاء المرئيين من خلال مقارنة استقرار الإجابة تحت ظروف إعادة التشغيل "الزائفة" و"المدمرة" المتطابقة، مما يثبت فعاليتها كإشارة توجيه قابلة للتكرار لتحسين اختيار الأسئلة والدقة.
المؤلفون الأصليون:Rama AlHamidi, Rasul Khanbayov, Erchin Serpedin, Hasan Kurban
في المشهد المعاصر للذكاء الاصطناعي، ظهر جيل جديد من الأنظمة التي لا تكتفي بمجرد قراءة النصوص، بل تشاهد مقاطع الفيديو بنشاط للإجابة على الأسئلة. تعمل هذه "الوكلاء المرئيون" (video agents) عن طريق تقسيم فيلم طويل إلى قطع أصغر، واختيار إطارات محددة تبدو ذات صلة، ثم استخدام تلك المقتطفات البصرية لبناء إجابة. إن الوعد الذي تقدمه هذه التكنولوجيا هو أن الاستجابة النهائية تُبنى مباشرة مما رآه الجهاز، مما يربط منطقه باللقطات الفعلية بدلاً من الاعتماد على المعرفة المسبقة أو التخمينات. ومع ذلك، فإن قلقاً مستمراً يطارد هذا المجال: هل يشاهد الجهاز الفيديو حقاً، أم أنه ببساطة يتجاهل الصور التي استرجعها ويجيب بناءً على السؤال وحده؟ إذا ادعى الوكيل أنه شاهد مشهداً ما ولكنه في الواقع يجيب من الذاكرة، فإن موثوقيته تصبح مهددة، ومع ذلك لم تكن هناك طريقة بسيطة لاختبار نظام ثابت وغير قابل للتغيير لمعرفة ما إذا كان ينتبه حقاً.
لقد طور الباحثون طريقة تسمى "CARVE" لحل هذه المشكلة من خلال العمل كمدقق صارم لهؤلاء الوكلاء المرئيين. تبدأ العملية بوكيل مرئي قد شاهد بالفعل مقطعاً وأنتج إجابة نهائية. بعد ذلك، يأخذ الباحثون نفس السؤال ونفس مجموعة إطارات الفيديو التي اختارها الوكيل في الأصل، لكنهم يشغلون النظام مرة ثانية تحت ظرفين مختلفين ومتطابقين بعناية. في الظرف الأول، يرى النظام الإطارات تماماً كما كانت، مع الحفاظ على جميع تفاصيلها البصرية. وفي الظرف الثاني، يقوم الباحثون بتشويه المحتوى البصي لتلك الإطارات نفسها بحيث يتم تدمير الأشكال والأجسام، تاركين وراءهم فقط نمط ضجيج ساكن وغير قابل للتمييز، مع الحفاظ على التوقيت والتخطيط متطابقين. ومن خلال مقارنة عدد المرات التي يغير فيها الوكيل إجابته عند تشويه المحتوى البصري مقابل بقائه سليماً، يمكن للباحثين قياس ما إذا كان قرار الوكيل يعتمد بالفعل على ما رآه.
وجدت الدراسة فرقاً واضحاً وجوهرياً بين هذين الظرفين. فعندما تم تشويه الدليل البصري، غير الوكيل إجابته بمعدل يزيد بنحو تسعة وعشرين نقطة مئوية عما كان عليه عندما ترك الدليل البري سليماً. تشير هذه الفجوة الكبيرة إلى أن الوكيل، في المتوسط، حساس بالفعل للمحتوى البصري الذي يسترجعه؛ فلو كان يجيب بناءً على الذاكرة أو الأنماط اللغوية فقط، لما أدى تشويه الصور إلى مثل هذا التحول الدراماتيكي في استجاباته. وكان هذا التأثير الإجمالي قابلاً للتكرار عبر عدة تجارب مستقلة، مما يؤكد أن التدخل فعال وأن الوكيل لا يتجاهل الفيديو تماماً.
ومع ذلك، اكتشف الباحثون أن هذه النتيجة المتوسطة الواضحة لا تترجم بشكل مثالي إلى اختبار موثوق لكل سؤال على حدة. فعندما حاولوا استخدام هذا المقياس لتحديد أي الأسئلة أجاب عنها الوكيل بشكل صحيح أو خاطئ، أصبحت النتائج غير مستقرة. يُحسب المقياس من خلال عد عدد المرات التي تنقلب فيها الإجابة في عدد قليل من تجارب الاختبار، ومع وجود عدد قليل فقط من التجارب، غالباً ما تقع النتيجة عند حالة تعادل تماماً أو تتأرجح بالقرب من الصفر. وهذا يعني أنه بالنسبة لأي سؤال فردي، من الصعب الجزم ما إذا كان الوكيل مرتبطاً بالفيديو أم لا. ووجد الباحثون أن زيادة عدد تجارب الاختبار للحصول على درجة أكثر دقة أدت في الواقع إلى جعل عملية اتخاذ القرار أسوأ. فبينما أوضحت التجارب الأكثر عدداً الرقم الدقيق، إلا أنها تسببت في انتقال العديد من الأسئلة التي كانت تُصنف سابقاً على أنها "غير مؤكدة" إلى فئة "آمنة"، مما تسبب في ضياع فرص لتصحيح الأخطاء.
وبناءً على ذلك، خلص الفريق إلى أن هذه الأداة هي الأفضل للاستخدام كإشارة توجيه (routing signal) بدلاً من كونها شهادة نهائية على الحقيقة. فهي ليست كاشفاً مثالياً يمكنه إخبارك ما إذا كانت الإجابة صحيحة أم خاطئة، ولا تثبت أن الوكيل قد نظر إلى الجزء الصحيح من الفيديو. بدلاً من ذلك، تعمل كدليل عملي لمعرفة متى يمكنك الوثوق بالإجابة الأولى للآلة ومتى تطلب رأياً ثانياً. ومن خلال استخدام الأداة لتحديد مجموعة محددة من الأسئلة التي بدا فيها الوكيل غير متأكد أو شديد الحساسية للتشويه البصري، تمكن الباحثون من توجيه تلك الحالات إلى نظام ثانوي. وقد أدت هذه الاستراتيجية إلى تحسين الدقة الإجمالية للإجابات بأكثر من ثلاث نقاط مئوية، وهي زيادة ذات مغزى في هذا المجال. وتكشف الدراسة في النهاية أنه بينما يتأثر الوكلاء المرئيون عموماً بما يرونه، فإن العلاقة بين انتباههم البصري وإجابتهم النهائية معقدة ومليئة بالضجيج، مما يتطلب إدارة دقيقة بدلاً من مجرد اختبار بسيط للنجاح أو الرسوب.
بيان المشكلة تقوم وكلاء الفيديو التي تستخدم الأدوات باسترجاع أدلة مرئية (إطارات، نوافذ زمنية) للإجابة على الأسئلة، ومع ذلك، فإن بنيتها لا تفرض أن تعتمد الإجابة النهائية على هذا الدليل المسترجع. تتطلب التشخيصات الحالية غالباً فترات زمنية مشروحة أو نموذج "حكم" منفصل لتحديد ما إذا كان الوكيل يعاني من الهلوسة أو يعتمد على الأولويات اللغوية بدلاً من المدخلات المرئية. حدد المؤلفون فجوة: يحتاج الممارسون الذين يمتلكون نظاماً مغلقاً وثابتاً، وربما يكون وكيلًا محدوداً، إلى طريقة لتدقيق اعتماد الأدلة دون تعديل النموذج، أو الوصول إلى التدرجات (gradients)، أو الاعتماد على شروح خارجية.
المنهجية: مسبار CARVE يقدم البحث CARVE (التدقيق المقابل للواقع للأدلة المرئية المسترجعة)، وهو مسبار مقابلة للواقع متوافق ومتطابق (matched counterfactual probe) يعمل كصندوق أسود، صُمم لقياس ما إذا كانت إجابة الوكيل تتغير عندما يتم تدمير أدلته المرئية المسترجعة دلالياً.
تصميم التدخل:
SHAM (التحكم): يتم الحفاظ على الإطارات المسترجعة للوكيل، ولكن يتم إعادة تنفيذ خط العمل (إعادة توليد التحقق من البكسلات، والتحليل، والإجابة) لالتقاط التباين المتأصل في خط العمل.
DESTROY (التدخل): تخضع نفس الإطارات المسترجعة لعملية عشوائية طور فوريه (Fourier phase randomization). يؤدي هذا إلى تعطيل الهياكل المرئية المعتمدة على الطور (مما يدمر المحتوى الدلالي) مع الحفاظ على التخطيط، وطيف السعة، وعدد الإطارات.
المقارنة: يتم تجميد إجابة الوكت الأصلية (a^). يتم تشغيل كل من حالتي SHAM و DESTROY k من المرات. والدرجة Δ^ هي الفرق في معدلات تغير الإجابة بين حالتي DESTROY و SHAM: Δ^=δ^destroy−δ^sham.
الإطار النظري:
يتم نمذجة المقدر Δ^ كفرق بين نسب ثنائية الحد (binomial proportions).
استنتج المؤلفون قانون إعادة التشغيل المحدود الدقيق، موضحين أن الدرجة لها دعم منفصل (بفواصل قدرها 1/k) واحتمالية غير صفرية لحدوث حالات تعادل تامة (درجة صفر) حتى عندما تكون درجة المجتمع غير صفرية.
يبرز هذا التحليل تميزاً حرجاً: يمكن للمسبار أن يكون موثوقاً في المجموع (يظهر تأثيراً متوسطاً كبيراً) بينما يظل غير مستقر كقاعدة قرار لكل سؤال بسبب التباين والانفصال عند ميزانيات إعادة التشغيل المنخفضة (k).
سياسة التوجيه (Routing Policy):
السياسة الأساسية تؤجل السؤال إلى مجيب ثانوي إذا كانت Δ^≤0 (مما يشير إلى أن الإجابة لم تتغير بشكل أكبر بكثير تحت تأثير التدمير مقارنة بإعادة التشغيل السليمة، مما يوحي بأن الإجابة الأصلية قد لا تعتمد على الدليل).
تقيم الدراسة هذه السياسة عند ميزانيات إعادة تشغيل مختلفة (k=3 و k=10).
المساهمات الرئيسية
تدقيق مقابل للواقع متوافق: يعزل CARVE حساسية التدخل عن تباين خط العمل دون الحاجة إلى أوزان النموذج، أو اللوغيت (logits)، أو إعادة التدريب، أو الفترات الزمنية المشروحة.
نظرية إعادة التشغيل المحدودة: يقدم البحث حساباً نظرياً للتباين، والانفصال، واحتمالية التعادل، موضحاً لماذا لا يضمن الاستقرار الإجمالي استقرار عتبات كل سؤال.
الفصل بين دقة الدرجة وفائدة القرار: يوضح المؤلفون أن زيادة ميزانية إعادة التشغيل (k) تحل غموض الدرجة (تقليل حالات التعادل) ولكنها قد تضعف بشكل متناقض سياسة التوجيه الثابتة. الدقة العالية في القياس لا تؤدي بالضرورة إلى تحسين أفضل للمتحكم إذا تغير توزيع الحالات القابلة للتنفيذ بالنسبة لحد القرار.
التوصيف التجريبي: يفصل البحث بين التغطية الزمنية، واستقرار إعادة التشغيل، وقابلية الإصلاح، موضحاً أن CARVE هو إشارة توجيه وليس مصنفاً مباشراً للارتباط بالأرضية (grounding classifier).
النتائج
الأثر الإجمالي: عبر ثلاث عمليات تشغيل مستقلة باستخدام وكيل من نوع VideoExplorer على مجموعة بيانات LVBench (n=1,258)، أدى DESTROY إلى تغيير الإجابة بنسبة 29.3 نقطة مئوية أكثر مما فعلت حالة SHAM. وهذا يؤكد وجود أثر تدخل كبير وقابل للتكرار.
أداء التوجيه:
عند k=3، اختارت السياسة الشاملة (Δ^≤0) 538 سؤالاً (42.8% من المجموعة) وحسنت الدقة بمقدار 3.26 نقطة مئوية (من 45.47% إلى 48.73%).
حققت السياسة 6.27 إصلاحاً صافياً لكل 100 استدعاء للحل البديل (fallback)، متفوقة على مجموعات التوجيه العشوائية المتوافقة.
الاستقرار مقابل المنفعة: أدت زيادة k من 3 إلى 10 إلى حل معظم حالات التعادل (تقليل كتلة التعادل) ولكنها أضعفت سياسة التوجيه. سياسة k=10 اختارت أسئلة أقل وأنتجت مكاسب دقة أقل، حيث أن العديد من الأسئلة التي كانت "متعادلة" (وبالتالي تم اختيارها) عند k=3 أصبحت إيجابية (وتم استبعادها) عند k=10.
صلاحية البناء (Construct Validity):
تظهر الدرجة Δ^ارتباطاً ضعيفاً فقط مع التغطية الزمنية المشروحة (ROC-AUC ≈ 0.53).
العلاقة مشروطة: بالنسبة للإجابات الصحيحة، كانت الأسئلة المغطاة ذات درجات أعلى؛ وبالنسبة للإجابات غير الصحيحة، كانت الأسئلة المغطاة ذات درجات أقل. يشير هذا إلى أن Δ^ ليس مقياساً مباشراً لما إذا كان الدليل يتداخل مع الفترة الزمنية الأرضية.
القابلية للنقل: أظهرت قاعدة التوجيه مكاسب نقل متوسطة إيجابية عند تطبيقها على هيكل مجيب مختلف (Qwen2.5-VL) وعلى اختبار Video-MME، وإن كان مقدارها غير متماثل.
الأهمية والادعاءات يدعي البحث بتواضع أن CARVE يوفر طريقة عملية، خالية من الشروح، لتدقيق ما إذا كانت إجابة وكيل فيديو ثابت يعتمد على أدلته المسترجعة.
ليس شهادة ارتباط بالأرضية (Grounding Certificate): يذكر المؤلفون صراحة أن CARVE ليس مصنفاً مباشراً للارتباط بالأرضية ولا ملصقاً للصحة. الدرجة المنخفضة لا تثبت الاستقلال عن الفيديو، كما أن الدرجة العالية لا تضمن صحة الإجابة.
إشارة توجيه: الفائدة الأساسية لـ CARVE هي كونه إشارة توجيه تعتمد على الميزانية. فهو يحدد مجموعة من الأسئلة حيث من المرجح أن يؤدي آلية الحل البديل (fallback) إلى إصلاحات، متفوقاً على الاختيار العشوائي.
رؤية تصميم السياسة: الاستنتاج الرئيسي هو أن القياس الأكثر دقة للمقابلة للواقع (زيادة k) لا يحسن تلقائياً اتخاذ القرار. تعتمد فائدة المسبار بشدة على نقطة التشغيل المحددة (على سبيل المثال، كتلة التعادل عند k=3) وكيفية توافق توزيع الحالات مع حد القرار.
باختراض، يقدم CARVE طريقة قوية وصندوقاً أسود للكشف عن اعتماد الأدلة في وكلاء الفيديو، كاشفاً أنه بينما يكون الأثر الإجمالي لتدمير الدليل قوياً، فإن الدرجة لكل سؤال متقلبة وتُستخدم بشكل أفضل كآلية توجيه خشنة بدلاً من كونها أداة تشخيصية دقيقة.