💻 computer science

PROVE: A Perceptual RemOVal cohErence Benchmark for Visual Media

تقدم هذه الورقة إطار عمل PROVE، الذي يتكون من مقياسي RC-S وRC-T المتوافقين مع الإدراك ومجموعة بيانات PROVE-Bench، لمعالجة أوجه القصور في طرق التقييم الحالية من خلال توفير تقييم أكثر دقة لتماسك إزالة الكائنات في الوسائط المرئية بما يتوافق بشكل أفضل مع الحكم البشري.

المؤلفون الأصليون: Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محرر صور تم استئجارك لإزالة شخص "مُقحم" (photobomber) من صورة جماعية. لقد قمت بعمل رائع: الشخص اختفى، والخلفية تبدو طبيعية. ولكن كيف تعرف ما إذا كان تعديلك جيدًا حقًا؟

هذه هي المشكلة التي يعالجها بحث PROVE. يجادل المؤلفون بأن الأدوات الحالية التي نستخدمها لتقييم هذه التعديلات تشبه استخدام مسطرة لقياس طعم الحساء — فهي تنظر إلى الأشياء الخطأ.

إليك تفصيل لحلهم باستخدام تشبيهات بسيطة.

1. المشكلة: فخاخ "النسخ واللصق" و"الضبابية"

يوضح البحث أن أدوات التقييم الحالية (المقاييس) ترتكب خطأين رئيسيين:

فخ "النسخ واللصق" (مقايسات المرجع الكامل - Full-Reference Metrics): تخيل معلمًا يقيم مقال طالب من خلال مقارنته كلمة بكلمة بنموذج إجابة. إذا نسخ الطالب النموذج تمامًا، سيحصل على درجة "امتياز"، حتى لو كان المقال مملًا.
- في تحرير الصور، تكافئ الأدوات القديمة النماذج التي تقوم فقط بـ "نسخ ولصق" الخلفية من الصورة الأصلية بدلاً من "مسح" الكائن فعليًا وابتكار خلفية جديدة واقعية. إنها تفضل الإجابات الآمنة والمملة على الإجابات الإبداعية والواقعية.
فخ "الضبابية تعني النظافة" (مقايسات عدم المرجع - No-Reference Metrics): تخيل حكماً يعتقد أن الصورة الضبابية أفضل من الصورة الحادة لأن الضبابية تخفي العيوب.
- غالبًا ما تعطي الأدوات الحالية درجات عالية للنتائج الضبابية لأن الضبابية تجعل الأشياء تبدو "ناعمة" ومتجانسة. إنها تفشل في ملاحظة أن الصورة في الواقع منخفضة الجودة أو أن عملية إزالة الكائن قد خلفت آثارًا غريبة.

مشكلة الفيديو: عند تحرير الفيديو، تنظر الأدوات الحالية إلى الشاشة بأكملها. إذا كانت الخلفية مستقرة ولكن المنطقة التي أُزيل منها الكائن تومض بجنون، فقد لا تزال الأداة تعطي درجة عالية لأن بقية الفيديو جيد. الأمر يشبه معلمًا يقيم مقالاً من 10 صفحات لكنه يقرأ الصفحة الأولى فقط ويتجاهل البقية.

2. الحل: نهج "تسليط الضوء" (مقايسات RC)

يقترح المؤلفون طريقة جديدة لتقييم التعديلات تسمى RC (التماسك عند الإزالة - Removal Coherence). بدلاً من النظر إلى الصورة بأكملها أو المقارنة بمرجع مثالي، يستخدمون "تسليط ضوء منزلق" للتركيز على المنطقة المحددة حيث تمت إزالة الكائن.

لديهم أداتان رئيسيتان:

RC-S (التماسك المكاني - Spatial Coherence): فكر في هذا كـ محقق ملمس. إنه يركز على الفجوة حيث كان الكائن ويسأل: "هل تبدو الخلفية الجديدة هنا مثل الحي المحيط بها؟"
- يستخدم نافذة منزلقة (مثل العدسة المكبرة) للتحقق مما إذا كانت الأنسجة والإضاءة والأنماط تتطابق مع المنطقة المحيطة بالتعديل. إذا كانت الخلفية الجديدة تبدو بنسيج مختلف أو ضبابية للغاية، تنخفض الدرجة.
RC-T (التماسك الزمني - Temporal Coherence): هذا هو مفتش استقرار الفيديو. ينظر إلى نفس البقعة عبر إطارين متتاليين.
- يسأل: "هل تقفز هذه البقعة أو تومض أثناء تشغيل الفيديو؟" إذا كانت الخلفية في المنطقة التي تمت إزالتها تهتز أو تتغير بشكل غريب من إطار إلى آخر، فإن هذا المقياس سيكتشف ذلك، حتى لو كان بقية الفيديو سلسًا.

السر الخفي: يستخدمون "عقلاً" خاصًا (مستخرج ميزات يسمى DINOv2) وهو حساس جدًا للتفاصيل الدقيقة وتغيرات التردد، تمامًا مثل العين البشرية الحساسة للاختلالات البصرية الطفيفة.

3. الملعب الجديد: PROVE-Bench

لإثبات عمل نظام التقييم الجديد الخاص بهم، بنوا ساحة اختبار جديدة تسمى PROVE-Bench. أدركوا أن مجموعات الاختبار القديمة كانت إما:

مزيفة للغاية: فيديوهات مولدة بالحاسوب لا تبدو كالحياة الواقعية.
صعبة التقييم للغاية: فيديوهات حقيقية حيث لا نعرف ما الذي يجب أن تكون عليه "الخلفية المثالية".

يحتوي المعيار الجديد الخاص بهم على جزأين:

PROVE-M (المختبر المنضبط): قاموا بتصوير مشاهد حقيقية، وأزالوا كائنًا، ثم صوروا المشهد مرة أخرى بدون الكائن. هذا يعطيهم "حقيقة أرضية" مثالية للمقارنة معها، لكنهم أضافوا اهتزازات كاميرا محاكية لجعلها تبدو كفيديو حقيقي محمول باليد.
PROVE-H (اختبار الضغط): مجموعة من 100 فيديو حقيقي صعب (حشود، حركة سريعة، انعكاسات) حيث لا يملكون مرجعًا مثاليًا. هذا يختبر قدرة النماذج على التعامل مع الفوضى.

4. النتائج

عندما اختبروا نظام التقييم الجديد "تسليط الضوء" الخاص بهم مقابل الأدوات القديمة:

الأدوات القديمة غالبًا ما أعطت درجات عالية للنتائج الضبابية ونتائج النسخ واللصق، أو فاتتها ومضات الفيديو.
PROVE (RC-S و RC-T) تماشى بشكل أفضل بكثير مع ما يعتقده البشر حيال الجودة. إذا قال البشر: "هذا يبدو مزيفًا"، فإن المقياس الجديد وافقهم. وإذا قالوا: "هذا يبدو رائعًا"، فإن المقياس الجديد وافقهم أيضًا.

ملخص

يجادل البحث بأنه لتقييم إزالة الكائنات، نحتاج إلى التوقف عن النظر إلى الصورة بأكملها أو المقارنة بمرجع مثالي. بدلاً من ذلك، نحتاج إلى التركيز (Zoom in) على المنطقة المعدلة للتحقق مما إذا كانت تندمج مع جيرانها (مكانياً) وتظل ثابتة بمرور الوقت (زمانياً). لقد بنوا مجموعة جديدة من الأدوات وميدان اختبار جديد لإثبات أن نهج "التركيز" هذا هو الطريقة الوحيدة للحصول على درجة تطابق الإدراك البشري.

ملخص تقني: PROVE: معيار إدراكي لتماسك الإزالة للوسائط المرئية

1. بيان المشكلة

تعد عملية إزالة الأجسام من الصور ومقاطع الفيديو مشكلة متأصلة في كونها "غير محددة جيداً" (ill-posed) وذات احتمالات متعددة، حيث يمكن أن توجد عمليات استعادة متعددة منطقية إدراكياً لمنطقة واحدة تم مسحها. وبناءً على ذلك، غالباً ما يكون من المستحيل تحديد حقيقة مرجعية (GT) فريدة. هذا الخصم يقوض بروتوكولات التقييم التقليدية:

مقاييس المرجع الكامل (FR): تفترض مقاييس مثل PSNR وSSIM وLPIPS وجود تطابق صارم نقطة بنقطة مع مرجع واحد. وهي غالباً ما تكافئ سلوكيات "النسخ واللصق" (المخرجات المتحفظة التي تحافظ على الخلفية) بدلاً من الإزالة الواقعية إدراكياً. علاوة على ذلك، تعاني هذه المقاييس من تحيزات "الرجوع إلى المتوسط"، حيث يؤدي تقليل خطوات الاستدلال في نماذج الانتشار (مما يقلل الجودة البصرية) بشكل مفارق إلى تحسين الدرجات بسبب تقليل التباين في البكسلات.
مقاييس عدم المرجع (NR): تظهر طرق مثل ReMOVE وCFD، رغم تجنبها الحاجة إلى حقيقة مرجعية، تحيزات منهجية؛ فهي غالباً ما تمنح درجات مرتفلة للمخرجات الضبابية ("الضباب نظيف" - Blur is Clean) وتخطئ في معاقبة عمليات الاستعادة السليمة هيكلياً في سيناريوهات الحجب المعقدة.
المقاييس الزمنية: تعمل مقاييس الفيديو الحالية (مثل الاتساق الزمني، والوميض الزمني) على ميزات عالمية على مستوى الإطار. ولأن المناطق المزالة تشغل عادةً جزءاً صغيراً فقط من الإطار، فإن هذه التجميعات العالمية تخفف أو تحجب تماماً العيوب الزمنية الموضعية داخل المناطق المعدلة.

بالإضافة إلى ذلك، تفتقر المعايير الحالية إلى الجمع بين الأصالة في العالم الحقيقي ومقاطع الفيديو المرجعية المقترنة. فبينما توفر مجموعات البيانات الاصطناعية (مثل ROSE-Bench) أقنعة دقيقة، إلا أنها تفتقر إلى التعقيد في العالم الحقيقي، بينما تفتقد مجموعات بيانات العالم الحقيقي (مثل DAVIS) إلى مقاطع الفيديو المستهدفة الخالية من الأجسام لإجراء مقارنة كمية محكومة.

2. المنهجية

2.1 مقاييس RC (تماسك الإزالة)

يقترح المؤلفون RC، وهو إطار عمل موحد لمطابقة التوزيع المحلي في فضاء السمات الدلالية العميقة، والذي يتجسد في مقييسين متكاملين:

RC-S (التماسك المكاني): يقيس الاتساق المحلي بين المحتوى المستعاد والخلفية المحيطة به داخل إطار واحد.
- العملية: يتم قص المنطقة المستهدفة مع سياق موسع. تُستخرج السمات العميقة باستخدام DINOv2. يتم تطبيق نافذة منزلقة على خريطة السمات.
- الآلية: داخل كل نافذة، تتم مقارنة توزيع السمات للمنطقة المقنعة (المستعادة) مع المنطقة غير المقنعة (الخلفية) باستخدام تباعد متوسط المجموع الأقصى (MMD) التربيعي.
- الأساس المنطقي: هذا المقارنة المحلية تكتشف عدم الاتساق المكاني الذي تغفله التجميعات العالمية. تم اختيار MMD بدلاً من تشابه جيب التمام (cosine similarity) لحساسيته تجاه التحولات التوزيعية (مثل الضبابية).
RC-T (الاتساق الزمني): يقيس استقرار المناطق المستعادة عبر الإطارات المتجاورة.
- العملية: للإطارات المتجاورة، يتم تحديد منطقة تقييم مشتركة باستخدام اتحاد أقنعتهما. يتم قص كلا الإطارين بشكل متزامن.
- الآلية: يركز المقياس على تقاطع المناطق المستعادة عبر الإطارين. ويقارن توزيعات السمات لهذه المناطق المتقاطعة باستخدام MMD.
- الأساس المنطقي: من خلال قصر التقييم على منطقة الاستعادة المشتركة، يتجنب RC-T تأثير التخفيف الناتج عن مناطق الخلفية غير المتغيرة، مما يسمح بالكشف الحساس عن الوميض الزمني الموضعي.

2.2 PROVE-Bench

لدعم التقييم الصارم، قدم المؤلفون مجموعة معايير PROVE-Bench ذات مستويين:

PROVE-M (المقترن المعزز بالحركة): مجموعة بيانات مكونة من 80 فيديو تتضمن تسجيلات مقترنة من العالم الحقيقي (الفيديو المدخل، القناع، والحقيقة المرجعية الخالية من الهدف). ولتجسير الفجوة بين لقطات المختبر الثابتة وفيديوهات المستخدمين الحقيقية، تخضع هذه الأزواج لـ تعزيز الحركة (تحويلات هندسية من نوع "كين بيرنز" مثل التمرير، والتقريب، والاهتزاز) لمحاكاة عدم استقرار الكاميرا المحمولة باليد.
PROVE-H (الصعب غير المقيد): مجموعة بيانات مكونة من 100 فيديو بدون حقيقة مرجعية، مصممة لاختبار قدرة النماذج على التعميم. تستهدف سيناريوهات قصوى تشمل الحشود، الحركة السريعة، الانعكاسات المعقدة، والخلفيات عالية الملمس. يتم إنشاء الأقنعة تلقائياً (بواسطة SAM3) لتعكس العيوب العملية.

3. المساهمات الرئيسية

التشخيص المنهجي: تقدم الورقة تحليلاً تجريبياً صارماً لأنماط الفشل في المقاييس الحالية، وتحدد تحيزات محددة مثل تفضيل "النسخ واللصق" في مقاييس FR، و"تفضيل الضبابية" في مقاييس NR، وعدم الحساسية الإقليمية في المقاييس الزمنية العالمية.
مقاييس RC: اقتراح RC-S وRC-T، اللذين يستخدمان إطار عمل مطابقة التوزيع بالنافذة المنزلقة (DINOv2 + MMD) لقياس التماسك المكاني والاتساق الزمني الموضعي. تحقق هذه المقاييس توافقاً أقوى بكثير مع الأحكام البشرية مقارنة بالبروتوكولات الحالية.
PROVE-Bench: بناء مجموعة معايير فريدة تجمع بين مجموعة بيانات مقترنة من العالم الحقيقي (PROVE-M) مع تعزيز الحركة، وجزء آخر تحدي خالٍ من الحقيقة المرجعية (PROVE-H)، مما يعالج معضلة الواقعية والقابلية للتقييم في مجموعات البيانات الحالية.

4. النتائج التجريبية

أُجريت تجارب واسعة النطاق عبر مختلف معايسات الصور (RORD-Val, OBER-Wild) والفيديو (DAVIS, ROSE-Bench, PROVE-Bench).

الارتباط البشري: حقق RC-S أعلى ارتباط مع التصنيفات البشرية (Kendals $\tau$ وSpearman $\rho$ ) عبر ستة معايسات، متفوقاً على مقاييس FR (PSNR, SSIM, LPIPS)، ومقاييس NR (ReMOVE, CFD)، والمقاييس الزمنية العالمية. والجدير بالذكر أن RC-S احتل المرتبة الأولى في خمسة من أصل ستة معايسات.
تحليل الحساسية:
- حساسية الضبابية: على عكس ReMOVE وCFD، اللذين غالباً ما تزداد درجاتهما مع زيادة شدة الضبابية، قام RC-S بخفض الدرجات بشكل تنازلي رتيب، مما أظهر مقاومة لتحيز "الضباب نظيف".
- الحساسية الزمنية: في اختبارات الحساسية التي تتضمن إسقاط إطارات عشوائية واستبدالها، أظهر RC-T تدهوراً تنازلياً رتيباً في الدرجات مع زيادة الفساد. في المقابل، ظل TC وTF غير حساسين إلى حد كبير أو حتى تحسنا، مما أكد عدم قدرتهم على اكتشاف العيوب الزمنية الموضعية.
دراسات الاستئصال (Ablation Studies): أثبت المؤلفون أن الجمع بين DINOv2 (للميزات الحساسة إدراكياً)، والنوافذ المنزلقة (للمحلية)، وMMD (للتفاوت التوزيعي) هو أمر بالغ الأهمية. إن إزالة أي مكون (مثل استخدام تشابه جيب التمام أو التجميع العالمي) يقلل بشكل كبير من الارتباط مع الحكم البشري.
صعوبة المعيار: كشفت التجارب على PROVE-M أن إدخال حركة كاميرا محاكية يسبب تدهوراً ثابتاً وكبيراً في الأداء عبر جميع النماذج الحديثة، مما يسلط الضوء على ضرورة التقييم المدرك للحركة.

5. الأهمية والادعاءات

تدعي الورقة أن PROVE يوفر أساساً أكثر موثوقية لتقييم فعالية وأنماط فشل طرق إزالة الأجسام. ومن خلال نقل نموذج التقييم من "الدقة تجاه مرجع واحد" إلى "التماسك الإدراكي مع السياق والزمن"، يعالج هذا الإطار عدم التطابق الجوهري بين المقاييس الحالية والطبيعة "متعددة الاحتمالات" للمهمة.

يصرح المؤلفون بأن عملهم يعمل كأساس عملي للمعايير القياسية، حيث يقدم إطار عمل موحداً تتكامل فيه مقاييس RC مع PROVE-Bench لدعم كل من المقارنة الكمية الصارمة (عبر PROVE-M) واختبار القدرة على التحمل تحت ظروف العالم الحقيقي غير المقيدة (عبر PROVE-H). الكود ومجموعات البيانات متاحة للجمهور لتسهيل اعتماد المجتمع العلمي لها.