DiffSpot: Can VLMs Spot Fine-Grained Visual Differences in Web Interfaces?
تقدم هذه الورقة البحثية "DiffSpot"، وهو معيار قائم على الكود يوضح أن حتى نماذج الرؤية واللغة المتطورة تواجه صعوبة في اكتشاف الفروق البصرية دقيقة التفاصيل في واجهات الويب، حيث تحقق معدلات استدعاء منخفضة حتى في التغييرات البسيطة، وتُظهر أن صعوبة الاكتشاف تتباين بشكل كبير بناءً على خاصية CSS وليس بناءً على مقدار البكسل أو المسافة الدلالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صورتين متطابقتين تقريبًا لصفحة ويب. في إحدى الصورتين، يكون الزر باللون الأزرق؛ وفي الأخرى، هو أزرق فاتح قليلاً. أو ربياً يكون النص عريضاً (bold) أكثر بقليل جداً. بالنسبة للإنسان، قد يستغرق رصد هذا الأمر ثانية من التحديق بتركيز. ولكن بالنسبة للذكاء الاصطناعي (AI) الذي "يرى" الصور، فإن هذا يشبه محاولة العثم حبة رمل واحدة تغير لونها على شاطئ.
هذه الورقة البحثية، التي تحمل عنوان DiffSpot، تقدم اختباراً جديداً لمعرفة مدى جودة نماذج الذكاء الاصطناعي الحديثة في رصد هذه التغييرات الطفيفة والمحددة على مواقع الويب. إليك التفاصيل بتبسيط شديد:
1. المشكلة: الذكاء الاصطناعي بارع في الصورة الكبيرة، سيء في التفاصيل
نماذج الذكاء الاصطناعي الحالية (التي تسمى نماذج الرؤية واللغة أو VLMs) تشبه نقاد الفنون البارعين. يمكنهم النظر إلى صورة وإخبارك: "هذا يوم مشمس على الشاطئ مع عائلة تلعب". إنهم ممتازون في فهم القصة العامة.
ومع ذلك، هم يعانون مع "الخط الصغير". إذا سألتهم: "هل تغير لون ذلك الزر المحدد من الأزرق الداكن إلى الأزرق الفاتح؟"، فغالباً ما يفتقدون ذلك. قد يقولون: "لا، كل شيء يبدو كما هو"، أو قد يتوهمون تغييراً لم يحدث (مثل قولهم إن النص تغير بينما لم يتغير).
2. الحل: بناء لعبة "أوجد الاختلافات" بقواعد محددة
أراد الباحثون اختبار هذه القدرة، لكنهم لم يستطيعوا ببساطة طلب البحث عن الاختلافات من البشر على مواقع عشوائية. البشر لديهم انحياز؛ فهم يلاحظون الأشياء الكبيرة والواضحة لكنهم يفتقدون الأشياء الدقيقة. أيضاً، العثور على صفحتين ويب متطابقتين تماماً باستثناء تفصيل واحد صغير هو أمر شبه مستحيل على الإنترنت الحقيقي.
لذلك، قام الفريق ببناء DiffSpot، وهو مجموعة اختبار مصممة خصيصاً. فكر في الأمر كأنك مصمم مستويات في لعبة فيديو يقوم ببناء لغز "أوجد الاختلافات" المثالي من الصفر.
- كيف بنوه: بدلاً من التقاط لقطات شاشة والأمل في الحصول على نتيجة، بدأوا بالكود البرمجي (HTML/CSS) الذي يبني صفحة الويب.
- "الطفرة" (The Mutation): أخذوا قطعة من الكود، وغيروا فيها إعداداً واحداً صغيراً فقط (مثل جعل زر أخف بنسبة 5%)، ثم أعادوا توليد الصورة.
- "بوابة التحقق" (The Grounding Gate): هذه خطوة لضبط الجودة. أحياناً، تغيير سطر واحد من الكود قد يؤدي عن طريق الخطأ إلى إفساد تخطيط الصفحة بأكملها. استخدم الباحثون "بوابة رقمية" للتحقق: هل حدث التغيير بالضبط حيث أردنا ذلك، ولم يحدث في أي مكان آخر؟ إذا تسرب التغيير إلى أجزاء أخرى من الصفحة، كانوا يستبعدون حالة الاختبار تلك.
النتيجة هي مجموعة بيانات مكونة من 4,400 زوج من الصور. بعضها يحتوي على تغيير واحد صغير ومحدد (مثل جعل الخط عريضاً قليلاً)، وبعضها لا يحتوي على أي تغيير على الإطلاق.
3. الاختبار: وضع 13 نموذج ذكاء اصطناعي في التحدي
أخذوا 13 نموذجاً من أذكى نماذج الذكاء الاصطناعي المتاحة اليوم (بما في ذلك نماذج من Google وOpenAI وAnthropic وغيرها) وسألوهم أن ينظروا إلى هذه الأزواج ويذكروا الاختلافات. لم يعطوا الذكاء الاصطناعي أي تلميحات أو أمثلة؛ لقد كان "اختباراً أعمى".
النتائج: الذكاء الاصطناعي عانى
حتى أفضل نماذج الذكاء الاصطناعي فشلت في رصد غالبية التغييرات.
- الدرجة: النموذج الأفضل أداءً وجد حوالي 41% فقط من التغييرات الفعلية. هذا يعني أنه أضاع حوالي 6 من كل 10 تغييرات.
- الوضع الصعب (Hard Mode): عندما كانت التغييرات دقيقة جداً (مستوى "Hard")، أصبح أداء النماذج أسوأ، حيث وجدت أقل من 23% من التغييرات.
- مشكلة الهلوسة: كانت بعض النماذج متحمسة جداً لإيجاد فرق لدرجة أنها بدأت بتأليف أشياء. ادعت أن زراً غير لونه بينما لم يتغير. وبعضها كان حذراً للغاية لدرجة أنه قال "لا يوجد تغيير" حتى عندما كان هناك تغيير بالفعل.
4. الاكتشاف المفاجئ: الأمر يتعلق بـ "ماذا" تغير، وليس "أين"
توقع الباحثون أن الصعوبة ستعتمد على نوع الموقع الإلكتروني (على سبيل المثال، ربما مواقع التسوق أصعب من المواقع الإخبارية). لكنهم كانوا مخطئين.
- "ماذا" هو المهم: الصعوبة اعتمدت كلياً على الخاصية التي تغيرت.
- إذا كان على الذكاء الاصطناعي رصد تغيير في النص أو الموضع (تحريك عنصر ما)، فقد أبلى بلاءً حسناً.
- إذا كان عليه رصد تغيير في التدرجات اللونية (Gradients) أو ارتفاع السطر (المسافة بين أسطر النص)، فقد كان أداؤه سيئاً للغاية، حتى لو كان الفرق البصري كبيراً.
- "أين" ليس مهماً: لم يهم ما إذا كان التغيير على موقع تمويل أو مدونة سفر. قدرة الذكاء الاصطناعي على رصد التغيير كانت ثابتة عبر جميع المواضيع.
5. لماذا هذا مهم (وفقاً للورقة البحثية)
تخلص الورقة إلى أنه بينما يتحسن الذكاء الاصطناعي في فهم الصور بشكل عام، فإنه لا يزال "أعمى" عن التفاصيل الدقيقة والمحددة التي تشكل واجهة المستخدم.
- حجم البكسل ليس هو الحل: قد تعتقد: "إذا كان التغيير كبيراً بما يكفي، فسوف يراه الذكاء الاصطناعي". أظهرت الدراسة أن هذا ليس صحيحاً. حتى التغييرات الكبيرة في البكسلات في فئات معينة (مثل التدرجات اللونية) تم تجاهلها، بينما تم رصد تغييرات ضئيلة في فئات أخرى (مثل النصوص).
- "السحر" مفقود: الذكاء الاصطنا ليس مجرد فاشل في رؤية البكسلات؛ بل هو فاشل في فهم مفهوم التغيير (مثل: "هذا النص أصبح أكثر عُرضاً").
باختصار:
DiffSpot هو اختبار صارم لـ "أوجد الاختلافات" للذكاء الاصطناعي. إنه يكشف أن أذكى نماذج الذكاء الاصطناعي اليوم تشبه شخصاً يحاول قراءة قائمة طعام في غرفة مظلمة: يمكنه إخبارك أن هناك مطعماً، لكن لا يمكنه إخبارك بموثوقية ما إذا كان سعر الحساء قد تغير ببضعة سنتات. تثبت الورقة أنه لكي يتقن الذكاء الاصطناعي واجهات الويب حقاً، يجب أن يصبح أفضل بكثير في ملاحظة التفاصيل الصغيرة والمحددة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.