WCXB: A Multi-Type Web Content Extraction Benchmark
تقدم هذه الورقة البحثية WCXB، وهو عبارة عن مجموعة بيانات مرجعية شاملة تضم 2,008 صفحة ويب عبر سبعة أنواع متميزة مع تعليقات توضيحية عالية الجودة، صُممت للتغلب على قيود المجموعات المرجعية الحالية التي تقتصر على المقالات فقط وكشف الفجوات الكبيرة في أداء أنظمة استخراج محتوى الويب الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمكتبة ضخمة وفوضوية حيث كل صفحة ويب هي كتاب. بعض الصفحات عبارة عن روايات نظيفة ومكتوبة جيداً (المقالات الإخبارية). والبعض الآخر عبارة عن لوحات إعلانات فوضوية مليئة بالملاحظات اللاصقة في كل مكان (المنتديات). أو كتالوجات تحتوي على ملصقات أسعار ومواصفات (المنتجات)، أو أدلة تعليمات تحتوي على أشرطة جانبية وكتل برمجية (التوثيق).
لسنوات، كان لدى الحواسيب التي تحاول قراءة هذه الصفحات نقطة عمياء رئيسية. لقد تم تدريبها لتكون ممتازة في قراءة "الروايات"، لكنها كانت سيئة جداً في فهم الكتالوجات الفوضوية أو لوحات الإعلانات. وغالباً ما كانت تقرأ ملصقات الأسعار، وأزرار "أضف إلى السلة"، أو تعليقات المستخدمين وكأنها القصة الرئيسية.
المشكلة: "اختبار الأخبار فقط"
يجادل المؤلف، موروه فولي (Murrough Foley)، بأن الاختبارات السابقة التي استُخدمت لقياس مدى قدرة الحواسيب على قراءة الويب كانت تشبه إعطاء اختبار قيادة للسائقين على طرق سريعة فارغة ومستقيمة فقط.
- الاختبارات القديمة: استخدمت مجموعات بيانات صغيرة (100-800 صفحة) كانت تتكون بالكامل تقريباً من المقالات الإخبارية.
- النتيجة: بدت الحواسيب وكأنها عباقرة خارقون، حيث سجلت درجات تقارب المثالية. لكن هذا كان مضللاً؛ فلم يخبرنا ذلك كيف ستتعامل مع بقية الإنترنت، المليء بالصفحات المعقدة والمنظمة مثل قوائم المنتجات أو المنتديات.
الحل: WCXB (اختبار القيادة "لكافة التضاريس")
يقدم فولي معياراً جديداً يسمى WCXB (معيار استخراج محتوى الويب). فكر في هذا كاختبار قيادة جديد وأكثر صعوبة، يتضمن الطرق السريعة، ولكن يتضمن أيضاً المسارات الوعرة والموحلة، وشوارع المدن المزدحمة، ومناطق البناء.
- مجموعة البيانات: تحتوي على 2,008 صفحة ويب من أكثر من 1,600 موقع إلكتروني مختلف.
- التنوع: بدلاً من الأخبار فقط، تغطي 7 "أنواع" متميزة من الصفحات:
- المقالات (القيادة السهلة على الطريق السريع).
- المنتديات (لوحات إعلانات فوضوية مع تعليقات المستخدمين).
- المنتجات (كتالوجات تحتوي على مواصفات وأسعار مخفية).
- المجموعات (شبكات من العناصر مع عوامل تصفية/فلترة).
- القوائم (بطاقات متكررة من الملخصات).
- التوثيق (أدلة تقنية تحتوي على أكواد برمجية).
- صفحات الخدمات (صفحات تسويقية ذات أقسام مبعثرة في كل مكان).
كيف صنعوا هذا المعيار (وصفة "المعيار الذهبي")
للتأكد من أن الإجابات صحيحة، لم يكتفوا بسؤال شخص واحد لتقييم الأوراق، بل استخدموا خط إنتاج مكون من خمس مراحل:
- مسودة الذكاء الاصطناعي: كتب ذكاء اصطناعي ذكي مسودة أولى لما يجب أن يكون عليه "المحتوى الرئيسي".
- الفحص الآلي: قامت برامج نصية (Scripts) بالتحقق من الأخطاء الواضحة.
- مراجعة الذكاء الاصطناعي: قام أربعة خبراء من الذكاء الاصطناعي بمراجعة العمل، حيث بحث كل منهم عن أنواع مختلفة من الأخطاء.
- فحص المقاطع: شغّلوا برامج نصية للتأكد من تضمين عبارات محددة مطلوبة واستبعاد عبارات "القمامة" المحددة (مثل الإعلانات).
- الخبير البشري النهائي: قام خبير بشري بمراجعة المنتج النهائي لحسم أي خلافات وضمان الجودة.
النتائج: "الأخبار" حُلّت، أما الباقي فمحطم
اختبر فولي 13 برنامجاً حاسوبياً مختلفاً (11 منها تستخدم قواعد قديمة، و2 تستخدم الذكاء الاصطناعي الحديث) مقابل هذا الاختبار الجديد. وإليكم ما وجدوه:
- المقالات الإخبارية: نجح الجميع بتفوق. سجلت أفضل البرامج دقة بنسبة 93%. ويخلص المؤلف إلى أن قراءة المقالات الإخبارية هي "مشكلة محلولة" بالفعل.
- بقية الويب: انخفضت الدرجات بشكل كبير.
- في المنتديات، كانت الفجوة بين أفضل وأسوأ البرامج كبيرة (فرق 27 نقطة).
- في صفحات المنتجات، حصل أفضل برنامج على حوالي 67% فقط، بينما عانت البرامج الأخرى مع البيانات المخفية.
- في المجموعات، كان أفضل نتيجة هي 71% فقط، بينما كانت الأسوأ 41%.
المفاجأة الكبرى: الذكاء الاصطناعي الأكبر ليس هو الحل السحري
يفترض الكثير من الناس أن نماذج الذكاء الاصطناعي الأحدث والأكبر (الأنظمة العصبية) ستكون تلقائياً أفضل في كل شيء.
- الواقع: لم تحل نماذج الذكاء الاصطناعي الكبيرة المشكلة. في الواقع، غالباً ما كان أداؤها أسوأ من البرامج البسيطة القائمة على القواعد في الصفحات غير الإخبارية.
- لماذا؟ لأن نماذج الذكاء الاصطناعي تم تدريبها في الغالب على المقالات الإخبارية، لذا فقد ورثت نفس التحيز. إنها بارعة في قراءة الروايات، لكنها لا تزال ترتبك أمام لوحات الإعلانات الفوضوية وكتالوجات المنتجات.
السرعة مقابل الذكاء
نظر البحث أيضاً في السرعة.
- البرامج القائمة على القواعد: سريعة كالبرق (أجزاء من الثانية لكل صفحة).
- برامج الذكاء الاصطناعي: بطيئة كالسلحفاة (آلاف الأجزاء من الثانية لكل صفحة)، وتتطلب بطاقات رسوميات (Graphics Cards) باهظة الثمن لتشغيلها.
الخلاصة
الإنترنت ليس مجرد مجموعة من القصص الإخبارية؛ إنه مزيج من العديد من الهياكل المختلفة. الاختبارات القديمة كانت تخدعنا لأنها اختبرتنا على الأخبار فقط. يكشف هذا المعيار الجديد (WCXB) أنه بينما تجيد الحواسيب قراءة الأخبار، إلا أنها لا تزال تكافح لفهم الأجزاء المعقدة والمنظمة والفوضوية من الويب. وللمضي قدماً، نحتاج إلى التوقف عن معاملة جميع صفحات الويب كما لو كانت مقالات إخبارية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.