💬 NLP

LiveWeb-IE: A Benchmark For Online Web Information Extraction

تقدم هذه الورقة LiveWeb-IE، وهو معيار مرجعي جديد لتقييم استخراج المعلومات من الويب على المواقع الإلكترونية الحية والمتطورة، وتقترح Visual Grounding Scraper (VGS)، وهو إطار عمل وكيل متعدد المراحل يحاكي الإدراك البصري البشري لاستخراج البيانات بمتانة من صفحات الويب الديناميكية.

المؤلفون الأصليون: Seungbin Yang, Jihwan Kim, Jaemin Choi, Dongjin Kim, Soyoung Yang, ChaeHun Park, Jaegul Choo

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Seungbin Yang, Jihwan Kim, Jaemin Choi, Dongjin Kim, Soyoung Yang, ChaeHun Park, Jaegul Choo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

🌐 المشكلة: "الصورة المجمدة" مقابل "البث المباشر"

تخيل أنك تحاول تعليم روبوت كيفية العثور على أشياء محددة في مكتبة.

الطريقة القديمة (المعايير المرجعية غير المتصلة - Offline Benchmarks):
في السابق، كان الباحثون يعلمون الروبوتات باستخدام صورة فوتوغرافية مجمدة لرف مكتبة تم التقاطها قبل خمس سنوات. كانوا يسألون الروبوت: "جد الكتاب الأحمر على الرف الثاني". تعلم الروبوت القواعد بدقة بناءً على تلك الصورة.

العقبة: في العالم الحقيقي، المكتبات فوضوية ومتغيرة باستمرار. الكتب تُنقل، والرفوف تُعاد ترتيبها، وتصل كتب جديدة. إذا أخذت نفس الروبوت إلى مكتبة حقيقية وحية اليوم، فسيصاب بالارتباك لأن "الكتاب الأحمر" قد يكون الآن على الرف الرابع، أو قد يبدو الرف مختلفاً تماماً. يفشل الروبوت لأنه تدرب على لقطة ثابتة، وليس على الواقع الحي والمتنفس.

الحل الجديد (LIVEWEB-IE):
تقدم هذه الورقة البحثية LIVEWEB-IE، وهو "ساحة تدريب" جديدة حيث يجب على الروبوتات العث صورة معلومات على مواقع ويب حية في الوقت الحالي. الأمر يشبه نقل الاختبار من صورة فوتوغرافية إلى بث فيديو مباشر. يجب على الروبوت التنقل في موقع ويب قد يكون قد غير تصميمه منذ بدء الاختبار.

🕵️‍♂️ الطريقة الجديدة: VGS (المحقق البصري)

قام المؤلفون أيضاً ببناء "دماغ روبوت" جديد يسمى VGS (كاشط التأسيس البصري - Visual Grounding Scraper). لفهم كيفية عمله، دعونا نقارنه بكيفية بحث الإنسان عن شيء محدد في غرفة فوضوية.

الروبوت القديم (المعتمد على HTML فقط):
حاولت الطرق القديمة قراءة موقع الويب كأنه دليل تعليمات ضخم ومربك مكتوب بلغة برمجية (HTML).

التشبيه: تخيل أنك تحاول العث/ التعرف على وجه صديقك في حشد من الناس عن طريق قراءة قائمة من 50 صفحة تتضمن طول كل شخص، ووزنه، ومقاس حذائه. هذا الأمر بطيء، ومربك، وإذا قام شخص واحد بتغيير قميصه، تصبح القائمة عديمة الفائدة.

روبوت VGS (التأسيس البصري - Visual Grounding):
يحاكي VGS الطريقة التي يبحث بها الإنسان فعلياً عن شيء ما. إنه يستخدم عملية تحقيق من أربع خطوات:

السؤال (تحديد الخصائص):
- الإنسان: "أنا أحتاج صورة القطة."
- VGS: يقوم بتفكيك الطلب. "حسناً، أنا أبحث عن صورة لقطة."
المسح (التأسيس البصري):
- الإنسان: بدلاً من قراءة الغرفة بأكملها، يلقي نظرة سريعة ويقول: "القطة بالتأكيد في غرفة المعيشة، وليس في المطبخ."
- VGS: ينظر إلى لقطة الشاشة (Screenshot) لصفحة الويب ويتجاهل الكود البرمجي. إنه يجد المنطقة (Region) المحددة حيث يُحتمل وجود صورة القطة. إنه يتجاهل بقية الضجيج الموجود في الصفحة.
التحديد الدقيق (تحديد العنصر):
- الإنسان: الآن بما أنك في غرفة المعيشة، فأنت تقترب أكثر. "آه، ها هي! إنها الصورة الموجودة على طاولة القهوة، وليست تلك الموجودة على الحائط."
- VGS: يضع "هدفاً" صغيراً حول الصورة الدقيقة التي يحتاجها، متجاهلاً الصور الأخرى القريبة.
الخريطة (توليد مسار XPath):
- الإنسان: ترسم خريطة لصديقك الروبوت: "اذهب إلى غرفة المعيشة، وانظر إلى طاولة القهوة، ثم خذ الصورة."
- VGS: يكتب مجموعة دقيقة من التعليمات (XPath) للحصول على تلك الصورة المحددة. ولأن استخدامه للخريطة البصرية أولاً، فإن هذه التعليمات أكثر دقة وأقل عرضة للتعطل إذا تغير موقع الويب قليلاً.

🏆 لماذا هذا مهم؟

اختبرت هذه الورقة البحثية هذا "المحقق البصري" (VGS) مقابل طرق أخرى في اختبار "موقع الويب الحي" الجديد (LIVEWEB-IE).

النتيجة: عانت الطرق القديمة (التي تقرأ دليل الكود) بشكل كبير، خاصة عندما كانت مواقع الويب معقدة أو تغيرت. لقد تاهت في وسط الضجيج.
الفائز: حقق VGS أداءً أفضل بكثير. فمن خلال النظر إلى الصورة المرئية أولاً لتضييق نطاق البحث، استطاع العثور على البيانات حتى عندما كان كود موقع الويب فوضوياً أو متغيراً.

📝 الخلاصة الكبرى

الإنترنت هو شيء حي ومتغير. لا يمكنك بناء أداة موثوقة لاستخراج البيانات من خلال النظر فقط إلى لقطات قديمة ومجمدة.

LIVEWEB-IE هو الاختبار الجديد والأكثر صعوبة الذي يجبر الروبوتات على التعامل مع الويب الحقيقي والمتغير.
VGS هو الاستراتيجية الجديدة التي تعلم الروبوتات "النظر قبل القفز"، باستخدام الإشارات البصرية للعثور على المعلومات تماماً كما يفعل البشر، بدلاً من الضياع في الكود البرمجي.

يمهد هذا البحث الطريق لأدوات أكثر ذكاءً وقوة لجمع المعلومات من الإنترنت تلقائياً دون أن تتعطل في كل مرة يتم فيها تحديث تصميم موقع الويب.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LIVEWEB-IE: معيار مرجعي لاستخراج المعلومات من الويب عبر الإنترنت".

1. بيان المشكلة

يهدف استخراج معلومات الويب (WIE) إلى استخراج البيانات المهيكلة من صفحات الويب تلقائياً. وبينما تم إحراز تقدم كبير، إلا أن نماذج التقييم الحالية تعاني من قصور حرج: فهي تعتمد على لقطات ثابتة لملفات HTML تم أخذها في نقطة زمنية واحدة.

الفجوة: مواقع الويب في الواقع ديناميكية؛ حيث تتطور تخطيطاتها وهياكل DOM الخاصة بها بمرور الوقت. والأنظمة التي يتم تدريبها أو تقييمها بناءً على لقطات ثابتة غالباً ما تفشل في التعميم على صفحات الويب الحية والمتطورة.
النتيجة: يظهر التحليل التجريبي في الورقة أن طرق توليد المظلات (wrappers) القائمة على النماذج اللغوية الكبيرة (LLM) تعاني من انخفاض في مقياس F1 بنسبة تزيد عن 15% في المتوسط عند تطبيقها على النسخ المتطورة هيكلياً من نفس مواقع الويب مقارنة بلقطاتها الثابتة.
القيود الحالية: تركز المعايير المرجعية الحالية (مثل SWDE وWEIR) على استخراج النصوص فقط من ملفات HTML المجمدة. وهي لا تأخذ في الاعتبار البيانات غير النصية (الصور، الروابط التشعبية) أو السياق البصري المطلوب للتنقل في التخطيطات المعقدة والمتغيرة.

2. المنهجية

تقدم الورقة مكونين أساسيين: معيار مرجعي جديد (LIVEWEB-IE) وإطار عمل استخراج مبتكر (VGS).

أ. المعيار المرجعي LIVEWEB-IE

تم تصميم LIVEWEB-IE لتقييم أنظمة استخراج معلومات الويب (WIE) مباشرة مقابل مواقع الويب الحية.

البناء: تم بناؤه من 15 موقع ويب حصلت على إذن للوصول إليها عبر 8 مجالات متنوعة (الأكاديمية، السيارات، الرياضة، المكتبات، الطعام، الكتب، التجارة الإلكترونية، أخرى).
استراتيجية الاستقرار: لضمان صحة الحقيقة الأرضية (ground truth) رغم تغير التخطيط، يقوم المعيار بتنظيم استعلامات لـ معلومات مستقرة واقعياً (مثل "نتائج نهائي كأس العالم 2022") والتي تظل ثابتة حتى مع تغير التخطيط البصري وهيكل DOM.
تعقيد المهام: تُصنف المهام إلى أربعة أنواع بناءً على عدد السمات (attributes) وتعدد القيم (cardinality):
- النوع الأول (Type I): سمة واحدة، قيمة واحدة.
- النوع الثاني (Type II): سمات متعددة، قيم مفردة.
- النوع الثالث (Type III): سمة واحدة، قائمة من القيم.
- النوع الرابع (Type IV): سمات متعددة، قوائم من القيم.
أنماط البيانات: على عكس المعايير السابقة المقتصرة على النصوص، يتضمن LIVEWEB-IE النصوص، الصور، والروابط التشعبية.
النطاق: 342 استعلاماً باللغة الطبيعية، 97 سمة فريدة، و46 مجموعة صفحات متميزة.

ب. إطار عمل كاشط التأسيس البصري (VGS)

لمعالجة فشل تحليل HTML وحده في المواقع الحية، يقترح المؤلفون VGS، وهو إطار عمل وكيل (agentic framework) متعدد المراحل يحاكي العمليات الإدراكية البشرية من خلال التضييق البصري للمحتوى. يعمل الإطار في أربع مراحل متسلسلة:

تحديد السمات: يقوم نموذج لغوي كبير (LLM) بتفكيك استعلام باللغة الطبيعية إلى مجموعة مهيكلة من السمات المستهدفة ( $\hat{A}$ ).
التأسيس البصري (Visual Grounding): يقوم نموذج لغة-رؤية (VLM) بتحليل لقطات شاشة لصفحة الويب المعروضة، مقسمة إلى مناطق رأسية. يحدد المنطقة ( $r'$ ) التي تحتوي على السمة المستهدفة، مما يؤدي فعلياً إلى تقليص مساحة الملاحظة وتجاهل ضجيج DOM غير ذي صلة.
تحديد العناصر (Element Pinpointing): داخل المنطقة المؤسسة، يستخدم الـ VLM تقنية ترقية "مجموعة العلامات" (Set-of-Mark - SoM) (وضع مربعات إحاطة مع معرفات ID فوق العناصر) لتحديد العناصر الدقيقة التي تقابل قيم السمات. يعالج هذا التعامل مع كل من العناصر النصية وغير النصية (على سبيل المثال، تحديد وسم <img> لسمة الصورة).
توليد مسار XPath: باستخدام أجزاء HTML الموضعية المحيطة بالعناصر المحددة والسياق البصري، يقوم الـ VLM بتوليد مسارات XPath قوية وقابلة للتعميم. تُستخدم هذه المسارات بعد ذلك لاستخراج البيانات من الصفحة الحية.

3. المساهمات الرئيسية

المعيار المرجعي LIVEWEB-IE: أول معيار مرجعي مصمم خصيصاً لتقييم استخراج معلومات الويب عبر الإنترنت. لقد نقل النموذج من اللقطات الثماثية إلى التقييم الحي، ويتميز بأنماط بيانات متنوعة (نص، صورة، رابط) ومستويات تعقيد متعددة الأبعاد.
إطار عمل VGS: نهج مبتكر قائم على التأسيس البصري يبتعد عن تحليل HTML الخام. من خلال محاكاة المسح البصري البشري (التأسيس $\leftarrow$ التحديد $\leftarrow$ التركيب)، يولد VGS مظلات (wrappers) قوية تجاه الانزياح الهيكلي.
تقييم شامل: تجارب واسعة تثبت تفوق VGS على النماذج المرجعية (baselines) مثل (CoT, Reflexion, AutoScraper) في كل من معيار LIVEWEB-IE الجديد والمعايير الحالية (SWDE, Expanded SWDE).

4. النتائج التجريبية

قام المؤلفون بتقييم VGS مقابل النماذج المرجعية (CoT, Reflexion, AutoScraper) باستخدام نماذج أساسية مختلفة (Gemini-2.5-Flash, GPT-4o, Qwen-2.5, Gemma-3).

الأداء على LIVEWEB-IE:
- تفوق VGS باستمرار على جميع النماذج المرجعية في جميع أنواع المهام.
- النوع الثالث والرابع (المهام المعقدة): كانت فجوة الأداء أكثر وضوحاً هنا. على سبيل المثال، باستخدام GPT-4o، تفوق VGS على AutoScraper بنسبة 36.28% (النوع الثالث) و 34.58% (النوع الرابع) في مقياس F1.
- الفجوة البشرية: رغم أن VGS هو أفضل طريقة مؤتمتة، إلا أنه لا يزال يتأخر عن الأداء البشري (أقل بنحو 38-48% في F1)، مما يسلط الض الضوء على صعوبة المهمة.
المتانة تجاه التطور الهيكلي:
- في دراسة مقارنة بين اللقطات الثابتة والصفحات الحية، عانت النماذج المرجعية من انخفاض متوسط في F1 قدره 15.14%، بينما انخفض VGS بنسبة 8.15% فقط، مما يثبت متانته الفائقة تجاه تغيرات التخطيط.
المعايير المرجعية الحالية: حقق VGS أيضاً نتائج هي الأفضل في فئتها (SOTA) في المعايير التقليدية مثل SWDE و Expanded SWDE، مما يؤكد أن التأسيس البصري مفيد حتى للبيانات الثابتة.
الكفاءة: بينما يمتلك VGS تأخراً (latency) أولياً أعلى في الصفحات البسيطة، فإنه يحافظ على أداء متفوق في الصفحات المعقدة والمزدحمة بالمحتوى، حيث تعاني النماذج المرجعية القائمة على HTML المتكررة من قيود طول السياق والضجيج.

5. الأهمية

تحول النموذج: تجادل الورقة بأن المجال يجب أن ينتقل من التقييم "دون اتصال" (القائم على اللقطات) إلى التقييم "عبر الإنترنت" (الحي) لبناء أنظمة استخراج معلومات ويب عملية حقاً.
ضرورة التأسيس البصري: تثبت الورقة أن الاعتماد فقط على هيكل HTML غير كافٍ لاستخراج بيانات الويب الحديثة. إن دمج السياق البصري (لقطات الشاشة) أمر بالغ الأهمية لتصفية الضجيج وتحديد الأهداف في التخطيطات المتطورة.
الاتجاه المستقبلي: من خلال توفير معيار مرجعي مليء بالتحديات، ومصدر أخلاقياً، ومتنوع، يضع LIVEWEB-IE معياراً جديداً لتطوير وتقييم وكلاء استخراج الويب القويين.

في الختام، يمثل LIVEWEB-IE و VGS خطوة مهمة للأمام في جعل استخراج معلومات الويب موثوقاً في مواجهة ديناميكية الويب المتأصلة، مما يسد الفجوة بين المعايوهات الأكاديمية والتطبيقات الواقعية.