🤖 AI

WebForge: Breaking the Realism-Reproducibility-Scalability Trilemma in Browser Agent Benchmark

تقدم WebForge إطار عمل مؤتمتًا بالكامل يتكون من أربعة وكلاء، يحل معضلة (الواقعية-القابلية للتكرار-القابلية للتوسع) في تقييم وكلاء المتصفح عبر إنشاء معيار مرجعي قابل للتوسع وقابل للتكرار مع ضوابط صعوبة متعددة الأبعاد للكشف عن قدرات النماذج الدقيقة التي تتجاوز الدرجات الإجمالية.

المؤلفون الأصليون: Peng Yuan, Yuyang Yin, Yuxuan Cai, Zheng Wei

نُشر 2026-04-14

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Peng Yuan, Yuyang Yin, Yuxuan Cai, Zheng Wei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث WebForge، مترجم إلى لغة بسيطة وسهمة مع بعض التشبيهات الإبداعية.

المشكلة الكبرى: "الثالوث" في اختبار متصفحات الذكاء الاصطناعي

تخيل أنك تريد اختبار سيارة ذاتية القيادة جديدة. لديك ثلاثة خيارات لمكان الاختبار، ولكن لكل منها عيب قاتل:

الطريق السريع الحقيقي: تترك السيارة تقود في شوارع المدينة الفعلية.
- المزايا: إنها التجربة الواقعية تماماً.
- العيوب: الطريق يتغير كل يوم (أعمال بناء، لوحات إشارات جديدة)، لذا لا يمكنك تكرار الاختبار بدقة. كما أن اصطدام السيارة قد يكون مكلفاً وخطيراً.
موقف السيارات الفارغ: تبني مساراً مثالياً وثابتاً في مختبر.
- المزايا: يمكنك إجراء نفس الاختبار آلاف المرات.
- العيوب: إنه سهل للغاية. لا توجد حفر، ولا مشاة يعبرون فجأة، ولا أمطار مفاجئة. قد تبدو السيارة كأنها عبقرية هنا، لكنها قد تفشل فشلاً ذريعاً في العالم الحقيقي.
المسار اليدوي: توظف فريقاً من البشر لبناء مسار عقبات مخصص لكل اختبار.
- المزايا: يمكنك جعله تماماً كما تريد.
- العيوب: يستغرق الأمر وقتاً طويلاً ويكلف ثروة. لا يمكنك اختبار عدد كافٍ من السيارات لمعرفة من هو الأفضل حقاً.

"الثالوث": الاختبارات الحالية لمتصفحات الويب التي تعمل بالذكاء الاصطناعي (الوكلاء الذين يتصفحون الإنترنت نيابة عنك) عالقة في هذا الفخ. فهي إما غير واقعية (نظيفة جداً)، أو غير قابلة للتكرار (المواقع تتغير بسرعة كبيرة)، أو غير قابلة للتوسع (مكلفة للغاية في الإنشاء).

الحل: WebForge (مصنع ألعاب الفيديو)

بنى المؤلفون WebForge، وهو مصنع مؤتمت بالكامل يحل هذه المشكلة. بدلاً من اختبار الذكاء الاصطناعي على الإنترنت الحقيقي الفوضوي والمتغير، يقوم WebForge ببناء نسخة "لعبة فيديو" مثالية ومستقلة من الإنترنت لكل اختبار على حد.

فكر في WebForge كأنه طاقم بناء مكون من 4 أشخاص يبني موقعاً إلكترونياً صغيراً وتفاعلياً خصيصاً ليحل به "روبوت" لغزاً ما. إليك كيف يعمل هذا الطاقم:

1. المهندس المعماري (وكيل التخطيط - Plan Agent)

هذا الوكيل هو المدير. ينظر إلى مستوى الصعوبة (سهل، متوسط، صعب) وموضوع معين (مثل "حجز قاعة زفاف" أو "شراء كمبيوتر محمول"). ثم يضع مخططاً: "حسناً، يحتاج الروبوت للنقر 5 مرات، والنظر إلى رسم بياني، وحساب السعر الإجمالي. تأكد من أن المهمة صعبة ولكنها قابلة للحل".

2. البنّاء (وكيل التوليد - Generation Agent)

يأخذ هذا الوكيل المخطط ويقوم ببناء الموقع فعلياً.

السحر: هو لا يكتفي بتأليف نصوص وهمية؛ بل يجلب صوراً حقيقية، وأسعار منتجات حقيقية، وأنماط تصميم حقيقية من الإنترنت الفعلي لجعل الموقع يبدو أصلياً.
الفخ: يقوم بإخفاء الإجابة داخل صندوق مغلق (تشفير) حتى لا يتمكن الروبوت من التلصص على الكود للغش.

3. الواقعي (وكيل التحسين - Refinement Agent)

هذه هي الخطوة الأهم. قام "البنّاء" بصنع موقع "نظيف". يأتي "الواقعي" الآن ويعبث به لجعله واقعياً.

يضيف إعلاناً منبثقاً يقول "انتظر، هل تريد ملفات تعريف الارتباط (Cookies)؟".
يضيف محاكاة لاتصال إنترنت بطيء.
يضيف نافذة منبثقة "حدد موعداً للزيارة" تحجب الشاشة.
لماذا؟ المواقع الحقيقية مزعجة. إذا لم يستطع الذكاء الاصطناعي التعامل مع نافذة منبثقة، فهو ليس مستعداً للعالم الحقيقي.

4. المفتش (وكيل التحقق - Validation Agent)

قبل إصدار الاختبار، يعمل هذا الوكيل كـ "مختبر تجريبي" (Beta Tester). يحاول حل اللغز بنفسه باستخدام متصفح ويب حقيقي.

إذا كان الموقع معطلاً، يفشل المفتش.
إذا كانت الإجابة مستحيلة العثور عليها، يفشل المفتش.
فقط إذا نجح المفتش في حل اللغતર، تُضاف المهمة إلى الامتحان النهائي.

النتيجة: WebForge-Bench

باستخدام هذا المصنع، أنشأوا WebForge-Bench، وهو امتحان ضخم يحتوي على 934 مهمة مختلفة.

7 مجالات: مثل "التسوق"، "السفر"، "العمل المكتبي"، إلخ.
3 مستويات صعوبة: من "انقر على زر" إلى "حل مسألة رياضية معقدة مع تجاهل النوافذ المنبثقة".

ماذا تعلموا؟

اختبروا 14 نموذجاً مختلفاً من الذكاء الاصطناي (مثل GPT-5، Gemini، Claude) في هذا الامتحان الجديد ووجدوا بعض الأشياء المفاجئة:

"الدرجة الموحدة للجميع" هي كذبة:
إذا نظرت فقط إلى متوسط الدرجات، قد تعتقد أن اثنين من نماذج الذكاء الاصطناج متساويان. لكن عند النظر في التفاصيل، قد تجد أن أحدهما بارع في "التسوق" ولكنه سيء جداً في "العمل المكتبي". الأمر يشبه القول بأن شخصاً ما "جيد في الرياضة" دون إدراك أنه بطل في السباحة لكنه لا يستطيع الجري ميلاً واحداً.
المرئيات أهم مما تعتقد:
عندما نزعوا الصور (لقطات الشاشة) وأعطوا الذكاء الاصطناعي الكود النصي فقط، تراجع أداء الذكاء الاصطناج بنسبة 15-16%. وهذا يثبت أن "رؤية" الصفحة لا تقل أهمية عن "قراءة" الكود في مهام الويب.
الأشياء "الصعبة" هي بالفعل صعبة:
المهام السهلة (مثل إيجاد سعر) كانت سهلة للجميع. لكن المهام الأكثر صعوبة (مثل حجز رحلة طيران بقواعد معقدة ونوافذ منبثقة) هي التي فرقت بين العباقي والمبتدئين. أفضل ذكاء اصطناعي حصل على 58% في المهام الصعبة، بينما حصل الأسوأ على 2% فقط.

لماذا هذا مهم؟

WebForge هو تغيير لقواعد اللعبة لأنه يسمح للباحثين بـ:

الاختبار بعدالة: الجميع يحصل على نفس "مستوى اللعبة" تماماً.
الاختبار بواقعية: "الألعاب" تحتوي على نوافذ منبثقة وضجيج، تماماً مثل الإنترنت الحقيقي.
الاختبار بلا حدود: يمكنهم توليد آلاف الاختبارات الجديدة تلقائياً دون الحاجة لتوظيف بشر.

باختصار: توقف WebForge عن محاولة اختبار سائقي الذكاء الاصطناعي على طريق سريع متغير أو موقف سيارات مثالي. بدلاً من ذلك، بنى محاكياً واقعياً، وقابلاً للتكرار، وقابلاً للتوسع، لدرجة تجعلنا نعرف أخيراً أي ذكاء اصطناعي مستعد حقاً للقيادة في العالم الحقيقي.

1. بيان المشكلة: معضلة الثلاثية (The Trilemma)

يحدد المؤلفون قيداً جوهرياً في معايير قياس وكلاء المتصفح الحالية، يُطلق عليه اسم "المعضلة الثلاثية"، حيث لا يحقق أي معيار حالي الواقعية (Realism)، وقابلية التكرار (Reproducibility)، والقابلية للتوسع (Scalability) في آن واحد:

معايير المواقع الحقيقية (مثل Mind2Web، WebVoyager): واقعية عالية ولكنها تعاني من انزياح المحتوى (content drift) (تغير المواقع، مما يجعل المهام قديمة) وتفتقر إلى قابلية التكرار. كما أنها غالباً ما تعتمد على تنسيق يدوي مكلف.
معايير البيئات المتحكم بها (مثل WebArena، EntWorld): قابلية تكرار عالية وطبيعة ذاتية الاحتواء، لكنها "عقيمة". فهي تفتقر إلى ضجيج الويب الحقيقي (النوافذ المنبثقة، حوارات ملفات تعريف الارتباط، تأخيرات الشبكة) وتتطلب غالباً إعداداً يدوياً مكثفاً، مما يحد من قابليتها للتوسع.
محاولات التوليد الآلي (Automated Generation): الطرق المؤتمتة الموجودة (مثل BenchAgents، AutoBencher) إما تتعامل فقط مع المهام غير التفاعلية أو تفتقر إلى التعقيد اللازم لتوليد بيئات ويب تفاعلية كاملة مع تحكم متعدد الأبعاد في الصعوبة.

2. المنهجية: إطار عمل WebForge

يعد WebForge أول إطار عمل مؤتمت بالكامل مصمم لحل هذه المعضلة الثلاثية. وهو يستخدم مسار عمل مكون من أربعة وكلاء (four-agent pipeline) لتوليد بيئات ويب تفاعلية وذاتية الاحتواء من البداية إلى النهاية دون تدخل بشري في التوسيم.

أ. مسار الوكلاء الأربعة

وكيل التخطيط (Plan Agent):
- المدخلات: النطاق المستهدف ( $d$ ) ومستوى الصعوبة ( $l$ ).
- العملية: يستخدم نهج نموذج لغوي كبير (LLM) ثنائي المراحل.
  - المرحلة الأولى (المسودة): توليد بدرجة حرارة عالية ( $T=2.0$ ) لضمان تنوع إبداعي في المهام.
  - المرحلة الثانية (التحسين): توليد بدرجة حرارة منخفضة ( $T=1.0$ ) للتحقق من المنطق، وفحص القيود، وتعزيز الجودة.
- المخرجات: مخطط هيكلي للمهمة ( $\mathcal{P}$ ) يحتوي على متجه صعوبة سباعي الأبعاد ( $\delta \in \{1, 2, 3\}^7$ ).
وكيل التوليد (Generation Agent):
- المهمة: تجسيد المخطط في بيئة ويب قابلة للتشغيل ( $\mathcal{W}$ ).
- الآلية:
  - يجمع بيانات من العالم الحقيقي (صور، معلومات منتجات) من مواقع حية لضمان الأصالة.
  - يبني صفحات HTML/CSS/JS ثابتة مع إدارة الحالة (باستخدام localStorage) لمحاكاة التفاعلات الديناميكية (مثل عربات التسوق).
  - يطبق آليات منع الغش (anti-cheating mechanisms): تخزين بيانات مشفر، رموز خطأ مضللة، وتعمية الكود (code obfuscation) لمنع الوكلاء من تجاوز سير العمل.
وكيل التحسين (Refinement Agent):
- المهمة: تعزيز البيئة المولدة ( $\mathcal{W} \to \mathcal{W}^*$ ) عبر ضمان الجودة القائم على القواعد.
- الإجراء الرئيسي: حقن ضجيج الويب الحقيقي (إعلانات منبثقة، لافتات الموافقة على ملفات تعريف الارتباط، تأخيرات شبكة عشوائية) لسد الفجوة بين البيئات الافتراضية "النظيفة" والويب الحقيقي.
- الإصلاحات: يعالج الروابط المعطلة، ويستبدل حوارات alert() التي تعيق العمل بأخطاء DOM داخلية، ويضمن أن جميع مسارات التنقل تعمل بشكل صحيح.
وكيل التحقق (Validation Agent):
- المهمة: التحقق من قابلية الحل ضمن عدد محدد من الخطوات (50 خطوة).
- الآلية: يعمل في نفس محرك متصفح Chromium المستخدم في التقييم. يقوم بإعادة تشغيل مسار الحل خطوة بخطوة (حلقة: ملاحظة-تفكير-فعل).
- المعايير: يتحقق من مطابقة الحقيقة الأرضية (ground-truth)، وعيوب منطق الاستدلال، وفشل الإجراءات المتكررة. فقط المهام التي تجتاز هذا الفحص تدخل في المعيار النهائي.

ب. التحكم في الصعوبة سباعي الأبعاد

يقدم WebForge إطار عمل دقيق للصعوبة حيث تُعرف المهام من خلال سبعة أبعاد متعامدة، كل منها مضبوط على مستويات 1 (سهل)، 2 (متوسط)، أو 3 (صعب):

عمق القفز (Jump Depth): عدد انتقالات الصفحات.
عرض القفز (Jump Breadth): عدد الخيارات/الروابط التي يجب تقييمها في صفحة واحدة.
التفاعل مع الصفحة (Page Interaction): تعقيد النماذج، النوافذ المنبثقة، والأزرار.
التعقيد البصري (Visual Complexity): الاعتماد على الاستدلال البصري (مخططات، صور) مقابل النص/DOM.
تعقيد المعلومات (Info Complexity): حجم وكثافة المعلومات التي يجب معالجتها.
الاستدلال/الحساب (Reasoning/Calc): تعقيد الاستدلال متعدد الخطوات والحسابات.
عامل المخاطرة (Risk Factor): وجود عمليات غير قابلة للتراجع (مثل عمليات الشراء) وآليات التحذير.

3. المساهمات الرئيسية

إطار عمل WebForge: مسار عمل مؤتمت بالكامل يولد معايير قياس للمتصفح واقعية، قابلة للتكرار، وقابلة للتوسع دون أي توسيم بشري.
WebForge-Bench: معيار جديد يتكون من 934 مهمة عبر 7 نطاقات (مثل المعاملات الاستهلاكية، مراقبة المحتوى، العمليات المؤسسية) و 3 مستويات صعوبة.
التقييم متعدد الأبعاد: التحول من الدرجات الإجمالية إلى نظام توصيف سباعي الأبعاد، مما يسمح بتشخيص دقيق لقدرات الوكيل.
حقن ضجيج الويب الحقيقي: أول معيار يقوم بشكل منهجي بحقن الاضطرابات الواقعية (النوافذ المنبثقة، ملفات تعريف الارتباط) في البيئات المؤتمتة.

4. النتائج التجريبية

قام المؤلفون بتقييم 14 نموذجاً (مغلقة المصدر ومفتوحة المصدر، متعددة الوسائط ونصية فقط) على WebForge-Bench.

تصنيف الصعوبة: نجح نظام الصعوبة ثلاثي المستويات في فصل قدرات النماذج.
- المستوى 1: تحقق معظم النماذج نسبة $\ge 73\%$ .
- المستوى 3: يتميز بقدرة تمييزية عالية، مع فجوة قدرها 56 نقطة بين أقوى نموذج (Gemini-3-Pro بنسبة 58.0%) وأضعف نموذج (Qwen3-Omni-30B بنسبة 2.4%).
الانحيازات عبر النطاقات: تخفي الدرجات الإجمالية تباينات كبيرة في الأداء.
- أسهل النطاقات: استرجاع المعلومات (D4) وإنشاء المحتوى (D7) (~57% متوسط).
- أصعب النطاقات: المعاملات الاستهلاكية (D1) ومراقبة المحتوى (D2) (~48% متوسط).
- الاستنتاج: تعاني النماذج مع سير العمل المعقد المرتبط بالحالة (D1) والقرار القائم على السياسات (D2)، مما يكشف عن انحيازات لا تظهر في المعايير أحادية النطاق.
تأثير المدخلات البصرية: يؤدي إزالة لقطات الشاشة (وضع النص فقط) إلى انخفاض مستمر في الدقة بنسبة 14-16%، مما يؤكد أن مهام WebForge تتطلب حقاً فهماً بصرياً. وتتسع هذه الفجوة مع زيادة الصعوبة (تصل إلى 20%+ عند المستوى 3).
كفاءة المسار: يحقق المسار الكامل معدل نجاح قدره 74.1%. وتظهر دراسات الاستئصال (Ablation studies) أن إزالة مرحلة التحسين لوكيل التخطيط تخفض معدل النجاح إلى 59.5%، وإزالة وكيل التحسين تخفضه إلى 51.4%، مما يثبت ضرورة كل مرحلة.

5. الأهمية والخاتمة

حل المعضلة الثلاثية: نجح WebForge في فصل الواقعية عن التنسيق اليدوي وانزياح المحتوى، مما يوفر أساساً قابلاً للتوسع لتطور معايير القياس المستمر.
القيمة التشخيصية: يكشف النهج متعدد الأبعاد عن فجوات قدرات محددة (مثل الاستدلال البصري مقابل التخطيط المنطقي) التي تحجبها المقاييس الإجمالية، مما يوفر توجيهاً أفضل لتطوير النماذج.
التأثير المستقبلي: تم تصميم الإطار ليس فقط للتقييم، بل يمكن توسيعه لتوليد بيانات تدريب عالية الجودة لوكلاء المتصفح، مما يعالج مشكلة ندرة البيانات في هذا المجال.
القابلية للنقل: على الرغم من كونه مولداً آلياً، إلا أن المعيار يظهر ارتباطاً قوياً مع ترتيبات الأداء في العالم الحقيقي (على سبيل المثال، Gemini-3-Pro > Claude-4.5-Sonnet > GPT-5)، مما يثق من "نقل القدرات من المحاكاة إلى الواقع" (sim-to-real).

باختاً، يمثل WebForge تحولاً جذرياً في تقييم الوكلاء، من الانتقال من المعايير الثابتة التي يتم تنسيقها يدوياً أو عرضة للانزياح، إلى منظومة ديناميكية ومؤتمتة ومتعددة الأبعاد تعكس بدقة تعقيدات الويب الحديث.