Weblica: Scalable and Reproducible Training Environments for Visual Web Agents
تقدم الورقة البحثية "ويبليكا" (Weblica)، وهو إطار عمل يستفيد من التخزين المؤقت على مستوى بروتوكول HTTP والتركيب القائم على النماذج اللغوية الكبيرة لإنشاء بيئات ويب قابلة للتوسع وقابلة لإعادة الإنتاج، مما مكن من تدريب نموذج "ويبليكا-8B" الذي يتفوق على النماذج مفتوحة الأوزان الحالية في مهام الملاحة البصرية عبر الويب.
المؤلفون الأصليون:Oğuzhan Fatih Kar, Roman Bachmann, Yuanzheng Gong, Anders Boesen Lindbo Larsen, Afshin Dehghan
تخيل أنك تريد تعليم روبوت كيفية التنقل عبر الإنترنت للقيام بأمور مثل حجز رحلة طيران، أو شراء أحذية، أو ملء نموذج ما. الإنترنت مكان فوضوي ومتغير باستمرار؛ الأمر يشبه محاولة تعليم شخص ما السباحة عبر إلقائه في المحيط أثناء عاصفة، بينما المد والجزر يتغيران باستمرار وتتحطم أمواج جديدة في كل ثانية.
هذه هي المشكلة التي تحاول ورقة WEBLICA البحثية حلها. أدرك المؤلفون من شركة Apple أن تدريب وكلاء الذكاء الاصطناعي على الويب "المباشر" أمر فوضوي للغاية، وبطيء، وغير قابل للتنبؤ. بدلاً من ذلك، قاموا ببناء محاكي ضخم ومثالي يعمل دون اتصال بالإنترنت (offline) يسمى WEBLICA.
إليك كيف فعلوا ذلك، مقسماً إلى جزأين بسيطين:
1. "كاميرا السفر عبر الزمن" (التخزين المؤقت على مستوى HTTP)
تخيل أنك تلتقط صورة لصفحة ويب، ولكن بدلاً من مجرد صورة، أنت تلتقط المحادثة الكاملة بين جهاز الكمبيوتر الخاص بك والموقع الإلكتروني.
المشكلة: إذا حاولت إعادة تشغيل تلك المحادثة لاحقاً، فقد يقول الموقع: "انتظر، رمز الجلسة (session token) الخاص بك مختلف!" أو "الطابع الزمني خاطئ!" ويقوم بحظرك. هذا يشبه محاولة استخدام مفتاح قديم على باب تم تغيير قفله بالفعل.
الحل: بنى الفريق نظاماً ذكياً يعمل مثل "كاميرا السفر عبر الزمن". يقوم بتسجيل كل طلب واستجابة. ثم يستخدم كتاب قواعد لتجاهل الأجزاء التي تتغير في كل مرة (مثل الطوابع الزمنية أو أرقام الجلسات العشوائية) والاحتفاظ فقط بالأجزاء المستقرة.
النتيجة: يمكنهم إعادة تشغيل هذه المواقع المسجلة بشكل مثالي، مراراً وتكراراً، دون الحاجة أبداً للاتصال بالإنترنت الحقيقي. إنه يشبه امتلاك نسخة مجمدة ومثالية لموقع إلكتروني، لكنها لا تزال تسم تتيح لك النقر على الأزرام والكتابة في المربعات، تماماً مثل الموقع الحقيقي.
2. "مصنع ليغو اللانهائي" (التوليد القائم على النماذج اللغوية الكبيرة LLM)
أحياناً، لا يمكنك مجرد تسجيل موقع إلكتروني لأنه معقد للغاية أو غير موجود بعد.
المشكلة: المواقع الحقيقية محدودة. لا يمكنك بسهولة العثين على 10,000 نسخة مختلفة من صفحة "عربة التسوق" أو "حجز الرحلات" للتدرب عليها.
الحل: استخدموا مبرمجاً ذكياً للغاية (نموذج لغوي كبير - LLM) ليعمل كـ مصنع. أخبروا المصنع: "ابنِ لي موقعاً إلكترونياً لاستوديو يوغا يسمح بحجز الحصص"، أو "ابنِ موقعاً لوكالة سيارات حيث يمكن مقارنة الموديلات".
السحر: يقوم المبرمج الآلي ببناء هذه المواقع من الصفر باستخدام الكود، وينشئ صوراً وهمية، بل ويخترع المهام التي يجب عليك القيام بها فيها. إنه مثل مصنع ليغو يمكنه بناء مليون نسخة مختلفة من قلعة، أو سفينة فضاء، أو منزل في لحظات، وكلها تحتوي على أبواب ونوافذ تعمل، ليتدرب الروبوت على فتحها.
لماذا هذا مهم: "صالة التدريب الرياضية"
من خلال الجمع بين هاتين الطريقتين، أنشأ المؤلفون صالة تدريب ضخمة وآمنة للذكاء الاصطناعي الخاص بهم.
لا مزيد من العواصف: لن يضطروا للقلق بشأن تعطل الإنترنت الحقيقي، أو تغيره، أو حظر البوت الخاص بهم.
السرعة: لأن كل شيء يعمل محلياً ودون اتصال، يمكن للذكاء الاصطناعي التدرب بسرعة أكبر بآلاف المرات مما لو كان ينتظر تحميل المواقع الحقيقية.
النطاق: لقد دربوا ذكاءهم الاصطناعي على آلاف من هذه البيئات المتنوعة، الوهمية ولكن الواقعية.
النتائج: البطل "Weblica-8B"
قاموا بتدريب نموذج يسمى Weblica-8B في هذه الصالة الرياضية. وإليك ما حدث:
إنه أسرع وأذكى: عند اختباره على مواقع حقيقية، حل هذا النموذج المهام بشكل أفضل من النماذج مفتوحة المصدر الأخرى من نفس الحجم.
يستخدم خطوات أقل: استطاع حل المشكلات بعدد أقل من النقرات والمحاولات مقارنة بمنافسيه.
قابل للتوسع: إذا أعطيته وقتاً أطول للتفكير (زيادة "حوسبة وقت الاختبار" - test-time compute)، فإنه يصبح أفضل، ويكاد يقترب من أداء النماذج المملوكة والمكلفة (مثل نماذج OpenAI أو Google).
باختصار: تقول الورقة البحثية: "لا ترموا الروبوت في محيط الإنترنت الفوضوي ليتعلم. بدلاً من ذلك، ابنوا محاكياً مثالياً ولانهائياً يعمل دون اتصال، حيث يمكنه التدرب ملايين المرات دون أن يبتل". وقد نجح الأمر: تعلم الروبوت السباحة بشكل مذهل.
يواجه تطوير وكلاء الويب المرئيين المستقلين عقبة حرجة: عدم القدرة على توسيع نطاق بيانات التدريب والبيئات مع الحفاظ على قابلية التكرار. إن الويب بطبيعته معقد، ومفتوح النهايات، ومتطور باستمرار. تعاني الأساليب الحالية من قيود كبيرة:
المسارات غير المتصلة (Offline Trajectories): تفتقر الأساليب التي تعتمد على الضبط الدقيق الخاضع للإشراف (SFT) باستخدام مسارات بشرية أو مسارات مولدة بواسطة النماذج إلى الطبيعة التفاعلية المطلوبة للتعامل مع العشوائية في الويب.
البيئات المحاكية (Simulated Environments): تغطي البيئات المحاكية الحالية (مثل WebArena) عدداً محدوداً فقط من النطاقات المحددة يدوياً، مما يحد من القدرة على التعميم لتشمل تنوع الويب الحقيقي.
التدريب على الويب الحي (Live Web Training): التدريب مباشرة على المواقع الإلكترية الحية غير مستقر بسبب مهلات الانتظار (timeouts)، واكتشاف البوتات، وعدم القدرة على إجراء تجارب استئصال (ablations) محكومة أو ضمان ظروف تدريب قابلة للتكرار مع تغير المواقع بمرور الوقت.
التحدي المركزي هو كيفية توسيع نطاق بيئات الويب التفاعلية لالتقاط تنوع الويب دون التضحية بقابلية التكرار الضرورية للتدريب والتقييم الصارم.
المنهجية
يقترح المؤلفون WEBLICA (Web Replica)، وهو إطار عمل مصمم لبناء بيئات ويب قابلة للتكرار وقابلة للتوسع لتدريب وكلاء الويب المرئيين. يعمل إطار العمل من خلال آليتين متكاملتين لإنشاء بيئات تدريب غير متصلة متنوعة:
1. التخزين المؤقت على مستوى HTTP (Weblica-Cache)
تقوم هذه الآلية بالتقاط وإعادة تشغيل تفاعلات مواقع الويب الواقعية بدقة عالية.
التسجيل: باستخدام Playwright، يقوم النظام بتسجيل جلسات التصفح، والتقاط جميع طلبات واستجابات HTTP.
التعامل مع المعلمات المتطايرة (Volatile Parameters): الابتكار الرئيسي هو التحديد الآلي والمعالجة الطبيعية للمعلمات المتطايرة (مثل الطوابع الزمنية، ورموز الجلسات) التي تسبب فشل التخزين المؤقت أثناء إعادة التشغيل. يستخدم النظام خط معالجة يعتمد على القواعد لتصفية هذه المعلمات من الروابط (URLs)، والترويسات (headers)، وأجسام طلبات POST.
إعادة التشغيل (Replay): من خلال تجريد المعلمات المتطايرة، يتيح النظام إعادة تشغيل حتمية لتفاعلات الويب المعقدة والديناميكية تحت عزل شبكي كامل.
النطاق: بالاستفيد من مجموعة بيانات InstaV3، قام المؤلفون بمطابقة المهام مع البيئات المخزنة مؤقتاً، محتفظين بـ 15,600 بيئة ومهمة تم التحقق منها والمخزنة مؤقتاً.
2. تخليق البيئات القائم على النماذج اللغوية الكبيرة (Weblica-Synth)
لمعالجة قيود التخزين المؤقت (المقتصرة على النطاقات التي توجد لها تسجيلات مستقرة) ولتوليد قدرات تفاعلية محددة، يستخدم المؤلفون خط معالجة تلقائي للتخليق.
استخراج القدرات: يحلل النظام المسارات الناجحة والفاشلة لوكيل Qwen3-VL-32B لاستخراج 19,721 قدرة تفاعل ويب دقيقة، مجمعة في 144 مجموعة قدرات عالية المستوى (مثل تقديم النماذج، المصادقة، التصفية الديناميكية).
التوليد: باستخدام وكلاء البرمجة (Claude Code)، يقوم النظام بتوليد بيئات ويب ثابتة وذاتية الاحتواء (HTML، CSS، JavaScript) دون الاعتماد على أطر عمل خارجية.
المعلمات: يتم ضبط التوليد بناءً على مجموعة قدرات مستهدفة، وفئة موقع إلكتروني (مأخوذة من عينة من 1,160 نطاقاً مثل الخدمات المصرفية، السفر، إلخ)، ونمط بصري (مأخوذ من عينة من 961 خياراً).
الأصول (Assets): يتم توليد الأصول المرئية (الصور، اللافتات) باستخدام Z-Image-Turbo.
إدارة الحالة: بما أن البيئات ثابتة، يتم إدارة التفاعلات التي تتطلب حالة (مثل عربات التسوق) عبر JavaScript من خلال localStorage.
التحقق: تخضع المواقع المولدة لعملية تحقق ذاتي تكرارية عبر لقطات شاشة Playwright لضمان الوظائف وخلوها من مشاكل CSS.
النطاق: قام خط المعالجة بتوليد 2,500 موقع اصطناعي تغطي 44,227 مهمة للتدريب (Weblica-train) و250 موقعاً للتحقق (Weblica-val).
صياغة الوكيل والتدريب
الملاحظة والعمل: يعمل الوكيل بناءً على المدخلات المرئية فقط (لقطات شاشة بدقة 1280x720 + الرابط URL) ويتنبأ بالأفعال القائمة على الإحداثيات (النقر، التمرير) دون الاعتماد على هياكل DOM أو تراكبات "مجموعة العلامات" (set-of-marks)، والتي قد تضر بالقدرة على التعميم.
السياسة (Policy): تتبع السياسة إطار عمل من نوع ReAct، حيث ينتج نموذج لغة-رؤية (VLM) مسار استدلال قبل اختيار الإجراء.
خط أنابيب التدريب:
البداية الدافئة للضبط الدقيق (SFT Warm-Start): يتم إجراء ضبط دقيق للنموذج الأساسي (Qwen3-VL-Instruct) على 51.7 ألف مسار ناجح تم التحقق منه.
تدريب التعلم التعزيزي (RL): يخضع النموذج للتعلم التعزيزي باستخدام Dr. GRPO (تحسين السياسة النسبية للمجموعات).
آلية المكافأة: يقوم نموذج "LLM-as-Judge" (وهو GPT-4o) بتقييم نجاح المهمة بناءً على وصف المهمة، وتسلسل الإجراءات، ولقطات الشاشة الناتجة، مما يسمح بالتدريب على مهام مفتوحة النهاية تفتقر إلى التحقق البرمجي.
النتائج الرئيسية
قيم المؤلفون أفضل نموذج لديهم، WEBLICA-8B، مقابل النماذج مفتوحة الأوزان والوكلاء القائمين على واجهات برمجة التطبيقات (APIs) عبر عدة اختبارات مرجعية.
الأداء على الاختبارات المرجعية الحية: في اختبار Online-Mind2Web، حقق WEBLICA-8B نسبة 39.2% pass@1 خلال 30 خطوة فقط. وهذا يتفوق على النماذج مفتوحة الأوزان المماثلة في الحجم (مثل MolmoWeb-8B بنسبة 35.3% مع ≥100 خطوة) ويستخدم خطوات استدلال أقل بكثير.
توسع وقت الاختبار (Test-Time Scaling): يتوسع النموذج بشكل إيجابي مع زيادة الحوسبة. مع 240 خطوة إجمالية (pass@8)، وصل WEBLICA-8B إلى دقة 68.9%، مقترباً من أداء النماذج القائمة على واجهات برمجة التطبيقات مثل Gemini CUA (بنسبة 60.8% عند 100 خطوة).
المقارنة مع النماذج المرجعية:
تفوق WEBLICA-8B (30 خطوة) على النموذج الأساسي Qwen3-VL-8B بمقدار 10.8 نقطة مئوية في المتوسط عبر الاختبارات المرجعية الحية.
تجاوز أفضل نموذج مرجعي مفتوح الأوزان (MolmoWeb-8B) باستخدام 40% أقل من إجمالي الخطوات (60 خطوة مقابل ≥100 خطوة).
الحفاظ على الربط (Grounding Preservation): على الرغم من التدريب على بيانات بدون إشراف صريح للربط، حافظ WEBLICA-8B على الأداء أو حسنه قليلاً في اختبارات الربط بالواجهات (MMBench-GUI, ScreenSpot-v2, ScreenSpot-Pro) مقارنة بالنموذج الأساسي، مما يشير إلى أن المكاسب ناتجة عن تحسين سلوك التنقل وليس تدهور الربط المرئي.
دراسات الاستئصال (Ablation Studies):
تكوين البيئة: تفوقت البيئات الاصطناعية عموماً على البيئات المعتمدة على التخزين المؤقت فقط في الاختبارات المرجعية المعقدة مثل Online-Mind2Web وWebTailBench.
مراحل التدريب: وفر الجمع بين SFT وRL أفضل النتائج لجميع أحجام النماذج (2B, 4B, 8B)، حيث قدم RL مكاسب كبيرة مقارنة بـ SFT وحده.
الأهمية والادعاءات
يزعم البحث أن WEBLICA يوفر بديلاً قابلاً للتوسع وقابلاً للتكرار للتدريب على الويب الحي، مما يسد الفجوة بفعالية بين تنوع الويب الحقيقي والاستقرار المطلوب للتعلم التعزيزي واسع النطاق.
القابلية للتوسع: من خلال الجمع بين التخزين المؤقت لـ HTTP وتخليق النماذج اللغوية الكبيرة، ينشئ إطار العمل آلاف البيئات المتنوعة، متجاوزاً قيود النطاقات للبيئات المحاكية السابقة.
قابلية التكرار: يلغي إطار العمل مشكلات زمن الوصول في الشبكة، ومهلات الانتظار، واكتشاف البوتات، مما يسمح بتدريب وتقييم محكوم وحتمي.
الكفاءة: يوضح النهج أنه يمكن تدريب وكلاء ويب مرئيين عالي الأداء دون الاعتماد على عروض بشرية واسعة النطاق أو نماذج باهظة الثمن تعتمد على واجهات برمجة التطبيقات، محققاً نتائج تنافسية بعدد أقل بكثير من خطوات الاستدلال.
التعميم: تشير القدرة على التدريب على بيئات اصطناعية تلتقط مهارات التنقل الأساسية مع الحفاظ على الربط المرئي إلى مسار قابل للتطبيق نحو وكلاء عامين لاستخدام الكمبيوتر.
يقر المؤلفون بالقيود، مشيرين إلى أن البيئات المخزنة مؤقتاً هي لقطات ثابتة، وأن البيئات الاصطناعية قد لا تلتقط تماماً تعقيد التطبيقات الديناميكية في العالم الحقيقي (فجوة المحاكاة إلى الواقع/sim-to-real). كما أشاروا إلى التركيز الحالي على المهام ذات الخطوة الواحدة، بينما تتضمن الاستخدامات الواقعية غالباً جلسات متعددة الخطوات وتفاعلات بشرية في الحلقة.