ملخص تقني: توسيع نطاق الوكلاء لاستخدام الكمبيوتر عبر "قاضي السلوك" (Behavior Judge)

بيان المشكلة

تحمل وكلاء استخدام الكمبيوتر (CUAs) وعوداً كبيرة لأتمتة المهام الرقمية اليومية عبر أنظمة التشغيل المختلفة. ومع ذلك، لا تزال كفاءتها في حل المشكلات المعقدة طويلة المدى غير موثوقة. يكمن التحدي الجوهري ليس فقط في حل الخطوات الفردية، بل في الحفاظ على الصحة عبر عشرات أو مئات التفاعلات. تتراكم الأخطاء الصغيرة بمرور الوقت، وغالباً ما يكون التعليقات (feedback) متأخراً، كما يؤدي الضجيج البيئي (مثل تغيرات واجهة المستخدم أو زمن الاستجابة) إلى تباين عالٍ في النتائج.

بينما حاولت الأعمال السابقة توسيع نطاق الأداء ضمن مسار واحد (على سبيل المثال، Best-of-N خطوة بخطوة)، إلا أن هذه النهج حققت مكاسب محدودة في المهام طويلة المدى. هناك بديل وهو "التوسيع العريض" (wide scaling)—أي توليد مسارات متعددة بالتوازي واختيار الأفضل منها. ومع ذلك، يواجه هذا النهج عقبة أساسية: التقييم. مسارات الوكيل غنية بالمعلومات، ومتعددة الوسائط، وغالباً ما تحتمل حلولاً متعددة صحيحة. إن تحديد أي من المسارات طويلة المدى هو الصحيح بدقة أمر صعب لأن معظم التفاصيل لا علاقة لها بنجاح المهمة، كما أن التقييم الآلي المبرمج يعاني مع دقة مهام استخدام الكمبيوتر.

المنهجية: قاضي السلوك (BJudge)

لمعالجة عقبة التقييم وتمكين التوسيع العريض الفعال، قدم المؤلفون إطار عمل "قاضي السلوك" (BJudge). يقوم هذا الإطار بتحويل مسارات الوكيل الكثيفة والخام إلى تمثيلات موجزة وقابلة للتفسير لتسهيل الاختيار المنهجي بين المرشحين.

1. نموذج التوسيع العريض

على عكس التوسيع في المسار الواحد، يقوم BJudge بتوليد مسارات مرشحة ($\tau$) باستخدام مجموعة من السياسات الأساسية $\{\pi_m\}$. يمكن أن تشمل هذه السياسات نماذج مختلفة أو فك تشفير عشوائي (stochastic decoding) من نفس النموذج لضمان التنوع. الهدف هو اختيار المسار $\hat{\tau}$ الذي يعظم مكافأة المهمة $R(\tau, I)$.

2. توليد السرد السلوكي

المكون الرئيسي الأول هو مولد السرد السلوكي. بدلاً من تغذية لقطات الشاشة والإجراءات الخام مباشرة إلى القاضي، يقوم النظام بتحويل كل انتقال $(s_i, a_i, s_{i+1})$ إلى "سرد سلوكي" ($\phi_i$).

• استخراج الحقائق: يقوم نموذج لغوي بصري (VLM) بتحليل الحالة قبل وبعد الإجراء لاستخلاص حقائق تصف ما فعله الوكيل بالفعل وكيف أثر على البيئة.
• التعزيز البصري: لضمان الدقة، خاصة بالنسبة لتفاعلات المؤشر (النقر، السحب)، يقوم المولد بوضع علامات فوق لقطة الشاشة قبل الإجراء واستخراج قصاصات مكبرة من لقطة الشاشة بعد الإجراء. يساعد هذا في التحقق من التغيرات على مستوى البكسل ويقلل من الهلوسة فيما يتعلق بما إذا كان الإجراء قد نجح أم لا.
• بناء السرد: يتكون السرد النهائي $\tilde{\tau}$ من الحالة الأولية، وتسلسل الحقائق المستخلصة، والحالة النهائية. يقوم هذا بفلترة التفاصيل غير ذات الصلة مع الحفاظ على ملخصات (الإجراء-الأثر) المتعلقة بالمهمة.

3. مقيم السلوك المقارن

المكون الثاني هو مقيم السلوك المقارن. بدلاً من ترتيب المسارات بشكل مستقل، تقوم هذه الوحدة بإجراء مقارنة مباشرة للسرد السلوكي.

• الآلية: يتم توجيه مقيم (VLM) لمقارنة جميع السردات المرشحة في وقت واحد باستخدام تنسيق سؤال اختيار من متعدد (MCQ) في جولة واحدة.
• الميزة: يسمح هذا النهج للقاضي بالاستشهاد والمقارنة بين حقائق محددة بين المرشحين، مما يتيح اختياراً أكثر استنارة من التصنيف المستقل. وقد صُمم ليكون فعالاً في استهلاك الرموز (tokens) وأسرع من مقارنات البطولة متعددة الجولات.

4. الإطار الوكيلي المحسن (Agent S3)

لدعم BJudge، قدم المؤلفون Agent S3، وهو إطار عمل أساسي محسن مبني على Agent S2. وتشمل التغييرات الهيكلية الرئيسية ما يلي:

• السياسة المسطحة (Flat Policy): إزالة التخطيط الهرمي لصالح سياسة مسطحة يمكنها إعادة التخطيط في أي وقت بناءً على التعليمات الحالية والتاريخ، مستفيدة من قدرات الحفاظ على السياق القوية لنماذج التأسيس الحديثة.
• وكيل برمجي متكامل: تم دمج وكيل برمجي متخصص بشكل أصيل في مساحة إجراءات وكيل الواجهة الرسومية (GUI). يمكن استدعاؤه لإجراء تعديلات برمجية (مثل عمليات الملفات الجماعية، أو التحليل المهيكل) عندما يكون ذلك أكثر كفاءة من التلاعب المباشر بالواجهة الرسومية. وهو يعمل في حلقة داخلية محدودة مع بيئة افتراضية (VM) معزولة، ويوفر تغذية راجعة للتنفيذ لسياسة الواجهة الرسومية.

المساهمات الرئيسية

1. نموذج التوسيع العريض: يثبت البحث أن الاختيار الدقيق من مسارات متعددة متوازية يحسن بشكل كبير من المتانة والتغطية لوكلاء استخدام الكمبيوتر، بشرط وجود آلية اختيار فعالة.
2. إطار عمل قاضي السلوك (BJudge): نظام مبتكر يحول المسارات الكثيفة إلى سردات سلوكية موجزة ويستخدم التقييم المقارن لاختيار الحل الأمثل، مما يعالج عقبة التقييم في التوسيع العريض.
3. رقم قياسي جديد (SoTA): من خلال الجمع بين BJudge وإطار العمل الأساسي Agent S3، حقق المؤلفون رقماً قياسياً جديداً في اختبار OSWorld.
4. التعميم: تُظهر الطريقة قدرة قوية على التعميم الصفري (zero-shot generalization) لأنظمة تشغيل مختلفة (Windows و Android).

النتائج التجريبية

أداء OSWorld

على اختبار OSWorld (361 مهمة، حد 100 خطوة)، حققت الطريقة المقترحة نسبة نجاح قدرها 72.6%.

• يمثل هذا تحسناً مطلقاً بنسبة 9.2% عن الرقم القياسي السابق (63.4%).
• يتجاوز الأداء البشري المسجل البالغ 72.36%.
• باستخدام مجموعة (ensemble) من GPT-5 وOpus 4.5، يظهر النظام أن التوسيع الفعال يمكن أن يدفع قدرات الوكيل لتجاوز المعايير البشرية في هذه المهام.

الكفاءة والدراسة الاستقصائية (Ablation)

• كفاءة Agent S3: مقارنة بـ Agent S2 الهرمي، يقلل Agent S3 من استدعاءات LLM لكل مهمة بنسبة 52.3% ووقت إكمال المهمة بنسبة 62.4%، مع تحسين معدل النجاح بنسبة 13.8%.
• استقصاء التمثيل: تفوقت السردات السلوكية بشكل كبير على التمثيلات الأخرى. مقارنة بخط الأساس "لقطات الشاشة فقط" (56.0%) وخط الأساس "ملخص المسار" (55.0%)، حققت السردات السلوكية نسبة نجاح 60.2% (باستخدام GPT-5 Mini)، أي زيادة مطلقة بنسبة 3.4%.
• استراتيجية الاختيار: يتفوق BJudge على طرق التصنيف المستقلة المعدلة (مثل WebJudge) عبر ميزانيات المسارات المتفاوتة، مما يثبت أن التقييم المقارن ضروري للاختيار القابل للتوسع.

التعميم

• WindowsAgentArena: حقق BJudge (عند N=3) تحسناً بنسبة 6.4% عن خط الأساس Agent S3 (56.6% مقابل 50.2% عند 100 خطوة).
• AndroidWorld: حقق BJudge (عند N=3) تحسناً بنسبة 3.5% عن خط الأساس Agent S3 (71.6% مقابل 68.1%).

تجميع النماذج (Model Ensembling)

كشفت التجارب مع تجميع "خليط النماذج" أن التنوع هو المفتاح لتغطية المهام. حقق الجمع بين GPT-5 وClaude Opus 4.5 أعلى معدل نجاح (71.6%)، بينما حقق الخليط الأكثر تنوعاً (الذي يتضمن جميع النماذج المختبرة) أعلى تغطية للمهام (Pass@N) بنسبة 80.5%.

الأهمية والادعاءات

يزعم البحث أن العائق الرئيسي أمام توسيع نطاق وكلاء استخدام الكمبيوتر ليس توليد الحلول، بل تقييم واختيار تلك الحلول. ومن خلال تقديم "قاضي السلوك"، يوفر المؤلفون إطار عمل عملياً يجعل التوسيع العريض فعالاً.

يؤكد المؤلفون أن التوسيع الفعال يتطلب فهماً هيكلياً للمسارات واختياراً دقيقاً. إن مجرد توليد المزيد من المسارات دون آلية قوية للمقارنة يؤدي إلى عوائد متناقصة. يحل BJudge هذه المشكلة عن طريق تجريد المسارات الخام والمشوشة إلى سردات سلوكية عالية المستوى، مما يسمح للنظام بتحديد المسار الصحيح حتى في البيئات المعقدة وطويلة المدى.

تسلط النتائج الضوء على أنه مع الإطار الصحيح، يمكن لوكلاء استخدام الكمبيوتر ليس فقط مطابقة الأداء البشري، بل وتجاوزه في مهام أتمتة سطح المكتب المعقدة، مما يشير إلى مسار قابل للتطبيق نحو أتمتة سير العمل الرقمي الموثوق. ويشير البحث إلى أن هذه النتائج تعتمد على بيئات محكومة (أجهزة افتراضية) حيث يكون من الممكن إجراء مسارات مستقلة، مع الإقرار بأن النشر المباشر على أجهزة المستخدمين الحقيقية يفرض تحديات إضافية تتعلق بعزل الحالة (state isolation).