🤖 machine learning

OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents

تقدم هذه الورقة OSWorld-Human، وهو معيار مرجعي مُعلق يدوياً يكشف أن وكلاء استخدام الكمبيوتر الحاليين يعانون من زمن انتقال وكفاءة باهظين، ويرجع ذلك أساساً إلى كثرة استدعاءات النماذج للتخطيط والتفكير، مما يؤدي إلى استغراقهم في تنفيذ المهام عدداً من الخطوات يزيد بمقدار 2.7 إلى 4.3 مرة عن البشر.

المؤلفون الأصليون: Reyna Abhyankar, Qi Qi, Yiying Zhang

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Reyna Abhyankar, Qi Qi, Yiying Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك وظفت مساعدًا شخصيًا ذكيًا جدًا، ولكنه بطيء للغاية، للقيام بمهمة بسيطة على جهاز الكمبيوتر الخاص بك، مثل تغيير حجم الخط في مستند. تتوقع أن يستغرق الأمر 30 ثانية، ولكن بدلاً من ذلك، يستغرق مساعدك 12 دقيقة. لماذا؟

تبحث هذه الورقة البحثية، OSWorld-Human، في هذا المشكل تحديدًا. فهي تدرس "وكلاء استخدام الكمبيوتر" (برامج الذكاء الاصطناي التي تتحكم في الماوس ولوحة المفاتيح الخاصة بك) وتتساءل: "لماذا هم بطيئون جدًا، وكيف يمكننا جعلهم أسرع؟"

إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة.

1. المشكلة: المساعد "المُفرط في التفكير"

وجد الباحثون أنه بينما يتحسن هؤلاء الوكلاء من حيث إنجاز المهمة (الدقة)، إلا أنهم سيئون جدًا في مدى سرعة القيام بها (الكفاءة).

الإنسان مقابل الروبوت: يمكن لخبير بشري تغيير تباعد الأسطر في مستند في أقل من 30 ثانية. أما وكيل الذكاء الاصطناعي فيستغرق 12 دقيقة.
عنق الزجاجة: التأخير ليس بسبب نقر الذكاء الاصطناعي للماوس ببطء، بل لأن الذكاء الاصطناعي يتوقف ليفكر باستمرار.
- التشبيه: تخيل أنك تقود سيارتك إلى متجر البقالة. السائق البشري يقود فحسب. أما سائق الذكاء الاصطنا هذا فيتوقف عند كل تقاطع ليتصل بمستشار فائق الذكاء عبر الهاتف ليسأله: "هل هذا هو المنعطف الصحيح؟ هل يجب أن أنعطف يسارًا؟ هل انعطفت يسارًا بشكل صحيح؟ ماذا عن المنعطف التالي؟"
- الواقع: يقوم الذكاء الاصطناعي بالاتصال بـ "عقل" ضخم (نموذج لغوي كبير - LLM) لـ يخطط للخطوة التالية، و يُقيّم ما إذا كانت الخطوة قد نجحت، و يتأمل فيما حدث. هذه المكالمات تستغرق معظم الوقت. في الواقع، تستغرق خطوات "التخطيط" و"التقييم" وحدها حوالي 75% إلى 96% من إجمالي الوقت!

2. التحقيق: تفكيك الخطوات

راقب الباحثون اثنين من وكلاء الذكاء الاصطناعي الشهيرين (Agent S2 و GTA1) وهما يحاولان حل 39 مهمة مختلفة على الكمبيوتر. وقاما بتفكيك كل ثانية من العملية.

ضريبة "التفكير": في كل مرة يتخذ فيها الذكاء الاصطناي خطوة، يتعين عليه إرسال رسالة ضخمة إلى عقله. ومع تقدم المهمة، تصبح الرسالة أكبر لأنها يجب أن تتضمن تاريخ كل ما فعله من قبل.
- التشبيه: الأمر يشبه كتابة مذكرات يومية. في اليوم الأول، تكتب جملة واحدة. في اليوم الخمسين، يتعين عليك إعادة كتابة الكتاب بأكمله من اليوم الأول لمجرد إضافة جملة جديدة واحدة. وهذا يجعل الخطوات المتأخرة تستغرق 3 أضعاف وقت الخطوات الأولى.
حلقة "المنعطف الخاطئ": أحيانًا يعرف الذكاء الاصطناعي ماذا يفعل (مثل "انقر على زر الفتح")، لكنه لا يستطيع العثور على أين ينقر على الشاشة. ينقر في المكان الخطأ، ويدرك أنه أخطأ، ثم يحاول مرة أخرى.
- التكلفة: يحدث هذا "التعثر" كثيرًا. في إحدى الحالات، حاول الذكاء الاصطناعي فتح مجلد وعلق في حلقة مفرغة لمدة 27 دقيقة، مما أدى إلى إهدار 8.47 دولار من تكاليف الحوسبة، لمجرد أنه لم يستطع العثور على المكان الصحيح على الشاشة.

3. الحل: "المعيار البشري" (OSWorld-Human)

لإثبات مدى عدم كفاءة هؤلاء الروبوتات، أنشأ الباحثون معيارًا جديدًا يسمى OSWorld-Human.

ما هو؟ قاموا يدويًا بمراجعة جميع المهام الـ 369 وكتبوا أقصر وأكثر مسار منطقي قد يسلكه البشر لإتمامها.
خدعة "التجميع": لاحظوا أن البشر غالبًا ما يقومون بعدة أشياء في حركة واحدة دون توقف للتفكير.
- التشبيه: يرى الإنسان مربع نص، ويكتب اسمًا، ثم يضغط "Enter" في حركة واحدة سلسة. أما الذكاء الاصطناعي، فيتوقف بعد رؤية المربع ليخطط للكتابة، ثم يتوقف مرة أخرى ليخطط للضغط على "Enter"، ثم يستدعي عقله مرة أخرى.
- النتيجة: وجد الباحثون أن العديد من الإجراءات يمكن "تجميعها" معًا. إذا استطاع الذكاء الاصطناعي القيام بثلاث نقرات في "فكرة" واحدة، فسيتمكن من توفير كميات هائلة من الوقت.

4. الحكم: الروبوتات تهدر الخطوات

اختبر الباحثون 16 وكيلًا مختلفًا من وكلاء الذكاء الاصطناي مقابل "المعيار البشري" الجديد الخاص بهم.

النتيجة: حتى أفضل وكلاء الذكاء الاصطناعي استغرقوا 2.7 إلى 4.3 ضعف عدد الخطوات التي احتاج إليها البشر لإنهاء المهمة نفسها.
الدرجة: أنشأوا درجة جديدة تسمى درجة الكفاءة الموزونة (WES).
- إذا أنجز الذكاء الاصطناعي المهمة ولكنه استغرق 4 أضعاف الوقت اللازم، فإن درجته تنخفض بشكل حاد.
- أفضل ذكاء اصطناعي في قائمة المتصدرين، والذي بدا رائعًا في الاختبارات القديمة، سجل فقط 15.6% في اختبار الكفاءة الجديد هذا. وهذا يعني أنه يقوم بالكثير من العمل غير الضروري.

الملخص

تخلص الورقة البحثية إلى أن وكلاء الكمبيوتر الحاليين من الذكاء الاصطناعي يشبهون الطلاب الأذكياء ولكن المتعثرين. فهم يعرفون الإجابة، لكنهم يقضون الكثير من الوقت في رفع أيديهم، وانتظار المعلم، وإعادة قراءة ملاحظاتهم لدرجة أنهم لا ينهون الاختبار في الوقت المحدد أبدًا.

ولإصلاح ذلك، تقترح الورقة ثلاثة أمور رئيسية:

التوقف عن الإفراط في التفكير: تقليل عدد المرات التي يستدعي فيها الذكاء الاصطناي "عقله" للتخطيط والتقييم.
تجميع الإجراءات: السماح للذكاء الاصطناعي بالقيام بعدة خطوات (مثل الكتابة والضغط على Enter) في فكرة واحدة.
التحسن في العثور على الأشياء: تحسين قدرة الذكاء الاصطناي على رؤية المكان الدقيق للنقر حتى لا يعلق في حلقات مفرغة.

الهدف ليس فقط جعل الذكاء الاصطناعي أذكى، بل جعله أسرع وأكثر عملية للاستخدام في العالم الحقيقي.

ملخص تقني: OSWorld-Human: قياس كفاءة وكلاء استخدام الحاسوب

1. بيان المشكلة

بينما أظهرت وكلاء استخدام الحاسوب (CUAs) المدفوعة بالذكاء الاصطناዊ التوليدي دقة متزايدة في اختبارات مثل OSWorld، إلا أنها تعاني من عقبة حرجة: التأخير الشديد من البداية إلى النهاية (end-to-end latency). تتطلب الأنظمة المتطورة غالبًا عشرات الدقائق لإكمال مهام يمكن للخبراء البشر إنهاؤها في ثوانٍ أو دقائق. هذا التفاوت يجعل الوكلاء الحاليين غير قابلين للاستخدام العملي في سير العمل التفاعلي أو الحساس للوقت. ركزت الأبحاث السابقة بشكل أساساً على تحسين معدلات نجاح المهام، متجاهلة إلى حد كبير الكفاءة الزمنية المطلوبة للنشر في العالم الحقيقي. هناك نقص في الفهم المنهجي لمصدر هذا التأخير (على سبيل المثال، خطوات معينة للوكيل، أو استدعاءات النموذج) وعدد الخطوات الضرورية حقاً مقارنة بالتنفيذ البشري.

2. المنهجية

أجرى المؤلفون أول دراسة منهجية حول الأداء الزمني لوكلاء استخدام الحاسوب باستخدام معيار OSWorld، والذي يغطي 369 مهمة عبر 9 تطبيقات (مثل Chromium وGIMP وLibreOffice وVS Code) على أنظمة Ubuntu وWindows وMacOS.

2.1 تحليل التأخير والخطوات

أجرت الدراسة تحليلاً مفصلاً لمسارات الوكيل باستخدام إطارين عمل مفتوحي المصدر رائدين: Agent S2 وGTA1.

القياس (Instrumentation): قام المؤلفون بتوصيف خطوات محددة تشمل استرجاع المعلومات، تخطيط الخطوة، تحديد موقع الخطوة (إيجاد الإحداثيات)، تنفيذ الإجراء، التقاط لقطة الشاشة، التحكيم، والتفكير (reflection).
تكوين النموذج: استخدم Agent S2 نموذج GPT-4.1 للتخطيط والتفكير، مع UI-TARS-7B-DPO لتحديد الموقع. واستخدم GTA1 نموذج o3 للتخطيط والتحكيم، مع GTA1-7B لتحديد الموقع.
أنماط الملاحظة: حللت الدراسة تأثير مدخلات الإدراك المختلفة: لقطات الشاشة الخام، أشجار إمكانية الوصول (A11y trees)، ومجموعة العلامات (Set-of-Marks - SoM).
تحليل التكلفة والفشل: حلل المؤلفون عدد الرموز (tokens)، التكاليف المالية، وأنماط الفشل (تحديداً أخطاء تحديد الموقع التي تؤدي إلى حلقات تكرارية) لنموذج GTA1.

2.2 بناء OSWorld-Human

لإنشاء حقيقة مرجعية للكفاءة، قام المؤلفون ببناء OSWorld-Human، وهو مجموعة بيانات مشروحة يدوياً تحتوي على:

المسارات البشرية الدنيا: بالنسبة لجميع مهام OSWorld الـ 369، حدد المراجعون البشريون الحد الأدنى من الخطوات المطلوبة لإكمال المهمة بنجاح بناءً على مصادر موثقة للحقيقة المرجعية.
تجميع الإجراءات (Action Grouping): تتضمن مجموعة البيانات مسارات "الإجراءات المجمعة" حيث يتم دمج عدة إجراءات متتالية (مثل النقر، الكتابة، الضغط على Enter) والتي يمكن تنفيذها من ملاحظة بصرية واحدة في خطوة واحدة. وهذا يحدد فرص تقليل استدعاءات النماذج اللغوية الكبيرة (LLMs).

2.3 مقياس التقييم: درجة الكفاءة الموزونة (WES)

اقترح المؤلفون مقياساً جديداً هو درجة الكفاءة الموزونة (WES) لتقييم الوكلاء مقابل المسارات البشرية.

الصيغة: $WES = WES^+ \cdot (1 - \frac{\bar{t}_{fail}}{S})$ $W E S = W E S^{+} \cdot (1 - \frac{t ˉ _{f ai l}}{S})$
- $WES^+$ : متوسط نسبة الخطوات البشرية إلى خطوات الوكيل للمهام الناجحة ( $t_{human} / t_{agent}$ ).
- مضاعف العقوبة: يعاقب الوكلاء الذين يفشلون في المهام بعد استهلاك جزء كبير من ميزانية الخطوات الخاصة بهم ( $\bar{t}_{fail}$ هو متوسط الخطوات المتخذة في المهام الفاشلة؛ $S$ هو الحد الأقصى للخطوات المسموح بها).
الغرض: يكافئ هذا المقياس الوكلاء الذين ينجحون بخطوات أقل ويعاقب أولئك الذين يفشلون بشكل غير فعال، مما يوفر رؤية شاملة للدقة والكفاءة الزمنية.

3. النتائج الرئيسية

3.1 مصادر التأخير

استدعاءات النماذج اللغوية الكبيرة (LLM Calls) هي العائق: تمثل استدعاءات النماذج الكبيرة للتخطيط والتفكير والتحكيم الغالبية العظمى من زمن تنفيذ المهمة.
- في Agent S2، يمثل التخطيط والتفكير ما بين 76% إلى 96% من إجمالي زمن المهمة.
- في GTA1، يمثل التخطيط والتحكيم ما بين 91% إلى 96% من إجمالي زمن المهمة.
التأخير المعتمد على الخطوات: كلما اتخذ الوكيل المزيد من الخطوات لإكمال مهمة ما، زاد تأخير كل خطوة تالية. ويرجع ذلك إلى آلية "تراكم التاريخ" حيث تتضمن المطالبات (prompts) جميع الخطوات السابقة، مما يؤدي إلى نوافذ سياق أطول وأعداد أكبر من الرموز (tokens).
تأثير الملاحظة: يؤدي تضمين أشجار إمكانية الوصول (A11y trees) إلى زيادة زمن التأخير بشكل كبير (بسبب وقت توليد الشجرة وحجم الرموز) وغالباً ما يزيد من عدد الخطوات المطلوبة، رغم أنه قد يقلل الخطوات في تطبيقات معينة مثل GIMP.

3.2 فجوات الكفاءة

عدم كفاءة الوكلاء الحاليين: حتى أفضل الوكالاء أداءً يستغرقون 2.7 إلى 4.3 ضعف عدد الخطوات الضروري لإكمال المهمة مقارنة بالمسارات البشرية.
درجات WES: حقق أفضل وكيل في قائمة تصنيف OSWorld (وهو Agent S2 مع Gemini 2.5) معدل نجاح قدره 41.4% ولكن سجل فقط 15.6% في درجة WES لمسارات الإجراء الفردي، و 9.6% لمسارات الإجراءات المجمعة.
تحليل الفشل: في حالة GTA1، كان 23% من حالات الفشل ناتجة عن أخطاء في تحديد الموقع (grounding errors)، حيث كان التخطيط صحيحاً، لكن نموذج تحديد الموقع أنتج إحداثيات غير صحيحة، مما تسبب في تكرار الخطوات أو الدخول في حلقات تكرارية. في بعض الحالات، أضاع الوكلاء أكثر من 72 خطوة في حلقة واحدة.

3.3 التداعيات على التكلفة

تميل التكلفة الحسابية بشدة نحو التخطيط. بالنسبة لـ GTA1، يمثل التخطيط 87% من التكلفة الإجمالية، بينما يمثل التحكيم 13%. وتزدزد التكلفة بشكل تربيعي مع عدد الخطوات بسبب آليات التخطيط المتوازي وإعادة المحاولة.

4. المساهمات الرئيسية

أول درسة منهجية للتأخير: تحليل مفصل للأداء الزمني لوكلاء استخدام الحاسوب (Agent S2 و GTA1) على معيار OSWorld، مع تحديد استدعاءات النماذج اللغوية الكبيرة كعائق رئيسي.
مجموعة بيانات OSWorld-Human: مجموعة بيانات منسقة يدوياً ومحققة عبر المصادر تحتوي على المسارات البشرية المثلى ومسارات الإجراءات المجمعة لجميع مهام OSWorld الـ 369.
مقياس جديد (WES): اقتراح درجة الكفاءة الموزونة لتقييم الوكلاء بناءً على كل من معدل النجاح وكفاءة الخطوات، مع معاقبة حالات الفشل غير الفعالة.
تحليل تجميع الإجراءات: إثبات أن تجميع الإجراءات التي يمكن تنفيذها من ملاحظة واحدة يمكن أن يقلل بشكل كبير من عدد استدعاءات النماذج اللغية الكبيرة والخطوات المطلوبة.
تقييم شامل: تقييم 16 من الوكلاء المتطورين باستخدام OSWorld-Human، مما كشف أن الأنظمة الحالية أقل كفاءة بكثير من المعايير البشرية.
تحليل الفشل والتكلفة: تحديد أخطاء تحديد الموقع كسبب رئيسي لإضاعة الخطوات والحلقات التكرارية، وتوضيح التكاليف المالية المرتبطة بهياكل الوكلاء الحالية.

5. الأهمية والادعاءات

يزعم البحث إنشاء أول إطار عمل موحد لقياس وتحليل وتحسين الكفاءة الزمنية لوكلاء استخدام الحاسوب. يجادل المؤلفون بأنه بينما تعد الدقة مهمة، فإن الكفاءة الزمنية لا تقل أهمية للاستخدام في العالم الحقيقي.

تسلط الدراسة الضوء على أن الوكلاء الحاليين غير قابلين للاستخدام عملياً في السيناريوهات التفاعلية بسبب التأخير العالي وعدد الخطوات المفرط. ومن خلال توفير OSWorld-Human ومقياس WES، يهدف المؤلفون إلى توجيه التطورات المستقبلية نحو:

تقليل زمن استدعاءات التخطيط والتحكيم والتفكير.
تقليل عدد الخطوات لكل مهمة من خلال تجميع الإجراءات.
تحسين آليات تحديد الموقع لمنع الحلقات التكرارية وأخطاء الإحداثيات.
ضغط التاريخ لإدارة تكاليف الرموز وزمن التأخير.

يخلص المؤلفون إلى أن عملهم ومجموعة البيانات مفتوحة المصدر ستعزز اتجاهات بحثية جديدة لسد الفجوة بين قدرات الوكلاء الحالية والكفاءة المطلوبة للنشر العملي.