💬 NLP

CoAct-1: Computer-using Multi-Agent System with Coding Actions

يُعد CoAct-1 نظاماً جديداً متعدد الوكلاء يعزز أتمتة الحاسوب من خلال الجمع التآزري بين التحكم القائم على واجهة المستخدم الرسومية والتنفيذ البرمجي المباشر، محققاً معدل نجاح جديداً هو الأفضل في فئته بنسبة 60.76% وتحسناً ملحوظاً في الكفاءة على معيار OSWorld.

المؤلفون الأصليون: Linxin Song, Yutong Dai, Viraj Prabhu, Jieyu Zhang, Taiwei Shi, Li Li, Junnan Li, Silvio Savarese, Zeyuan Chen, Jieyu Zhao, Ran Xu, Caiming Xiong

نُشر 2026-02-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Linxin Song, Yutong Dai, Viraj Prabhu, Jieyu Zhang, Taiwei Shi, Li Li, Junnan Li, Silvio Savarese, Zeyuan Chen, Jieyu Zhao, Ran Xu, Caiming Xiong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً ومفيداً للغاية يُدعى CoAct-1. مهمته هي القيام بالأشياء نيابة عنك على جهاز الكمبيوتر الخاص بك، مثل تنظيم الملفات، أو تحرير جداول البيانات، أو إرسال رسائل البريد الإلكتروني.

قبل ظهور CoAct-1، كانت معظم مساعدات الكمبيوتر تشبه الأطفال الصغار المتعثرين. كان بإمكانهم فقط التفاعل مع جهاز الكمبيوتر الخاص بك من خلال النظر إلى الشاشة و"النقر" فعلياً على الأزرار أو "الكتابة" باستخدام الفأرة، تماماً كما يفعل البشر. فإذا طلبت منهم "البحث عن جميع الصور في مجلد، وتغيير حجمها، ثم ضغطها في ملف واحد"، كان على المساعد "الطفل" أن يقوم بما يلي:

النقر على المجلد.
التمرير لأسفل.
النقر على الصورة الأولى.
الضغط على مفتاح Shift، والنقر على الصورة الأخيرة.
النقر بزر الفأرة الأيمن، والتحويم فوق "إرسال إلى"، ثم النقر على "مجلد مضغوط".
كتابة اسم للملف.
الضغط على Enter.

إذا نقر "الطفل" على أيقونة خاطئة، أو إذا استغرق تحميل الشاشة وقتاً طويلاً، فإن المهمة بأكملها ستفشل. لقد كان الأمر بطيئاً، ومحبطاً، وعرضة للأخطاء.

الفكرة الجديدة: "العصا السحرية" مقابل "الفأرة"

أدرك مؤلفو هذه الورقة البحثية أنه بينما يعد النقر على الأزرار أمراً جيداً لبعض الأشياء، إلا أنه سيء جداً لأشياء أخرى. لذا، قاموا ببناء CoAct-1، وهو فريق من ثلاثة عمال متخصصين يمكنهم التبديل بين نمطي تشغيل:

نمط الفأرة (مشغل واجهة المستخدم الرسومية - GUI Operator): هذا العامل بارع في المهام البصرية. ينظر إلى الشاشة، ويجد زر "حفظ"، ثم ينقر عليه. إنه جيد في التنقل عبر القوائم ورؤية ما يوجد على الشاشة.
نمط العصا السحرية (المبرمج): هذا العامل لا ينقر على الأزرار. بدلاً من ذلك، يكتب قطعة قصيرة من الكود (سكربت) تخبر عقل الكمبيوتر بالضبط بما يجب فعله. فبدلاً من النقر 50 مرة لإعادة تسمية 1,000 ملف، هو فقط يقول: "أعد تسمية جميع الملفات في هذا المجلد إلى 'Vacation_1.jpg'، 'Vacation_2.jpg'..." والكمبيوتر يفعل ذلك فوراً.

المدير: المنسق (The Orchestrator)

السر وراء CoAct-1 هو المنسق. فكر في المنسق كأنه مدير مشروع ذكي أو قائد أوركسترا.

عندما تعطيه مهمة كبيرة ومعقدة (مثل "جهز تقرير الضرائب الخاص بي")، يقوم المنسق بتفكيكها:

"حسناً، أحتاج لفتح برنامج Excel والعثور على جدول محدد." -> هذه مهمة بصرية. المنسق يقول: "مهلاً، يا عامل الفأرة، أنت ستتولى هذا الأمر."
"الآن أحتاج لنسخ تلك البيانات إلى ملف نصي وإعادة تسميته." -> هذه مهمة متكررة ودقيقة. المنسق يقول: "لا، يا عامل العصا السحرية، اكتب سكربت سريعاً لهذا. إنه أسرع ولن يرتكب أخطاءً."
"أخيراً، أحتاج لإرسال الملف عبر البريد الإلكتروني." -> المنسق يقول: "عد إلى عامل الفأرة، عليك النقر على زر 'إرسال'."

لماذا يغير هذا كل شيء؟

اختبرت الورقة البحثية هذا الفريق الجديد مقابل المساعدات القديمة "المتعثرة كالأطفال" في اختبارين صعبين جداً للكمبيوتر (OSWorld و WindowsAgentArena). وإليك ما حدث:

السرعة: استغرقت المساعدات القديمة حوالي 15 خطوة لإنهاء المهمة. أما CoAct-1 فقد أنهى نفس المهام في 10 خطوات فقط. إنه يشبه أخذ طريق مختصر عبر الغابة بدلاً من المشي حول حوافها.
معدل النجاح: نجحت المساعدات القديمة بنسبة 50-55% من الوقت. بينما نجح CoAct-1 بنسبة 60% إلى 65%.
الموثوقية: عندما تتطلب المهمة القيام بشيء معقد بالملفات أو البيانات، كانت "العصا السحرية" (البرمجة) بمثابة نقطة تحول جذري. لم يتعب، ولم ينقر على الزر الخطأ، ولم يرتبك بسبب بطء الشاشة.

الصورة الكبيرة

فكر في الأمر بهذه الطريقة:

الوكلاء القدامى (Old Agents) كانوا مثل محاولة بناء منزل باستخدام المطرقة والمفك فقط. يمكنك فعل ذلك، لكن الأمر يستغرق وقتاً طويلاً، وقد تكسر نافذة أثناء العمل.
CoAct-1 يشبه امتلاك طاقم بناء يعرف متى يستخدم المطرقة (للأظافر) ومتى يستخدم المثقاب الكهربائي أو الرافعة (للأعمال الثقيلة).

من خلال السماح للكمبيوتر بـ "التحدث بلغة الكود" عندما يكون ذلك منطقياً، و"النقر على الأزرار" عندما يكون ذلك ضرورياً، يخلق CoAct-1 طريقة أذكى وأسرع وأكثر موثوقية لأتمتة أجهزة الكمبيوتر الخاصة بنا. إنها قفزة هائلة نحو امتلاك مساعد رقمي حقيقي يمكنه بالفعل إنجاز عملك دون الحاجة لأن تراقب عمله باستمرار.

إليك ملخص تقني مفصل لورقة البحث بعنوان "CoAct-1: نظام متعدد الوكلاء لاستخدام الكمبيوتر عبر إجراءات البرمجة".

1. بيان المشكلة

تعتمد الوكلاء المستقلة الحالية التي تستخدم الكمبيوتر بشكل أساسي على التلاعب بـ واجهة المستخدم الرسومية (GUI) (مثل نقرات الماوس والكتابة بلوحة المفاتيح) للتفاعل مع أنظمة التشغيل. ورغم أن نماذج الرؤية واللغة (VLMs) قد حسنت قدرات هؤلاء الوكلاء، إلا أنها تواجه قيوداً كبيرة في الكفاءة والموثوقية، لا سيما في المهام المعقدة وطويلة الأمد.

الهشاشة: يميل وكلاء واجهة المستخدم الرسومية إلى الوقوع في أخطاء التأسيس البصري (مثل الخطأ في تحديد الأيقونات) وتراكم انتشار الأخطاء عبر تسلسلات الإجراءات الطويلة. حيث يمكن لنقرة واحدة خاطئة أن تخرج المهمة بأكملها عن مسارها.
عدم الكفاءة: غالباً ما تتطلب المهام الروتينية التي تتضمن إدارة الملفات، أو معالجة البيانات، أو تهيئة النظام مئات الخطوات الدقيقة لواجهة المستخدم الرسومية، والتي يمكن تنفيذها في سطر برمجي واحد.
قيود المخططين (Planners): على الرغم من أن إضافة مخططات عالية المستوى (مثل GTA-1) يساعد في تفكيك المهام، إلا أنه لا يحل مشكلة عدم الكفاءة الجوهرية المتمثلة في تنفيذ كل مهمة فرعية عبر التفاعل مع واجهة المستخدم الرسومية.

2. المنهجية: إطار عمل CoAct-1

يقترح المؤلفون CoAct-1، وهو نظام متعدد الوكلاء مبتكر يقدم البرمجة كفضاء إجراءات أساسي. بدلاً من الاعتماد فقط على التلاعب بواجهة المستخدم الرسومية، يستخدم CoAct-1 نهجاً هجيناً حيث يمكن للوكلاء الاختيار ديناميكياً بين التفاعل البصري والتنفيذ البرمجي المباشر.

البنية الأساسية

يتكون النظام من ثلاثة وكلاء متخصصين يعملون ضمن هيكل هرمي:

المنسق (المخطط الأعلى - Meta-Planner):
- يعمل كمتحكم مركزي ( $\pi_{Orch}$ ).
- يحلل هدف المستخدم عالي المستوى وحالة النظام الحالية (لقطة الشاشة + السجل).
- التفويض الديناميكي: يقرر ما إذا كان سيقوم بتكليف المبرمج (للمهام الخلفية/نظام التشغيل) أو مشغل واجهة المستخدم الرسومية (للمهام المرئية/الواجهة الأمامية).
- يحافظ على ذاكرة طويلة المدى لتاريخ المهمة ويتلقى تحديثات ملخصة من المنفذين.
وكيل المبرمج (Programmer Agent):
- ينفذ سياسة البرمجة ( $\pi_{Code}$ ).
- يقوم بإنشاء وتنفيذ سكربتات Python أو Bash عبر مفسر أكواد.
- يعمل في حلقة متعددة الجولات: إنشاء الكود $\leftarrow$ التنفيذ $\leftarrow$ ملاحظة التغذية الراجعة $\leftarrow$ تحسين الكود.
- مثالي لإدارة الملفات، ومعالجة البيانات، وتهيئة البيئة.
مشغل واجهة المستخدم الرسومية (GUI Operator):
- ينفذ السياسة البصرية ( $\pi_{GUI}$ ).
- هو وكيل يعتمد على نموذج الرؤية واللغة (VLM) يقوم بإجراءات واجهة المستخدم القياسية (النقر، الكتابة، التنقل).
- يعمل في حلقة إدراك-إجراء، مستخدماً لقطات الشاشة لتأسيس الإجراءات.

سير العمل وتصميم الذاكرة

الذاكرة الهرمية: يحافظ المنسق على السياق طويل المدى، بينما يحافظ المبرمج ومشغل واجهة المستخدم الرسومية على ذاكرة عمل معزولة قصيرة المدى خاصة بمهمتهم الفرعية الحالية. هذا يمنع التحميل الزائد للسياق ويضمن الوحدوية (Modularity).
التلخيص: بمجرد اكتمال المهمة الفرعية من قبل المنفذ، يقوم نموذج التلخيص بتكثيف سجل التفاعل في ملخص موجز ولقطة شاشة جديدة، والتي تُمرر مرة أخرى إلى المنسق لاتخاذ القرار التالي.
فضاء الإجراءات الهجين: يتم تعريف فضاء الإجراءات كـ $A = A_{GUI} \cup A_{Code}$ ، مما يسمح للنظام بتجاوز تسلسلات واجهة المستخدم الرسومية غير الفعالة عبر تنفيذ برمجي قوي بضربة واحدة عند الاقتضاء.

3. المساهمات الرئيسية

تحول في النموذج (Paradigm Shift): يقدم فضاء إجراءات هجيناً يدمج التنفيذ البرمجي المباشر (البرمجة) مع التلاعب بواجهة المستخدم الرسومية، متجاوزاً قيد "واجهة المستخدم الرسومية فقط" الذي فرضته الوكلاء السابقة.
التنسيق متعدد الوكلاء: صمم نظام تفويض ديناميكي حيث يقوم المنسق بتوجيه المهام بذكاء إلى الوكيل الأكثر ملاءمة (المبرمج مقابل مشغل واجهة المستخدم الرسومية) بناءً على متطلبات المهمة.
الكفاءة والمتانة: يثبت أن استبدال تسلسلات النقر الطويلة وعرضة للخطأ بسكربتات موجزة يقلل بشكل كبير من عدد الخطوات ويقلل معدلات الفشل.
أداء رائد (State-of-the-Art): يضع معايير جديدة في مجموعات بيانات استخدام الكمبيوتر الرئيسية، مما يثبت قابلية توسع هذا النهج عبر أنظمة تشغيل مختلفة (Linux/Ubuntu و Windows).

4. النتائج التجريبية

تم تقييم النظام في اثنين من الاختبارات المعيارية الصعبة: OSWorld (369 مهمة) و WindowsAgentArena (154 مهمة).

مقاييس الأداء

OSWorld: حقق CoAct-1 نسبة نجاح بلغت 60.76% (خلال 150 خطوة)، متفوقاً على أفضل النتائج السابقة (Agent S2.5 بنسبة 55.98%) وعلى النماذج القوية الأخرى مثل GTA-1 (53.07%).
- أبرز المجالات: أداء استثنائي في مهام نظام التشغيل (75.00%)، مهام المكتب (64.80%)، و التطبيقات المتعددة (47.87%).
WindowsAgentArena: حقق CoAct-1 نسبة نجاح بلغت 52.5%، متفوقاً بشكل ملحوظ على Agent S2 (29.8%) و NAVI (19.5%).
- أبرز المجالات: هيمن على مهام نظام Windows (83.3%) و أدوات Windows (77.7%).

تحليل الكفاءة

تقليل الخطوات: أكمل CoAct-1 المهام في متوسط 10.15 خطوة في OSWorld، مقارنة بـ 15.22 خطوة لـ GTA-1 و 14.90 لـ UI-TARS.
دراسات الاستئصال (Ablation Studies):
- البرمجة الصرفة (Pure Coding): حققت كفاءة عالية (1.14 خطوة/مهمة) ولكن نجاحاً أقل (35.73%) بسبب عدم القدرة على التعامل مع المهام المرئية.
- واجهة المستخدم الرسومية الصرفة (Pure GUI): حققت نجاحاً متوسطاً (50.68%) ولكنها تطلبت خطوات أكثر بكثير (11.20).
- الهجين (CoAct-1): جمع بين نقاط القوة لكليهما، محققاً أعلى معدل نجاح (60.76%) مع كفاءة عالية (10.15 خطوة).
حساسية النموذج: كان الأداء حساساً للغاية لقدرات الاستنتاج لدى المنسق. حيث أدى استخدام نموذج قوي (OpenAI o3) للمنسق إلى تعزيز النتائج بشكل كبير.

5. الأهمية

يمثل CoAct-1 تقدماً حاسماً في مجال الأتمتة العامة للكمبيوتر.

القابلية للتوسع: من خلال الاستفادة من البرمجة للعمليات الخلفية، يتوسع النظام بفعالية في المهام المعقدة وطويلة الأمد التي كانت سابقاً هشة بالنسبة لوكلاء واجهة المستخدم الرسومية الصرف.
الموثوقية: يخفف النهج الهجين من "الاحتمالية التراكمية للأخطاء" المتأصلة في تسلسلات واجهة المستخدم الرسومية الطويلة، مما يجعل الوكلاء أكثر متانة للنشر في العالم الحقيقي.
التوجه المستقبلي: تشير الورقة إلى أن مستقبل وكلاء استخدام الكمبيوتر لا يكمن فقط في نماذج رؤية أفضل، بل في فضاءات إجراءات متعددة الوسائط تجمع بين حدس التفاعل مع واجهة المستخدم الرسومية ودقة وقوة التحكم البرمجي.

في الختام، يثبت CoAct-1 أن دمج البرمجة كنمط إجراء أساسي يخلق مساراً أكثر قوة وكفاءة وقابلية للتوسع نحو وكلاء كمبيوتر مستقلين تماماً.