💻 computer science

DocOS: Towards Proactive Document-Guided Actions in GUI Agents

تُقدم الورقة البحثية "الإجراء الاستباقي الموجه بالوثائق" (Proactive Document-Guided Action) وتقترح معيار "DocOS" لمعالجة أوجه القصور في وكلاء واجهة المستخدم الرسومية (GUI agents) عند التعامل مع المهام نادرة الحدوث، وذلك من خلال تمكينهم من البحث ذاتياً عن الوثائق الخارجية وتأصيلها في إجراءات قابلة للتنفيذ، مما يكشف أن التقدم الحالي يعوقه تحديات في استرجاع المعلومات وتأصيل التعليمات.

المؤلفون الأصليون: Jingjing Liu, Ziye Huang, Zihao Cheng, Zeming Liu, Jiahong Wu, Yuhang Guo, Kehai Chen, Yunhong Wang, Haifeng Wang

نُشر 2026-05-19

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jingjing Liu, Ziye Huang, Zihao Cheng, Zeming Liu, Jiahong Wu, Yuhang Guo, Kehai Chen, Yunhong Wang, Haifeng Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث بعنوان "DocOS: نحو أفعال استباقية موجهة بالوثائق في وكلاء واجهة المستخدم الرسومية (GUI Agents)" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبيرة: الروبوت "العليم بكل شيء" الذي يتعثر

تخيل أن لديك مساعداً آلياً ذكياً جداً (وكيل GUI) مصمماً لمساعدتك في استخدام حاسوبك. لقد قرأ ملايين الكتب ويعرف كيفية استخدام التطبيقات الشائعة مثل Word أو Chrome. إنه بارع في المهام اليومية.

ولكن، ماذا يحدث عندما تطلب منه القيام بشيء غريب أو محدد للغاية، مثل "إنشاء إعداد تشغيل خاص لقالب Python في برنامج PyCharm"؟ يتجمد الروبوت. لماذا؟ لأن هذه التعليمات المحددة ليست موجودة في ذاكرته. يحاول التخمين، يفشل، يحاول مرة أخرى، وفي النهاية يستسلم أو يفعل الشيء الخاطئ. الأمر يشبه طلب تحضير طبق من طباخ يعرف كيف يصنع البرجر، فجأة يطلب منه صنع طبق لم يره من قبل دون وصفة. قد يخمن المكونات، لكن النتيجة ستكون على الأرجح فوضى عارمة.

الحل: تعليم الروبوت كيف "يبحث في جوجل"

يقترح مؤلفو هذه الورقة طريقة جديدة لعمل هذه الروبوتات. فبدلاً من الاعتماد فقط على ما هو موجود داخل عقولهم، يجب السماح لهم بـ التوقف، وفتح متصفح الويب، والبحث عن الدليل الرسمي، وقراءته، ثم اتباع التعليمات.

يطلقون على هذا اسم "الفعل الاستباقي الموجه بالوثائق" (Proactive Document-Guided Action).

الطريقة القديمة: الروبوت يخمن بناءً على الذاكرة.
الطريقة الجديدة: الروبوت يدرك أنه لا يعرف، فيبحث في الويب عن "الدليل الرسمي"، يقرأ الخطوات، ثم ينفذ المهمة تماماً كما يقول الدليل.

هذا يحاكي كيف يحل البشر المشكلات: عندما لا نعرف كيفية إصلاح خطأ غريب على حواسيبنا، فنحن لا نخمن؛ بل نبحث عن برنامج تعليمي ونتبع الخطوات.

الاختبار: تقديم "DocOS"

لمعرفة ما إذا كان بإمكان الروامت القيام بذلك حقاً، بنى الفريق اختباراً يسمى DocOS. فكر في DocOS كأنه مسار عقبات عملاق للروبوتات.

المسار: يحتوي على 817 مهمة مختلفة عبر 20 برنامج كمبيوتر مختلف (مثل PyCharm، وBlender، وVS Code، إلخ).
التحدي: المهام هي مهام "ذات ذيل طويل" (long-tailed)، مما يعني أنها نادرة، ومحددة، وصعبة. لا يمكنك مجرد تخمين الإجابة؛ بل يجب عليك العثور على الوثائق الصحيحة لحلها.
القواعد: يجب على الروبوت:
1. فتح متصفح الويب.
2. البحث عن الدليل الصحيح.
3. قراءة وفهم الخطوات الموجودة في ذلك الدليل.
4. العودة إلى الكمبيوتر والنقر/الكتابة تماماً كما يذكر الدليل.

ماذا حدث؟ (النتائج)

اختبر الباحثون العديد من وكلاء الروبوت المتميزين في هذا المسار. كانت النتائج بمثابة مواجهة مع الواقع: الروبوتات لا تزال تعاني.

وجدوا "عنق زجاجة" (ازدحام مروري) رئيسيين حيث تفشل الروبوتات:

مشكلة "التوهان في المكتبة" (فشل البحث):
حتى عندما يعرف الروبوت أنه بحاجة للبحث، فإنه غالباً لا يستطيع العثور على الصفحة الصحيحة. قد يجد الموقع الرئيسي للبرنامج ولكنه يضيع بين آلاف الصفحات الأخرى، ولا يجد أبداً الدليل المحدد الذي يحتاجه. الأمر يشبه دخول مكتبة ضخمة ومحاولة العثور على كتاب واحد محدد، لكنك تستمر في التقاط الكتب الخاطئة.
مشكلة "المترجم السيئ" (فشل التنفيذ):
أحياناً، يجد الروبوت الدليل الصحيح ويقرأ التعليمات. ولكن عندما يحاول تنفيذ المهمة، فإنه يخطئ. قد يفهم جملة "انقر فوق الزر الأزرق" ولكنه ينقر على الزر الأزလား الخاطئ، أو قد يرتبك بسبب التصميم المعقد للشاشة. إنه يفشل في ترجمة كلمات الدليل إلى نقرات على الشاشة.

الخلاصة

تخلص الورقة إلى أنه بينما تصبح وكلاء الذكاء الاصطناعي هؤلاء أكثر ذكاءً، إلا أنهم ليسوا مستعدين بعد ليكونوا عمالاً مستقلين تماماً. إنهم يشبهون طالباً يمتلك كتاباً مدرسياً رائعاً ولكنه سيء جداً في التنقل داخل المكتبة للعثور عليه، وأسوأ من ذلك في اتباع التعليمات بمجرد العثور عليها.

DocOS هو أداة جديدة لقياس مدى جودة (أو سوء) هذه الروبوتات في هذه المهارة المحددة: العثور على دليل واتباعه. يأمل المؤلفون من خلال استخدام هذا الاختبار أن يتمكن الباحثون من بناء روبوتات أفضل يمكنها حقاً مساعدتنا في مهام الكمبيوتر المعقدة في العالم الحقيقي دون الحاجة إلى إمساك يد بشرية.

ملخص تقني: DocOS – نحو إجراءات موجهة بالوثائق استباقية لوكلاء واجهة المستخدم الرسومية (GUI)

1. بيان المشكلة

حققت وكلاء واجهة المستخدم الرسومية (GUI) الحالية، المدفوعة بنماذج اللغات الكبيرة متعددة الوسائط (MLLMs)، تقدماً ملحوظاً في أتمتة التفاعلات مع الأجهزة عبر بيئات الويب، وسطح المكتب، والهاتف المحمول. ومع ذلك، لا يزال هناك قصور جوهري قائم: تعتمد هذه الوكلاء بشكل كبير على المعرفة البارامترية الساكنة المكتسبة أثناء التدريب المسبق أو الضبط الدقيق للتعليمات. وبينما تعد هذه المعرفة كافية للتفاعلات الشائعة، إلا أن الاعتماد عليها يجعل الوكلاء هشّين عند مواجهة مهام محددة التطبيقات وذات ذيل طويل (long-tailed) تتطلب معرفة إجرائية صريحة غائبة عن بارامترات النموذج.

عند مواجهة مثل هذه المهام (على سبيل المثال، تهيئة بيئة تشغيل محددة في برنامج PyCharm)، يلجأ الوكلاء غالباً إلى استكشاف غير فعال وعرضة للخطأ يعتمد على التجربة والخطأ، مما يؤدي إلى معدلات عالية من فشل التنفيذ والهلوسة. تفترض الاختبارات المرجعية (benchmarks) وطرق الاسترجاع المعزز الموجودة عادةً أن الوثائق ذات الصلة قد تم جمعها مسبقاً أو توفيرها، وتفشل في معالجة تحدي الاكتساب الذاتي للمعرفة في البيئات المفتوحة والديناميكية. هناك فجوة حرجة في تقييم قدرة الوكيل على البحث عن الوثائق الخارجية وفهمها وترسيخها في إجراءات واجهة مستخدم رسومية قابلة للتنفيذ بشكل استباقي.

2. المنهجية

2.1 النموذج المقترح: الإجراء الموجه بالوثائق استباقياً

يقدم المؤلفون الإجراء الموجه بالوثائق استباقياً (Proactive Document-Guided Action)، وهو نموذج جديد يحاكي حل المشكلات لدى البشر. فبدلاً من الاعتماد فقط على المعرفة الداخلية، يتم تمكين الوكلاء من التنقل ذاتياً في شبكة الإنترنت المفتوحة لتحديد موقع الوثائق ذات الصلة، وفهم التعليمات الإجرائية، وترجمة هذه التعليمات بأمانة إلى إجراءات دقيقة في واجهة المستخدم الرسومية. يقوم هذا النموذج بفصل قدرات الاستدلال عن تخزين المعرفة الواسعة والمتخصصة في مجال معين، مما يسمح بالتكيف مع المهام المتطورة دون الحاجة إلى إعادة تدريب مكثفة.

2.2 الاختبار المرجعي DocOS

لتقييم هذا النموذج، يقترح المؤلفون DocOS، وهو اختبار مرجعي مصمم للبيئات التفاعلية الكاملة.

صياغة المهمة: يتم نمذجة التفاعل كعملية ماركوف لاتخاذ القرار خاضعة للملاحظة الجزئية (POMDP) مقسمة إلى مرحلتين متتاليتين:
1. الاسترجاع الاستباقي للمعرفة: يتفاعل الوكيل مع متصفح ويب للبحث عن واسترجاع وثيقة مستهدفة ( $D$ ) تحتوي على المعرفة الإجرائية اللازمة.
2. التنفيذ المرتكز على الوثيقة: ينفذ الوكيل تعليمات المستخدم ( $I$ ) من خلال ترسيخ الإجراءات في السياق المسترجع ( $D$ ).
بناء البيانات: يتكون DocOS من 817 مهمة عالية الجودة موزعة على 20 تطبيقاً (مثل PyCharm، Blender، VS Code، Postman). تم تصنيف المهام إلى ثلاثة مستويات من الصعوبة (سهل، متوسط، صعب) بناءً على عدد خطوات التنفيذ (تتراوح في المتوسط بين ~3 إلى ~11 خطوة).
البيئة: يستخدم الاختبار المرجعي بيئة تنفيذ ديناميكية (تعتمد على Docker) حيث يجب على الوكلاء التنقل ذاتياً في متصفح ويب (Microsoft Edge) للعثور على الوثائق. تدعم البيئة الإدراك البصري الواقعي ومساحة إجراء شاملة (نقرات الماوس، الكتابة، التمرير، مفاتيح الاختصار، إلخ).
ضبط الجودة: تضمن سلسلة عمليات متعددة المراحل تشمل بناء المهام، والجمع الآلي للوثائق (الزحف إلى المواقع الرسمية)، والفلترة الصارمة، الاتساق الدلالي، وعدم الغموض، وقابلية التنفيذ.

2.3 مقاييس التقييم

ينقسم التقييم إلى مرحلتين مع مقاييس محددة:

البحث عن الوثائق:
- تضمين عنوان URL المستهدف (TUI): يقيس ما إذا كان عنوان URL الحقيقي هو جزء من عنوان URL المسترجع، مع مراعاة المعلمات الديناميكية.
- تقدم المسار الهرمي (HPP): يقيم عمق مسار التنقل الصحيح الذي تم الوصول إليه، مع التمييز بين الوكلاء "التائهين" وأولئك الذين وصلوا إلى أقسام رفيعة المستوى.
تنفيذ المهمة:
- معدل إكمال المهمة (TCR): نسبة المهام المكتملة بنجاح إلى إجمالي المهام، وهو المقياس الحاسم للفائدة العملية.

3. المساهمات الرئيسية

نموذج جديد: الورقة هي الأولى التي تقترح الإجراء الموجه بالوثائق استباقياً لوكلاء واجهة المستخدم الرسومية، مما ينقل التركيز من المعرفة الساكنة إلى استرجاع الوثائق وتطبيقها ذاتياً.
الاختبار المرجعي DocOS: تقديم اختبار مرجعي شامل يقيم المسار الكامل للاسترجاع، والفهم، والتنفيذ في بيئات سطح المكتب الواقعية، مغطياً 20 تطبيقاً و817 مهمة.
التقييم المنهجي: أجرى المؤلفون تجارب واسعة النطاق تحت إطارين متكاملين: البحث الاستباقي عن الوثائق (تقييم الاسترجاع الذاتي) و التنفيذ المرتكز على الوثيقة (تقييم تنفيذ التعليمات في حال توفر الوثائق).

4. النتال التجريبية والتحليل

تكشف التجارب المكثفة على DocOS باستخدام مختلف وكلاء واجهة المستخدم الرسومية المتطورين (مثل Qwen3-VL، UI-TARS، MAI-UI) عن قيود كبيرة:

الاختناقات المزدوجة: يتقيد التقدم بصرامة بعائقين أساسيين:
1. تحديد الموقع المعلوماتي غير الدقيق: يواجه الوكلاء صعوبة في تحديد الموقع الدقيق للمعلومات ذات الصلة داخل مواقع الوثائق أثناء مرحلة البحث الاستباقي. وبينما يصلون غالباً إلى أقسام رفيعة المستوى (HPP مستقر)، إلا أنهم يفشلون في تحديد الصفحات القابلة للتنفيذ بدقة (TCR منخفض).
2. الترسيخ غير الأمين: حتى عند تزويدهم بوثائق "مثالية" (Ground-truth)، يفشل الوكلاء غالباً في ترجمة التعليمات المسترجعة إلى إجراءات دقيقة وقابلة للتنفيذ في واجهة المستخدم الرسومية.
تأثير الوثائق: يؤدي توفير الوثائق الخارجية عموماً إلى تحسين الأداء عبر النماذج (على سبيل المثال، شهد نموذج MAI-UI-8B تحسناً نسبياً بنسبة ~7.66%)، مما يؤكد ضرورة هذا النموذج. ومع ذلك، فإن المكاسب ليست موحدة؛ فقد تعاني النماذج الأصغر أو تلك ذات نوافذ السياق المحدودة من صعوبة في استخدام الوثائق ذات السياق الطويل بفعالية.
تعقيد الخطوات: يوجد ارتباط سلبي كبير بين عدد خطوات المهمة ومعدل النجاح. بالنسبة للمهام التي تتطلب أكثر من 4 خطوات، ينخفض معدل النجاح إلى ما يقرب من 0% لمعظم النماذج، حتى مع مساعدة الوثائق، مما يسلط الضوء على قيود شديدة في التخطيط طويل الأمد والاحتفاظ بالسياق.
تحليل الخطأ: تشمل أنماط الفشل الشائعة ما يلي:
- تحديد الموقع غير الدقيق: التوقف عند أقسام ذات صلة فضفاضة.
- المرجع غير الرسمي: استرجاع مدونات طرف ثالث بدلاً من الوثائق الرسمية الموثوقة.
- التنفيذ قبل الاسترجاع: تجاوز عملية البحث والتخمين بناءً على المعرفة البارامترية.
- فشل ترسيخ الإجراء: الفشل في ترجمة التعليمات عالية المستوى إلى تفاعلات محددة في واجهة المستخدم (مثل نقص تعديلات المعلمات).

5. الأهمية والادعاءات

تدعي الورقة أن DocOS يوفر فهماً تأسيسياً للتحديات التي تواجه وكلاء واجهة المستخدم الرسومية في المستقبل. ومن خلال كشف الاختناقات المزدوجة المتمثلة في استرجاع الوثائق و التنفيذ المشروط بالوثيقة، تؤكد هذه الدراسة أن الوكلاء الحاليين ليسوا مستعدين بعد للنشر الذاتي في البيئات الديناميكية.

يضع المؤلفون DocOS ليس كمشكلة تم حلها، بل كأداة منهجية لمساعدة الباحثين على فهم نقاط القوة والضعف في وكلاء واجهة المستخدم الرسومية بشكل أفضل. وتشير النتائج إلى أن تمكين الوكلاء من القدرة على التطور الذاتي يتطلب معالجة الفجوة بين استرجاع المعرفة الإجرائية وترسيخها بأمانة في إجراءات معقدة ومتعددة الخطوات. وتخلص الورقة إلى أنه بينما تم إحراز تقدم في الإدراك والاستدلال، فإن القدرة على اكتساب المعرفة الخارجية وتطبيقها ذاتياً تظل عقبة حرجة أمام الوكلاء العامين.