A Comprehensive Survey of Agents for Computer Use: Foundations, Challenges, and Future Directions
تقدم هذه الدراسة المسحية تصنيفاً وتحليلاً شاملاً لـ 87 وكيلاً لاستخدام الحاسوب (ACUs) و33 مجموعة بيانات لتحديد الفجوات البحثية الرئيسية واقتراح توجهات مستقبلية لتطوير وكلاء عامين وأقوياء قادرين على تنفيذ مهام معقدة عبر المنصات الرقمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعد روبوت ذكي ومتحمس. تقول له: "يرجى حجز رحلة طيران إلى باريس وإرسال تأكيد الحجز إلى مديري عبر البريد الإلكتروني". في عالم مثالي، سيقوم هذا الروبوت بفتح متصفحك، والعثور على موقع شركة الطيران، والنقر على الأزرار الصحيحة، وتعبئة النماذج، ثم الضغط على زر الإرسال.
هذه الورقة البحثية هي مسح شامل لمدى قربنا من بناء ذلك الروبوت المثالي. يطلق المؤلفون على هذه الروبات اسم "وكلاء استخدام الكمبيوتر" (ACUs). وهي برامج حاسوبية لا تكتفي بالدردشة معك فحسب، بل تقوم بالفعل بأشياء على جهاز الكمبيوتر أو الهاتف الخاص بك، مثل النقر بالفأرة أو النقر على الشاشة.
إليك تفصيل الورقة البحثية، مشروحاً باستخدام بعض التشبيهات من الحياة اليومية:
1. الحالة الراهنة: مرحلة "الطفل الدارج"
في الوقت الحالي، هؤلاء الوكلاء الذكيون يشبهون الأطفال الدارجين الأذكياء. يمكنهم اتباع تعليمات بسيطة، ولكن إذا طلبت منهم القيام بشيء معقد أو إذا تغير شكل الشاشة قليلاً (مثل ظهور إعلان منبثق)، فغالباً ما يصابون بالارتباك، أو ينقرون على الشيء الخطأ، أو يستسلمون.
لقد نظر المؤلفون في 87 مشروعاً بحثياً مختلفاً و33 مجموعة بيانات (اختبارات تدريبية) لمعرفة ما الذي ينجح وما الذي يتعطل. ووجدوا أنه بينما نتحرك بسرعة، إلا أن هؤلاء الوكلاء ليسوا جاهزين بعد لأعمال المكتب اليومية.
2. الطرق الثلاث للنظر إلى المشكلة
لفهم سبب معاناة هؤلاء الروبوتات، أنشأ المؤلفون "خريطة" جديدة (تصنيف) لتنظيم جميع الأبحاث. هم ينظرون إلى المشكلة من ثلاث زوايا:
- الملعب (المجال): أين يعمل الروبوت؟ هل هو على موقع ويب (Web)، أم هاتف (Android)، أم جهاز كمبيوتر مكتبي؟
- التشبيه: الأمر يشبه السؤال عما إذا كان الروبوت يتعلم القيادة في لعبة فيديو، أو على طريق سريع حقيقي، أو في موقف للسيارات. تشير الورقة إلى أن معظم الأبحاث تجرى على مواقع الويب والهواتف، ولكن أجهزة الكمبيوتر المكتبية (حيث نعمل معظمنا فعلياً) يتم تجاهلها.
- الحواس والأطراف (التفاعل): كيف يرى الروبوت الشاشة ويلمسها؟
- العيون (الملاحظة): هل ينظر إلى لقطة شاشة (مثل رؤية الإنسان للشاشة) أم يقرأ الكود الكامن خلف الشاشة (مثل قراءة المخطط الهندسي لمبنى)؟
- النتيجة الكبرى: قراءة الكود سريعة ولكنها هشة. إذا تغير كود الموقع قليلاً، يضيع الروبوت. أما النظر إلى لقطات الشاشة فهو أبطأ ولكنه أكثر قوة ومتانة، تماماً مثل الإنسان. وتجادل الورقة بأننا يجب أن ندرب الروبوتات على "الرؤية" كما يفعل البشر.
- الأيدي (الإجراء): هل ينقر الروبوت على أزرار محددة بالاسم، أم يحرك الفأرة إلى إحداثيات دقيقة؟
- العيون (الملاحظة): هل ينظر إلى لقطة شاشة (مثل رؤية الإنسان للشاشة) أم يقرأ الكود الكامن خلف الشاشة (مثل قراءة المخطط الهندسي لمبنى)؟
- الدماغ (الوكيل): كيف يفكر الروبوت ويتعلم؟
- الأدمغة المتخصصة: هذه مصممة خصيصاً لوظيفة واحدة (مثل الآلة الحاسبة). هي سريعة ولكنها لا تستطيع فعل أي شيء آخر.
- الأدمغة التأسيسية: هذه هي النماذج "فائقة الذكاء" (مثل تلك التي تشغل ChatGPT) والتي تعرف القليل عن كل شيء. إنها تصبح المعيار الجديد لأنها تستطيع التفكير بشكل أفضل.
3. العقبات الست الكبرى (قائمة "لماذا لا يمكننا فعل ذلك بعد")
حدد المؤلفون ستة أسباب رئيسية تجعل هؤلاء الوكلاء غير جاهزين للاستخدام الفعلي:
- الرؤية الهشة: تعتمد العديد من الروبوتات على قراءة "كود" موقع الويب. إذا تم تحديث تصميم الموقع، يتعطل الروبوت. هم بحاجة لتعلم النظر إلى الشاشة كما يفعل البشر.
- التعلم غير الفعال: تعليم هؤلاء الروبوتات مكلف وبطيء. الأمر يشبه محاولة تعليم كلب جلب الكرة عبر رمي الكرة 10,000 مرة. نحن بحاجة لطرق أفضل لتعليمهم بشكل أسرع.
- قصر مدى الانتباه (التخطيط): هؤلاء الروبوتات سيئون جداً في التخطيط طويل المدى. يمكنهم تنفيذ الخطوة الأولى، لكنهم ينسون الخطوة الثانية بحلول الوقت الذي يصلون فيه إلى الخطوة الخامسة. إنهم يعانون في المهام المعقدة التي تتطلب "خطة عمل".
- اختبارات الممارسة المزيفة: اختبارات القياس (Benchmarks) الحالية سهلة للغاية. فهي تستخدم مواقع ويب مبسطة لا تشبه الإنترنت الحقيقي الفوضوي. الأمر يشبه تدريب طيار في جهاز محاكاة بدون رياح أو اضطرابات جوية، ثم توقع قيادته لطائرة حقيقية في عاصفة.
- غياب بطاقة الدرجات الموحدة: الجميع يقيم روبوتاتهم بشكل مختلف. باحث يقول إن روبوته "جيد بنسبة 90%"، بينما يقول آخر إنه "جيد بنسبة 80%"، لكنهم يقيسون أشياء مختلفة. نحن بحاجة إلى اختبار موحد، مثل اختبارات الـ SAT للذكاء الاصطناعي.
- الفجوة بين المختبر والواقع: في المختبر، تكون شاشة الكمبيوتر ثابتة وهادئة. في العالم الحقيقي، تظهر رسائل البريد الإلكتروني المنبثقة، وتتداخل النوافذ، وتتعطل التطبيقات. الروبوتات ليست مدربة على هذه الفوضى.
4. خارطة الطريق: كيف نصلح ذلك؟
يقترح المؤلفون مساراً واضحاً للمضي قدماً لبناء مساعد روبوت مفيد حقاً:
- علمهم "الرؤية": توقف عن الاعتماد على الكود؛ دربهم على لقطات الشاشة حتى يتمكنوا من التعامل مع أي تخطيط للشاشة.
- تعلم أفضل: ابحث عن طرق أرخص وأذكى لتعليمهم دون الحاجة إلى ملايين الأمثلة البشرية.
- التفكير طويل المدى: امنحهم مهارات "تخطيط" أفضل حتى يتمكنوا من التعامل مع المهام متعددة الخطوات دون ضياع.
- اختبارات العالم الحقيقي: أنشئ اختبارات ممارسة أصعب وأكثر فوضوية تشبه الحياة الواقعية.
- توحيد الدرجة: اتفقوا على مقياس رئيسي واحد: هل أنهى الروبوت المهمة كاملة؟ (معدل النجاح)، وليس فقط "هل نقر على الزر الصحيح؟".
- السلامة أولاً: الإقرار بأنه في العالم الحقيقي، يجب أن يعرف الروبوتات متى يتوقفون ويطلبون المساعدة من البشر، خاصة عند القيام بإجراءات خطيرة مثل حذف الملفات.
الخلاصة
هذه الورقة هي دعوة للعمل. تقول: "لقد حققنا تقدماً مذهلاً، لكننا لا نزال في 'مرحلة اللعب'". لكي نصل إلى النقطة التي يمكن فيها للذكاء الاصطناعي إدارة جهاز الكمبيوتر الخاص بك فعلياً، نحتاج إلى التوقف عن بناء روبوتات تعمل فقط في بيئات مثالية وزائفة، والبدء في بناء روبوتات يمكنها التعامل مع الواقع الفوضوي وغير المتوقع لحياتنا الرقمية.
باختصار: نحن نبني المحرك، لكننا بحاجة لتعليم السيارة كيف تقود في حركة المرور، وليس فقط على مسار مستقيم وخالٍ من السيارات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.