Covering Human Action Space for Computer Use: Data Synthesis and Benchmark
تتناول هذه الورقة ضعف موثوقية وكلاء استخدام الكمبيوتر في التفاعلات المعقدة ومنخفضة التكرار من خلال تقديم معيار CUActSpot ومسار لتخليق البيانات قائم على المُنظِّم (renderer)، واللذين مكنّا نموذجاً بـ 4 مليارات معلمة من التفوق على نماذج مفتوحة المصدر أكبر منه عبر مختلف أنماط واجهات المستخدم الرسومية (GUI).
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا يعمل كخادم في منزلك كيفية استخدام حاسوبك. تريد منه أن ينقر على الأزرار، ويكتب رسائل البريد الإلكتروني، وينظم الملفات تمامًا كما تفعل أنت. لفترة طويلة، كان الباحثون يدربون هذه الروبوتات غالبًا على مهام النقر البسيطة، مثل الضغط على زر "إرسال" أو النقر على رابط. الأمر يشبه تعليم الروبوت فقط كيفية ضغط جرس الباب.
لكن استخدام الكمبيوتر الحقيقي أكثر تعقيدًا بكثير. فأحيانًا تحتاج إلى سحب ملف من مجلد إلى آخر، أو رسم دائرة حول صورة لقصها، أو تحديد فقرة معينة من نص لحذفها. تجادل الورقة البحثية بأن روبوتات الخدمة الحالية تفشل في أداء هذه المهام "ذات الذيل الطويل" (long-tail tasks) لأنها لم تتدرب عليها بما يكفي. إنهم مثل طالب درس فقط لاختبار الاختيار من متعدد، ثم طُلب منه فجأة كتابة مقال.
إليك تفصيل لما فعله المؤلفون لإصلاح ذلك، باستخدام تشبيهات بسيطة:
1. المشكلة: فخ "النقر فقط"
نظر المؤلفون في سبب فشل نماذج الذكاء الاصطنا_عي المتقدمة (مثل GPT-5.4) عند محاولتها استخدام الكمبيوتر. ووجدوا أنه بينما تكون الروبوتات جيدة في عمليات النقر البسيطة، إلا أنها ترتبك عندما يُطلب منها القيام بأشياء معقدة مثل سحب خلية في جدول بيانات أو رسم شكل.
- التشبيه: تخيل اختبار قيادة لا تتدرب فيه إلا على تدوير مفتاح التشغيل فقط. إذا طُلب منك فجأة ركن السيارة بالتوازي أو الاندماج في طريق سريع، فسوف تصطدم. نماذج الذكاء الاصطنا_عي الحالية بارعة في تدوير المفتاح (النقر)، لكنها سيئة جدًا في ركن السيارة (السحب والرسم).
2. الحل الجزء الأول: "اختبار قيادة" جديد (CUActSpot)
لإصلاح ذلك، بنى الفريق معيارًا جديدًا يسمى CUActSpot. فكر في هذا كاختبار قيادة جديد وأكثر صعوبة للروبوتات.
- ما المختلف؟ بدلًا من مجرد طلب "انقر على الزر الأحمر" من الروبوت، يطلب هذا الاختبار منه:
- سحب ملف إلى سلة المهملات.
- رسم خط لربط شكلين.
- تحديد كلمة معينة في مستند.
- قص شخص من صورة.
- العوالم الخمسة: يغطي الاختبار خمسة "عوالم" مختلفة على شاشتك: التطبيقات القياسية (GUI)، المستندات النصية، جداول البيانات (Tables)، لوحات الرسم (Drawing canvases)، والصور الطبيعية.
- القواعد: وضعوا قواعد صارمة لتقييم الروبوتات. إذا حاول الروبوت سحب ملف ولكنه نقر بالخطأ على منطقة "محظورة" (مثل إعلان منبثق)، فإنه يفشل فورًا. هذا يضمن أن الروبوت دقيق، وليس مجرد محظوظ.
3. الحل الجزء الثاني: "المصنع السحري" (تخليق البيانات)
كانت المشكلة الكبرى هي عدم وجود أمثلة كافية لهذه الإجراءات المعقدة لتعليم الروبوتات. لا يمكنك الانتظار حتى يسجل البشر ملايين الساعات من عمليات السحب والرسم؛ فهذا يستغرق وقتًا طويلاً جدًا.
- التشبيه: بدلًا من انتظار السائقين الحقيقيين للتدريب، بنى الفريق محاكي ألعاب فيديو.
- كيف يعمل: كتبوا أكوادًا لإنشاء ملايين الشاشات الحاسوبية الوهمية تلقائيًا.
- أنشأوا جداول بيانات وهمية بأرقام عشوائية.
ها. - رسموا أشكالًا وهمية على لوحة الرسم.
- أخذوا صورًا حقيقية وحددوا أجزاء معينة منها.
- أنشأوا جداول بيانات وهمية بأرقام عشوائية.
- "المعلم" (LLM): استخدموا ذكاءً اصطناعيًا ذكيًا (نموذج لغوي كبير - LLM) للنظر في هذه الشاشات الوهمية وكتابة تعليمات مثل: "اسحب السهم الأخضر إلى أعلى الدائرة الصفراء". كما قام الذكاء الاصطناعي بحساب الإحداثيات الدقيقة التي يجب أن يتحرك إليها الروبوت.
- النتيجة: أنتجوا 50 مليون عينة تدريبية. هذا يشبه إعطاء الروبوت مليون ساعة من التدريب على القيادة في محاكي قبل أن يلمس سيارة حقيقية.
4. الاكتشاف: التنوع أفضل من الحجم
أجرى الفريق تجارب لمعرفة ما يجعل الروبوت أكثر ذكاءً. ووجدوا شيئًا مفاجئًا:
- الطريقة القديمة: مجرد إعطاء الروبوت المزيد من الشيء نفسه (على سبيل المثال، 10 ملايين مثال على النقر على الأزرار) لم يساعد كثيرًا.
- الطريقة الجديدة (توسيع التنوع): إعطاء الروبوت أنواعًا مختلفة من المهام (النقر، السحب، الرسم، الجداول، النصوص) جعل الروبوت أكثر ذكاءً بكثير.
- التشبيه: الأمر يشبه الطاهي. إذا مارست تقطيع البصل فقط، ستصبح جيدًا في تقطيع البصل. ولكن إذا مارست تقطيع البصل، وشرائح الطماطم، وشواء اللحم، وخبز العجين، فستصبح طاهيًا ماهرًا يمكنه التعامل مع أي وصفة. تعلم الروبوت أن مهارة تحريك الفأرة أهم من الشيء المحدد الذي يحركه.
5. النتيجة: الروبوت الجديد (Phi-Ground-Any-4B)
باستخدام هذا "الاختبار للقيادة" و"المصنع السحري" للبيانات، دربوا نموذجًا جديدًا يسمى Phi-Ground-Any-4B.
- الإنجاز: هذا النموذج صغير نسبيًا (4 مليارات معلمة فقط)، ومع ذلك فهو يتفوق على النماذج مفتوحة المصدر الأكبر حجمًا (بعضها يتجاوز 32 مليار معلمة) في هذه المهام المعقدة.
- العيب: لا يزال النموذج ضعيفًا بعض الشيء في الاختبارات "القديمة" (التي تركز فقط على النقر على الأزرار القياسية)، لكنه بطل في المهام المعقدة الجديدة التي تهم حقًا في الاستخدام الواقعي للكمبيوتر.
الملخص
تقول الورقة البحثية: "توقفوا عن تعليم الروبوتات كيفية النقر فقط. استخدام الكمبيوتر الحقيقي يتضمن السحب، والرسم، والتحرير. لقد بنينا اختبارًا جديدًا لقياس هذه المهارات، وأنشأنا مصنعًا لتوليد ملايين الأمثلة التدريبية، وأثبتنا أن تعليم الروبوتات مجموعة واسعة ومتنوعة من الإجراءات يجعلها أفضل بكثير في استخدام الكمبيوتر مقارنة بتعليمها النقر فقط."
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.