Building Autonomous GUI Navigation via Agentic-Q Estimation and Step-Wise Policy Optimization
تقدم هذه الورقة إطار عمل جديداً متمحوراً حول نماذج اللغات الكبيرة متعددة الوسائط (MLLM) لوكلاء واجهة المستخدم الرسومية (GUI) المستقلين، يجمع بين تقدير (agentic-Q) وتحسين السياسة خطوة بخطوة لتمكين جمع البيانات ذاتي التوليد بكفاءة وتعزيز التعلم المستقر، مما سمح لنموذج Ovis2.5-9B بالتفوق على المنافسين الأكبر حجماً في اختبارات الملاحة والتمركز.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم بتعليم روبوت ذكي جداً ولكنه يفتقر للخبرة كيفية التنقل في الإنترنت. هدفك هو جعل الروبوت ينقر على الأزرار، ويكتب النصوص، ويتصفح المواقع لإتمام مهام مثل "ابحث عن سعر آيفون 14" أو "احجز رحلة طيران إلى باريس".
تقدم هذه الورقة البحثية طريقة جديدة وفعالة للغاية لتدريب هذا الروبوت، حيث تعالج ثلاث مشكلات رئيسية عادة ما تؤرق مطوري الذكاء الاصطناعي: البيانات المكلفة، التغذية الراجعة غير الواضحة، والتدريب غير المستقر.
إليك تفصيل لحلها باستخدام تشبيهات بسيطة:
1. المشكلة: "الصندوق الأسيود" للتغذية الراجعة
عادةً ما يكون تدريب ذكاء اصطناعي للتنقل في موقع إلكتروني مثل لعب لعبة فيديو حيث لا تحصل إلا على رسالة "انتهت اللعبة" أو "لقد فزت" في نهاية ماراثون مكون من 50 مستوى.
- المشكلة: إذا فشل الروبوت في الخطوة رقم 3، فلن تعرف ما إذا كان السبب هو الخطوة 3، أم أنه اتخذ قراراً سيئاً في الخطوة 45.
- التكلفة: لإصلاح ذلك، يضطر البشر عادةً لمشاهدة ساعات من الفيديو وتصنيف كل نقرة يدوياً كـ "جيدة" أو "سيئة". هذا الأمر مكلف للغاية وبطيء.
- عدم الاستقرار: لأن الإنترنت يتغير باستمرار (المواقع تُحدث، تظهر نوافذ منبثقة)، فإن "اللعبة" التي يلعبها الروبوت ليست هي نفسها في كل مرة، مما يجعل التعلم صعباً وغير مستقر.
2. الحل: مدرب الـ "Agentic-Q"
يقترح المؤلفون طريقة تدريب من خطوتين تعمل كـ مدرب ذكي يراقب الروبوت أثناء اللعب ويقدم له تغذية راجعة فورية.
الخطوة أ: مُقدّر الـ "Agentic-Q" (المدرب الفوري)
بدلاً من الانتظار حتى نهاية المهمة لقول "عمل جيد" أو "عمل سيء"، قاموا بتدريب نموذج ذكاء اصطناعي خاص (Agentic-Q) ليعمل كمدرب.
- كيف يعمل: في كل مرة يقوم فيها الروبوت بحركة (مثل النقر على زر)، يقوم المدرب بالتقييم فوراً: "إذا فعل الروبوت هذا، فما هي احتمالية نجاحه في النهاية؟"
- الخدعة السحرية: يتعلم المدرب هذا من خلال مراقبة محاولات الروبوت السابقة. إذا نجح الروبوت في النهاية، يتعلم المدرب أن الخطوات التي سبقت النجاح كانت "جيدة". وإذا فشل، يتعلم أن تلك الخطوات كانت "سيئة".
- لماذا هو رائع: لا يحتاج المدرب إلى بشر لمراقبته. فهو يولد بيانات التدريب الخاصة به من خلال مراقبة لعب الروبوت، ثم يستخدم تلك البيانات لتقييم تحركات الروبوت المستقبلية فوراً.
الخطوة ب: تحسين السياسة خطوة بخطوة (رقيب الضبط)
بمجرد أن يصبح المدرب جاهزاً، يبدأ الروبوت في التدريب مرة أخرى.
- الطريقة القديمة: يلعب الروبوت لعبة كاملة، يحصل على درجة في النهاية، ثم يحاول تخمين ما الذي فعله بشكل خاطئ.
- الط thức الجديدة: يلعب الروبوت خطوة واحدة. يقوم المدرب فوراً بالقول: "كانت هذه فرصة نجاح بنسبة 90%!" أو "كانت هذه فرصة بنسبة 10%!". يستخدم الروبوت هذه التغذية الراجعة الفورية لتعديل دماغه فوراً.
- الفائدة: هذا يشبه لعبة فيديو تحصل فيها على درجة بعد كل قفزة، بدلاً من الانتظار حتى نهاية المستوى. وهذا يجعل التعلم أسرع بكثير وأكثر استقراراً.
3. السر الخفي: "النافذة المنزلقة" و"التركيز"
لاحظ المؤلفون أنه إذا تذكر الروبوت كل شيء فعله منذ بداية اليوم، فسيصاب بالارتباك (مثل محاولة تذكر كل كلمة في محادثة استمرت 10 ساعات).
- الحل: يستخدمون النافذة المنزلقة (Sliding Window). ينظر المدرب فقط إلى الخطوات القليلة الأخيرة التي اتخذها الروبوت. الأمر يشبه مدرباً يقول: "انسَ ما فعلته قبل 20 دقيقة؛ ركز على ما فعلته للتو". هذا يحافظ على صفاء ذهن الروبوت ويمنعه من الوقوع في عادات سيئة.
4. النتائج: التغلب على العمالقة
اختبروا هذه الطة الجديدة (المسماة Ovis2.5) على مواقع حقيقية مثل أمازون، وجوجل مابس، وآبل.
- المفاجأة: أداؤهم، رغم صغر حجم نموذجهم (9 مليارات معلمة)، كان أفضل من النماذج الضخمة والمكلفة من شركات التقنية الكبرى (مثل GPT-4o و Claude 3.7/4).
- قوة "عبور الحدود": في مثال رائع، طُلب من الروبوت العثور على آيفون 14 على موقع آبل. أدرك الروبوت أن المنتج لم يعد موجوداً. وبدلاً من التعثر أو الاستسلام، قرر تغيير استراتيجيته. فتح علامة تبويب جديدة، وذهب إلى جوجل، وبحث هناك، ووجد السعر. لقد أظهر قدرته على التفكير: "هذا الطريق مسدود، دعونا نجرب طريقاً آخر".
ملخص التشبيه
تخيل أنك تعلم طفلاً ركوب الدراجة.
- الطريقة القديمة: تتركه يركب لمدة 10 أميال. وفي النهاية تقول له: "لقد سقطت ثلاث مرات". لا يعرف الطفل أي حركة بدال تسببت في السقوط.
- طريقة هذه الورقة البحثية: تركب بجانبه مع مستشعر خاص (Agentic-Q). في اللحظة التي يترنح فيها، يقول المستشعر: "مل بجسمك لليسار!". يصحح الطفل مساره فوراً. أنت لا تحتاج لبشر لمراقبته في كل ثانية؛ فالمستشعر يتعلم من تاريخ ركوب الطفل ليعطي نصيحة مثالية وفورية.
الخلاصة: توضح هذه الورقة أنه من خلال منح الذكاء الاصطناعي "حلقة تغذية راجعة فورية" يمكنه توليدها بنفسه، يمكننا بناء متصفحين للإنترنت أكثر ذكاءً، وسرعة، وقدرة على التكيف دون الحاجة إلى جيوش من المعلمين البشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.