ReVision: Scaling Computer-Use Agents via Temporal Visual Redundancy Reduction
تقدم الورقة البحثية ReVision، وهي طريقة تقلل من تكرار الرموز المرئية في مسارات وكلاء استخدام الكمبيوتر من خلال الإزالة الانتقائية للرقع المتكررة عبر لقطات الشاشة المتتالية، مما يؤدي إلى خفض تكاليف الرموز بشكل كبير مع تحسين معدلات النجاح وتمكين الوكلاء من الاستفادة بفعالية من السياقات التاريخية الأطول.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم مساعد آلي ذكي جداً، ولكنه نساي قليلاً، كيفية التنقل عبر شاشة الكمبيوتر لإتمام مهمة معقدة، مثل حجز رحلة طيران أو تنظيف سجل المتصفح الخاص بك.
في كل مرة يتخذ فيها الروبوت خطوة، يلتقط صورة للشاشة. ولفهم هذه الصورة، يقوم الروبوت بتفكيكها إلى آلاف القطع الصغيرة التي تشبه قطع الأحجية وتسمى "الرموز" (tokens). وكلما رأى صوراً أكثر، زاد عدد قطع الأحجية التي يتعين عليه التعامل معها.
المشكلة: عبء "الملاحظات اللاصقة"
تشير الورقة البحثية إلى عدم كفاءة كبيرة: عندما تحرك الماوس أو تضغط على زر، يظل 90% من الشاشة كما هو تماماً. فقط زاوية صغيرة هي التي تتغير.
ومع ذلك، فإن مساعدي الذكاء الاصطناعي الحاليين يشبهون شخصاً يقوم، بعد كل خطوة، بلصق ملاحظة لاصقة جديدة بالكامل (صفحة كاملة) على الحائط، حتى لو كان 95% من تلك الملاحظة مطابقاً تماماً للملاحظة التي لصقها للتو.
- النتيجة: حائطهم (ذاكرة الكمبيوتر) يمتلئ بالملاحظات اللاصقة بسرعة كبيرة. إنهم ينفدون من المساحة لكتابة معلومات جديدة ومهمة.
- العاقبة: لأنهم مشغولون جداً بالنظر إلى الخلفية القديمة نفسها مراراً وتكراراً، لا يمكنهم تذكر ما يكفي من الماضي لاتخاذ قرارات جيدة. إنهم يصطدمون بـ "جدار" حيث يؤدي إضافة المزيد من التاريخ في الواقع إلى جعل أدائهم أسوأ لأنهم يغرقون في البيانات المكررة.
الحل: ReVision (الممحاة الذكية)
يقدم المؤلفون ReVision، وهي طريقة جديدة تعمل كـ "ممحاة ذكية" لهذه الملاحظات الرقمية اللاصقة.
بدلاً من لصق صفحة كاملة جديدة في كل مرة، ينظر ReVision إلى الصورة الجديدة ويسأل: "ما الذي تغير فعلياً منذ الصورة الأخيرة؟"
- إذا لم تتحرك الخلفية، وأشرطة القوائم، والنصوص، فإن ReVision يمسح تلك الأجزاء من الصورة الجديدة.
- إنه يحتفظ فقط بقطع الأحجية الصغيرة التي تمثل الإجراء الجديد (مثل ظهور زر جديد أو تغير النص).
- والأهم من ذلك، أنه يحافظ على شكل الشاشة سليماً حتى لا يرتبك الروبوت بشأن أماكن الأشياء.
التشبيه: الفيلم مقابل عرض الشرائح
فكر في مساعد الذكاء الاصطناعي القياسي وهو يشاهد فيلماً كما لو كان عرض شرائح مكون من 60 صورة متطابقة في الثانية. إنه أمر مرهق ومبدد للموارد.
أما ReVision فهو مثل مشاهدة الفيلم في الوقت الفعلي: فهو ينتبه فقط للممثلين المتحركين والمناظر المتغيرة، ويتجاهل الخلفية الثابتة.
ما وجدته الورقة البحثية
اختبر الباحثون هذا على ثلاثة "مسارات عقبات" لوكلاء الكمبيوتر (OSWorld، وWebTailBench، وAgentNetBench). وهذا ما حدث:
- توفير هائل: باستخدام ReVision، استخدم الذكاء الاصطناعي "رموزاً" (قطع أحجية) أقل بنسبة 46% تقريباً للقيام بنفس المهمة. الأمر يشبه حزم حقيبة لرحلة ثم إدراك أنه يمكنك التخلص من نصف ملابسك لأنك ستعيد ارتداء نفس القميص.
- أداء أفضل: للمفاجأة، لم يكن الذكاء الاصطناعي يوفر المال فحسب؛ بل أصبح أكثر ذكاءً. فقد ارتفع معدل نجاحه بنسبة 3% تقريباً.
- لماذا؟ لأنه لم يكن يهدر طاقته الذهنية على الخلفية الثابتة، فكان لديه المزيد من "المساحة الذهنية" لتذكر الخطوات المهمة التي اتخذها في وقت سابق من المهمة.
- كسر نقطة "التشبع": عادةً، إذا أعطيت الذكاء الاصطناعي الكثير من الصور الماضية، فإنه يرتبك ويتوقف عن التحسن. وجدت الورقة أن هذا لم يكن بسبب أن الصور الماضية كانت عديمة الفائدة؛ بل كان بسبب غرق الذكاء الاصطناعي في البيانات المكررة. وبمجرد أن قام ReVision بتنظيف الضجيج، استطاع الذكاء الاصطناعي استخدام تاريخ أطول ليصبح أفضل في المهام الطويلة والمعقدة.
الخلاصة
يعلم ReVision وكلاء الكمبيوتر كيف يكونون مراقبين أكفاء. فبدلاً من حفظ الشاشة بأكملها في كل ثانية، يتعلمون التركيز فقط على ما هو جديد. وهذا يسمح لهم بتذكر قصص أطول، واتخاذ قرارات أفضل، وحل مشكلات أصعب دون الحاجة إلى حواسيب فائقة القدرة للتعامل مع حمل البيانات.
ملاحظة: تركز الورقة البحثية حصرياً على تحسين وكلاء استخدام الكمبيوتر (البرامج التي تتحكم في الماوس ولوحة المفاتيح). وهي لا تناقش التطبيقات الطبية، أو الاستخدامات السريرية، أو الآثار المستقبلية بخلاف جعل هؤلاء الوكلاء أكثر كفاءة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.