AutoRPA: Efficient GUI Automation through LLM-Driven Code Synthesis from Interactions
يُعد AutoRPA إطار عمل يسد الفجوة بين وكلاء ReAct القائمين على النماذج اللغوية الكبيرة (LLM) غير الفعالين وبين أتمتة العمليات الروبوتية (RPA) التقليدية، وذلك من خلال التقطير التلقائي لمسارات التفاعل إلى وظائف RPA متينة وقابلة لإعادة الاستخدام، مما يحقق تقليلاً كبيراً في استهلاك الرموز (tokens) وتكاليف التشغيل مع الحفاظ على قدرات حل المهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً شخصياً ذكياً جداً، ولكنه مكلف قليلاً، يدعى "LLM" (نموذج لغوي كبير). هذا المساعد بارع في معرفة كيفية استخدام شاشة الكمبيوتر أو الهاتف لأول مرة. إذا طلبت منه "حجز رحلة طيران" أو "حذف ملاحظة"، يمكنه النظر إلى الشاشة، والتفكير فيما يجب فعله، والنقر على الأزرار الصحيحة، وإنجاز المهمة.
ومع ذلك، هناك عقبة: فهو بطيء ومكلف عند استخدامه للمهام المتكررة.
في كل مرة تطلب منه حجز رحلة طيران، يتعين عليه أن "يفكر" من الص ว่า. يقرأ الشاشة، ويخطط للخطوات، ثم ينقر. إذا كنت بحاجة للقيام بذلك 100 مرة يومياً، فأنت تدفع مقابل 100 ساعة من "التفكير"، وهذا هدر للمال والوقت.
من ناحية أخرى، قبل وجود هؤلاء المساعدين الأذكياء، كان الناس يستخدمون "أتمتة العمليات الروبوتية" (RPA). فكر في RPA كأنه نص مسجل مسبقاً. إنه يشبه الروبوت الذي ينقر بعمى على "الزر 3، ثم يكتب 'مرحباً'، ثم ينقر 'حفظ'". إنه سريع جداً ورخيص التشغيل. لكنه أيضاً هش. إذا قام مصمم التطبيق بنقل "الزر 3" إلى مكان مختلف، فسوف يتعطل الروبوت لأنه لا يعرف كيف يتكيف. يحتاج الأمر إلى إنسان لإعادة كتابة النص يدوياً في كل مرة يتغير فيها شكل الشاشة.
المشكلة
نحن نريد سرعة ورخص ثمن الروبوت (RPA)، ولكن مع القدرة الذكية على التكيف التي يتمتع بها المساعد (LLM). نريد حلاً يعمل للمهام المتكررة (مثل حجز الرحلات الجوية كل يوم) دون الحاجة إلى إنسان يعيد كتابة الكود في كل مرة يتم فيها تحديث التطبيق.
الحل: AutoRPA
تقدم الورقة البحثية نظام AutoRoma، وهو نظام يعمل مثل رئيس طهاة يحول عرض طهي فوضوي إلى وصفة مثالية وقابلة لإعادة الاستخدام.
إليك كيف يعمل، خطوة بخرطوة:
1. "الاستكشاف" (الرئيس يراقب)
أولاً، يستخدم AutoRPA المساعد الذكي (LLM) لأداء المهمة (مثل حجز رحلة طيران) لمرة واحدة أو لمرات قليلة. المساعد ينظر إلى الشاشة، ويفكر، وينقر. هذه هي مرحلة "ReAct".
- التشبيه: رئيس الطهاة يراقب مساعد الطباخ وهو يطهو طبقاً لأول مرة، ويدون كل حركة.
2. "الترجمة" (تحويل الملاحظات إلى وصفة)
تكون إجراءات المساعد عادةً "مكتوبة برمجياً بشكل صلب" (على سبيل المثال، "انقر على الزر عند إحداثيات البكسل 144، 278"). وهذا أمر سيء لأنه إذا تحركت الشاشة، ستصبح الإحداثيات خاطئة.
يمتلك AutoRPA وكيل ترجمة (Translator Agent) خاصاً به يقوم بإعادة كتابة هذه الإجراءات. بدلاً من قول "انقر عند 144، 278"، يقول "انقر على الزر الذي يقول 'حجز رحلة طيران'".
- التشبيه: يأخذ رئيس الطهاة ملاحظات مساعد الطباخ الفوضوية ("اضغط على النقطة الحمراء في أعلى اليمين") ويعيد كتابتها كتعليمات واضحة ("اضغط على زر 'البدء' الأحمر"). هذا يجعل الوصفة تعمل حتى لو تغير تخطيط المطبخ قليلاً.
3. "البناء" (إنشاء النص الرئيسي)
يأخذ وكيل البناء (Builder Agent) هذه التعليمات المرنة والمترجمة ويجمعها في برنامج كمبيوتر واحد قوي (دالة RPA). إنه ينظر إلى محاولات عديدة (مسارات) ليعرف أفضل طريقة للتعامل مع الاختلافات.
- التشبيه: يكتب رئيس الطهاة بطاقة الوصفة النهائية والاحترافية التي يمكن لأي شخص استخدامها، في أي مكان، لصنع هذا الطبق بشكل مثالي.
4. "الإصلاح الهجين" (شبكة الأمان)
أحياناً، قد تحتوي الوصفة الجديدة على خطأ ما. إذا حاول الروبوت تشغيل الكود وفشل، فإن AutoRPA لا يستسلم ببساطة. بل لديه استراتيجية إصلاح هجينة:
- يوقف الروبوت مؤقتاً.
- يستدعي المساعد الذكي (LLM) مرة أخرى لمعرفة لماذا فشل وكيفية الإصلاح من تلك النقطة تحديداً.
- يستخدم الإصلاح الذي قدمه المساعد لتحديث الوصفة.
- التشبيه: إذا أحرق الروبوت الخبز المحمص، يتدخل رئيس الطهاة، ويصلح الخبز، ثم يحدّث بطاقة الوصفة حتى لا يحرق الروبوت الخبز مرة أخرى في المرة القادمة.
النتائج
اختبرت الورقة البحثية هذا النظام في ثلاث بيئات مختلفة (تطبيقات أندرويد، مواقع الويب، ومهام ويب محاكية).
- الكفاءة: كود AutoRPA الجديد أرخص بنسبة تتراوح بين 82% إلى 96% في التشغيل مقارنة بطلب المساعد الذكي للقيام بالمهمة في كل مرة. إنه يوفر كمية هائلة من استخدام "الرموز" (Tokens) (وهي عملة التفكير في الذكاء الاصطناعي).
- معدل النجاح: إنه يحل المهام بنفس جودة، أو أحياناً أفضل من المساعد الذكي وحده، لأن الكود الناتج مستقر ولا يرتبك بسبب التغييرات الطفيفة في الشاشة.
- قابلية إعادة الاستخدام: بمجرد بناء الكود لنوع معين من المهام (مثل "حجز رحلة طيران")، يمكن إعادة استخدامه لمئات الحالات المحددة (حجز رحلة إلى نيويورك، حجز رحلة إلى لندن) دون الحاجة للتفكير مجدداً.
ملخص
AutoRPA هو نظام يشاهد ذكاءً اصطناعياً يتعلم مهمة ما، ثم يترجم هذا التعلم إلى نص برمجي مرن وقابل لإعادة الاستخدام، ثم يصقل هذا النص حتى يصبح مثالياً. إنه يمنحنا أفضل ما في العالمين: الذكاء للتعامل مع المواقف الجديدة، وكفاءة الروبوت للتعامل مع العمل المتكرر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.