🤖 AI

Executable Agentic Memory for GUI Agent

تقدم هذه الورقة "الذاكرة الوكيلية القابلة للتنفيذ" (EAM)، وهي إطار عمل قائم على رسم بياني معرفي مهيكل يستبدل تفاعلات النماذج اللغوية الكبيرة الهشة والمتدرجة بعملية استرجاع وتنفيذ قوية باستخدام البحث في الرسم البياني الموجه بالقيم، مما يحقق أداءً فائقاً وتكاليف أقل وزمن استجابة منخفض في مهام أتمتة واجهة المستخدم الرسومية طويلة الأمد.

المؤلفون الأصليون: Zerui Qin, Sheng Yue, Xingyuan Hua, Yongjian Fu, Ju Ren

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zerui Qin, Sheng Yue, Xingyuan Hua, Yongjian Fu, Ju Ren

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "الذاكرة الوكيلية القابلة للتنفيذ لوكيل واجهة المستخدم الرسومية (GUI Agent)" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: الروبوت "فاقد الذاكرة"

تخيل أنك وظفت روبوتًا لمساعدتك في استخدام هاتفك الذكي. في كل مرة ينظر فيها الروبوت إلى شاشة جديدة (مثل فتح قائمة الإعدادات)، يضطر لنسيان كل ما فعله للتو، وإعادة قراءة الشاشة من الصفر، وتخمين الخطوة التالية.

هكذا تعمل معظم وكلاء الذكاء الاصطعي الحاليين. إنهم يشبهون السياح الذين يعانون من فقدان الذاكرة في مدينة ضخمة ومربكة.

يرون لافتة شارع (الشاشة).
يخمنون الاتجاه الذي يجب أن يسلكوه.
يتخذون خطوة.
ثم، يرون لافتة شارع جديدة، فينسون اللافتة السابقة، ويخمنون مرة أخرى.

إذا ارتكبوا خطأً صغيراً في البداية، فإنهم يضلون الطريق. قد يتجوّلون في زقاق مسدود (شاشة تطبيق خاطئة) ويستمرون في التخمين، مما يهدر الوقت والمال. يُسمى هذا نظامًا "هشًا"، خاصة للمهام الطويلة مثل "قم بتشغيل البلوتوث، ثم ابحث عن صورة محددة، ثم أرسلها عبر البريد الإلكتروني".

الحل: EAM (الخريطة "الحية")

يقترح المؤلفون نظامًا جديدًا يسمى الذاكرة الوكيلية القابلة للتنفيذ (EAM). بدلاً من التخمين في كل خطوة، يقوم الروبوت ببناء خريطة مهيكلة وحية لواجهة الهاتف.

فكر في EAM ليس كمجرد قائمة من الملاحظات النصية، بل كـ خريطة مترو أنفاق ضخمة وتفاعلية.

المحطات: هي الشاشات المختلفة على هاتفك.
المسارات: هي الأزرار والإجراءات التي يمكنك النقر عليها.
الوصلات: الخريطة تعرف بالضبط أي زر يؤدي إلى أي شاشة.

بمجرد بناء هذه الخريطة، لن يحتاج الروبوت إلى "تخمين" ما سيحدث عند النقر على زر ما. سيكتفي بالنظر إلى الخريطة، ورؤية المسار، واتباعه.

كيف يبنون الخريطة (مرحلة العمل غير المتزامن/الخارجية)

قبل أن يتمكن الروبوت من استخدام الخريطة، يجب على شخص ما رسمها. تصف الورقة طريقة ذكية للقيام بذلك دون إضاعة الوقت:

المستكشف (البحث بالعمق أولاً - DFS): تخيل مستكشفًا منظمًا جدًا أُرسل إلى تطبيقات الهاتف. بدلاً من التجول عشوائيًا، يستخدم استراتيجية "البحث بالعمق أولاً". يذهب في مسار واحد إلى أقصى مدى ممكن، ويحدد المسارات المسدودة، ثم يعود للخلف لتجربة المسار التالي. هذا يضمن العث ورؤية كل مسار ممكن دون الوقوع في حلقات مفرغة.
المُكثِّف (تنقيب مجموعات الإجراءات): أحيانًا، تتطلب المهمة النقر على خمسة أزرار متتالية (مثل "فتح الإعدادات" -> "الشبكة" -> "Wi-Fi" -> "مسح"). القيام بذلك خطوة بخطوة هو أمر بطيء. يبحث النظام عن هذه الأنماط المتكررة ويلصقها معًا لتصبح "زرًا خارقًا" (مثل قطار المترو السريع). هذا يجعل الخريطة أصغر وأسرع في التنقل.

كيف يستخدم الروبوت الخريطة (مرحلة العمل المباشر/الآنية)

عندما تعطيه مهمة (مثل "تشغيل Wi-Fi")، فإنه لا يخمن فقط. بل يستخدم ملاح نظام تحديد المواقع (GPS) للعثور على أفضل مسار على الخريطة.

نظام الـ GPS (نموذج Q): يمتلك الروبوت دماغًا صغيرًا وذكيًا (نموذج ذكاء اصطناعي خفيف الوزن) يعمل مثل نظام الـ GPS. ينظر إلى الخريطة ويقول: "إذا سلكت هذا المسار، فهناك احتمال بنسبة 90% أن أصل إلى الهدف. وإذا سلكت ذاك، فهناك احتمال 10% فقط".
البحث (MCTS): يقوم الروبوت بمحاكاة بعض المسارات الممكنة في ذهنه (مثل التحقق من خرائط جوجل لمعرفة حالة المرور) لاختيار المسار الأفضل على الإطلاق.
التنفيذ: بمجرد اختيار المسار، يقوم الروبوت بتنفيذه. ولأن المسار يأتي من خريطة تم التحقق منها مسبقًا، فإنه مضمون الصحة. لن ينقر بالخطأ على زر غير موجود أو يؤدي إلى شاشة معطلة.

لماذا يعد هذا أمرًا بالغ الأهمية؟

تدعي الورقة أن هذا النهج يحل ثلاثة مشكلات رئيسية:

الموثوقية: نظرًا لأن الروبوت يتبع خريطة تم التحقق منها مسبقًا، فإنه لا يضل الطريق ولا "يهلوس" (يخترع أشياء من عنده). إنه يشبه اتباع خريطة مترو الأنفاق مقابل سؤال غريب عن الاتجاهات قد يكون مجرد تخمين.
السرعة: الروبوت أسرع بكثير. فبدلاً من مطالبة ذكاء اصطناعي ضخم وبطيء (مثل GPT-4) بالتفكير في كل خطوة، فإنه يستخدم ذكاءً اصطناعيًا صغيرًا وسريعًا لقراءة الخريطة. تقول الورقة إنه أرخص بـ 6 مرات من حيث تكاليف الحوسبة ويستغرق 2.8 ثانية فقط لكل خطوة.
المهام الطويلة: يمكنه التعامل مع المهام الطويلة والمعقدة دون نسيان أين بدأ. الخريطة تبقي الرحلة بأكملها تحت نظره.

النتائج

اختبر الباحثون ذلك على مهام حقيقية في هواتف Android.

معدل النجاح: تفوق نظامهم على أفضل نماذج الذكاء الاصطناعي الحالية (مثل UI-TARS-7B) بفارق كبير (يصل إلى 19.6% أفضل).
الكفاءة: استخدم موارد حاسوبية (Tokens) أقل بكثير من النماذج الضخمة القائمة على السحابة.

ملخص التشبيه

الطريقة القديمة: سائح يحاول عبور مدينة من خلال سؤال غريب مختلف عند كل تقاطع طرق. يتعبون، ويصابون بالارتباك، وغالبًا ما ينتهي بهم الأمر في الحي الخطأ.
طريقة EAM: سائح لديه خريطة مترو أنفاق مثالية ومرسومة مسبقًا ونظام GPS ذكي. يعرف تمامًا أي قطار يجب أن يستقل، وفي أي محطة يجب أن ينزل، ولا يضل طريقه أبدًا. يصل إلى وجهته بسرعة، وبتكلفة أقل، وبموثوقية عالية.

تخلص الورقة إلى أنه من خلال التعامل مع واجهة الهاتف كـ آلة مهيكلة (الخريطة) وليس كمجرد سلسلة من الصور العشوائية التي يتم التخمين فيها، يمكننا جعل وكلاء الذكاء الاصطناعي أكثر موثوقية وكفاءة للأتمتة طويلة الأمد.

ملخص تقني: الذاكرة الوكيلة القابلة للتنفيذ لوكيل واجهة المستخدم الرسومية (GUI Agent)

1. بيان المشكلة

تعمل وكلاء واجهة المستخدم الرسومية (GUI agents) الحديثة، والتي تعمل عادةً بواسطة النماذج اللغوية الكبيرة (LLMs)، وفق نموذج تفاعلي يعتمد على الخطوات والنموذج المركزي. في هذا النموذج، يجب على النموذج اللغوي الكبير إعادة تفسير واجهة المستخدم (UI) واتخاذ قرارات الأفعال عند كل شاشة. هذا النهج غير مستقر بطبيعته للمهام طويلة المدى لأن الأخطاء الإدراكية أو الاستنتاجية الصغيرة تتراكم، مما يؤدي إلى أفعال وهمية ومسارات خاطئة. علاوة على ذلك، فإن الحفاظ على تقدم المهمة داخل نافذة السياق (context window) يعد أمراً غير فعال، كما أن الاعتماد على التوليد المتكرر يؤدي إلى زمن انتقال مرتفع وتكاليف عالية للرموز (tokens).

تظل المحاولات الحالية لتحسين المتانة عبر حقن المعرفة الخارجية (مثل أنماط سير العمل أو قواعد بيانات المتجهات) غير موثوقة في كثير من الأحيان. تعتمد هذه الطرق عادةً على الفهم السياقي للنموذج اللغوي الكبير للاستدلال فوق النصوص المسترجعة، وتفشل في الاستفيد من المعلومات الهيكلية المتأصلة في المسارات التاريخية. وبناءً على ذلك، فإنها تواجه صعوبة في إعادة إنتاج المسارات القابلة للتنفيذ بشكل موثوق وتتكبد تكاليف باهظة بسبب التوليد والاسترجاع المتكرر لكل خطوة.

2. المنهجية

تقترح الورقة البحثية الذاكرة الوكيلة القابلة للتنفيذ (EAM)، وهو إطار عمل ينقل التخطيط لواجهة المستخدم الرسومية من التوليد الحر إلى عملية استرجاع وتنفيذ قوية تعتمد على رسم بياني للمعرفة (Knowledge Graph - KG) مهيكل. يتكون النظام من مرحلتين رئيسيتين:

أ. بناء رسم بياني للمعرفة (Offline)

الهدف هو بناء تمثيل هيكلي مستمر لمنطق التفاعل في البيئة ( $G = (S, A, E)$ )، حيث تمثل $S$ حالات واجهة المستخدم الرسومية، و $A$ تمثل الأفعال، و $E$ تمثل الانتقالات.

الاستكشاف الذاتي: يستخدم النظام استراتيجية بحث بالعمق أولاً (DFS) موجهة بالمهام وواعية بالحالة. يقوم نموذج لغوي متعدد الوسائط (MLLM) بتوليد أهداف فرعية مرشحة بناءً على العناصر القابلة للتفاعل (anchors) وتقييم التقدم (استمرار، تراجع، أو اكتمال). يضمن هذا تغطية شاملة للانتقالات ذات الصلة بالمهمة مع تشكيل بنية شجرة بادئة (prefix tree) بشكل طبيعي.
تنقيب الانتقالات الواعية: يتم دمج المسارات التي تم جمعها في رسم بياني موجه غير حلقي (DAG). تتعامل آلية تصفية ثنائية الطبقات (تشابه التضمين متبوعاً بالتحقق عبر نموذج لغة ورؤية) مع إزالة تكرار الحالات. يتم استخراج السمات الدلالية (أوصاف الصفحات ووظائف الأفعال) من انتقالات الحالة لإثراء الرسم البياني.
تنقيب مجموعات الأفعال: لضغط الروتينات متعددة الخطوات، يقترح المؤلفون نهجاً إحصائياً مستوحى من ترميز زوج البايت (BPE). يتم دمج أزواج الأفعال المتجاورة المتكررة بشكل متكرر في عقد "مجموعات أفعال" جديدة، مما يحول الرسم البياني للمعرفة من عمليات ذرية إلى هرمية من المهارات عالية المستوى القابلة لإعادة الاستخدام.

ب. الاستدلال المعزز بالمعرفة (Online)

عند إعطاء تعليمات للمستخدم، يستخرج الوكيل مساراً قابلاً للتنفيذ من الرسم البياني باستخدام بحث مونت كارلو في شجرة مونت كارلو الموجه بالقيمة (Value-Guided MCTS).

MCTS موجه بنموذج Q: على عكس الوكلاء التوليديين الذين يربطون الرموز بالرسم البياني، يعمل هذا الوكيل مباشرة على طوبولوجيا الرسم البياني. يتنبأ نموذج دالة Q خفيف الوزن ( $Q_\theta$ ) باحتمالية نجاح المهمة لأزواج الحالة-الفعل. تستخدم خوارزمية MCTS نموذج Q هذا لتهيئة قيم العقد وتوجيه البحث عبر معيار UCT، واختيار المسارات ذات المكافأة العالية من فضاء الأفعال المقيد.
خط أنابيب التدريب الذاتي: يتم تحسين نموذج Q من خلال عملية تكرارية:
- التهيئة: يتم التدريب عبر تعلم التفضيلات على مسارات الخبراء باستخدام خسارة ترتيب برادلي-تيري (Bradley-Terry) لتحديد ترتيب الأفعال الأولي.
- التحسين التكراري: ينفذ الوكيل عملية MCTS الموجهة بنموذج Q الحالي لإنشاء أشجار البحث. يتم حساب قيم Q المستهدفة عبر عمليات النسخ الاحتياطي لـ Bellman (Bellman backups) من الأسفل إلى الأعلى (عبر المتوسط فوق سياسات عشوائية موحدة). ثم يتم تحديث النموذج باستخدام خسارة التقاطع الثنائي (binary cross-entropy) مع هذه الملصقات الناعمة، مما يحسن قدرته تدريجياً على التمييز بين المسارات الواعدة.

3. المساهمات النظرية

تقدم الورقة ضمانات نظرية للإطار المقترح:

اتساق الانحياز (Bias Consistency): يثبت المؤلفون أن نموذج Q المتعلم متسق في الانحياز مع دالة القيمة المرجعية ( $Q_{\pi_u}$ ) على المجموعة الحرجة من الحالات-الأفعال المطلوبة لاستعادة المسار الأمثل. ينخفض حد الخطأ مع زيادة عدد عينات التدريب.
تعقيد العينة (Sample Complexity): تم اشتقاق حد لتعقيد العينة المحدودة لعملية MCTS. يظهر التحليل أن عدد عمليات المحاكاة المطلوبة لاستعادة المسار الأمثل يتناسب حدودياً مع الأفق وعامل التفرع، وعكسياً مع مربع فجوة الفعل الفعالة. والأهم من ذلك، أنه مع تحسن نموذج Q (تقليل الانحياز)، تصبح الحاجة إلى محاكثات MCTS أقل.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاثة معايير: AndroidWorld، و MobileMiniWob++، و DroidTask.

الأداء: يتفوق EAM بشكل كبير على النماذج المرجعية (baselines). في AndroidWorld، حقق معدل نجاح بنسبة 52.6%، متفوقاً على SOTA UI-TARS-7B (33.0%) بنسبة 19.6%. كما تفوق على أطر عمل مثل M3A القائمة على GPT-4o (40.5%) وحقق نتائج مقاربة للوكلاء الأكبر حجماً والمعززين بالمعرفة مثل AppAgentX و GUI-Explorer، رغم استخدامه لنموذج أصغر بحجم 3 مليار معلمة لاستخراج المسار.
الكفاءة: يقلل EAM تكاليف الرموز (tokens) بنحو 6 أضعاف مقارنة بـ GPT-4o (8.3 ألف رمز مقابل 50.8 ألف لكل خطوة) ويحقق متوسط زمن انتقال قدره 2.8 ثانية. تنبع هذه الكفاءة من إطار "التخطيط ثم التنفيذ"، الذي يتطلب استدعاءً واحداً فقط للسحابة لتصفية المسار المسترجع، بدلاً من الاستدعاءات المتكررة لواجهة برمجة التطبيقات (API) لكل خطوة.
دراسات الاستئصال (Ablation Studies):
- التدريب الذاتي: يحسن التدريب الذاتي التكراري معدلات النجاح باستمرار عبر أحجام النماذج المختلفة (من 0.5B إلى 3B).
- مجموعات الأفعال: دمج التسلسلات المتكررة في مجموعات أفعال يقلل بشكل كبير من تعقيد البحث وزمن الانتقال.
- التعميم: يحسن نموذج Q المدرب على بيئة واحدة (AndroidWorld) الأداء في البيئات غير المرئية (DroidTask, MobileMiniWob++)، مما يشير إلى أن النموذج يلتقط أنماط ملاحة واجهة المستخدم الرسومية القابلة للنقل.

5. الأهمية والادعاءات

تدعي الورقة أن EAM يمثل تحولاً جذرياً في نماذج وكلاء واجهة المستخدم الرسومية من خلال التعامل مع رسم بياني للمعرفة ليس مجرد مصدر استرجاع للحقن السياقي، بل كـ آلة حالة قابلة للتنفيذ (executable state machine).

الموثوقية: من خلال ترسيخ اتخاذ القرار في رسم بياني مهيكل من الانتقالات الصالحة، يضمن EAM بقاء الوكيل في مسارات قابلة للتنفيذ، مما يقلل من الهلوسة الشائعة في التوليد الحر.
الكفاءة: يسمح الجمع بين ضغط مجموعات الأفعال والبحث الموجه بالقيمة للنماذج الصغيرة بأداء مهام طويلة المدى بزمن انتقال وتكلفة منخفضين، مما يسد فجوة الاستدلال بين النماذج اللغوية الصغيرة والنماذج الرائدة (frontier LLMs).
القابلية للتوسع: تشير الضمانات النظرية والنتائج التجريبية إلى أن هذا النهج قابل للتوسع ومتين، مما يوفر مساراً قابلاً للتطبيق نحو أتمتة واجهة المستخدم الرسومية الموثوقة والآنية دون التكاليف الباهظة لطرق التوليد خطوة بخطوة المعتمدة على السحابة حالياً.

يقر المؤلفون بوجود قيود تتعلق بافتراض بيئة واجهة مستخدم ثابتة نسبياً، مشيرين إلى أن تحديثات التطبيقات الكبيرة قد تتطلب آليات لتطور الرسم البياني التدريجي، وهو ما يظل توجهاً للعمل المستقبلي.