💻 computer science

AndroTMem: From Interaction Trajectories to Anchored Memory in Long-Horizon GUI Agents

تقدم الورقة البحثية AndroTMem، وهو إطار تشخيصي ومعيار قياسي يحدد إخفاقات الذاكرة باعتبارها العائق الرئيسي في وكلاء واجهة المستخدم الرسومية (GUI) ذوي الأفق الطويل، مما أدى إلى اقتراح ذاكرة الحالة المرتكزة (ASM)، وهي طريقة تحسن إنجاز المهام بشكل كبير من خلال تمثيل تسلسلات التفاعل كمرتكزات حالات وسيطة مرتبطة سببيًا بدلاً من عمليات إعادة التشغيل الكاملة أو الملخصات.

المؤلفون الأصليون: Yibo Shi, Jungang Li, Linghao Zhang, Zihao Dongfang, Biao Wu, Sicheng Tao, Yibo Yan, Chenxi Qin, Weiting Liu, Zhixin Lin, Hanqian Li, Yu Huang, Song Dai, Yonghua Hei, Yue Ding, Xiang Li, Shikang Wang

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yibo Shi, Jungang Li, Linghao Zhang, Zihao Dongfang, Biao Wu, Sicheng Tao, Yibo Yan, Chenxi Qin, Weiting Liu, Zhixin Lin, Hanqian Li, Yu Huang, Song Dai, Yonghua Hei, Yue Ding, Xiang Li, Shikang Wang, Chengdong Xu, Jingqi Liu, Xueying Ma, Zhiwen Zheng, Xiaofei Zhang, Bincheng Wang, Nichen Yang, Jie Wu, Lihua Tian, Chen Li, Xuming Hu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث AndroTMem، مقسمة إلى لغة بسيطة وسهلة الاستخدام مع تشبيهات إبداعية.

المشكلة الكبيرة: المساعد الهاتفي "السمكة الذهبية"

تخيل أنك وظفت مساعداً آلياً ذكياً للغاية وفائق الذكاء لمساعدتك في القيام بمهمة معقدة على هاتفك.
المهمة: "اذهب إلى تطبيق JD، وابحث عن سعر سماعات AirPods. ثم اذهب إلى Taobao، وابحث عن السعر هناك. قارن بينهما، واشترِ الأرخص، ثم أرسل رسالة لصديقتك أليس على WeChat تقول فيها: 'لقد وجدت عرضاً رائعاً!'"

يبدو هذا بسيطاً، أليس كذلك؟ لكن بالنسبة للكمبيوتر، هذا كابوس.

الخطوة 1-10: أنت في تطبيق JD. وجدت السعر (100 دولار).
الخطوة 11-20: انتقلت إلى Taobao. وجدت السعر (120 دولاراً).
الخطوة 21: عليك أن تتذكر أن الـ 100 دولار كانت الأرخص.
الخطوة 22: عليك أن تتذكر أي منتج كان هو الأرخص لتتمكن من شرائه.
الخطوة 23: انتقلت إلى WeChat لتراسل أليس.

المشكلة: المساعدات الذكية الحالية تشبه الأسماك الذهبية التي تملك ذاكرة مدتها 3 ثوانٍ فقط. كلما طالت المهمة (زيادة عدد الخطوات)، تنسى التفاصيل المهمة. قد يصلون إلى تطبيق WeChat ويقولون: "حسناً، أنا مستعد لمراسلة أليس"، لكنهم يكونون قد نسوا ماذا سيقولون أو أي هاتف اشتروه للتو. إنهم يضيعون في منتصف الرحلة.

يطلق الباحثون على هذا اسم "عنق زجاجة الذاكرة" (Memory Bottleneck). الذكاء الاصطناعي ليس سيئاً في رؤية الشاشة أو الضغط على الزر الصحيح؛ بل هو سيء في تذكر قصة ما فعله للتو.

الحل: نظام "الذاكرة المرتكزة" (Anchored Memory)

قدمت الورقة البحثية نظاماً جديداً يسمى AndroTMem (ذاكرة المسار الأندرويد). ولحل مشكلة السمكة الذهبية، لم يكتفوا بإعطاء الذكاء الاصطناعي دماغاً أكبر، بل أعطوه نظام أرشفة أفضل.

1. الطريقة القديمة: "لفافة الموت" (Scroll of Doom)

في السابق، إذا أراد الذكاء الاصطناعي تذكر ما حدث، كان يحاول قراءة تاريخه بالكامل من البداية إلى النهاية في كل مرة يحتاج فيها لاتخاذ قرار.

تشبيه: تخيل أنك تحاول العثور على جملة محددة في رواية مكونة من 500 صفحة عن طريق قراءة الكتاب بأكمله من الصفحة الأولى في كل مرة تريد فيها معرف معرفة ما حدث في الفصل الثالث. هذا الأمر بطيء، ومربك، ويجعلك تتشتت بتفاصيل غير ذات صلة (مثل وصف شجرة في الفصل الأول لا علاقة لها بالحبكة).

2. الطريقة الجديدة: "ذاكرة الحالة المرتكزة" (Anchored State Memory - ASM)

اقترح الباحثون نظام الذاكرة المرتكزة على الحالة. فبدلاً من قراءة الكتاب بأكمله، يقوم الذكاء الاصطناعي بإنشاء قائمة من "المرتكزات" (Anchors).

ما هو المرتكز (Anchor)؟ فكر في المرتكز كأنه علامة فارقة أو ملاحظة لاصقة تضعها على الخريطة.
- المرتكز 1: "وجدت سماعات AirPods في JD بسعر 100 دولار." (هذا هو مرتكز الحالة).
- المرتكز 2: "وجدت سماعات AirPods في Taobao بسعر 120 دولاراً."
- المرتكز 3: "قررت أن سعر JD هو الأرخص."
- المرتكز 4: "أضفت منتج JD إلى سلة التسوق."
كيف يعمل: عندما يحتاج الذكاء الاصطناعي إلى اتخاذ القرار التالي، فإنه لا يقرأ التاريخ بالكامل، بل ينظر إلى مرتكزاته.
- يسأل الذكاء الاصطناعي نفسه: "ماذا قررت بشأن السعر؟"
- ينظر إلى المرتكز 3: "أوه صحيح، JD أرخص."
- يتصرف: "حسناً، سأشتري منتج JD."

هذا يشبه المتنزه في مسار طويل. بدلاً من تذكر كل خطوة خطاها (ملمس التراب، لون العشب)، يتذكر المعالم البارزة: "مررت بصخرة حمراء كبيرة"، "عبرت الجسر"، "وصلت إلى القمة". هذه المعالم (المرتكزات) كافية لتوجيهه في بقية الرحلة.

التجربة: "AndroTMem-Bench"

لإثبات نجاح هذا الأمر، أنشأ الباحثون مسار اختبار ضخم يسمى AndroTMem-Bench.

أنشأوا 1,069 مهمة صعبة تتطلب التنقل بين التطبيقات وتذكر التفاصيل عبر 30 إلى 65 خطوة.
اختبروا أفضل نماذج الذكاء الاصطناعي المتاحة (مثل GPT-4o، وGemini، والنماذج مفتوحة المصدر).

النتائج:

بدون المرتكزات: تاه الذكاء الاصطناعي. ومع طول المهام، انخفض معدل النجاح بشكل حاد.
مع المرتكزات: ظل الذكاء الاصطناعي على المسار الصحيح. لقد تذكر "السعر الرخيص" و"اسم الصديقة" حتى بعد 50 خطوة.
التحسن: حسن النظام الجديد معدلات النجاح بنسبة 5% إلى 30%. وفي عالم الذكاء الاصطناعي، تعتبر هذه قفزة هائلة.

لماذا يهم هذا الأمر؟

فكر في مستقبل المساعدين الذكيين. نحن نريدهم أن يقوموا بتقديم ضرائبنا، أو التخطيط لعطلاتنا، أو إدارة حياتنا الرقمية بالكامل. هذه هي المهام طويلة المدى (التي تستغرق وقتاً طويلاً وتتكون من خطوات عديدة).

إذا لم نقم بحل مشكلة الذاكرة، فستظل مساعدات الذكاء الاصطناعي لدينا مجرد مساعدين متعثرين وناسيين يحتاجون إلى تذكير مستمر. يوضح نظام AndroTMem أنه من خلال تنظيم الذاكرة في "مرتكزات" مهيكلة ومتصلة بدلاً من كومة فوضوية من التاريخ، يمكننا بناء وكلاء قادرين حقاً على العمل في العالم الحقيقي.

ملخص في جملة واحدة

يعلم AndroTMem مساعدي الذكاء الاصطناعي التوقف عن محاولة تذكر كل خطوة في رحلة طويلة، والتركيز بدلاً من ذلك على تذكر المعالم الرئيسية (المرتكزات) التي تربط بداية المهمة بنهايتها.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "AndroTMem: من مسارات التفاعل إلى الذاكرة المرتكزة في وكلاء واجهة المستخدم الرسومية (GUI) طويل الأمد."

1. بيان المشكلة

تواجه وكلاء واجهة المستخدم الرسومية (GUI) طويلة الأمد، والتي تهدف إلى تنفيذ مهام معقدة ومتعددة الخطوات عبر تطبيقات الهاتف المحمول، عقبة حرجة وهي: ذاكرة التفاعل.

القيود الحالية: تعتمد النماذج الحالية إما على إعادة تشغيل تسلسلات التفاعل الكاملة (مما يؤدي إلى الضجيج والازدواجية مع نمو التسلسلات) أو استخدام ملخصات عامة (والتي غالباً ما تمحو الحالات الوسيطة الدقيقة والحرجة للاعتمادية).
المشكلة الجوهرية: المهام الواقعية على الهاتف المحمول غالباً ما تمتد عبر عشرات الخطوات عبر تطبيقات متعددة. ويعتمد النجاح على الحفاظ على واستعادة حالات وسيطة متفرقة (مثل الأسعار المستخرجة، أو العناصر المختارة، أو منح الأذونات) التي حدثت في وقت مبكر من المسار ولكنها حاسمة للقرارات المتخذة لاحقاً بكثير.
فجوة التقييم: تفشل الاختبارات المرجعية الحالية غالباً في اختبار الاحتفاظ بالذاكرة بشكل صريح لأن مهامها تفتقر إلى الاعتمادات السببية القوية بين الخطوة والأخرى. نتيجة لذلك، قد ينجح الوكلاء عن طريق الصدفة أو الإدراك المحلي دون "تذكر" حالة المهمة حقاً، مما يحجب أوجه القصور الأساسية في الذاكرة.

2. المنهجية

أ. AndroTMem-Bench (إطار التقييم التشخيصي)

قدم المؤلفون AndroTMem-Bench، وهو إطار عمل تشخيصي مصمم لتقييم الذاكرة بصرامة في وكلاء واجهة مستخدم أندرويد طويل الأمد.

حجم مجموعة البيانات: 1,069 مهمة واقعية عبر 50 تطبيقاً، بإجمالي 34,473 خطوة تفاعل (متوسط 32.1 خطوة لكل مهمة، والحد الأقصى 65).
فلسفة التصميم: تم بناء المهام مع اعتمادات سببية قوية من خطوة إلى أخرى. تعتمد الإجراءات اللاحقة بشكل صارم على النتائج الوسيطة من الخطوات السابقة (على سبيل المثال: مقارنة الأسعار في التطبيق (أ) والتطبيق (ب) قبل إضافة العنصر الأرخص إلى السلة في التطبيق (أ)، ثم المشاركة عبر التطبيق (ج)).
التوسيم (Annotation): تتضمن مجموعة البيانات "مرتكزات الحالة" (State Anchors)—وهي حالات وسيطة متفرقة وموسومة (مثل Price_JD و Cheaper_Item) تعمل كمرجع حقيقي لاسترجاع الذاكرة.
المقاييس:
- TCR (معدل إكمال المهمة): المقياس الأساسي، ويقيس النجاح بناءً على ما إذا كان الوكيل يحافظ على الحالات الوسيطة الحرجة ويعيد استخدامها بشكل صحيح للوصول إلى الهدف النهائي.
- AMS (درجة مطابقة الإجراء): تقيس دقة الإجراء على مستوى الخطوة.

ب. النتائج التشخيصية

كشف تقييم 12 وكيلاً متنوعاً (مفتوحة المصدر، مغلقة المصدر، ومتعددة الوكلاء) على هذا الإطار المرجعي عن:

الذاكرة هي العقبة: التدهور في الأداء مع زيادة طول المهمة مدفوع أساساً بإخفاقات الذاكرة داخل المهمة الواحدة (نسيان أو ربط خاطئ للحالات الوسيطة)، وليس بسبب أخطاء الإدراك المنعزلة أو أخطاء الإجراء المحلية.
أنماط الفشل: يعاني الوكلاء بشكل متكرر من:
1. فقدان الحالة: نسيان القيم المستخرجة.
2. الربط الخاطئ للحالة: ربط البيانات بعنصر واجهة مستخدم خاطئ.
3. انحراف السياق: فقدان تتبع الهدف الفرعي الحالي.
4. التقدم غير المتحقق منه: الاستمرار في العمل دون التأكد من اكتمال هدف فرعي ما.

ج. الحل المقترح: ذاكرة الحالة المرتكزة (ASM)

لمعالجة هذه الإخفاقات، اقترح المؤلفون ذاكرة الحالة المرتكزة (ASM)، وهي آلية تمثيل لتاريخ التفاعل مهيكلة.

المفهوم: بدلاً من التتبع الخام أو الملخص الحر، تنظم ASM تاريخ التفاعل في مجموعة مدمجة من المرتكزات (Anchors) ذات الحالات الوسيطة المرتبطة سببياً.
الهيكل: يحتوي كل مرتكز ( $m_k$ $m_{k}$ ) على:
- النوع: الدور الوظيفي (مثل: هدف فرعي، تغيير حالة، تبعية، استثناء، معلومات سياقية، إنهاء).
- المحتوى: المعلومات الدلالية.
- الدليل: ربط الملاحظات المرئية (لقطات الشاشة/صناديق الإحاطة).
- الروابط: علاقات التبعية السببية التي تربطه بالمرتكزات السابقة.
التشغيل: يعمل الوكيل في حلقة استرجاع–تفكير–تحديث:
1. الاسترجاع: جلب المرتكزات ذات الصلة بناءً على حالة واجهة المستخدم الحالية والتعليمات.
2. التفكير: استخدام المرتكزات المسترجعة + السياق الحالي للتنبؤ بالإجراء التالي.
3. التحديث: تحليل الخطوة لإنشاء مرتكزات جديدة، أو تحديث المرتكزات الموجودة، أو إنشاء روابط سببية جديدة.

3. المساهمات الرئيسية

AndroTMem-Bench: إطار مرجعي عالي الجودة مصمم خصيصاً لتشخيص قيود الذاكرة في وكلاء واجهة المستخدم الرسومية طويل الأمد من خلال سير عمل يعتمد على التبعية السببية وعبر التطبيقات.
الرؤية التشخيصية: أدلة تجريبية تثبت أن انخفاض الأداء في المهام طويلة الأمد تهيمن عليه إخفاقات الذاكرة بدلاً من أخطاء الإدراك أو التنبؤ بالإجراءات.
ذاكرة الحالة المرتكزة (ASM): آلية ذاكرة مبتكرة تهيكل التاريخ في مرتكزات متفرقة ومرتبطة سببياً، مما يسمح بالاسترجاء المستهدف واتخاذ قرارات واعية بالسببية.
التقييم الشامل: اختبار منهجي لـ 12 وكيلاً أظهر أن الذاكرة المهيكلة تتفوق على كل من إعادة التشغيل الخام والأساليب القائمة على الملخصات.

4. النتائج التجريبية

قيم المؤلفون 12 وكيلاً (بما في ذلك GPT-4o، وGPT-5، ومتغيرات Gemini، وQwen، وUI-TARS) تحت ثلاث استراتيجيات للتاريخ: التاريخ الخام (Raw History)، الملخص العام (Coarse Summary)، و ASM.

مكاسب الأداء:
- تحسن TCR: حسنت ASM معدلات إكمال المهام بنسبة 5% إلى 30.16% مقارنة بالنماذج المرجعية.
- تحسن AMS: حسنت درجات مطابقة الإجراء بنسبة 4.93% إلى 24.66%.
- مثال: في نموذج Gemini-3-Flash، ارتفع TCR من 55.21% (الخام) إلى 65.05% (ASM). وفي UI-TARS-1.5-7B، ارتفع TCR من 34.55% إلى 46.21%.
المتانة: حافظت ASM على أداء عالٍ حتى مع زيادة عدد خطوات التفاعل (أكثر من 60 خطوة)، بينما أظهرت طرق "الخام" و"الملخص" تدهوراً ملحوظاً.
الكفاءة: حققت ASM هذه المكاسب مع إبقاء استخدام الرموز (tokens) ووقت الاستدلال مقارباً للأساليب القائمة على الملخص، وأقل بكثير من إعادة تشغيل المسار الخام.

5. الأهمية

تحول في النموذج: تنقل الورقة التركيز من "إدراك الشاشة الحالية" إلى "إدارة تاريخ التفاعل". وهي تثبت أنه بالنسبة للمهام طويلة الأمد، فإن الذاكرة المهيكلة هي قدرة جوهرية مطلوبة للموثوقية.
القابلية للتوسع: توفر ASM حلاً قابلاً للتوسع للأتمتة المعقدة في العالم الحقيقي حيث تتضمن المهام تطبيقات متعددة وسلاسل تبعية طويلة، مما يعالج عائقاً رئيسياً أمام نشر وكلاء GUI في بيئات الإنتاج.
الأبحاث المستقبلية: من خلال عزل إخفاقات الذاكرة وتوفير تمثيل مهيكل (ASM)، يقدم هذا العمل مساراً واضحاً لتحسين تفكير الوكلاء، والانتقال إلى ما وراء مجرد توسيع نافذة السياق إلى الإدارة الدلالية للحالة.

في الختام، يثبت AndroTMem أن وكلاء واجهة المستخدم الرسومية الفعالين طويلي الأمد يتطلبون أكثر من مجرد نوافذ سياق كبيرة؛ إنهم بحاجة إلى ذاكرة مرتكزة ومهيكلة تعمل على نمذجة التبعيات السببية بين الحالات الوسيطة بشكل صريح لضمان نجاح المهمة.