💬 NLP

Quick on the Uptake: Eliciting Implicit Intents from Human Demonstrations for Personalized Mobile-Use Agents

تقدم هذه الورقة البحثية IFRAgent، وهو إطار عمل يستفيد من مجموعة بيانات MobileIAR للتعرف على تدفقات النوايا البشرية الصريحة والضمنية من العروض التوضيحية، مما يؤدي إلى توليد وكلاء استخدام للهواتف المحمولة مخصصين يتفوقون بشكل كبير على النماذج المرجعية في التوافق مع نية المستخدم وإكمال المهام.

المؤلفون الأصليون: Zheng Wu, Heyuan Huang, Yanjia Yang, Yuanyi Song, Xingyu Lou, Weiwen Liu, Weinan Zhang, Jun Wang, Zhuosheng Zhang

نُشر 2026-04-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zheng Wu, Heyuan Huang, Yanjia Yang, Yuanyi Song, Xingyu Lou, Weiwen Liu, Weinan Zhang, Jun Wang, Zhuosheng Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً رقمياً شخصياً يعيش داخل هاتفك. تقول له: "اطلب لي قهوة"، فيقوم بفتح التطبيق، والعثور على القائمة، وإتمام الطلب. هذا هو الوكيل ذو الاستخدام المتنقل (Mobile-Use Agent).

ولكن إليك المشكلة: في الوقت الحالي، هذه المساعدات تشبه الروبوتات الجامدة والمنفذة للأواموام حرفياً. إذا قلت لها "اطلب لي قهوة"، فقد تختار أغلى نوع في القائمة لأن التعليمات تقول ذلك. هي لا تعرف أنك عادةً ما تطلب قهوة سوداء رخيصة، أو أنك تكره حليب الشوفان، أو أنك تترك دائماً بقشيشاً بنسبة 20%. إنها تغفل عن الأشياء الضمنية — العادات والتفضيلات غير المعلنة التي تجعل منك "أنت".

تقدم هذه الورقة البحثية نظاماً جديداً يسمى IFRAgent (فكر فيه كـ "وكيل تدفق النوايا" - Intention Flow Agent) والذي يعلم هؤلاء المساعدين في الهواتف كيفية القراءة ما بين السطور.

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. المشكلة: "الممثل الذي يقرأ النص" مقابل "الصديق الحقيقي"

الوكلاء المتنقلون الحاليون يشبهون الممثلين الذين يقرؤون نصاً مسرحياً. هم يعرفون الخطوات: اضغط هنا، مرر هناك، انقر هناك. وهذا ما يسمى النية الصريحة (Explicit Intent).

لكن البشر فوضويون. نحن نمتلك نية ضمنية (Implicit Intent).

الصريح: "احجز رحلة إلى نيويورك."
الضمني: "أنا أسافر دائماً على خطوط يونايتد، أجلس في الممر، ولا أشتري حقائب إضافية أبداً."

الوكلاء الحاليون يرون النص فقط، ولا يعرفون عاداتك. أدرك المؤلفون أنه لجعل الوكيل شخصياً حقاً، نحتاج إلى تعليمه كيفية رصد هذه الأنماط الخفية.

2. الأداة الجديدة: "مكتبة التخصيص" (MobileIAR)

قبل أن يتمكنوا من بناء وكيل أفضل، احتاجوا إلى طريقة لاختبار ما إذا كان يتجه نحو "التخصيص" فعلاً. لقد أنشأوا مجموعة بيانات جديدة تسمى MobileIAR.

فكر في هذا الأمر كأنه مذكرات تدريب ضخمة.

طلبوا من أشخاص حقيقيين استخدام هواتفهم للقيام بمهام (مثل طلب طعام أو حجز رحلة).
لم يسجلوا فقط ماذا فعل الشخص، بل سجلوا أيضاً كيف فعل ذلك.
والأهم من ذلك، قاموا بتصنيف شيئين:
1. الطريقة "الصحيحة" (الحقيقة الأرضية/Ground Truth): الخطوات التي تنهي المهمة بنجاح.
2. طريقتك "أنت" (المتوافقة مع نية الإنسان/Human-Intent Aligned): الخطوات المحددة التي اختارها ذلك الشخص بعينه بسبب عاداته.

مجموعة البيانات هذه هي أول "تقرير تقييم" لا يقيس ما إذا كان الوكيل قد أنهى المهمة فحسب، بل ما إذا كان قد أنهى المهمة بطريقتك أنت.

3. الحل: IFRAgent (الـ "مترجم الذكي")

بنى المؤلفون إطار عمل يسمى IFRAgent. تخيله كمترجم فائق الذكاء يجلس بينك وبين المساعد الروبوتي في هاتفك.

يعمل في مرحلتين:

المرحلة (أ): مرحلة المحقق (تعلم عاداتك)

قبل أن تطلب المساعدة حتى، يراقبك IFRAgent وأنت تستخدم هاتفك.

مكتبة إجراءات التشغيل القياسية (SOP Library): ينشئ "ورقة غش" بالخطوات القياسية للمهام الشائعة (مثل "كيفية طلب القهوة").
مستودع العادات (Habit Repository): يبني "ملفاً تعريفياً" لسماتك الخاصة (مثل "المستخدم يختار دائماً الخيار الأرخص"، "المستخدم يتخطى دائماً شاشة الترحيب").

المرحلة (ب): مرحلة المترجم (عندما تطلب المساعدة)

عندما تقول "اطلب لي قهوة"، لا يقوم IFRAgent بمجرد تمرير هذه الرسالة إلى الروبوت، بل يعيد كتابة الرسالة أولاً!

الاسترجاع: ينظر في تاريخك. "أوه، هذا المستخدم عادة ما يطلب قهوة سوداء من المتجر الموجود في الزاوية."
إعادة الكتابة: يحول أمرك الغامض إلى تعليمات محددة للغاية: "افتح تطبيق المتجر الموجود في الزاوية، اختر 'قهوة سوداء'، اختر 'حجم صغير'، وادفع باستخدام Apple Pay."
التسليم: يرسل هذه التعليمات الواضحة والمخصصة للغاية إلى الوكيل المتنقل.

4. النتائج: من "مقبول" إلى "قارئ للأفكار"

اختبروا هذا على العديد من وكلاء الذكاء الاصطناعي المختلفين. كانت النتائج تشبه إعطاء طالب ورقة غش ومعلماً خصوصياً:

توافق أفضل: أصبح الوكلاء أفضل بنسبة 28% في تخمين ما كنت تريده بالفعل، وليس فقط ما قلته.
نجاح أفضل: أنهوا المهام بنسبة 24% أكثر لأنهم لم يتعثروا في خطوات مربكة.

ومن المثير للاهتمام، وجدوا أن نماذج الذكاء الاصطकी العامة (مثل النماذج الكبيرة والذكية التي تعرف كل شيء عن العالم) استفادت أكثر من غيرها. الأمر يشبه إعطاء موسوعة ذات معرفة عامة مجموعة من الملاحظات الشخصية المحددة؛ تصبح فعالة للغاية. أما النماذج المتخصصة والضيقة فلم تتحسن كثيراً لأنها كانت مركزة بالفعل على الآليات فقط ونسيت "الصورة الكبيرة" للسلوك البشري.

الخلا-صة الكبرى

تحل هذه الورقة مشكلتين كبيرتين:

كيف نقيس ما إذا كان الوكيل شخصياً حقاً؟ (الجواب: مجموعة بيانات MobileIAR).
كيف نجعل الوكيل شخصياً دون إعادة تدريبه لكل مستخدم على حدة؟ (الجواب: IFRAgent، الذي يعمل كمترجم "وصل وشغل" يعيد كتابة أوامرك بناءً على عاداتك).

باختصار، يحول IFRAgent المساعد الروبوتي من مجرد منفذ لـ "افعل ما أقوله" إلى رفيق مدرك لـ "أعرف ما تحبه"، ببساطة من خلال التعلم من كيفية استخدامك لهاتفك في الماضي.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Quick on the Uptake: Eliciting Implicit Intents from Human Demonstrations for Personalized Mobile-Use Agents" (سريع الاستيعاب: استخلاص النوايا الضمنية من العروض البشرية لوكلاء استخدام الهاتف المحمول المخصصين).

1. بيان المشكلة

تهدف وكلاء استخدام الهاتف المحمول، المدعومة بنماذج اللغات الكبيرة متعددة الوسائط (MLLMs)، إلى أتمتة المهام على واجهات المستخدم الرسومية (GUIs) من خلال محاكاة التفاعلات البشرية. وبينما تستخدم الأساليب الحالية تعلم العروض التوضيحية (demonstration learning) لتحسين أداء الوكيل، إلا أنها تعاني من قصورين حرجين:

إهمال النية الضمنية: تركز الطرق الحالية فقط على تدفقات النوايا الصريحة (مثل تسلسل الخطوات، والمنطق التشغيلي). وهي تفشل في التقاط تدفقات النوايا الضمنية، مثل التفضيلات الشخصية، والعادات، والأذواق الخاصة بالمستخدم، والتي تعد ضرورية لتحقيق التخصيص الحقيقي.
نقص التقييم والقابلية للتوسع:
- هناك نقص في المعايير (benchmarks) القادرة على قياس معدل محاذاة النية (IAR) — وهو درجة توافق أفعال الوكيل مع نية مستخدم محددة خفية، بما يتجاوز مجرد إكمال المهمة.
- يعد ضبط النموذج (fine-tuning) لإنشاء وكيل منفصل لكل مستخدم أمراً غير عملي من الناحية الحسابية.

2. المنهجية: إطار عمل IFRAgent

يقترح المؤلفون IFRAgent، وهو إطار عمل قابل للتركيب والتشغيل (plug-and-play) مصمم لتعزيز وكلاء استخدام الهاتف المحمول عن طريق استخراج واستخدام كل من تدفقات النوايا الصريحة والضمنية من العروض البشرية. يعمل إطار العمل في مرحلتين:

أ. مرحلة استخراج تدفق النية

تعالج هذه المرحلة العروض البشرية التاريخية لبناء ملف تعريف للمستخدم:

تحليل التدفق الصريح: يقوم وكيل ( $A_e$ ) بتحليل مسارات المستخدم لاستخراج إجراءات التشغيل القياسية (SOPs). يتم تخزين هذه الإجراءات كـ مكتبة متجهات على مستوى الاستعلام $(l_j, p_j)$ ، حيث $l_j$ هو الاستعلام المدمج و $p_j$ هو إجراء التشغيل القياسي.
تحليل التدفق الضمني: يقوم وكيل ( $A_i$ ) بتحليل تسلسلات التفاعل لتحديد الأنماط السلوكية الكامنة. يتم تحديث هذه المعلومات بشكل تراكمي في مستودع عادات مستوى المستخدم ( $h_i$ ).

ب. مرحلة النشر

عندما يصدر المستخدم استعلاماً جديداً (قد يكون غامضاً) $q$ :

الاسترجاع (RAG): يتم دمج الاستعلام ومطابقته مع مكتبة SOP الخاصة بالمستخدم. إذا تم العثور على $q'$ مشابه سابقاً، يتم استرجاع الـ SOP الخاص به $p'$ .
استخراج SOP: تستخدم وحدة التعلم بلقطات قليلة (SOP Extractor $E$ ) زوج $(q', p')$ المسترجع لتوليد SOP قياسي $p$ للاستعلام الحالي $q$ .
إعادة الكتابة المخصصة: يأخذ معيد كتابة الاستعلام ( $W$ )، المدرب عبر تقطير المعرفة (Knowledge Distillation) من نموذج معلم قوي (GPT-4o)، الاستعلام الأصلي $q$ ، والـ SOP $p$ ، ومستودع عادات المستخدم $h_i$ كمدخلات. يقوم بإعادة كتابتها إلى استعلام مخصص ( $\hat{q}$ ) و SOP مخصص ( $\hat{p}$ ) يعكسان عادات وتفضيلات المستخدم المحددة.
التنفيذ: يقوم وكيل استخدام الهاتف المحمول ( $F$ ) بتنفيذ الإجراء $a$ بناءً على المدخلات المعاد كتابتها وحالة الشاشة الحالية.

3. المساهمات الرئيسية

أ. مجموعة بيانات MobileIAR

قدم المؤلفون MobileIAR، وهي أول مجموعة بيانات ومعيار مصمم خصيصاً لتقييم معدل محاذاة النية (Intention Alignment Rate).

المحتوى: تحتوي على 945 تعليمات عبر 16 تطبيقاً و7 سيناريوهات يومية لكل من المستخدمين باللغتين الإنجليزية والصينية.
الترميز المزدوج: على عكس مجموعات البيانات القياسية، توفر MobileIAR نوعين من الحقائق الأرضية (ground truth) لكل مهمة:
1. قوائم الأفعال الصحيحة (Ground-Truth Action Lists): الأفعال التي تنجح في إكمال المهمة (لقياس إكمال المهمة العام).
2. الأفعال المتوافقة مع نية الإنسان (Human-Intent-Aligned Actions): الفعل المحدد الذي قد يتخذه مستخدم بشري، مما يعكس تفضيله الشخصي (لقياس محاذاة النية).
الأهمية: تتيح التقييم الكمي الأول لمدى توافق الوكيل مع نية المستخدم الفردية، وليس مجرد نجاح المهمة.

ب. إطار عمل IFRAgent

بنية مبتكرة تفصل المنطق الصريح (SOPs) عن العادات الضمنية، مما يسمح للوكلاء بـ "تعلم" تفضيلات المستخدم دون الحاجة إلى ضبط دقيق (fine-tuning) لكل مستخدم.

ج. التقييم الشامل

تجارب مكثفة عبر نماذج متنوعة (مفتوحة المصدر مثل Qwen و UI-TARS، ومغلقة المصدر مثل GPT-4o) ولغات مختلفة (الإنجليزية والصينية).

4. النتائج التجريبية

قيمت الدراسة IFRAgent مقابل أفضل النماذج المرجعية (baselines) على مجموعة بيانات MobileIAR:

مكاسب الأداء:
- معدل محاذاة النية (IAR): تحسن بمعدل 6.56% مطلق (تحسن نسبي قدره 28.80%).
- معدل نجاح الخطوات (SR): تحسن بمعدل 5.50% مطلق (تحسن نسبي قدره 24.20%).
التبعية للنموذج:
- النماذج عامة المجال: أظهرت نماذج مثل Qwen2.5-VL و GPT-4o أكبر المكاسب. يرى المؤلفون أن النماذج العامة تمتلك معرفة عالمية أفضل لفهم النية الضمنية، بينما قد "تنسى" الوكلاء المتخصصون في الهواتف المحمولة المعرفة العامة أثناء التدريب اللاحق (post-training).
- تحليل الحجم: لوحظت أهم التحسينات في نماذج ذات 7 مليار و32 مليار معلمة. افتقرت النماذ الأصغر (3 مليار) إلى القدرة على اتباع التعليمات، بينما كانت النماذج الأكبر (72 مليار) تمتلك بالفعل أداءً أساسياً عالياً.
دراسة الاستئصال (Ablation) والتعميم:
- يعد كل من مستخرج SOP ومعيد كتابة الاستعلام ضروريين؛ فإزالة أي منهما يؤدي إلى تدهور الأداء.
- يتعمم إطار العمل بشكل جيد على مجموعات بيانات أخرى (مثل OS-Kairos المعدل) ويتفوق على طرق "عرض SOP" القياسية (التعلم بلقطة واحدة) من خلال التجريد الفعال للنية الضمنية.
الكفاءة: وقت الاستدلال الإضافي ضئيل لأن إعادة الكتابة والاستخراج تتم بواسطة نموذج صغير وفعال (Qwen3-4B) يتم معالجته مرة واحدة فقط لكل استعلام.

5. الأهمية

يعالج هذا العمل فجوة حرجة في أتمتة مهام الهاتف المحمول من خلال نقل التركيز من إكمال المهمة إلى محاذاة المستخدم.

تحول في النموذج المعرفي: ينقل الوكلاء من كونهم "حلالي مهام عامين" إلى "مساعدين مخصصين" يفهمون عادات المستخدم دون الحاجة إلى تدريب مكلف لكل مستخدم.
وضع معايير جديدة: إن تقديم MobileIAR يضع معياراً جديداً لتقييم قدرات "التشابه البشري" والتخصيص لوكلاء الذكاء الاصطناي.
العملية: الطبيعة القابلة للتركيب والتشغيل لـ IFRAgent تجعل من الممكن نشر وكلاء مخصصين على أجهزة الحافة (edge devices) أو ضمن خطوط إنتاج الوكلاء الحالية فوراً.