🤖 AI

MMSkills: Towards Multimodal Skills for General Visual Agents

تقدم الورقة البحثية MMSkills، وهو إطار عمل يعالج أوجه القصور في تمثيلات المهارات القائمة على النصوص من خلال صياغة وتنفيذ معرفة إجرائية متعددة الوسائط قابلة لإعادة الاستخدام —تجمع بين الإجراءات النصية والأدلة المرئية المشروطة بالحالة— لتعزيز قدرات اتخاذ القرار في وقت التشغيل للوكلاء البصريين العامين.

المؤلفون الأصليون: Kangning Zhang, Shuai Shao, Qingyao Li, Jianghao Lin, Lingyue Fu, Shijian Wang, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

نُشر 2026-05-14

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Kangning Zhang, Shuai Shao, Qingyao Li, Jianghao Lin, Lingyue Fu, Shijian Wang, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "MMSkills: نحو مهارات متعددة الوسائط للوكلاء البصريين العامين" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: تعليم الروبوتات كيف "ترى" مثل البشر

تخ trình أنك تعلم روبوتاً كيفية استخدام جهاز كمبيوتر.

الطريقة القديمة (مهارات تعتمد على النص فقط): تعطي الروبوت وصفة مكتوبة: "اضغط على قائمة 'ملف' (File)، ثم 'جديد' (New)، ثم 'ورقة عمل' (Sheet)."
- المشكلة: إذا كان الروبوت في الشاشة الخطأ، أو إذا كانت هناك نافذة منبثقة تحجب القائمة، فإن الروبوت يتبع النص بشكل أعمى. سيضغط على "ملف" رغم أن القائمة ليست موجودة، فيتعثر ويفشل. هو يعرف ماذا يفعل، لكنه لا يعرف متى يفعل ذلك أو كيف يبدو شكل النتيجة النهائية.
الطريقة الجديدة (MMSkills): تعطي الروبوت "دليلاً ذكياً". هذا الدليل لا يحتوي على نصوص فحسب؛ بل يحتوي أيضاً على صور لما يجب أن تبدو عليه الشاشة في كل خطوة، جنباً إلى جنب مع قوائم تحقق للتأكد مما إذا كان الروبوت يسير على المسار الصحيح.

تقدم هذه الورقة البحثية نظام MMSkills، وهو نظام يحول هذه "الأدلة الذكية" إلى أدوات قابلة لإعادة الاستخدام لوكلاء الذكاء الاصطناعي (الروبوتات التي تستخدم أجهزة الكمبيوتر أو تلعب الألعاب).

المشكلات الثلاث الرئيسية التي حلوها

حدد المؤلفون ثلاث عقبات كبيرة في جعل هذه الأدلة الذكية تعمل:

ماذا يوجد داخل الحزمة؟
- تشبيه: إذا كنت تعلم شخصاً ما كيفية خبز كعكة، فإن وصفة نصية ليست كافية. أنت بحاجة إلى صورة للعجين (لمعرفة متى أصبح جاهزاً)، وصورة للفرن (لمعرفة ما إذا كان ساخناً)، وقائمة تحقق (للتأكد من أنك لم تنسَ البيض).
- الحل: تحتوي حزمة MMSkill على ثلاثة أشياء:
  - النص: التعليمات خطوة بخطوة.
  - بطاقات الحالة (State Cards): نظام يشبه "إشارات المرور". يخبر الوكيل: "استمر فقط إذا رأيت زراً أزرق"، أو "توقف! لا تضغط إذا رأيت رسالة خطأ حمراء".
  - الدليل البصري (Visual Evidence): صور (إطارات رئيسية/keyframes) توضح بالضبط كيف يجب أن تبدو الشاشة في لحظات حرجة (مثل صور "قبل" و "بعد").
من أين نحصل على هذه الأدلة؟
- تشبيه: لا تريد استئجار إنسان لكتابة وصفة جديدة لكل كعكة تصنعها. تريد مراقبة الناس وهم يخبزون الكعك، وفهم الخطوات المشتركة، ثم كتابة وصفة عامة بنفسك.
- الحل: قاموا ببناء "مولّد" (Generator) آلي. هو يراقب آلاف الفيديوهات العامة لأشخاص يستخدمون أجهزة الكمبيوتر (مسارات الحركة)، ويجمع المهام المتشابهة معاً، ويكتب هذه الأدلة الذكية تلقائياً. هو لا يكتفي بنسخ الفيديو فحسب؛ بل يستخرج المنطق و الإشارات البصرية.
كيف يستخدمها الروبوت دون أن يصاب بالارتباك؟
- تشبيه: تخيل أنك تحاول قراءة ألبوم صور ضخم مكون من 50 صفحة أثناء قيادة السيارة. هذا الأمر مشتت وخطير. قد يركز الروبوت بشدة على الصور القديمة لدرجة تجعله يصطدم بالعالم الحقيقي.
- الحل: ابتكروا تقنية "تحميل الفروع" (Branch Loading).
  - بدلاً من حشو ألبوم الصور الكامل في عقل الروبوت الرئيسي، يفتح الروبوت نافذة جانبية مؤقتة (فرع).
  - في هذه النافذة الجانبية، ينظر بسرعة إلى الصورة المحددة فقط التي يحتاجها الآن لاتخاذ قرار.
  - ثم يغلق النافذة الجانبية ويخبر الروبوت الرئيسي: "حسناً، لقد تحققت من الصورة. أنت على المسار الصحيح. الآن، اضغط على الزر".
  - هذا يجعل الروبوت الرئيسي يركز على الشاشة الحية، وليس على الصور المرجعية القديمة.

كيف يعمل في الواقع (مثال "الرسم البياني")

تستخدم الورقة مثالاً محدداً لتوضيح سبب تفوق هذه الطريقة: إنشاء رسم بياني (Chart) في جدول بيانات.

السيناريو: المهمة هي "إنشاء رسم بياني في الورقة 2 (Sheet 2)".
الوكيل الذي يعتمد على النص فقط: يقرأ "أنشئ رسماً بيانياً". يرى رسماً بيانياً يتم إنشاؤه. يضغط على "تم".
- النتيجة: أنشأ الرسم البياني في الورقة 1 (الورقة الخطأ) لأن النص لم يخبره بضرزم التحقق من أي ورقة هي النشطة. النتيجة: 0.
وكيل MMSkills:
1. يقوم بتحميل مهارة "إنشاء الرسم البياني".
2. تقول بطاقة الحالة: "تحقق: هل الورقة النشطة اسمها 'الورقة 2'؟"
3. يظهر الدليل البصري صورة للورقة الصحيحة.
4. يرى الروبوت أنه حالياً في "الورقة 1". يقول "الفرع": "انتظر! أنت في الورقة الخطأ. انتقل إلى الورقة 2 أولاً".
5. ينتقل الروبوت، ثم ينشئ الرسم البياني، ثم يتحقق من أن العنوان يطابق الصورة.
- النتيجة: رسم بياني مثالي في الورقة الصحيحة. النتيجة: 1.

ماذا أظهرت النتائج

اختبر الباحثون النظام على نوعين من المهام:

مهام سطح المكتب: مثل استخدام Excel أو Chrome أو Word (OSWorld, macOSWorld).
مهام الألعاب: مثل لعب Minecraft أو Super Mario Bros.

النتائج:

معدلات نجاح أفضل: حققت الروبوتات التي تستخدم MMSkills نجاحاً أكبر بكثير في حل المهام مقارنة بالروبوتات التي لا تملك مهارات أو تملك مهارات نصية فقط.
ساعدت الروبوتات الأصغر: حتى نماذج الذكاء الاصطنا_ي الأصغر والأقل قوة أصبحت أفضل بكثير في المهام عندما مُنحت هذه الأدلة البصرية.
أخطاء أقل: ارتكبت الروبوتات أخطاءً أقل تكرارية (مثل الضغط على نفس الزر 10 مرات) وأنهت المهام بشكل أسرع.
ليس للكمبيوتر فقط: عمل النظام بنفس الكفاءة في ألعاب الفيديو، مما يثبت أن "رؤية الحالة" مهمة سواء كنت تدير ملفات أو تقفز فوق العقبات.

الملخص

MMSkills هي طريقة لتعليم وكلاء الذكاء الاصطناعي ليس فقط ماذا يفعلون، بل كيف يتعرفون على ما إذا كانوا يفعلون ذلك بشكل صحيح. من خلال الجمع بين التعليمات النصية مع قوائم التحقق التي تشبه "إشارات المرور" وصور محددة، وباستخدام طريقة "النافذة الجانبية" للنظر إليها، يساعد النظام الروبوتات على تجنب الضياع أو الارتباك أو التوقف عند الشاشة الخطأ. إنه يحول الروبوت الذي يتبع الأوامر بشكل أعمى إلى روبوت يفهم بالفعل العالم البصري الذي يعمل فيه.

ملخص تقني: MMSkills: نحو مهارات متعددة الوسائط للوكلاء البصريين العامين

1. بيان المشكلة

تقوم أطر عمل المهارات الحالية للوكلاء بشكل أساس أساساً بترميز السلوكيات القابلة لإعادة الاستخدام في شكل مطالبات نصية، أو أكواد قابلة للتنفيذ، أو روتين مُتعلم. وبينما تُعد هذه الطريقة فعالة للوكلاء الذين يعملون في بيئات التجريد اللغوي، إلا أنها غير كافية للوكلاء البصريين (مثل وكلاء واجهة المستخدم الرسومية GUI أو وكلاء الألعاب) الذين تعتمد قراراتهم بشكل كبير على الأدلة البصرية. بالنسبة لهؤلاء الوكلاء، فإن المعرفة الإجرائية هي بطبيعتها متعددة الوسائط: حيث يعتمد نجاح إعادة الاستخدام ليس فقط على ما يجب القيام به من عملية، بل أيضاً على التعرف على الحالة البصرية ذات الصلة، وتفسير أدلة التقدم أو الفشل، واتخاذ القرار بشأن الخطوة التالية بناءً على الإشارات البصرية.

غالباً ما تصبح المهارات الحالية المعتمدة على النص فقط مطولة ولكنها غير محددة بدقة للمهام البصرية، بينما تكون العروض التوضيحية الخام طويلة، ومحددة بحالات معينة، ويصعب تكييفها. وتخلق هذه الفجوة ثلاثة تحديات محددة:

التمثيل: كيف يمكن هيكلة حزمة مهارة متعددة الوسائط تربط الإجراءات، والحالات البصرية، وإشارات التحقق في وحدة متماسكة وقابلة لإعادة الاستخدام.
التوليد: كيف يمكن اشتقاق مثل هذه الحزم من مسارات التفاعل العامة غير المخصصة للتقييم دون الاعتماد على أمثلة مكتوبة يدوياً أو إعادة تشغيل خام.
الاستخدام: كيف يمكن استشارة أدلة المهارة متعددة الوسائط وقت الاستدلال دون إغراق الوكيل بسياق صور مفرط أو التسبب في جعل الوكيل يرتكز بشكل مفرط على لقطات الشاشة المرجعية بدلاً من البيئة الحية.

2. المنهجية

يقترح المؤلفون MMSkills، وهو إطار عمل يتكون من ثلاثة مكونات أساسية: حزمة المهارة متعددة الوسائط، ومولد المهارة، ووكيل محمل عبر الفروع (Branch-Loaded Agent).

2.1 حزمة المهارة متعددة الوسائط

تُعرف الـ MMSkill بأنها حزمة إجراءات مشروطة بالحالة $M = (D, P, S, K)$ :

$D$ (الوصف - Descriptor): وصف موجز للمهارة.
$P$ (الإجراء - Procedure): وصف نصي قابل لإعادة الاستخدام لنمط العمل.
$S$ (بطاقات الحالة - State Cards): مجموعة من بطاقات حالة وقت التشغيل $S_j$ $S_{j}$ التي تعمل كعقد اتخاذ قرار. تحدد كل بطاقة:
- شروط متى تُستخدم و متى لا تُستخدم.
- الإشارات المرئية التي يجب فحصها.
- إشارات التحقق لتأكيد التقدم أو الاكتمال.
- المشاهد المتاحة (مثل الإطار الكامل، التركيز المقصوص، قبل/بعد).
$K$ (الإطارات الرئيسية - Keyframes): حزم صور متعددة المشاهد متوافقة مع بطاقات الحالة، تشمل الإطارات الكاملة للسياق، والتركيزات المقصوصة لإشارات محددة، ومشاهد (قبل/بعد) اختيارية للانتقالات.

يحول هذا الهيكل المهارة من مجرد تعليمات ثابتة إلى دليل ديناميكي واعٍ بالحالة، حيث تساعد الأدلة البصرية الوكيل على تحديد ما إذا كان سيتبع الإجراء، أو يتخطاه، أو يتحقق منه.

2.2 خط إنتاج توليد المهارة

يقدم الإطار مولداً للمسارات إلى مهارات (Trajectory-to-Skill Generator) يعمل بشكل آلي لتحويل المسارات العامة غير المخصصة للتقييم إلى MMSkills. تتضمن العملية خمس مراحل:

التضمين والتجميع (Embedding & Clustering): تجميع المجالات الواسعة في مجموعات مركزة دلالياً.
التخطيط على مستوى المجموعة (Cluster-Level Planning): يقترح وكيل يعتمد على نموذج لغوي كبير (LLM) مهارات ذرية مع حدود سير العمل وشروط الاكتمال.
الدمج (Merging): إزالة التكرار وتعميم الخطط في مواصفات مهارات مدمجة.
المسودة الأولى المعتمدة على النص (Text-First Drafting): توليد الأوصاف، والإجراءات، وبطاقات الحالة دون قراءة الصور.
التأسيس البصري والتدقيق (Image Grounding & Audit): قراءة إطارات رئيسية مختارة لتأسيس مناطق التركيز، وبناء حزم متعددة المشاهد، وتدقيق الحزم النهائية باستخدام المهارات الميتا (meta-skills) (سكربتات قابلة لإعادة الاستخدام وبوابات جودة).

2.3 الوكيل المحمل عبر الفروع (Branch-Loaded Agent)

لمعالجة مشكلة فرط السياق والارتكاز البصري، يقترح المؤلفون آلية التحميل عبر الفروع (branch loading). بدلاً من حقن حزمة المهارة بأكملها (النص + صور متعددة) في سياق الوكيل الرئيسي، يعمل النظام في مرحلتين داخل فرع مؤقت:

المرحلة 1 (اختيار المشهد الموجه - Gated View Selection): يقوم الفرع بتحليل الملاحظة الحية و نص/بطاقات حالة المهارة لتحديد ما إذا كانت هناك حاجة للأدلة البصرية. إذا لزم الأمر، فإنه يختار فقط بطاقات الحالة ذات الصلة وأنواع المشاهد المحددة (مثل التركيز المقصوص مقابل الإطار الكامل).
المرحلة 2 (توجيه المخطط - Planner Guidance): يقوم الفرع بمواءمة الأدلة المختارة مع الحالة الحية ويعيد زوج توجيه موجز ومنظم $G_t$ (يحتوي على القابلية للتطبيق، الأهداف الفرعية، الخطط، القيود، وفحوصات التحقق) إلى الوكيل الرئيسي.
يستخدم الوكيل الرئيسي هذا التوجيه المقطر لاتخاذ قرارات قائمة على الأرضية بناءً على لقطة الشاشة الحية، مما يمنعه من التشتت بالصور المرجعية.

3. المساهمات الرئيسية

حزمة المهارة متعددة الوسائط: أول صياغة للمهارات القابلة لإعادة الاستخدام للوكلاء البصريين العامين كـ معرفة إجرائية متعددة الوسائط، تدمج الإجراءات النصية، وبطاقات الحالة وقت التشغيل، والإطارات الرئيسية متعددة المشاهد.
المولد الوكيلي (Agentic Generator): خط إنتاج آلي يحول مسارات التفاعل العامة إلى حزم مهارات متعددة الوسائط من خلال تجميع سير العمل، واستنباط الإجراءات، والتأسيس البصري، والتدقيق الموجه بالمهارات الميتا.
التحميل عبر الفروع (Branch Loading): آلية وقت التشغيل تعزل تأسيس المهارة-البيئة في فرع مؤقت، حيث تختار وتوافق الأدلة قبل إرجاع دعم القرار المنظم إلى الوكيل الرئيسي.
التحقق التجريبي: إثبات مكاسب كبيرة في الأداء عبر مختلف اختبارات القياس القائمة على واجهات المستخدم الرسومية والألعاب (OSWorld، macOSWorld، VAB-Minecraft، Super Mario Bros) وعبر عائلات نماذج متعددة.

4. النتائج التجريبية

قيم المؤلفون MMSkills على OSWorld، و macOSWorld، و VAB-Minecraft، و Super Mario Bros باستخدام نماذج رائدة (مثل Gemini 3.1 Pro، Qwen3-VL-235B) ونماذج أصغر (مثل Qwen3-VL-8B).

مكاسب الأداء: حسنت MMSkills باستمرار معدلات النجاح مقارنة بكل من خطوط الأساس "بدون مهارة" و "المهارة النصية فقط". على سبيل المثال، في OSWorld، حسنت MMSkills نموذج Qwen3-VL-235B من 21.34% إلى 39.17%، وحسنت Qwen3-VL-8B من 10.78% إلى 25.40%.
دراسات الاستئصال (Ablation Studies):
- المكونات: ثبت أن كلاً من بطاقات الحالة والأدلة البصرية متعددة المشاهد ضرورية؛ حيث أدى حذف أي منهما إلى تراجع الأداء.
- آلية التحميل: تفوق "التحميل عبر الفروع" على "التحميل المباشر" (إدخال المهارات الكاملة في السياق). غالباً ما أدى التحميل المباشر إلى إضعاف الأداء بسبب تلوث السياق والارتكاز البصري، بينما حقق التحميل عبر الفروع مكاسب واضحة حتى للمهارات النصية فقط.
ديناميكيات التفاعل:
- الاستدعاء (Invocation): تم استدعاء MMSkills بشكل متكرر أكثر من المهارات النصية فقط، مما يشير إلى أن بطاقات الحالة تجعل اكتشاف الصلة أسهل.
- الكفاءة: قللت MMSkills من متوسط خطوات التفاعل (مثلاً: -5.35 خطوة لـ Qwen3-VL-235B في OSWorld)، مما يشير إلى مسارات حل مهام أقصر.
- التحول السلوكي: أظهر الوكلاء الذين يستخدمون MMSkills عدداً أقل من الإجراءات المتكررة وتحولاً من التجربة والخطأ الاستكشافي إلى التنفيذ المدرك للحالة والمؤسس بصرياً. على سبيل المثال، انخفض نصيب إجراءات "النقر" (click) بينما زادت إجراءات "لوحة المفاتيح" (keyboard) و "الانتهاء" (DONE)، مما يشير إلى وعي أفضل بالاكتمال.

5. الأهمية والادعاءات

يدعي البحث أن المعرفة الإجرائية الخارجية متعددة الوسائط تكمل الأولويات الداخلية للنماذج. من خلال ربط إجراءات العمل بالأدلة البصرية والقرارات المعتمدة على الحالة المطلوبة لتطبيقها، تمكن MMSkills الوكلاء البصيين من:

التعرف على مدى قابلية تطبيق الإجراء بناءً على الحالة البصرية.
التمييز بين التقدم، والفشل، والاكتمال باستخدام الإشارات البصرية.
تجنب عيوب المهارات النصية فقط (عدم التحديد) والعروض التوضيحية الخام (نقص القدرة على التكيف).

يؤكد المؤلفون أن هذا النهج قيم بشكل خاص للوكلاء البصريين الأضعف، حيث يمكن للمعرفة الإجرائية البصرية الصريحة أن تعوض عن محدودية الأولويات الداخلية. ويشير العمل إلى أنه بالنسبة للوكلاء البصريين العامين، يجب أن تتطور وحدة "المهارة" من نص/كود إلى حزمة متعددة الوسائط مشروطة بالحالة توجه اتخاذ القرار من خلال التأسيس البصري.

القيود: يقر المؤلفون بالاعتماد على تغطية المسارات المصدرية، والخطأ المحتمل في توليد المهارات أو التأسيس البصري، وتكلفة الاستدلال الإضافية التي تفرضها آلية التحميل عبر الفروع. كما يشيرون إلى أن توسيع هذا إلى البيئات الحرجة للسلامة سيتطلب عمليات تحقق وإصلاح عبر الإنترنت أكثر قوة.