🤖 AI

ToolTok: Tool Tokenization for Efficient and Generalizable GUI Agents

يقدم ToolTok نموذجاً جديداً لتحديد المسارات متعدد الخطوات لوكلاء واجهة المستخدم الرسومية (GUI) يستخدم تضمينات رموز أدوات قابلة للتعلم مرتكزة على مفاهيم دلالية ومُدربة عبر منهج تعليمي من السهل إلى الصعب، محققاً تعميماً وأداءً فائقين ببيانات أقل بكثير من الطرق الحالية.

المؤلفون الأصليون: Xiaoce Wang, Guibin Zhang, Junzhe Li, Jinzhe Tu, Chun Li, Ming Li

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaoce Wang, Guibin Zhang, Junzhe Li, Jinzhe Tu, Chun Li, Ming Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية استخدام جهاز كمبيوتر. لفترة طويلة، كانت الطريقة التي نعلم بها الروبوتات كيفية النقر على الأزرار تشبه إعطاءها خريطة بإحداثيات GPS دقيقة. كنا نقول له: "حرك إصبعك إلى 500 بكسل يمينًا و300 بكسل لأسفل بالضبط".

المشكلة في الطريقة القديمة
هذه الطريقة القائمة على "إحداثيات GPS" بها عيب رئيسي: إنها جامدة للغاية. إذا عرضت للروبوت شاشة أعرض قليلاً، أو أطول، أو مجرد شاشة ذات حجم مختلف عما تدرب عليه، فسيضيع تمامًا. الأمر يشبه تعليم شخص ما القيادة على طريق محدد عرضه 10 أقدام فقط؛ وبمجرد وصوله إلى طريق عرضه 12 قدمًا، سيصطدم. كما يعاني الروبوت لأنه يضطر لحفظ ملايين أرقام الإحداثيات المحددة، مما يتطلب كمية هائلة من بيانات التدريب.

الحل الجديد: ToolTok
يقترح مؤلفو هذه الورقة البحثية، ToolTok، طريقة أكثر ذكاءً. بدلًا من إعطاء الروبوت إحداثيات GPS، يعلمونه كيفية استخدام "رموز أدوات" (tool tokens) منفصلة.

فكر في الأمر كتعليم طفل التنقل في غرفة ليس عبر إعطائه بوصات وأقدوات، بل عبر إعطائه مجموعة من الأوامر البسيطة والمفهومة:

"خذ خطوة كبيرة للأمام".
"قم بـ دفعة صغيرة لليسار".
"قم بـ نقرة سريعة".
"عُد إلى البداية".

في لغة الورقة البحثية، هذه هي الرموز مثل <MOVE UP FAR> (تحرك للأعلى كثيرًا)، أو <CLICK SHORT> (انقر نقرة قصيرة)، أو <GO HOME> (عد للمنزل). الروبوت لا يحسب أرقامًا؛ بل يختار "الكلمة" الصحيحة من مفرداته ليقرب مؤشر الماوس من الهدف، خطوة بخ bước.

كيف علموا الروبوت (خطة الدرس ذات المراحل الثلاث)
بما أن الروبوت جديد على "كلمات الأدوات" هذه، لم يستطع المؤلفون رميه مباشرة في واجهة كمبيوتر حقيقية. لقد صمموا منهجًا تدريبيًا ذكيًا مكونًا من ثلاث خطوات (مثل المنهج الدراسي) لمساعدة الروبوت على التعلم بكفاءة:

المرحلة الأولى: درس القاموس (بيانات اصطناعية)
قبل عرض شاشات حقيقية على الروبوت، علموه معنى الكلمات باستخدام رسومات بسيطة وهمية. سألوه أسئلة مثل: "ماذا تعني <MOVE UP FAR>؟" وجعلوا الروبوت يتدرب على تحريك نقطة على لوحة بيضاء. منح هذا الروبوت فهمًا أساسيًا للمفردات دون الحاجة إلى آلاف لقطات الشاشة الحقيقية.

التشبيه: يشبه تعلم قواعد الشطرنج من خلال اللعب على لوحة فارغة قبل لعب مباراة حقيقية.

المرحلة الثانية: ممارسة "الوضع السهل" (شاشات حقيقية)
بمجرد أن عرف الروبوت الكلمات، عرضوا عليه شاشات كمبيوتر حقيقية بسيطة. لقد أنشأوا "مسارًا مثاليًا" ليتبعه الروبوت، حيث يوضح له بالضبط أي أداة يختار للوصة من النقطة (أ) إلى النقطة (ب).

التشبيه: هذا يشبه إعطاء مدرب قيادة لك سيارة بها مسار مثالي محدد على لوحة القيادة، بحيث تكتفي فقط باتباع العلامات.

المرحلة الثالثة: تحدي "الوضع الصعب" (شاشات معقدة)
أخيرًا، قدموا له شاشات صعبة ذات مستوى احترافي تحتوي على أزرار صغيرة وتخطيطات معقدة. ولأن الروبوت قد تعلم بالفعل "لغة" الحركة في المرحلتين الأولى والثانية، فقد استطاع التعامل مع هذه المهام الأصعب دون أن يشعر بالإرهاق.

السر الكامن: "الترسيخ الدلالي" (Semantic Anchoring)
كان التحدي الكبير هو أن هذه "كلمات الأدوات" الجديدة كانت غريبة تمامًا على عقل الروبوت. إذا أضفت كلمة جديدة إلى قاموس بشكل عشوائي، فلن يعرف الروبوت معناها.

استخدم المؤلفون حيلة تسمى الترسيخ الدلالي. لقد ربطوا كل كلمة أداة جديدة بكلمات يعرفها الروبوت بالفعل.

مثال: بالنسبة للكلمة الجديدة <MOVE UP FAR>، ربطوها بكلمات موجودة يفهمها الروبوت بالفعل، مثل "move" (تحرك)، و"up" (أعلى)، و"far" (بعيد).
التشبيه: تخيل أنك تتعلم لغة جديدة. بدلًا من حفظ صوت عشوائي، تتعلم أن الكلمة الجديدة "Gato" تعني "قطة" لأنك تعرف بالفعل ما هي القطة. يستخدم الروبوت معرفته الحالية بكلمات مثل "أعلى" و"بعيد" ليفهم فورًا معنى رمز الأداة الجديد هذا.

النتائج
تزعم الورقة البحثية أن هذه الطريقة حققت نجاحًا هائلًا:

كفاءة البيانات: تعلم الروبوت أن يصبح خبيرًا باستخدام أقل من 1% من البيانات التي تتطلبها الطرق الأخرى. بينما احتاجت الروبوتات الأخرى إلى ملايين الأمثلة، تعلم ToolTok باستخدام حوالي 5,000 عينة فقط.
المتانة (القدرة على الصمود): نظرًا لأن الروبوت يستخدم "خطوات" (كبيرة، متوسطة، صغيرة) بدلًا من إحداثيات دقيقة، فإنه يعمل بشكل مثالي حتى لو تغير حجم الشاشة. إنه لا يصطدم عندما يتغير مقياس العرض إلى الارتفاع (aspect ratio).
الأداء: نموذج صغير نسبيًا (4 مليارات معلمة) تم تدريبه بهذه الطريقة، تفوق على نماذج أكبر بكثير (235 مليار معلمة) وهزم وكلاء الروبوت المتخصصين الآخرين.

باختصار
يغير ToolTok طريقة تعليم الروبوتات كيفية استخدام الكمبيوتر. بدلًا من إجبارهم على حفظ إحداثيات دقيقة (التي تتعطل بسهولة)، يعلمهم لغة مرنة من "الخطوات" و"الأفعال". ومن خلال استخدام منهج ذكي وربط الأدوات الجديدة بكلمات يعرفها الروبوت بالفعل، أنشأوا نظامًا يتعلم بشكل أسرع، ويستخدم بيانات أقل، ويعمل بموثوقية عبر مختلف أحجام الشاشات.

ملخص تقني: ToolTok

بيان المشكلة

تعتمد وكلاء واجهة المستخدم الرسومية (GUI) الحالية بشكل أساسល់ على التأسيس البصري أحادي الخطوة (one-step visual grounding)، حيث تتنبأ النماذج مباشرة بإحداثيات مستمرة أو صناديق إحاطة (مثل [click, [0.5, 0.5]]) لتنفيذ الإجراءات. يقدم هذا النموذج مشكلتين حرجتين:

نقص القدرة على التعميم: تعاني النماذج المدربة على أنظمة إحداثيات ثابتة في التعميم على دقات الإدخال ونسب العرض إلى الارتفاع المتغيرة. غالبًا ما يؤدي تطبيع لقطات الشاشة إلى حجم ثابت لتصغير العناصر الواجهية الدقيقة، بينما تؤدي الانحرافات في إعدادات وقت الاختبار إلى تدهور كبير في الأداء.
ندرة البيانات ومشكلات البداية الباردة: غالبًا ما تفشل الأساليب البديلة الخالية من الإحداثيات (مثل الأساليب القائمة على الانتباه) في الاستفادة من المعرفة الدلالية الكاملة للنماذج اللغوية البصرية (VLMs) وتظل محدودة بمهام "النقر والتشير" البسيطة. علاوة على ذلك، فإن إدخال رموز إجراءات جديدة في نموذج VLM مدرب مسبقًا يتطلب عادةً مجموعات بيانات ضخمة وعالية الجودة للتغلب على مشكلة "البداية الباردة"، وهو أمر يصعب الحصول عليه لتفاعلات واجهة المستخدم الرسومية (المعايير المرجعية الحالية تحتوي غالبًا على أقل من 2,000 عينة).

تعاني الطرق الموجودة إما من الهشاشة تحت تغيرات الدقة أو تتطلب كميات باهظة من بيانات التدريب لتعلم تمثيلات الإجراءات الجديدة بفعالية.

المنهجية

يقترح المؤلفون ToolTok، وهو تحول جذري في النموذج من ريجريشن (regression) الإحداثيات المستمرة إلى إيجاد المسار البصري التدريجي متعدد الخطوات باستخدام رموز أدوات (tool tokens) منفصلة وقابلة للتعلم. تتكون المنهجية من ثلاثة مكونات أساسية:

1. فضاء الإجراءات المنفصل ورموز الأدوات

بدلاً من التنبؤ بالإحداثيات، ينمذج ToolTok تفاعلات واجهة المستخدم الرسومية كمتتالية من استخدام الأدوات المنفصلة. يتم هيكلة مفردات الإجراء ( $V_{tool}$ ) إلى أربع مجموعات وظيفية:

الحركة: تحركات اتجاهية بمقاييس متفاوتة (مثل <MOVE UP FAR>، <MOVE UP CLO>).
التنقل: التنقل على مستوى النظام (مثل <GO BACK>، <GO HOME>).
التفاعل: معالجة العناصر (مثل <CLICK SHORT>، <SCROLL UP>).
الإدخال: مؤشرات إدخال النص (مثل <TEXT START>، <TEXT END>).

تكون حركة المؤشر هرمية، حيث يتم تفكيك الإجراءات إلى اتجاه ومقياس (FAR: 500 بكسل، MID: 150 بكسل، CLO: 30 بكسل)، مما يسمح باستراتيجية بحث من الخشن إلى الدقيق تحاكي تحكم البشر في المؤشر.

2. التثبيت الدلالي الكروي (SSI)

لمعالجة مشكلة "البداية الباردة" لتهيئة الرموز الجديدة داخل نموذج VLM مدرب مسبقًا، يقدم ToolTok تقنية التثبيت الدلالي الكروي (Spherical Semantic Anchoring).

الآلية: يرتبط كل رمز أداة بمجموعة من الكلمات المرجعية باللغة الطبيعية التي تصف وظيفته (على سبيل المثال، يرتبط <MOVE UP FAR> بـ {"move", "up", "far"}).
التهيئة: يتم حساب تضمين (embedding) الرمز الجديد كمركز حسابي لتمثيلات الكلمات المرجعية الخاصة به، ثم يُسقط على سطح الكرة التي تحددها متوسط المعيار (norm) للمفردات الأصلية.
الفائدة: يضمن ذلك تهيئة الرموز الجديدة ضمن المساحة الدلالية ذات المعنى للنموذج المدرب مسبقًا، مما يوفر انحيازًا استقرائيًا طبيعيًا يسرع التعلم دون الإضرار بالقدرات اللغوية الحالية.

3. التعلم القائم على المنهج الدراسي (Curriculum-Based Learning)

لسد الفجوة بين المعرفة اللغوية وفهم الأدوات القابل للتنفيذ في ظل بيانات محدودة، يستخدم المؤلفون منهجًا دراسيًا ثلاثي المراحل:

المرحلة الأولى (التحمية الاصطناعية): يتم تدريب النموذج على 5,000 عينة اصطناعية تغطي ثلاث مهام: استعلام تعريف الرموز، اختيار الأدوات الموجه بالنص، وإيجاد المسار البصري المبسط. هذا يؤسس بناء الجملة الأساسي والمنطق المكاني.
المرحلة الثانية (الضبط الدقيق في العالم الحقيقي): يتم ضبط النموذج بدقة على مجموعات بيانات من العالم الحقيقي (مثل ScreenSpot) باستخدام تخليق المسارات المثالية (Oracle Trajectory Synthesis). نظرًا لأن مجموعات البيانات الحقيقية تفتقر غالبًا إلى آثار التفاعل، يقوم المؤلفون بتوليد مسارات أقصر طريق جشعة وسلاسل استدلال "سلسلة الأفكـاة" (CoT). تُستخدم خسارة موزونة بالفعل (Action-Weighted Loss) لإعطاء الأولوية لرموز الإجراءات على رموز الاستدلال.
المرحلة الثالثة (التكيف مع السيناريوهات المعقدة): يتم صقل النموذج بشكل أكبر على مجموعات بيانات أكثر تحديًا (مثل ScreenSpot-Pro) للتعامل مع بيئات واجهة المستخدم المعقدة، عالية الدقة، والكثيفة.

المساهمات الرئيسية

نموذج جديد: ينقل وكلاء واجهة المستخدم الرسومية من التأسيس البصري إلى إيجاد المسار البصري التدريجي عبر رموز أدوات منفصلة وقابلة للتعلم، مما يعكس عادات التنقل البشرية بشكل أفضل.
التثبيت الدلالي: يقدم آلية مبدئية (SSI) تربط رموز الأدوات الجديدة بالمعرفة الدلالية المدربة مسبقًا، مما يتيح محاذاة التمثيل بفعالية مع حد أدنى من الإشراف.
كفاءة البيانات: يصمم مخطط تعلم منهجي يربط اللغة والأدوات والإدراك البصري، مما يسمح للنموذج بتحقيق أداء رائد (SOTA) باستخدام أقل من 1% من البيانات المطلوبة مقارنة بأساليب ما بعد التدريب الأخرى.

النتائج التجريبية

قيم المؤلفون ToolTok (المبني على خلفية Qwen3-VL بـ 4 مليار معلمة) مقابل نماذج VLM العامة ووكلاء واجهة المستخدم المتخصصين عبر عدة معايير مرجعية (ScreenSpot، ScreenSpot-Pro، Mind2Web-Simplified، ScreenSpot-v2).

الأداء: يحقق ToolTok (نسخة TT-4B-ScreenSpot-Pro) أداءً رائدًا (SOTA) بين نماذج الـ 4 مليار معلمة ويظل منافسًا للنماذج الأكبر بكثير (235 مليار معلمة). على سبيل المثال، في ScreenSpot-Pro، حقق دقة 61.1% مقارنة بـ 57.9% لنموذج الأساس 4B و60.3% لنموذج 235B.
المتانة: يظهر النموذج متانة فائقة تجاه الاختلافات في دقة الإدخال ونسبة العرض إلى الارتفاع. وبينما تتدهور النماذج الأساسية بشكل كبير عندما تنحرف إعدادات الاختبار عن إعدادات التدريب، يحافظ ToolTok على أداء ثابت.
كفاءة البيانات: يحقق ToolTok درجة كفاءة بيانات (DE) تبلغ 43,800، مما يمثل تحسنًا بمقدار 500 ضعف عن الطرق التي تتطلب حوالي مليون عينة، وذلك باستخدام حوالي 2,000 عينة من العالم الحقيقي مع التحمية الاصطناعية.
التعميم: يظهر النموذج قدرة قوية على التعميم (zero-shot) للسيناريوهات والتعليمات غير المرئية، مما يؤكد فعالية التثبيت الدلالي وآليات الاستدلال.
الاحتفاظ بالمعرفة: على عكس العديد من النماذج التي تخضع للضبط الدقيق والتي تعاني من النسيان الكارثي، يحافظ ToolTok على القدرات متعددة الوسائط العامة للخلفية (مثل الواقعية البصرية واتباع التعليمات) بشكل أفضل من النماذج الأساسية.

الأهمية والادعاءات

يزعم البحث أن ToolTok يمثل تحولًا نموذجيًا واعدًا لأبحاث وكلاء واجهة المستخدم الرسومية في المستقبل. من خلال تحويل عمليات واجهة المستخدم إلى رموز أدوات واستخدام التثبيت الدلالي، يتيح هذا النهج استدلالًا متعدد الخطوات قويًا يكون كفؤًا في البيانات وقابلًا للتعميم.

يؤكد المؤلفون أن ToolTok يقرب وكلاء واجهة المستخدم الرسومية من أطر العمل الوكيلية الشبيهة بالبشر، حيث يتم نمذجة التفاعل كسلسلة من القرارات الدلالية بدلاً من مجرد التنبؤ بالإحداثيات الخام. ويدعون أن آلية التثبيت الدلالي قابلة للنقل إلى سيناريوهات محاذاة الرموز الخاصة الأخرى، مما يشير إلى قابلية تطبيق أوسع تتجاوز مجرد وكلاء واجهة المستخدم الرسومية. يُقدم العمل كخطوة مهمة نحو الذكاء الاصطنا العام (AGI) من خلال تمكين الوكلاء من التفاعل مع البيئات الرقمية المعقدة باستخدام اللغة الطبيعية ودلالات الأدوات المتعلمة دون الحاجة إلى مجموعات بيانات تفاعلية ضخمة ومنسقة.