💬 NLP

Video2GUI: Synthesizing Large-Scale Interaction Trajectories for Generalized GUI Agent Pretraining

تقدم الورقة البحثية Video2GUI، وهو إطار عمل مؤتمت يقوم بتخليق مجموعة بيانات ضخمة تضم 12 مليون مسار تفاعل مع واجهات المستخدم الرسومية (GUI) من فيديوهات إنترنت غير مصنفة للتغلب على ندرة البيانات وتعزيز أداء تعميم وكلاء واجهات المستخدم الرسومية متعددي الوسائط بشكل كبير.

المؤلفون الأصليون: Weimin Xiong, Shuhao Gu, Bowen Ye, Zihao Yue, Lei Li, Feifan Song, Sujian Li, Hao Tian

نُشر 2026-05-15

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Weimin Xiong, Shuhao Gu, Bowen Ye, Zihao Yue, Lei Li, Feifan Song, Sujian Li, Hao Tian

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد تعليم روبوت كيفية استخدام جهاز كمبيوتر، أو هاتف، أو موقع إلكتروني. للقيام بذلك، يتعين عليك إطلاعه على ملايين الأمثلة لأشخاص ينقرون على الأزرار، ويكتبون النصوص، ويتصفحون الصفحات.

المشكلة تكمن في أن العثور على هذه الأمثلة أمر صعب للغاية. عادةً، يضطر الباحثون إلى استئجار أشخاص لتسجيل وتصنيف كل نقرة يدويًا، وهو أمر بطيء ومكلف، ويجعلهم مقتصرين على أنواع قليلة فقط من التطبيقات. الأمر يشبه محاولة تعلم لغة عن طريق قراءة صفحات قليلة فقط من القاموس.

يقوم نظام Video2GUI بحل هذه المشكلة عبر تحويل الإنترنت بأكمله إلى فصل دراسي ضخم ومجاني. إليك كيف يعمل، باستخدام بعض الاستعارات البسيطة:

١. المصفاة الكبرى (العثيد على الفيديوهات المناسبة)

الإنترنت مليء بالفيديوهات، لكن معظمها غير مفيد لتعليم الروبوت (مثل برامج الطبخ أو فيديوهات القطط). بدأ الباحثون بـ ٥٠٠ مليون فيديو من يوتيوب.

الغربلة الأولية: أولاً، استخدموا ذكاءً اصطناعيًا ذكيًا لمسح العناوين والأوصاف. هذا يشبه أمين مكتبة يتفحص بسرعة أعلام الكتب ليرى ما إذا كانت تتحدث عن "الحواسيب" قبل حتى أن يفتحها. هذا قلل المجموعة إلى ٢٠ مليونًا.
الغربلة الدقيقة: بعد ذلك، استخدموا ذكاءً اصطناعيًا أكثر تقدمًا "لمشاهدة" الدقيقة الأولى من تلك الفيديوهات. تحققوا مما يلي: هل الشاشة واضحة؟ هل الصوت يشرح الخطوات بشكل جيد؟ هل يعرض بالفعل كيفية استخدام البرمجيات؟ هذا يشبه معلمًا صارمًا يصحح الفيديوهات لضمان جودتها العالية كدروس تعليمية.
النتيجة: انتهى بهم المطاف بـ ٤.٢ مليون فيديو تعليمي عالي الجودة.

٢. المترجم (تحويل الفيديو إلى تعليمات)

الآن أصبح لديهم الفيديوهات، لكن الروبوت لا يمكنه مجرد "مشاهدة" فيديو وفهمه كما يفعل البشر. يجب ترجمة الفيديو إلى قائمة منظمة من التعليمات.

العملية: استخدموا ذكاءً اصطناعيًا قويًا (مثل مترجم فائق الذكاء) لمشاهدة الفيديوهات وتفكيكها. حدد الذكاء الاصطناعي الهدف (مثلاً: "شراء أحذية")، والخطوات المتخذة، واللحظة الدقيقة التي حدثت فيها كل نقرة.
السحر: لم يقم الذكاء الاصطناعي بالتخمين فحسب؛ بل نظر إلى إطارات الفيديو للعثور على الإحداثيات الدقيقة للأزرار التي يتم النقر عليها. لقد حول فيديو مدته ١٠ دقائق لشخص يتسوق عبر الإنترنت إلى خريطة دقيقة وخطوة بخطوة: "عند الثانية ٠:٠٥، انقر على شريط البحث. عند الثانية ٠:١٠، اكتب 'أحذية رياضية'."

٣. المكتبة (WildGUI)

تم جمع كل هذه التعليمات المترجمة في مكتبة جديدة ضخمة تسمى WildGUI.

النطاق: تحتوي هذه المكتبة على ١٢ مليون مسار تفاعل (مسارات حركة) تغطي أكثر من ١,٥٠٠ تطبيق وموقع إلكتروني مختلف.
التنوع: تشمل كل شيء، من أجهزة سطح مكتب ويندوز إلى هواتف أندرويد وأجهزة ماك. إنها تشبه امتلاك مكتبة تحتوي على كل طريقة ممكنة استخدم بها البشر الكمبيوتر على الإطلاق، وكلها منظمة وجاهزة ليدرسها الروبوت.

٤. التدريب (تعليم الروبوت)

أخذ الباحثون نموذجين موجودين بالفعل من الذكاء الاصطناعي (Qwen2.5-VL و Mimo-VL) و"أطعموهما" هذه المكتبة الجديدة.

النتيجة: بعد دراسة هذه المجموعة الضخمة من البيانات، أصبح الروبوتات أفضل بشكل ملحوظ. لقد تحسنوا بنسبة ٥٪ إلى ٢٠٪ في اختبارات متنوعة.
الدليل: أصبح بإمكانهم الآن العثور على الأزرار، والنقر على الأشياء الصحيحة، والتنقل في المواقع الإلكترية المعقدة بشكل أفضل بكثير من السابق، مما يضاهي أو يتفوق على أفضل الروبوتات الموجودة حاليًا.

الخلاصة

يزعم البحث أنه من خلال أتمتة عملية تحويل فيديوهات الإنترنت إلى بيانات تدريب، قاموا بإنشاء مجموعة بيانات ضخمة ومتنوعة تجعل وكلاء الذكاء الاصطناعي أكثر ذكاءً في استخدام أجهزة الكمبيوتر. هم لم يخترعوا نوعًا جديدًا من الروبوتات؛ بل قدموا للروبوتات الموجودة بالفعل كتابًا مدرسيًا أفضل وأكبر وأكثر تنوعًا للدراسة منه.

لقد أطلقوا مجموعة البيانات هذه والأدوات المستخدمة لبنائها حتى يتمكن الباحثون الآخرون من استخدامها لبناء وكلاء ذكاء اصطناعي أفضل في المستقبل.

ملخص تقني: Video2GUI

بيان المشكلة

يواجه تطوير وكلاء واجهة المستخدم الرسومية (GUI) المعممين حاليًا عائقًا يتمثل في ندرة بيانات التدريب الضخمة والمتنوعة. تعتمد النهج الحالية بشكل كبير على مسارات التفاعل المشروحة يدويًا أو البيئات المحاكية، وهي عمليات مكلفة الإنتاج وتعاني من محدودية القابلية للتوسع. وبناءً على ذلك، فإن الوكلاء المدربين على هذه المجموعات الضيقة من البيانات يواجهون صعوبة في التعميم على الواجهات والتطبيقات والمهام الواقعية غير المرئية. وبينما يحتوي الإنترنت على مستودع هائل من فيديوهات تعليمات واجهة المستخدم الرسومية غير المصنفة، فإن الاستفيد الفعال من هذه البيانات يعد أمرًا صعبًا بسبب صعوبة تصفية المحتوى التعليمي عالي الجودة وتعقيد استخراج مسارات الحركة ذات التمركز المكاني المهيكل من الفيديو الخام دون تصنيفات صريحة.

المنهجية

لمعالجة هذه التحديات، يقترح المؤلفون Video2GUI، وهو إطار عمل مؤتمت بالكامل مصمم لتخليق مسارات تفاعل واسعة النطاق من فيديوهات الإنترنت غير المصنفة. تعمل خطة العمل عبر ثلاث مراحل متتالية:

التصفية من الخشن إلى الدقيق (Coarse-to-Fine Filtering):
- التصفية الخشنة (البيانات الوصفية): بدءًا من 500 مليون مدخل للبيانات الوصفية للفيديوهات (العناوين، الأوصاف، الكلمات المفتاحية)، يستخدم النظام مصنفًا خفيف الوزن (نموذج Qwen2.5-7B مضبوط بدقة) لتصفية الفيديوهات غير المتعلقة بعمليات واجهة المستخدم الرسومية. يؤدي هذا إلى تقليص مجموعة المرشحين إلى حوالي 20 مليون فيديو، مما يتجنب التكلفة الحسابية لمعالجة المحتوى غير ذي الصلة.
- التصفية الدقيقة (التقييم البصري): يقوم نموذج تقييم بصري (نموذج Qwen2.5-Omni مضبوط بدقة) بتقييم محتوى الدقيقة الأولى من كل فيديو مرشح عبر ثلاثة أبعاد: صلة الموضوع (التركيز على تعليم عمليات واجهة المستخدم الرسومية)، وضوح التعليمات (تماسك السرد)، وجودة التسجيل (الدقة البصرية). تحتفظ هذه المرحلة بـ 4.16 مليون فيديو عالي الجودة (~300,000 ساعة).
استخراج المسار (Trajectory Extraction):
- باستخدام استراتيجية النافذة المنزلقة مع ذاكرة السياق التاريخي، يوظف إطار العمل نموذج لغة رؤية قوي (Gemini-3-Pro) لتحويل مقاطع الفيديو إلى أزواج تعليمات-مسارات مهيكلة.
- يستخرج النموذج تعليمات المهمة، والطوابع الزمنية للأفعال، وتفاصيل الأفعال، والمنطق وراء كل فعل. كما يولد تسلسلًا من الخطوات حيث يرتبط كل فعل بطابع زمني دقيق ووصف نصي منخفض المستوى.
التمركز المكاني للأفعال (Action Spatial Grounding):
- للتغلب على قيود الدقة في إطارات الفيديو المضغوطة، يسترجع النظام لقطات شاشة عالية الدقة (ثلاثية من الإطارات عند $t-0.5s$ و $t$ و $t+0.5s$ ) لكل طابع زمني للفعل المستخرج.
- يُستخدم Gemini-3-Pro لربط التعليمات منخفضة المستوى بإحداثيات الشاشة الدقيقة (صناديق الإحاطة أو النقاط)، مما يؤدي فعليًا إلى تمركز الأفعال في واجهة المستخدم. تخفف هذه الطريقة متعددة الإطارات من المشكلات الناتجة عن التغيرات البصرية السريعة في تفاعلات واجهة المستخدم الرسومية.

استراتيجية التدريب:
يستخدم المؤلفون مجموعة البيانات الناتجة، WildGUI، لعملية تدريب وكيل مكونة من مرحلتين:

المرحلة 1 (التدريب المسبق المستمر): يتم تدريب النماذج (Qwen2.5-VL و Mimo-VL) مسبقًا على WildGUI باستخدام هدف مختلط يشمل تمركز واجهة المستخدم، وتوقع الفعل، ونمذجة المسار.
المرحلة 2 (ما بعد التدريب): يتم ضبط النماذج المدربة مسبقًا بدقة على مجموعات بيانات مفتوحة المصدر ومنسقة لتحسين الأداء في مهام محددة لاحقًا.

المساهمات الرئيسية

إطار عمل Video2GUI: خطة عمل مؤتمتة بالكامل وقابلة للتوسع لاستخراج مسارات تفاعل واجهة المستخدم الرسومية ذات التمركز من مليارات فيديوهات الإنترنت غير المصنفة، مما يلغي الاعتماد على التصنيف اليدوي.
مجموعة بيانات WildGUI: بناء مجموعة بيانات تدريب مسبق متنوعة وواسعة النطلة تحتوي على 12.7 مليون مسار تفاعل و 124.5 مليون لقطة شاشة. وهي تغطي أكثر من 1,500 تطبيق وموقع إلكتروني عبر منصات سطح المكتب، والموبايل، والويب.
مكاسب الأداء: تُظهر التجارب المكثفة أن التدريب المسبق على WildGUI يحقق تحسنات متسقة بنسبة (5-20%) عبر العديد من اختبارات التقييم الخاصة بتمركز واجهة المستخدم والوكلاء، مما يمكن النماذج من مطابقة أو تجاوز أداء النماذج الرائدة رغم صغر عدد بارامتراتها.
الإصدار المفتوح: يتعهد المؤلفون بإصدار كل من مجموعة بيانات WildGUI وإطار عمل Video2GUI لتسهيل الأبحاث المستقبلية في تدريب وكلاء واجهة المستخدم الرسومية القابل للتوسع.

النتائج التجريبية

قيم المؤلفون النهج باستخدام نماذج Qwen2.5-VL و Mimo-VL عبر عدة اختبارات:

تمركز واجهة المستخدم الرسومية (GUI Grounding): على ScreenSpot-Pro و OSWorld-G، أظهرت النماذج المدربة مسبقًا على WildGUI مكاسب كبيرة. على سبيل المثال، حقق Mimo-VL-7B متوسط درجة قدره 67.6 في OSWorld-G، متفوقًا على نماذج أكبر مثل Qwen3-VL-32B (60.6) و Seed1.5-VL (62.9).
تقييم الوكيل غير المتصل (Offline Agent Evaluation): في AndroidControl و CAGUI، أظهرت النماذج قدرات محسنة في التخطيط والتنفيذ. حقق Mimo-VL-7B معدل نجاح في الخطوات قدره 71.4 في AndroidControl-High، وهو تحسن جوهري عن نموذجه الأساسي.
تقييم الوكيل المتصل (Online Agent Evaluation): في البيئات الديناميكية (OSWorld و AndroidWorld)، ضاعفت عملية التدريب الكاملة (المرحلة 1 + المرحلة 2) معدل النجاح تقريبًا في AndroidWorld (31.9% مقابل 16.4% للنموذج الأساسي)، مما يدل على تعميم قوي للمهام المفتوحة والواقعية.
تحليل التوسع (Scaling Analysis): كشفت دراسة التوسع عن وجود ارتباط إيجابي قوي بين حجم توكنات التدريب المسبق (حتى 200 مليار) ودقة المهام اللاحقة، مع استمرار تحسن الأداء دون وجود تشبع واضح.

الأهمية والادعاءات

يزعم البحث أن العائق الرئيسي أمام وكلاء واجهة المستخدم الرسومية المعممين هو ندرة البيانات وتنوعها، وليس فقط بنية النموذج. ومن خلال إثبات إمكانية تحويل فيديوهات الإنترنت غير المصنفة بفعالية إلى بيانات تدريب مهيكلة وعالية الجودة، يوفر Video2GUI مسارًا قابلًا للتوسع لتجاوز هذا القيد.

يؤكد المؤلفون ما يلي:

جودة البيانات هي الأهم: تعتبر استراتيجيات التصفية من الخشن إلى الدقيق والاستخراج المدفوع بنماذج اللغة الرؤية (VLM) أمرًا حاسمًا لضمان دقة وتنوع البيانات المصنعة بما يكفي لتدريب وكلاء أقوياء.
البيانات غير المتصلة تعمم بفعالية: يوفر التدريب المسبق على بيانات الفيديو غير المتصلة أساسًا حاسمًا يمكّن الوكلاء من التعميم بفعالية في البيئات المتصلة والديناميكية، على الرغم من أن بيانات التدريب نفسها كانت ثابتة.
القابلية للتوسع: إطار عمل Video2GUI قادر على معالجة بيانات بمقياس الإنترنت، مما يشير إلى أن المجال يمكنه الانتقال بعيدًا عن قيود مجموعات البيانات الصغيرة المنسقة يدويًا نحو تدريب وكلاء متنوع وواسع النطاق حقًا.

يخلص العمل إلى أن توسيع نطاق التدريب باستخدام بيانات الفيديو المتنوعة وغير المتصلة هو اتجاه واعد وضروري لتطوير وكلاء واجهة مستخدم رسومية مستقلين وقادرين على أداء مهام عامة.