ملخص تقني: FIGMATRACE

بيان المشكلة

أظهرت نماذج اللغة المرئية (VLMs) كفاءة كبيرة في المجالات الموضوعية والقابلة للتحقق مثل اكتشاف الأشياء وفهم المستندات. ومع ذلك، لا تزال أداؤها ضعيفاً في مهام التصميم الإبداعية والذاتية. حدد المؤلفون وجود عقبة رئيسية: وهي نقص البيانات عالية الجودة لتدفقات العمل البشرية التي تلتقط التفضيلات المتنوعة، والقرارات، و"الذوق" الذي يميز الخبراء البشر. وبينما حاولت الأعمال السابقة توليد بيانات تصميم من خلال التعليق التلقائي على ملفات Figma الموجودة أو عن طريق تحويل HTML إلى JSON، فإن هذه النهج تعاني من غموض التحقق، والافتقار إلى إرشادات جودة شاملة، وعدم القدرة على التقاط عمليات صنع القرار الدقيقة لدى المصممين البشر. علاوة على ذلك، تركز مجموعات البيانات الحالية غالباً على المنتج النهائي بدلاً من مسار القرارات المطلوبة لإنشائه.

المنهجية

1. تصنيف المهارات وتنسيق المهام

لمعالجة فجوة البيانات، قام المؤلفون أولاً بتعريف تصنيف فريد من نوعه ومنسق من قبل خبراء يتكون من 10 مهارات تصميم عالية المستوى (مثل: الإدراك البصري، الحرفية الهيكلية في Figma، الخبرة في إمكانية الوصول، وحرفة المتجهات والأصول). وبناءً على هذا التصنيف، قاموا ببناء 126 مهمة مفتوحة النهاية وذات أفق طويل. تم تصنيف هذه المهام إلى:

• مهام قابلة للتحقق: النسخ المتطابق تماماً للبكسل، إصلاح العيوب، ومعالجة إمكانية الوصول.
• مهام غير قابلة للتحقق: التكيف مع المنصات، تغيير السمات (Theming)، تحويل الرسم التخطيطي إلى Figma، وتوصيل النماذج الأولية (Prototype wiring)، والتي تعتمد على التقدير والتحيز الخبير.

2. جمع ومعالجة البيانات (FIGMATRACE)

تم بناء مجموعة البيانات، FIGMATRACE، من خلال تسجيل أكثر من 200 ساعة من تسجيلات الشاشة وإجراءات الخبراء على مستوى نظام التشغيل أثناء إكمال المصممين لهذه المهام. خضعت البيانات الخام لسلسلة معالجة صارمة متعددة المراحل:

• تصفية الإجراءات: تم استبعاد حركات الماوس العشوائية والتحويم (hovers)، مع الاحتفاظ فقط بالتفاعلات ذات المعنى (النقر، الكتابة، التمرير) المرتبطة بمجموعة أدوات Playwright MCP.
• استخراج الإطارات: تم استخدام طريقة استخراج ثنائية المسار لتحديد حالات "الاستقرار" بعد الإجراءات، مما يضمن التقاط الإطارات فقط عندما يستقر واجهة المستخدم، وليس في فترات زمنية عشوائية.
• تصفية التأثير: تم تحليل التغيرات في قيم البكسل للتمييز بين الإجراءات التي غيرت المنتج وتلك التي لم تغيره.
• التقسيم القائم على المراحل: المساهمة المبتكرة لهذا العمل هي تحويل بيانات الفيديو إلى مسارات بناءً على مراحل التصميم (مثل: "تحويل المكونات إلى مكونات - Componentising"، "صقل التفاصيل - Refinement Polish"، "جمع المراجع - Reference Gathering") بدلاً من مجرد تقسيم طول السياق الأقصى. استخدم المؤلفون نموذج Gemini-3.6-Flash لتصنيف فترات الفيديو إلى 11 مرحلة متميزة. تم اختيار هذا النهج لتعليم نماذج اللغة المرئية مهارات محددة وحدود النوايا، وتجنب الضوضاء الناتجة عن التوقفات العشوائية في الفيديو.

3. التدريب والتقييم

قام المؤلفون بتدريب أربعة نماذج لغة مرئية (QWEN3.6-35BA3B، وQWEN3.8-27B، وGEMMA-4-31B، وMUSE-GLIMMER-30B) باستخدام إطار عمل ms-swift على 92,472 إجراءً تم أخذ عينات منها من 35 جلسة. تم تقييم النماذج في أربع بيئات واجهة مستخدم رسومية (GUI) خارج نطاق التوزيع (OOD):

• GUI-Odyssey: تنقل عبر تطبيقات ونوافذ متعددة.
• AndroidControl: دقة التعليمات والتنقل عبر الهاتف المحمول.
• Mind2Web: ربط التعليمات ببيانات الويب المفتوحة.
• VideoGUI: التخطيط وسرد الإجراءات.

النتائج الرئيسية

تحسينات الأداء

أدى التدريب على FIGMATRACE إلى مكاسب كبيرة في الأداء عبر جميع الاختبارات المرجعية التي تم تقييمها:

• هيمنة الاختبارات المرجعية: تفوق نموذج QWEN3.8-27B المدرب بضبط دقيق على النماذج المغلقة الرائدة مثل CLAUDE-OPUS-5 وGPT-5.6-SOL في مهام محددة. ومن الجدير بالذكر أنه حقق زيادة مطلقة قدرها 6.4% في GUI-Odyssey وزيادة مطلقة قدرها 11.8% في AndroidControl مقارنة بالنماذج المرجعية المغلقة.
• المكاسب داخل النطاق: في الجزء الإبداعي من ScreenSpot-Pro، أظهر نموذج QWEN3.8-27B المدرب بضبط دقيق زيادة مطلقة قدرها 7.4% عن نموذجه الأساسي (36.7% مقابل 29.3%).
• التعميم: تعممت التحسينات عبر بنيات نماذج مختلفة، حيث أظهرت جميع النماذج الأربعة المختبرة مكاسب إيجابية.

دراسة الاستئصال (Ablation Study): القائم على المراحل مقابل القائم على الطول

أجرى المؤلفون دراسة استئصال حرجة قارنت بين تنسيق المسارات القائم على المراحل وبين التقسيم القياسي لطول السياق الأقصى.

• النتيجة: تفوق النهج القائم على المراحل على النهج القائم على الطول بمقدار 7.3 نقطة مطلقة في المتوسط.
• التحليل: كشف التحليل النوعي أن التقسيم القائم على الطول غالباً ما يقطع المهام في منتصف الإجراء، مما يحجب قصد المهمة. في المقابل، حافظ التقسيم القائم على المراحل على الربط القائم على المهارات، مما سمح للنماذج بفهم تعليمات "أكمل العمل" والمراجع غير الموجهة بشكل أفضل.

التحليل النوعي

حدد التقييم البشري لأفضل النماذج أداءً (QWEN3.8-27B) ثلاثة أنماط رئيسية دفعت النجاح:

1. دقة اختيار العناصر: كان النموذج الأساسي يختار عناصر واجهة مستخدم غير صحيحة بشكل متكرر (متوسط الخطأ ~457 بكسل)، بينما استقر النموذج المدرب بضبط دقيق ضمن نطاق ~15 بكسل من الهدف.
2. فهم الإحداثيات: كان النموذج الأساسي يصدر غالباً إحداثيات بكسل خام تتجاوز حدود الشبكة المعيارية (على سبيل المثال، $y > 1000$)، بينما التزم النموذج المدب بضبط دقيق بنظام إحداثيات norm-1000.
3. الحسم: قدم النموذج المدرب بضبط دقيق إحداثيات باستمرار حتى في السيناريوهات الغامضة حيث فشل النموذج الأساسي في اتخاذ إجراء.

ومع ذلك، لاحظ المؤلفون أيضاً أوجه الفشل التي أدخلتها مجموعة البيانات، بما في ذلك التكرار (التنبؤ بنفس البكسل مرتين) وتحيز التركيز على مركز الشاشة، وهي على الأرجح نواتج عرضية للضوضاء في معالجة الفيديو الخام.

الأهمية والادعاءات

يدعي البحث أن FIGMATRACE هي أول مجموعة بيانات توفر أزواجاً من تسلسلات الإجراءات الذهبية وتسجيلات مقسمة حسب النوايا لتدفقات عمل خبراء Figma. تكمن أهميتها الأساسية في إثبات ما يلي:

1. الجودة فوق الكمية: إن التقاط تدفقات عمل بشرية عالية الجودة ومنسقة من قبل خبراء مع التركيز على مراحل التصميم هو أكثر فعالية لتدريب الوكلاء الإبداعيين من مجرد زيادة حجم البيانات الخام أو استخدام التعليق التلقائي.
2. التنسيق القائم على المراحل: هيكلة بيانات التدريب حول مراحل التصميم (المهارات) بدلاً من النوافذ الزمنية التعسفية يحسن بشكل كبير من قدرة النموذج على فهم نوايا المهام طويلة الأمد.
3. التعميم: ينتقل التدريب على تدفقات عمل تصميمية محددة (Figma) بفعالية إلى مهام التنقل الوكيلية الأوسع (Android، Web)، مما يشير إلى أن المهارات الأساسية للتحليل البصري والاستدلال الهيكلي قابلة للنقل.

لقد أتاح المؤلفون مجموعة البيانات وأفضل نموذج أداءً (QWEN3.8-27B) للجمهور لتسهيل المزيد من الأبحاث في وكلاء الذكاء الاصطناائي الإبداعي.