FigmaTrace: Capturing Creative Nuances in Human Figma Design Workflows

तकनीकी सारांश: FIGMATRACE

समस्या विवरण

विज़न लैंग्वेज मॉडल्स (VLMs) ने ऑब्जेक्ट डिटेक्शन और डॉक्यूमेंट अंडरस्टैंडिंग जैसे वस्तुनिष्ठ, सत्यापन योग्य डोमेन में महत्वपूर्ण दक्षता प्रदर्शित की है। हालाँकि, वे व्यक्तिपरक (subjective) और रचनात्मक डिज़ाइन कार्यों पर प्रदर्शन करने में पिछड़ते रहे हैं। लेखक एक प्राथमिक बाधा की पहचान करते हैं: उच्च-गुणवत्ता वाले मानव वर्कफ़्लो डेटा की कमी जो उन विविध प्राथमिकताओं, निर्णयों और "स्वाद" (taste) को कैप्चर कर सके जो मानव विशेषज्ञों को अलग करते हैं। जबकि पिछले कार्यों ने मौजूदा फिग्मा (Figma) फाइलों के स्वचालित एनोटेशन या HTML को JSON में बदलकर डिज़ाइन डेटा उत्पन्न करने का प्रयास किया है, ये दृष्टिकोण अस्पष्ट सत्यापन, व्यापक गुणवत्ता दिशानिर्देशों की कमी और मानव डिजाइनरों के सूक्ष्म निर्णय लेने की प्रक्रियाओं को कैप्चर करने में असमर्थता से ग्रस्त हैं। इसके अलावा, मौजूदा डेटासेट अक्सर अंतिम आर्टिफैक्ट (artifact) के बजाय उन निर्णयों के प्रक्षेपवक्र (trajectory) पर ध्यान केंद्रित करते हैं जो उसे बनाने के लिए आवश्यक होते हैं।

कार्यप्रणाली

1. कौशल वर्गीकरण और कार्य क्यूरेशन (Skill Taxonomy and Task Curation)

डेटा अंतराल को संबोधित करने के लिए, लेखकों ने पहले 10 उच्च-स्तरीय डिज़ाइन कौशलों (जैसे, विजुअल परसेप्शन, फिग्मा स्ट्रक्चरल क्राफ्ट, एक्सेसिबिलिटी विशेषज्ञता, वेक्टर और एसेट क्राफ्ट) का एक अद्वितीय, विशेषज्ञ-क्यूरेटेड वर्गीकरण (taxonomy) परिभाषित किया। इस वर्गीकरण के आधार पर, उन्होंने 126 ओपन-एंडेड, व्यक्तिपरक, लॉन्ग-होरिज़न कार्यों का निर्माण किया। इन कार्यों को वर्गीकृत किया गया था:

• सत्यापन योग्य कार्य (Verifiable Tasks): पिक्सेल-परफेक्ट रेप्लिकेशन, दोष सुधार (flaw repair), और एक्सेसिबिलिटी रिमेडिएशन।
• गैर-सत्यापन योग्य कार्य (Non-Verifiable Tasks): प्लेटफॉर्म अनुकूलन, थीमिंग, स्केच-टू-फिग्मा रूपांतरण, और प्रोटोटाइप वायरिंग, जो विशेषज्ञ निर्णय और पूर्वाग्रह (bias) पर निर्भर करते हैं।

2. डेटा संग्रह और प्रसंस्करण (FIGMATRACE)

डेटासेट, FIGMATRACE, को डिजाइनर इन कार्यों को पूरा करते समय 200 घंटों से अधिक के OS-लेवल एक्सपर्ट स्क्रीन रिकॉर्डिंग और क्रियाओं को कैप्चर करके बनाया गया था। कच्चे डेटा को एक कठोर बहु-चरणीय प्रसंस्करण पाइपलाइन से गुजारा गया:

• एक्शन फ़िल्टरिंग: रैंडम माउस मूवमेंट और होवर को फ़िल्टर किया गया, केवल सार्थक इंटरैक्शन (क्लिक, टाइपिंग, स्क्रॉलिंग) को बरकरार रखा गया जो Playwright MCP टूलसेट से मैप किए गए थे।
• फ्रेम एक्सट्रैक्शन: यह सुनिश्चित करने के लिए कि फ्रेम केवल तभी कैप्चर किए जाएं जब UI स्थिर हो गया हो, न कि मनमाने समय अंतराल पर, "सेटल्ड" (settled) अवस्थाओं की पहचान करने के लिए एक टू-पास एक्सट्रैक्शन विधि का उपयोग किया गया।
• इफेक्ट फ़िल्टरिंग: यह अंतर करने के लिए कि कौन सी क्रियाएं आर्टिफैक्ट को बदलती हैं और कौन सी नहीं, पिक्सेल मानों में परिवर्तन का विश्लेषण किया गया।
• फेज-आधारित सेगमेंटेशन (Phase-Based Segmentation): इस कार्य का एक अभिनव योगदान वीडियो डेटा को केवल अधिकतम कॉन्टेक्स्ट-लेंथ शेडिंग के बजाय डिज़ाइन चरणों (जैसे, "कंपोनेंटाइजिंग," "रिफाइनमेंट पॉलिश," "रेफरेंस गैदरिंग") के आधार पर प्रक्षेपवक्र (trajectories) में बदलना है। लेखों ने वीडियो स्पैन को 11 विशिष्ट चरणों में वर्गीकृत करने के लिए Gemini-3.6-Flash का उपयोग किया। यह दृष्टिकोण VLMs को विशिष्ट कौशल और इरादे की सीमाओं को सिखाने के लिए चुना गया था, जिससे वीडियो में रैंडम पॉज़ (pauses) से होने वाले शोर (noise) से बचा जा सके।

3. प्रशिक्षण और मूल्यांकन

लेखकों ने 35 सत्रों से लिए गए 92,472 एक्शन के साथ ms-swift फ्रेमवर्क का उपयोग करके चार VLMs (QWEN3.6-35BA3B, QWEN3.8-27B, GEMMA-4-31B, और MUSE-GLIMMER-30B) को प्रशिक्षित किया। मॉडल्स का मूल्यांकन चार आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) एजेंटिक GUI वातावरणों पर किया गया:

• GUI-Odyssey: मल्टी-ऐप, मल्टी-व्यूपोर्ट नेविगेशन।
• AndroidControl: निर्देश सूक्ष्मता (instruction granularity) और मोबाइल नेविगेशन।
• Mind2Web: ओपन वेब डेटा पर इंस्ट्रक्शन ग्राउंडिंग।
• VideoGUI: प्लानिंग और एक्शन नरेशन।

मुख्य परिणाम

प्रदर्शन सुधार

FIGMATRACE पर प्रशिक्षण ने सभी मूल्यांकित बेंचमार्क पर महत्वपूर्ण प्रदर्शन लाभ दिए:

• बेंचमार्क प्रभुत्व (Benchmark Dominance): फाइन-ट्यून्ड QWEN3.8-27B मॉडल ने विशिष्ट कार्यों पर CLAUDE-OPUS-5 और GPT-5.6-SOL जैसे फ्रंटियर क्लोज्ड-सोर्स मॉडल्स को पछाड़ दिया। विशेष रूप से, इसने बेसलाइन की तुलना में GUI-Odyssey पर 6.4% एब्सोल्यूट इंक्रीज और AndroidControl पर 11.8% एब्सोल्यूट इंक्रीज हासिल किया।
• इन-डोमेन लाभ: ScreenSpot-Pro क्रिएटिव स्प्लिट पर, फाइन-ट्यून्ड QWEN3.8-27B ने अपने बेस मॉडल की तुलना में 7.4% एब्सोल्यूट इंक्रीज दिखाया (36.7% बनाम 29.3%)।
• सामान्यीकरण (Generalization): सुधार विभिन्न मॉडल आर्किटेक्चर में सामान्यीकृत हुए, सभी चार परीक्षण किए गए मॉडल्स ने सकारात्मक लाभ दिखाया।

एब्लेशन स्टडी: फेज-आधारित बनाम लेंथ-आधारित

लेखकों ने अपने फेज-आधारित प्रक्षेपवक्र क्यूरेशन की मानक मैक्सिमम कॉन्टेक्स्ट-लेंथ शेडिंग के विरुद्ध एक महत्वपूर्ण एब्लेशन स्टडी आयोजित की।

• परिणाम: फेज-आधारित दृष्टिकोण औसत रूप से लेंथ-आधारित दृष्टिकोण से 7.3 एब्सोलट पॉइंट्स बेहतर रहा।
• विश्लेषण: गुणात्मक विश्लेषण से पता चला कि लेंथ-आधारित शेडिंग अक्सर कार्यों को बीच में ही काट देती है, जिससे कार्य का इरादा (intent) अस्पष्ट हो जाता है। इसके विपरीत, फेज-आधारित सेगमेंटेशन ने स्किल-आधारित ग्राउंडिंग को संरक्षित किया, जिससे मॉडल को "काम जारी रखें" (Continue the work) जैसे निर्देशों और अननिर्देशित संदर्भों को बेहतर ढंग से समझने में मदद मिली।

गुणात्मक विश्लेषण

सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल (QWEN3.8-27B) के मानव मूल्यांकन ने सफलता को चलाने वाले तीन प्रमुख पैटर्न की पहचान की:

1. एलिमेंट सिलेक्शन एक्यूरेसी: बेस मॉडल अक्सर गलत UI एलिमेंट्स चुनता था (मीडियन एरर ~457 px), जबकि फाइन-ट्यून्ड मॉडल लक्ष्य के ~15 px के भीतर रहता था।
2. कोऑर्डिनेट अंडरस्टैंडिंग: बेस मॉडल अक्सर ऐसे रॉ पिक्सेल कोऑर्डिनेट्स उत्सर्जित करता था जो नॉर्मलाइज्ड ग्रिड सीमाओं से अधिक थे (जैसे, $y > 1000$), जबकि फाइन-ट्यून्ड मॉडल 'norm-1000' कोऑर्डिनेट सिस्टम का पालन करता था।
3. निर्णायकता (Decisiveness): फाइन-ट्यून्ड मॉडल लगातार उन अस्पष्ट परिदृश्यों में भी कोऑर्डिनेट्स प्रदान करता था जहाँ बेस मॉडल कार्य करने में विफल रहा।

हालाँकि, लेखकों ने डेटासेट द्वारा पेश किए गए फेल्योर मोड्स (failure modes) को भी नोट किया, जिसमें पुनरावृत्ति (एक ही पिक्सेल को दो बार प्रेडिक्ट करना) और स्क्रीन-सेंटर फोकस बायस शामिल है, जो संभवतः कच्चे वीडियो प्रोसेसिंग में शोर (noise) के आर्टिफैक्ट्स हैं।

महत्व और दावे

पेपर का दावा है कि FIGMATRACE पहला ऐसा डेटासेट है जो गोल्ड एक्शन सीक्वेंस और एक्सपर्ट फिग्मा वर्कफ़्लो के इंटेंट-सेगमेंटेड रिकॉर्डिंग के जोड़े प्रदान करता है। इसका प्राथमिक महत्व यह प्रदर्शित करने में है कि:

1. मात्रा से अधिक डेटा की गुणवत्ता: केवल कच्चे डेटा को स्केल करने या स्वचालित एनोटेशन का उपयोग करने के बजाय, डिज़ाइन चरणों (skills) पर ध्यान केंद्रित करते हुए उच्च-गुणवत्ता वाले, विशेषज्ञ-क्यूरेटेड मानव वर्कफ़्लो को कैप्चर करना रचनात्मक एजेंटों को प्रशिक्षित करने के लिए अधिक प्रभावी है।
2. फेज-आधारित क्यूरेशन: प्रशिक्षण डेटा को मनमाने समय विंडो के बजाय डिज़ाइन चरणों (कौशलों) के इर्द-गिर्द संरचित करने से लॉन्ग-होरिज़न टास्क इंटेंट्स को समझने की मॉडल की क्षमता में उल्लेखनीय सुधार होता है।
3. सामान्यीकरण (Generalization): विशिष्ट डिज़ाइन वर्कफ़्लो (Figma) पर प्रशिक्षण प्रभावी रूप से व्यापक एजेंटिक नेविगेशन कार्यों (Android, Web) में स्थानांतरित होता है, जो यह सुझाव देता है कि विजुअल विश्लेषण और स्ट्रक्चरल रीजनिंग के अंतर्निहित कौशल हस्तांतरणीय हैं।

लेखकों ने रचनात्मक AI एजेंटों के लिए आगे के शोध को सुगम बनाने के लिए अपना डेटासेट और सर्वश्रेष्ठ प्रदर्शन करने वाला मॉडल (QWEN3.8-27B) ओपन-सोर्स कर दिया है।