DragOn: A Benchmark and Dataset for Drag-Based GUI Interactions
यह शोध पत्र DragOn को प्रस्तुत करता है, जो एक व्यापक बेंचमार्क और डेटासेट है जिसमें चार डोमेन में 286K स्क्रीनशॉट और 3.5M कार्य शामिल हैं, जो ड्रैग-आधारित GUI इंटरैक्शन डेटा की कमी को दूर करने के लिए है, और यह प्रदर्शित करता है कि इस डेटासेट पर फाइन-ट्यूनिंग करने से जटिल कंप्यूटर-उपयोग कार्यों पर अत्याधुनिक विजन-लैंग्वेज मॉडलों का प्रदर्शन काफी बढ़ जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कंप्यूटर चलाना सिखा रहे हैं। अब तक, हम रोबोट को बटन पर क्लिक (click) करना सिखाने में बहुत अच्छे रहे हैं। यह एक बच्चे को किसी तस्वीर की ओर इशारा करते हुए यह कहने के समान है, "उसे छुओ!" हमारे पास इसके लाखों उदाहरण हैं, और रोबोट इसमें काफी कुशल होते जा रहे हैं।
लेकिन एक बहुत कठिन कौशल है: ड्रैग (drag/खींचना)।
ड्रैग को एक भारी बक्से को उठाकर नई जगह पर रखने, या पेज को नीचे स्क्रॉल करने के लिए अपनी उंगली से स्वाइप करने, या किसी फोटो के कोने को पकड़कर उसे बड़ा करने जैसा समझें। इन कार्यों के लिए रोबोट को न केवल यह समझने की आवश्यकता है कि कहाँ छूना है, बल्कि यह भी कि बिंदु A से बिंदु B तक कैसे जाना है। वर्तमान में, रोबोट इसमें बहुत खराब हैं। वे उन छोटे बच्चों की तरह हैं जो खिलौने की ओर इशारा तो कर सकते हैं लेकिन उसे उठाकर कमरे के दूसरे कोने तक ले जाने का तरीका नहीं जानते।
यह शोध पत्र इस समस्या को हल करने के लिए DragOn नामक एक नया टूल पेश करता है। यह कैसे काम करता है, यहाँ सरल रूप में दिया गया है:
1. समस्या: "ड्रैग" अभ्यास की कमी
लेखकों ने देखा कि जबकि हमारे पास रोबोट को क्लिक करना सिखाने के लिए विशाल डेटा लाइब्रेरी मौजूद है, ड्रैग करना सिखाने के लिए डेटा बहुत कम है—लगभग 10 से 100 गुना कम। इस कारण से, यहाँ तक कि सबसे स्मार्ट AI मॉडल (जैसे OpenAI या Anthropic के मॉडल) भी टेक्स्ट को हाईलाइट करने, विंडो का आकार बदलने या स्लाइडर चलाने जैसे कार्यों में संघर्ष करते हैं। वे भ्रमित हो जाते हैं और अक्सर विफल हो जाते हैं।
2. समाधान: "रेंडरिंग-एज़-सुपरविजन" (Rendering-as-Supervision)
हजारों मनुष्यों को मैन्युअल रूप से क्लिक और ड्रैग करने के लिए नियुक्त किए बिना ड्रैग के उदाहरणों की एक विशाल लाइब्रेरी बनाने के लिए, लेखकों ने एक चतुर तकनीक बनाई जिसे वे "रेंडरिंग-एज़-सुपरविजन" कहते हैं।
- पुराना तरीका: कल्पना कीजिए कि एक इंसान स्क्रीन को देख रहा है, एक शब्द के चारों ओर एक बॉक्स बना रहा है और उसके निर्देशांक (coordinates) लिख रहा है। यह धीमा और महंगा है।
- DragOn का तरीका: कल्पना कीजिए कि आपके पास किसी दस्तावेज़ (जैसे PDF या स्प्रेडशीट) का एक जादुई ब्लूप्रिंट (खाका) है। कंप्यूटर जानता है कि हर अक्षर और सेल कहाँ है क्योंकि उसने ही वह दस्तावेज़ बनाया है। इमेज को देखकर अनुमान लगाने के बजाय, कंप्यूटर सीधे ब्लूप्रिंट से पूछता है: "'Hello' शब्द कहाँ है?" ब्लूप्रिंट कहता है: "यह इन सटीक निर्देशांकों पर है।"
कंप्यूटर फिर उस इमेज को "रेंडर" (बनाता) करता है और उस ब्लूप्रिंट के आधार पर ड्रैग क्रिया के शुरुआती और अंतिम बिंदुओं को स्वचालित रूप से लेबल करता है। यह बिल्कुल वैसा ही है जैसे आपके पास एक GPS हो जो सड़क पर चलने से पहले ही हर साइन बोर्ड की सटीक स्थिति जानता हो। इससे वे बहुत तेज़ी से और सस्ते में 35 लाख (3.5 million) प्रशिक्षण कार्य बना सके।
3. डेटासेट: चार नए खेल के मैदान
उन्होंने केवल एक प्रकार का ड्रैग कार्य नहीं बनाया; उन्होंने रोबोट के अभ्यास के लिए चार अलग-अलग "खेल के मैदान" बनाए:
- टेक्स्ट हाइलाइटिंग (Text Highlighting): किसी वाक्य को चुनने के लिए उसके ऊपर ड्रैग करना (जैसे पाठ्यपुस्तक में किसी शब्द को हाईलाइट करना)।
- सेल सिलेक्शन (Cell Selection): संख्याओं के एक ब्लॉक को चुनने के लिए स्प्रेडशीट के ग्रिड के ऊपर ड्रैग करना।
- एलिमेंट रिसाइजिंग (Element Resizing): किसी चित्र या विंडो के कोने को पकड़ना और उसे बड़ा या छोटा करने के लिए खींचना।
- स्लाइडर मैनिपुलेशन (Slider Manipulation): एक स्लाइडर बार (जैसे वॉल्यूम कंट्रोल) को पकड़ना और उसे बाएं या दाएं खिसकाना।
कुल मिलाकर, उन्होंने रोबोट के अध्ययन के लिए 286,000 स्क्रीनशॉट तैयार किए।
4. परिणाम: अभ्यास ही पूर्णता लाता है
लेखकों ने इस नए डेटासेट का परीक्षण दुनिया के सबसे स्मार्ट AI मॉडल्स पर किया।
- बेसलाइन (Baseline): सबसे अच्छे "ऑफ-द-शेल्फ" AI मॉडल (जैसे GPT और Claude) इन कार्यों पर 30% से कम स्कोर करते हैं। वे अनिवार्य रूप से सफल होने की तुलना में विफल अधिक हो रहे थे।
- ब्रेकथ्रू (Breakthrough): लेखकों ने एक ओपन-सोर्स AI मॉडल लिया और उसे विशेष रूप से उनके नए DragOn डेटासेट पर प्रशिक्षित किया।
- परिणाम: यह प्रशिक्षित मॉडल उछलकर 35.3% सटीकता तक पहुँच गया। भले ही यह संख्या बहुत बड़ी न लगे, लेकिन यह बेस मॉडल (जो केवल 2.3% था) की तुलना में एक बड़ी प्रगति है और इसने चार में से तीन कार्यों में सबसे महंगे, प्रोप्रायटरी (proprietary) मॉडल्स को भी पीछे छोड़ दिया।
निष्कर्ष
शोध पत्र का दावा है कि AI मॉडल्स को ड्रैग के उदाहरणों की एक विशाल, उच्च-गुणवत्ता वाली लाइब्रेरी देकर—जिसे एक स्मार्ट, स्वचालित ब्लूप्रिंट पद्धति का उपयोग करके बनाया गया है—हम उन्हें जटिल कंप्यूटर कार्यों को कहीं बेहतर तरीके से संभालने के लिए सिखा सकते हैं। यह सिद्ध करता है कि डेटा ही कुंजी है: यदि सही प्रकार के अभ्यास डेटा पर प्रशिक्षित किया जाए, तो एक मानक ओपन-सोर्स मॉडल भी सबसे महंगे व्यावसायिक मॉडल्स से बेहतर प्रदर्शन कर सकता है।
लेखक आशा करते हैं कि यह नया बेंचमार्क और डेटासेट भविष्य के रोबोट्स को विश्वसनीय "कंप्यूटर उपयोगकर्ता" बनने में मदद करेगा जो केवल क्लिक करने तक सीमित नहीं रहेंगे; वे अंततः इंसानों की तरह ड्रैग, ड्रॉप, रिसाइज और स्वाइप करना भी सीख सकेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।