MT-Web2Code: Benchmarking Coding Agents on Multi-Turn Regional Reconstruction and Localized Modification
यह शोध पत्र MT-Web2Code प्रस्तुत करता है, जो क्षेत्रीय पुनर्निर्माण (regional reconstruction) और स्थानीयकृत संशोधनों (localized modifications) से जुड़े वास्तविक मल्टी-टर्न वेब UI कार्यों पर कोडिंग एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला मल्टीमॉडल बेंचमार्क है, जो पुनरावृत्ति चरणों (iterative turns) में निष्ठा बनाए रखने और त्रुटि संचय (error accumulation) को रोकने की वर्तमान एजेंटों की क्षमता में महत्वपूर्ण सीमाओं को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मास्टर वेब डिज़ाइनर बनने के लिए सिखा रहे हैं। अतीत में, हमने इन रोबोट्स का परीक्षण उन्हें एक खाली कैनवास और एक वेबसाइट की तस्वीर देकर किया था, और उनसे एक ही बार में पूरी चीज़ शून्य से बनाने के लिए कहा था। यह एक शेफ से तुरंत पांच-कोर्स वाला पूरा भोजन बनाने के लिए कहने जैसा था। लेकिन वास्तविक दुनिया में, वेब डिज़ाइन शायद ही कभी इतना नाटकीय होता है। आमतौर पर, एक डेवलपर एक मौजूदा वेबसाइट खोलता है, एक टूटे हुए बटन को ढूंढता है, एक अजीब फ़ॉन्ट को ठीक करता है, या एक गायब फोटो जोड़ता है, और यह भी सुनिश्चित करता है कि वे गलती से पूरे पेज को डिलीट न कर दें। यह बार-बार खेले जाने वाले "अंतर पहचानें" और "ग्लिच ठीक करें" जैसे खेल की तरह है। यह "इटरेटिव कोडिंग" (iterative coding) की दुनिया है, जहाँ रोबोट को यह याद रखना होगा कि उसने पाँच मिनट पहले क्या किया था और नए काम को ठीक करते समय पुरानी चीज़ों को खराब नहीं करना होगा। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हमारे सबसे स्मार्ट AI रोबोट इस बिखरी हुई, चरण-दर-चरण वास्तविकता को संभाल सकते हैं, या वे केवल तभी अच्छा काम करते हैं जब उन्हें एक साफ स्लेट दी जाती है?
यह बिल्कुल वही है जिसकी जांच "MT-Web2Code" नामक पेपर करता है। लेखकों ने एक बिल्कुल नया, बेहद चुनौतीपूर्ण टेस्ट बनाया जिसे MT-Web2Code कहा जाता है, ताकि यह देखा जा सके कि AI कोडिंग एजेंट वास्तव में इस "काम करते-करते सुधारने" (fix-it-as-you-go) वाली शैली में कितने अच्छे हैं। AI को पूरा पेज बनाने के लिए कहने के बजाय, उन्होंने इसे 16 अलग-अलग श्रेणियों (जैसे शॉपिंग, न्यूज़ और सरकारी साइट्स) से 102 अलग-अलग वेब पेज दिए और इसे कई चरणों (multiple turns) में दो विशिष्ट प्रकार के कार्य करने के लिए कहा। पहला कार्य है "रीजनल रिकंस्ट्रक्शन" (Regional Reconstruction), जो ऐसा है जैसे रोबोट को बताया गया हो, "हे, पेज का यह पूरा हिस्सा गायब है; यहाँ एक तस्वीर है कि यह कैसा दिखना चाहिए, कृपया बाकी हिस्से को छुए बिना केवल उसी हिस्से को फिर से बनाएं।" दूसरा है "लोकलाइज्ड मॉडिफिकेशन" (Localized Modification), जो और भी कठिन है: "यहाँ तीन छोटी चीजें हैं जो गलत दिख रही हैं (शायद एक बटन का रंग गलत है या एक लाइन बहुत मोटी है); कृपया केवल उन छोटी जगहों को ठीक करें।"
इस टेस्ट को निष्पक्ष और बाईपास करना असंभव बनाने के लिए, शोधकर्ताओं ने एक चतुर "रिवर्स-करप्शन" (Reverse-Corruption) इंजन का आविष्कार किया। कल्पना कीजिए कि उन्होंने एक आदर्श, सुनहरी वेबसाइट ली और फिर उसे विशेष तरीकों से जानबूझकर बिगाड़ दिया—एक पूरा हिस्सा छिपा दिया या कुछ फ़ॉन्ट्स को खराब कर दिया। फिर, उन्होंने रिकॉर्ड किया कि उन्होंने इसे ठीक कैसे बिगाड़ा था। AI का काम उस प्रक्रिया को उलटना है: टूटे हुए पेज को देखना, यह समझना कि क्या गलत है, और इसे वापस आदर्श स्थिति में ठीक करना। क्योंकि शोधकर्ताओं को पता है कि पेज को कैसे बिगाड़ा गया था, वे AI की सफलता को अत्यधिक सटीकता के साथ माप सकते हैं। उन्होंने पाया कि हालांकि ये AI रोबोट बेहतर हो रहे हैं, वे अभी भी इस मल्टी-टर्न गेम में संघर्ष करते हैं।
परिणाम थोड़े वास्तविकता के आईने दिखाने वाले थे। जब AI ने एक गायब क्षेत्र को फिर से बनाने की कोशिश की, तो उसने अक्सर नए भाग पर तो ठीक काम किया लेकिन अनजाने में आसपास की सामग्री को बिगाड़ दिया, जैसे कि केवल मेनू को ठीक करने के बजाय पूरे पेज का बैकग्राउंड कलर बदल देना। जब सूक्ष्म, सटीक संपादन करने के लिए कहा गया, तो रोबोट अक्सर विजुअल फिक्स के साथ कोड को पूरी तरह से संरेखित (align) करने में विफल रहे, जिससे पता चलता है कि उनमें बारीक नियंत्रण की कमी है। शायद सबसे चिंताजनक बात यह है कि पेपर में एक "एरर स्नोबॉल" (error snowball) प्रभाव पाया गया। यदि AI ने पहले टर्न में एक छोटी सी गलती की, तो वह गलती अगले टर्न में चली जाती और बढ़ जाती, जिससे अंतिम परिणाम हर बार नए सिरे से शुरू करने की तुलना में बहुत खराब हो जाता। दिलचस्प बात यह है कि शोधकर्ताओं ने पाया कि AI को टूटे हुए भाग का लिखित विवरण देने से हमेशा मदद नहीं मिली; कभी-कभी, इसने रोबोट को भ्रमित भी कर दिया, जिससे वह शब्दों पर बहुत अधिक निर्भर हो गया और वास्तविक तस्वीर को अनदेखा कर दिया।
संक्षेप में, यह पेपर सुझाव देता है कि जबकि AI वेबसाइटों को शून्य से बनाने में महान है, वह अभी भी एक सावधानीपूर्वक, इटरेटिव एडिटर बनने के लिए सीख रहा है। यह दिखाता है कि एक में अच्छा होने का मतलब यह नहीं है कि आप दूसरे में भी अच्छे होंगे। लेखक आशा करते हैं कि अपने नए, अत्यंत सटीक स्कोरिंग सिस्टम का उपयोग करके—जो ठीक किए गए भाग और अछूते भागों दोनों की जाँच करता है—वे भविष्य के AI को अधिक विश्वसनीय, चरण-दर-चरण वेब डिज़ाइनर बनने में मदद कर सकते हैं जो एक खिड़की को ठीक करते समय पूरे घर को नहीं तोड़ते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।