AutoDesign: Meta-Harness Optimization for Long-Horizon Agentic Design
AutoDesign एक मेटा-हार्नेस ऑप्टिमाइज़ेशन फ्रेमवर्क पेश करता है जो एक कोड एजेंट को लंबी अवधि के फीडबैक के माध्यम से अपनी डिज़ाइन क्षमताओं को पुनरावर्ती रूप से सुधारने में सक्षम बनाता है, जिससे अकादमिक शोध पत्रों को पोस्टरों में बदलने के लिए अत्याधुनिक प्रदर्शन प्राप्त होता है और यह Claude Design जैसे व्यावसायिक सिस्टमों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को ग्राफिक डिजाइनर बनना सिखाने की कोशिश कर रहे हैं। आप केवल नहीं चाहते कि वह एक सुंदर तस्वीर बनाकर रुक जाए; आप चाहते हैं कि वह हर बार कोशिश करने के बाद बेहतर डिजाइन बनाना सीखे। यह "एजेंटिक डिजाइन" (agentic design) की दुनिया है, जहाँ कंप्यूटर प्रोग्राम एजेंटों की तरह काम करते हैं जो योजना बना सकते हैं, टूल्स का उपयोग कर सकते हैं और अपनी गलतियों को सुधार सकते हैं। आमतौर पर, जब ये रोबोट कोई गलती करते हैं, तो एक इंसान को हस्तक्षेप करना पड़ता है और कहना पड़ता है, "हे, इस चार्ट को ठीक करो," या रोबोट फिर से उन्हीं पुराने निर्देशों के साथ कोशिश करता है, इस उम्मीद में कि परिणाम अलग होगा। लेकिन क्या होगा अगर रोबोट अपनी गलतियों को देख सके, यह महसूस कर सके कि उसके निर्देश ही समस्या थे, और बेहतर होने के लिए अपने ही नियम पुस्तिका (rulebook) को फिर से लिख सके? यही वह बड़ा सवाल है जिसे यह शोध पत्र हल करता है: हम एक ऐसा सिस्टम कैसे बना सकते हैं जो न केवल चीजें बनाता है, बल्कि लंबे समय तक लगातार बेहतर चीजें बनाना सीखता है?
इस अध्ययन के पीछे के शोधकर्ता, जो मेइतुआन (Meituan) और कई विश्वविद्यालयों की एक टीम है, ने AutoDesign नामक एक सिस्टम बनाया है। इसे एक "मेटा-डिजाइनर" के रूप में समझें। केवल एक पोस्टर बनाने के बजाय, AutoDesign एक कोच की तरह है जो एक डिजाइनर रोबोट को काम करते हुए देखता है, देखता है कि वह कहाँ लड़खड़ाता है, और फिर चुपचाप डिजाइनर की निर्देश नियमावली (instruction manual) को फिर से लिख देता है। उन्होंने इसे एक कठिन काम पर परखा: लंबे, उबाऊ शैक्षणिक शोध पत्रों को रंगीन, आसानी से पढ़े जाने वाले कॉन्फरेंस पोस्टरों में बदलना। परिणाम एक ऐसा सिस्टम है जो जितना अधिक काम करता है, उतना ही स्मार्ट होता जाता है, और अंततः शीर्ष वाणिज्यिक डिजाइन टूल और यहाँ तक कि मानव-निर्मित वर्कफ़्लो को भी गुणवत्ता में पीछे छोड़ देता है, और वह भी एक पोस्टर के लिए कॉफी के एक कप की कीमत से भी कम में।
समस्या: वह रोबोट जो भूल जाता है
कल्पना कीजिए कि आप अपने एक दोस्त को केक बनाना सिखा रहे हैं। यदि वह पहला केक जला देता है, तो आप कह सकते हैं, "अगली बार, आंच कम रखना।" लेकिन यदि आपका दोस्त एक रोबोट है जिसके पास निर्देशों का एक निश्चित सेट है, तो वह शायद उसी उच्च आंच के साथ फिर से कोशिश करेगा, केक फिर से जला देगा, और फिर हार मान लेगा। वर्तमान डिजाइन रोबोट ज्यादातर इसी तरह काम करते हैं। उनके पास एक "हार्नेस" (harness) होता है—नियमों और टूल्स का एक सेट जिसका वे चीजें बनाने के लिए उपयोग करते हैं। यदि नियम खराब हैं, तो रोबोट खराब चीजें ही बनाता रहेगा, भले ही वह अभी-अभी जले हुए केक को ठीक करने की कोशिश क्यों न कर रहा हो। वह हर गलती को एक बार की गड़बड़ी के रूप में देखता है, न कि अपने पूरे सिस्टम को अपडेट करने के एक सबक के रूप में।
लेखकों का तर्क है कि वास्तव में उपयोगी डिजाइन रोबोट बनाने के लिए, हमें केवल आउटपुट को ठीक करने के बजाय उस सिस्टम को ठीक करने पर ध्यान केंद्रित करना चाहिए जो आउटपुट बनाता है। वे इसे मेटा-हार्नेस ऑप्टिमाइज़ेशन (Meta-Harness Optimization) कहते हैं। यह रोबोट के दिमाग के ऑपरेटिंग सिस्टम को पैच करने के बजाय उसे अपग्रेड करने जैसा है।
समाधान: AutoDesign का दो-लूप वाला नृत्य
AutoDesign दो मंजिला इमारत की तरह काम करता है जिसमें दोनों मंजिलों के बीच एक फीडबैक लूप होता है।
इनर लूप (कलाकार): यह वास्तविक डिजाइनर रोबोट है। यह एक वैज्ञानिक पत्र (इनपुट) लेता है और उसे एक पोस्टर (आउटपुट) में बदलने की कोशिश करता है। यह केवल एक बार नहीं बनाता; यह स्केच बनाता है, अपने काम की जांच करता है, एक "विजुअल क्रिटिक" (एक अन्य AI जो चित्र को देखता है) से आलोचना प्राप्त करता है, और त्रुटियों को ठीक करता है। यह तब तक करता रहता है जब तक कि पोस्टर अच्छा न दिखने लगे।
आउटर लूप (कोच): यह जादुई हिस्सा है। जबकि इनर लूप पोस्टर बनाने में व्यस्त है, आउटर लूप पूरी प्रक्रिया पर नज़र रखता है। यह प्रत्येक प्रयास, प्रत्येक गलती और प्रत्येक सुधार के इतिहास यानी "रोलआउट" (rollout) को देखता है। यह पूछता है, "रोबोट बार-बार चार्ट्स के साथ गलती क्यों कर रहा है? क्या चार्ट्स के बारे में नियम गलत है?" फिर, यह डिजाइनर की निर्देश नियमावली (हार्नेस) के केवल एक हिस्से को फिर से लिखने के लिए एक कोडिंग एजेंट भेजता है ताकि उस विशिष्ट समस्या को ठीक किया जा सके।
महत्वपूर्ण बात यह है कि यह कोई तुक्का नहीं है। सिस्टम के पास एक सख्त "एक्सेप्टेंस गेट" (Acceptance Gate) है। यह नए निर्देश मैनुअल को परीक्षण सेट के कागजों पर आजमाता है। यदि नया संस्करण पोस्टरों को बेहतर बनाता है और किसी अन्य चीज़ को खराब नहीं करता है, तो यह बदलाव को रख लेता है। यदि यह चीजों को बदतर बनाता है, तो यह बदलाव को फेंक देता है। यह सुनिश्चित करता है कि रोबोट केवल स्मार्ट बने, कभी मूर्ख नहीं।
परीक्षण: PosterBench
यह देखने के लिए कि क्या यह वास्तव में काम करता है, टीम ने PosterBench नामक एक नया परीक्षण मैदान बनाया। कल्पना कीजिए कि एक बड़ी प्रतियोगिता है जहाँ जीव विज्ञान, भौतिकी और अर्थशास्त्र जैसे क्षेत्रों के 100 अलग-अलग वैज्ञानिक शोध पत्रों को विभिन्न डिजाइन सिस्टम को दिया जाता है। सिस्टम को इन सघन, टेक्स्ट-भारी शोध पत्रों को पोस्टरों में बदलना होता है।
निर्णायक (कठोर कंप्यूटर नियमों और AI विजुअल क्रिटिक्स का मिश्रण) पोस्टरों को सात चीजों पर स्कोर देते हैं:
- विश्वसनीयता (Faithfulness): क्या इसने पेपर से सच बताया?
- कवरेज (Coverage): क्या इसमें सभी महत्वपूर्ण भाग शामिल हैं?
- डेंसिटी (Density): क्या यह जानकारी से भरा है लेकिन अव्यवस्थित नहीं है?
- विजुअल एविडेंस (Visual Evidence): क्या चार्ट और ग्राफ सटीक हैं?
- लेआउट (Layout): क्या यह व्यवस्थित दिखता है?
- पठनीयता (Readability): क्या आप वास्तव में टेक्स्ट पढ़ सकते हैं?
- सौंदर्यशास्त्र (Aesthetics): क्या यह सुंदर है?
परिणाम: "ठीक" से "अद्भुत" तक
जब उन्होंने शुरुआत की, तो बुनियादी डिजाइन हार्नेस (प्रारंभिक नियमों का सेट) संघर्ष कर रहा था। इसका स्कोर 100 में से लगभग 49.00 था। यह बिखरा हुआ, अव्यवस्थित था और इसमें महत्वपूर्ण विवरणों की कमी थी।
जैसे ही AutoDesign ने अपने "सेल्फ-इवोल्यूशन" लूप को चलाया, स्कोर बढ़ता गया। जब रोबोट ने कुछ समय तक खुद को सिखाया, तो स्कोर 80.88 पर पहुंच गया। लेकिन टीम वहीं नहीं रुकी। उन्होंने स्कोर को और ऊपर ले जाने के लिए रोबोट को मानवीय मार्गदर्शन का थोड़ा सा धक्का दिया, और स्कोर बढ़कर 88.39 हो गया।
सबसे प्रभावशाली हिस्सा? उन्होंने अपने सिस्टम, AutoDesign की तुलना उपलब्ध सर्वश्रेष्ठ वाणिज्यिक डिजाइन टूल, Claude Design से की।
- Claude Design ने 70.87 स्कोर किया।
- AutoDesign ने 78.32 स्कोर किया।
यह 7.45 अंक की बढ़त है। डिजाइन बेंचमार्क की दुनिया में, यह एक बड़ी जीत है। सबसे आश्चर्यजनक बात यह है कि जब उन्होंने अपने सीखे हुए "DesignHarness" (सुधरे हुए नियम पुस्तिका) को अन्य, कमजोर कोडिंग रोबोटों से जोड़ा, तो वे रोबोट अचानक बहुत बेहतर हो गए। उदाहरण के लिए, एक रोबोट जो 34.73 स्कोर कर रहा था, नए नियमों का उपयोग करने मात्र से 54.29 पर पहुँच गया।
लागत और भविष्य
टीम ने कीमत की भी जांच की। एक पूर्णतः स्वायत्त रन में, सिस्टम ने एक पोस्टर बनाने के लिए 253 टूल कॉल किए और 11 एडिटिंग टर्न से गुजरा। इसमें लगभग 40 मिनट लगे और इसकी लागत $3 से भी कम थी। यह मानव डिजाइनर को काम पर रखने से सस्ता है और एक धीमी, मैनुअल प्रक्रिया की प्रतीक्षा करने से तेज़ है।
एक ब्लाइंड टेस्ट में, जहाँ इंसानों को नहीं पता था कि किस सिस्टम ने कौन सा पोस्टर बनाया है, 64% बार, इंसानों ने अन्य लोगों की तुलना में AutoDesign द्वारा बनाए गए पोस्टर को पसंद किया।
यह शोध पत्र सुझाव देता है कि यह केवल पोस्टरों के बारे में नहीं है। उसी "मेटा-हार्नेस" विचार का उपयोग स्लाइड डेक, वेबसाइट या यहाँ तक कि कॉन्फरेंस वीडियो में शोध पत्रों को बदलने के लिए किया जा सकता है। सिस्टम अच्छे डिजाइन के सिद्धांतों को सीखता है और उन्हें उस प्रारूप पर लागू करता है जिसकी आपको आवश्यकता है।
इसका क्या अर्थ है
यह शोध पत्र यह दावा नहीं करता है कि इसने डिजाइन की सभी समस्याओं को हमेशा के लिए हल कर दिया है। यह दिखाता है कि वास्तविक दुनिया के फीडबैक के आधार पर अपने स्वयं के "निर्देश मैनुअल" को पुनरावर्ती रूप से (recursively) सुधारने की अनुमति देकर, हम ऐसे डिजाइन एजेंट बना सकते हैं जो अपने शुरुआती बिंदु की तुलना में कहीं अधिक सक्षम हैं। यह हमें केवल आदेशों का पालन करने वाले रोबानों से दूर ले जाता है और ऐसे रोबोटों की ओर ले जाता है जो बेहतर रचनाकार बनना सीखते हैं। उन्होंने जो "DesignHarness" बनाया है, वह अब एक पुन: प्रयोज्य उपकरण है जो किसी भी डिजाइन रोबोट को स्मार्ट बना सकता है, जो यह साबित करता है कि कभी-कभी, रोबोट को अच्छा काम करने के लिए सिखाने का सबसे अच्छा तरीका उसे खुद को सिखाना सिखाना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।