← नवीनतम पेपर
🤖 AI

CSD-VAR: Content-Style Decomposition in Visual Autoregressive Models

यह शोध पत्र CSD-VAR का प्रस्ताव करता है, जो एक नवीन ढांचा है जो स्केल-अवेयर ऑप्टिमाइज़ेशन, SVD-आधारित रेक्टिफिकेशन और संवर्धित मेमोरी तंत्र को पेश करके कंटेंट-स्टाइल डिकंपोज़िशन के लिए विजुअल ऑटोरेग्रेसिव मॉडलिंग को अनुकूलित करता है, साथ ही मौजूदा डिफ्यूजन-आधारित विधियों की तुलना में कंटेंट प्रिजर्वेशन और स्टाइलिज़ेशन में बेहतर प्रदर्शन प्रदर्शित करने के लिए CSD-100 डेटासेट भी प्रदान करता है।

मूल लेखक: Quang-Binh Nguyen, Minh Luu, Quang Nguyen, Anh Tran, Khoi Nguyen

प्रकाशित 2026-03-17
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Quang-Binh Nguyen, Minh Luu, Quang Nguyen, Anh Tran, Khoi Nguyen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई फोटो है जिसमें एक जंगल में चट्टान पर बैठा एक सुनहरा ड्रैगन है।

अभी, यदि आप उस ड्रैगन को एक स्विमिंग पूल में ले जाना चाहते हैं या जंगल को बदलकर एक बर्फीले पहाड़ में बदलना चाहते हैं, तो आपको आमतौर पर पूरी चीज़ को फिर से शुरुआत से बनाना पड़ता है। या, यदि आप जंगल को बरकरार रखना चाहते हैं लेकिन ड्रैगन को बदलकर एक खरगोश बनाना चाहते हैं, तो आपको फिर से शुरू करना होगा। "कंटेंट" (ड्रैगन) और "स्टाइल" (सुनहरा, चट्टानी, जंगली वाइब) आपस में मूंगफली के मक्खन और जेली की तरह चिपके हुए हैं।

यह पेपर CSD-VAR नामक एक नया टूल पेश करता है जो एक जादुई लेगो सेपरेटर (Lego separator) की तरह काम करता है। यह उस एक फोटो को ले सकता है, "ड्रैगन" को "जंगल" से बाहर निकाल सकता है, और आपको उन्हें अपनी इच्छानुसार मिक्स और मैच करने की अनुमति दे सकता है।

उन्होंने इसे कैसे किया, यहाँ सरल उपमाओं के साथ समझाया गया है:

1. नया इंजन: "लाइन दर लाइन ड्राइंग" के बजाय "ज़ूम इन करना"

आजकल के अधिकांश AI इमेज जेनरेटर एक चित्रकार की तरह काम करते हैं जो धीरे-धीरे एक के बाद एक ब्रशस्ट्रोक जोड़ता है (इसे "डिफ्यूजन मॉडल" कहा जाता है)। यह बेहतरीन है, लेकिन धीमा है।

लेखकों ने VAR (विजुअल ऑटोरेग्रेसिव) नामक एक नए प्रकार के AI का उपयोग किया है। VAR को एक गगनचुंबी इमारत बनाने वाले निर्माण दल की तरह समझें।

  • वे हर ईंट को एक-एक करके नहीं रखते।
  • पहले, वे एक छोटा 1x1 फाउंडेशन बनाते हैं।
  • फिर, वे ज़ूम आउट करते हैं और एक 2x2 सेक्शन बनाते हैं।
  • फिर एक 4x4 सेक्शन, और इसी तरह, जब तक पूरी इमारत तैयार नहीं हो जाती।

क्योंकि AI इमेज को ज़ूम के स्तरों (धुंधले से लेकर शार्प तक) में बनाता है, लेखकों को एक शानदार बात पता चली: शुरुआती लेयर्स मुख्य रूप से "वाइब" (स्टाइल) के बारे में हैं, और बाद की लेयर्स मुख्य रूप से "आकार" (कंटेंट) के बारे में हैं।

2. तीन जादुई ट्रिक्स

इस अलगाव को एकदम सटीक बनाने के लिए, उन्होंने तीन विशिष्ट ट्रिक्स का आविष्कार किया:

ट्रिक #1: "अल्टरनेटिंग डांस" (स्केल-अवेयर ऑप्टिमाइजेशन)

कल्पना कीजिए कि आप एक रोबोट को सूप को मसालों से अलग करना सिखाने की कोशिश कर रहे हैं। यदि आप इसे दोनों चीजें एक साथ सिखाने की कोशिश करते हैं, तो यह भ्रमित हो जाता है।

  • पुराना तरीका: सूप और मसालों को एक साथ सीखने की कोशिश करना।
  • CSD-VAR का तरीका: AI एक "डांस" करता है। यह कुछ स्टेप्स के लिए केवल स्टाइल (मसालों) पर ध्यान केंद्रित करता है, फिर केवल कंटेंट (सूप) पर ध्यान केंद्रित करने के लिए स्विच करता है। बारी-बारी से (alternating) करने से, यह उन्हें बिना मिलाए अलग-अलग कटोरे में रखने के लिए सीख जाता है।

ट्रिक #2: "कंटेंट फ़िल्टर" (SVD रेक्टिफिकेशन)

कभी-कभी, जब आप "स्टाइल" (जैसे "सुनहरा") निकालने की कोशिश करते हैं, तो AI गलती से थोड़ा सा "कंटेंट" (जैसे "ड्रैगन") भी पकड़ लेता है। यह वनीला आइसक्रीम निकालने की कोशिश करने जैसा है लेकिन गलती से उसमें से चॉकलेट कुकी का एक टुकड़ा भी निकल आता है।

  • समाधान: उन्होंने एक गणितीय टूल (SVD) का उपयोग किया जो एक छलनी की तरह काम करता है। उन्होंने ठीक से पहचाना कि "स्टाइल" के विवरण के कौन से हिस्से वास्तव में "कंटेंट" थे और उन्हें फ़िल्टर कर दिया। अब, जब वे "गोल्डन स्टाइल" मांगते हैं, तो उन्हें शुद्ध सोना मिलता है, न कि "गोल्डन ड्रैगन"।

ट्रिक #3: "मेमोरी बुक" (ऑगमेंटेड K-V मेमोरी)

कभी-कभी, केवल शब्दों का उपयोग करना पर्याप्त नहीं होता है। यदि आप AI को "एक विशिष्ट अजीब रोबोट" बनाने के लिए कहते हैं, तो AI उस रोबोट के सटीक विवरण को भूल सकता है क्योंकि वह एक साधारण टेक्स्ट विवरण के लिए बहुत जटिल है।

  • समाधान: उन्होंने AI को एक स्टिकी-नोट मेमोरी बुक (Key-Value memory) दी। AI ड्राइंग शुरू करने से पहले, वे रोबोट के सटीक विजुअल विवरण के साथ एक नोट AI के दिमाग में चिपका देते हैं। यह सुनिश्चित करता है कि रोबोट बिल्कुल मूल जैसा दिखे, भले ही उसे नए बैकग्राउंड में ले जाया जाए।

3. नया टेस्ट: "CSD-100"

लेखकों ने महसूस किया कि उनके पास कोई उचित टेस्ट नहीं था जिससे यह देखा जा सके कि ये टूल्स वास्तव में काम करते हैं या नहीं। मौजूदा टेस्ट ऐसे थे जैसे किसी शेफ को केवल सूप चखाकर जज करना।
इसलिए, उन्होंने CSD-100 बनाया, जो 100 छवियों का एक डेटासेट है जिसमें हर तरह की चीजें (जानवर, कारें, खिलौने) और हर तरह के स्टाइल्स (एनीमे, ग्लास, अंडरवॉटर) शामिल हैं। यह इस बात का परीक्षण करने के लिए "ओलंपिक्स" है कि क्या एक AI वास्तव में कंटेंट और स्टाइल को अलग कर सकता है।

परिणाम?

जब उन्होंने CSD-VAR का अन्य तरीकों के मुकाबले परीक्षण किया:

  • पुराने तरीके अक्सर विफल हो जाते थे। वे एक ड्रैगन को पूल में डालने की कोशिश करते थे, लेकिन ड्रैगन मछली जैसा दिखता था, या पूल जंगल जैसा दिखता था।
  • CSD-VAR ने ड्रैगन को ड्रैगन जैसा और पूल को पूल जैसा बनाए रखा, बस उस पर ड्रैगन का "गोल्डन" स्टाइल लागू किया गया था।

संक्षेप में: यह पेपर एक AI को सिखाता है कि कैसे एक जटिल तस्वीर को लिया जाए, "क्या" (वस्तु) को "कैसे" (कलात्मक शैली) से अलग किया जाए, और आपको उन्हें स्वतंत्र रूप से रीमिक्स करने की अनुमति दी जाए, और यह सब लेयर-दर-लेयर इमेज बनाने के एक नए तरीके का उपयोग करके किया गया है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →