TeleStyle V2: Beyond Content-Preserving Style Transfer with Self-Distillation and Distribution-Matching-Distillation
यह शोध पत्र TeleStyle V2 प्रस्तुत करता है, जो एक उन्नत स्टाइल ट्रांसफर मॉडल है जो विविध कंटेंट-स्टाइल संदर्भ संयोजनों के लिए सेल्फ-डिस्टिलेशन (Self-Distillation) और सामान्य इमेज एडिटिंग क्षमताओं को बनाए रखने के लिए डिस्ट्रीब्यूशन-मैचिंग डिस्टिलेशन (Distribution-Matching Distillation) का उपयोग करके अपने पूर्ववर्ती की सीमाओं को दूर करता है, और अंततः अत्याधुनिक वाणिज्यिक मॉडलों के तुलनीय प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली कलाकार है जो किसी वास्तविक व्यक्ति की फोटो लेकर उसे वैन गॉग (Van Gogh) की शैली में पेंट करने में माहिर है। वह मूल TeleStyle V1 था। वह एक शानदार प्रदर्शन करने वाला मॉडल था, लेकिन उसमें एक बहुत ही विशिष्ट कमजोरी थी: वह केवल वास्तविक फोटो को ही पेंट करना जानता था। यदि आप उसे एक कार्टून ड्राइंग देते और उसे एक फोटो जैसा बनाने के लिए कहते, या यदि आप उसे एक वास्तविक फोटो को किसी दूसरी वास्तविक फोटो की शैली में पेंट करने के लिए कहते, तो वह भ्रमित हो जाता और विफल हो जाता।
TeleStyle V2 उस कलाकार का एक बड़ा अपग्रेड है। टीम ने इस मॉडल को बहुत अधिक बहुमुखी बनाने के लिए प्रशिक्षित किया है, ताकि यह "वास्तविक" और "कार्टून" इनपुट के किसी भी मिश्रण को संभाल सके। उन्होंने इसे कैसे किया, इसका सरल विवरण यहाँ दिया गया है:
1. "स्व-शिक्षण" की तरकीब (Self-Distillation)
पुराने संस्करण में, मॉडल ने केवल वास्तविक फोटो पर अभ्यास किया था। इसे ठीक करने के लिए, शोधकर्ताओं ने एक चतुर "स्व-शिक्षण" लूप का आविष्कार किया।
मॉडल को एक ऐसे छात्र के रूप में सोचें जिसने पहले से ही वास्तविक फोटो बनाना सीख लिया है। शोधकर्ताओं ने छात्र से कहा: "ठीक है, जो पेंटिंग तुमने अभी बनाई है, उसे एक नई 'वास्तविक' फोटो मान लो, और फिर उसे एक अलग शैली में पेंट करने की कोशिश करो।"
ऐसा बार-बार करने से, मॉडल ने अपने स्वयं के अभ्यास उदाहरण तैयार किए जहाँ शुरुआती इमेज और शैली दोनों ही कलात्मक (या दोनों वास्तविक) थे। इसने मॉडल को यह सीखने में मदद की कि कैसे Stylized-to-Stylized (कलात्मक-से-कलात्मक) या Real-to-Real (वास्तविक-से-वास्तविक) कार्यों को संभाला जाए, जिससे वह प्रभावी रूप से अपने मूल दायरे से बाहर निकलना सीख गया।
2. "स्मृति रक्षक" (Distribution Matching Distillation)
जब आप किसी मॉडल को एक विशिष्ट कार्य (जैसे स्टाइल ट्रांसफर) पर बहुत अधिक प्रशिक्षित करते हैं, तो कभी-कभी वह अपने अन्य कौशल, जैसे सरल टेक्स्ट निर्देशों को समझने या मूल छवि को स्वाभाविक रखने की क्षमता खो देता है। यह एक ऐसे शेफ की तरह है जो उत्तम सुशी बनाना तो सीख जाता है, लेकिन साधारण अंडा बनाना भूल जाता है।
इस "भूलने" को रोकने के लिए, टीम ने Distribution Matching Distillation (DMD) नामक तकनीक का उपयोग किया।
- उपमा: कल्पना कीजिए कि मॉडल एक नया, कठिन कोर्स कर रहा छात्र है। DMD एक ट्यूटर की तरह है जो लगातार फुसफुसाता रहता है, "जो बुनियादी बातें तुमने अपने पिछले क्लास में सीखी थीं, उन्हें मत भूलना!"
- परिणाम: यह तकनीक सुनिश्चित करती है कि मॉडल टेक्स्ट कमांड का पालन करने या छवियों को अच्छा दिखाने की अपनी क्षमता न खोए। वास्तव में, इसने मॉडल को इतना बेहतर बना दिया कि अब यह सामान्य इमेज एडिटिंग (जैसे बैकग्राउंड बदलना या कोई ऑब्जेक्ट जोड़ना) भी मूल, अप्रशिक्षित संस्करण की तरह ही अच्छी तरह से कर सकता है, जबकि वह स्टाइल ट्रांसफर का भी उस्ताद बना हुआ है।
3. "मिश्रण" की समस्या को ठीक करना (Prompt Enhancer)
शोधकर्ताओं ने एक अजीब ग्लिच देखा: कभी-कभी मॉडल निर्देशों को उल्टा समझ लेता था। यदि आप उसे एक कुत्ते की फोटो (कंटेंट) और एक सूर्यास्त की तस्वीर (स्टाइल) दिखाते, तो वह कभी-कभी कुत्ते को अनदेखा कर देता और केवल सूर्यास्त की नकल करता, या इसके विपरीत। यह एक ऐसे वेटर की तरह था जो आपको गलत मेनू दे देता है क्योंकि वह भ्रमित हो गया था कि आपने कौन सा व्यंजन ऑर्डर किया था।
उन्होंने इसे ठीक करने के लिए DPO नामक एक जटिल विधि आजमाई, लेकिन वह काम नहीं आई। इसके बजाय, उन्हें एक सरल समाधान मिला: प्रॉम्प्ट एन्हांसर (Prompt Enhancer)।
- उपमा: वेटर द्वारा ऑर्डर लेने से पहले, वह शेफ को डिश का संक्षिप्त विवरण देता है: "ग्राहक को कुत्ता चाहिए, सूर्यास्त नहीं।"
- यह कैसे काम करता है: वे एक स्मार्ट AI असिस्टेंट (Qwen2.5-VL-7B) का उपयोग करके कंटेंट इमेज और स्टाइल इमेज का एक छोटा विवरण स्वतः ही लिखते हैं। इन विवरणों को निर्देशों में जोड़ने से, मॉडल तुरंत समझ जाता है कि कौन सी इमेज क्या है, और मिश्रण की समस्या गायब हो जाती है।
निष्कर्ष
TeleStyle V2 एक बड़ी छलांग है क्योंकि:
- यह वास्तविक और कलात्मक छवियों के किसी भी संयोजन (Real-to-Real, Art-to-Art, Real-to-Art, Art-to-Real) को संभाल सकता है।
- इसने इमेज एडिटिंग के लिए अपनी सामान्य "कॉमन सेंस" नहीं खोई; बल्कि यह इसमें और बेहतर हो गया।
- इसने इस भ्रम को ठीक कर दिया कि कौन सी इमेज "विषय" (Subject) है और कौन सी "शैली" (Style) है।
टीम का दावा है कि विषय को बनाए रखते हुए शैली बदलने के मामले में, TeleStyle V2 शीर्ष स्तर के कमर्शियल मॉडल Gemini-3-Pro-Image-Preview (जिसे "Nano Banana Pro" भी कहा जाता है) के समान ही प्रदर्शन करता है, लेकिन यह एक ओपन-सोर्स प्रोजेक्ट है। उन्होंने दूसरों के उपयोग के लिए अपना कोड और प्रोजेक्ट पेज भी साझा किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।