← नवीनतम पेपर
💻 computer science

Contrastive-Augmented Flow Matching for Style-Content Disentanglement

यह शोध पत्र कॉन्ट्रास्टिव-ऑगमेंटेड फ्लो मैचिंग (CAtFM) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो फ्लो मैचिंग में कॉन्ट्रास्टिव रेगुलराइजेशन को एकीकृत करता है ताकि सख्त फैक्टराइज्ड रिप्रेजेंटेशन की आवश्यकता के बिना प्रेडिक्टेड एंडपॉइंट्स पर सिमेंटिक कंसिस्टेंसी लागू करके रोबस्ट कंटेंट-स्टाइल डिसेंटैंगलमेंट प्राप्त किया जा सके।

मूल लेखक: Yusong Li, Pingchuan Ma, Ming Gui, Vincent Tao Hu, Björn Ommer

प्रकाशित 2026-07-15
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Yusong Li, Pingchuan Ma, Ming Gui, Vincent Tao Hu, Björn Ommer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई ब्लेंडर है जो दो बहुत अलग सामग्रियों को मिला सकता है: एक तस्वीर की सामग्री (content) (जैसे एक कुत्ता, एक कार, या एक पहाड़) और एक तस्वीर की शैली (style) (जैसे वैन गॉग की पेंटिंग, एक स्केच, या एक फोटो)।

लंबे समय तक, वैज्ञानिकों ने एक ऐसा ब्लेंडर बनाने की कोशिश की जो इन दो सामग्रियों को पूरी तरह से अलग कर सके: यदि आप उन्हें "वैन गॉग की शैली में एक कुत्ता" वाली तस्वीर देते हैं, तो वे चाहते थे कि मशीन अलग से एक शुद्ध "कुत्ता" और एक शुद्ध "वैन गॉग शैली" बाहर निकाले, ताकि आप कुत्ते को किसी अन्य शैली के साथ बाद में मिला सकें।

लेकिन यहाँ एक समस्या थी: पहले के ब्लेंडर थोड़े गंदे थे। वे एक ऐसे ब्लेंडर की तरह थे जिसने बैचों के बीच अपना कटोरा पूरी तरह साफ नहीं किया। जब आप "कुत्ते" के लिए कहते, तो आपको कुत्ता तो मिलता, लेकिन उस पर थोड़ा सा "वैन गॉग" भी चिपका रह जाता। जब आप "शैली" के लिए कहते, तो आपको पेंट के स्ट्रोक मिलते, लेकिन उनके अंदर कुत्ते का आकार भी फंसा हुआ रहता। पेपर इसे "एंटैंगलमेंट" (entanglement) कहता है, और यह एक स्मूदी को स्ट्रॉबेरी और केले से अलग करने की कोशिश करने जैसा है बिना अपने हाथों पर रस लगाए।

पुराने तरीके पूरी तरह काम नहीं करते थे

शोधकर्ताओं ने इस समस्या को ठीक करने के लिए लोगों द्वारा अपनाए गए दो मुख्य तरीकों को देखा:

  1. "सख्त शिक्षक" (विभेदक विधियाँ - Discriminative Methods): यह दृष्टिकोण एक सख्त शिक्षक की तरह है जो कहता है, "यदि यह एक कुत्ता है, तो इसे बिल्कुल कुत्ते जैसा दिखना चाहिए, और यदि यह एक शैली है, तो इसे बिल्कुल एक शैली जैसा दिखना चाहिए।" शिक्षक चीजों को साफ-सुथरी श्रेणियों में छांटने में माहिर है। लेकिन शिक्षक वास्तव में नई तस्वीरें बना नहीं सकता। वे केवल जो पहले से मौजूद है उसे छांट सकते हैं। यदि आप उन्हें एक ऐसी नई शैली के साथ मिलाने के लिए कहते हैं जिसे उन्होंने पहले कभी नहीं देखा, तो वे भ्रमित हो जाते हैं क्योंकि वे केवल छांटना जानते हैं, बनाना नहीं।

  2. "स्वप्नद्रष्टा" (जनरेटिव विधियाँ - Generative Methods): यह दृष्टिकोण एक स्वप्नद्रष्टा की तरह है जो तस्वीर को शुरुआत से फिर से बनाने की कोशिश करता है। वे नई तस्वीरें बनाने में माहिर हैं, लेकिन उनके पास कोई सख्त शिक्षक नहीं है जो उन्हें बता सके कि उन्होंने सामग्री को बहुत अधिक मिला दिया है। जैसा कि पेपर उनके प्रयोगों में दिखाता है (विशेष रूप से SCFlow नामक मॉडल को देखते हुए), ये स्वप्नद्रष्टा अक्सर "कुत्ते" को "शैली" में और इसके विपरीत लीक होने देते हैं। वे सुंदर चित्र बनाते हैं, लेकिन छिपी हुई सामग्रियां अभी भी आपस में मिली हुई होती हैं।

नया समाधान: CAtFM

लेखकों ने, युसोंग ली और उनकी टीम के नेतृत्व में, एक नई विधि बनाई जिसे CAtFM (कॉन्ट्रास्टिव-ऑगमेंटेड फ्लो मैचिंग) कहा जाता है।

CAtFM को एक सुपर-स्मार्ट ब्लेंडर के रूप में सोचें जिसमें एक इन-बिल्ट "स्वाद चखने वाला" (taste tester) लगा है।

यह कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए:
कल्पना कीजिए कि आप आपस में चिपके हुए लाल और नीले कंचों (marbles) के ढेर को अलग करने की कोशिश कर रहे हैं।

  • फ्लो (The Flow): मशीन एक विशेष ट्रैक (जिसे "फ्लो मैचिंग" कहा जाता है) का उपयोग करती है ताकि कंचों को एक मिश्रित ढेर से दो अलग-अलग डिब्बों में खिसकाया जा सके। यह एक सुचारू, नियत पथ (deterministic path) है, जैसे पटरी पर चलती ट्रेन।
  • स्वाद चखने वाला (Contrastive Learning): पुराने ट्रेन ट्रैक के साथ समस्या यह थी कि कंचे कभी-कभी गलत डिब्बे में फंस जाते थे। CAtFM लाइन के अंत में एक "स्वाद चखने वाला" जोड़ता है। हर बार जब एक कंचा एक डिब्बे में गिरता है, तो टेस्टर चेक करता है: "क्या यह लाल कंचा अन्य लाल कंचों जैसा दिखता है? क्या यह नीले वाले से बिल्कुल अलग है?"
  • जादू: यदि लाल कंचा नीले कंचे जैसा बहुत अधिक दिखता है, तो टेस्टर एक हल्का सा धक्का (एक "कॉन्ट्रास्टिव लॉस") देता है ताकि उसे वापस धकेला जा सके। यह केवल अनुमान नहीं लगाता; यह सक्रिय रूप से लाल कंचों को एक साथ रहने और नीले कंचों को अलग रहने के लिए मजबूर करता है।

पेपर सुझाव देता है कि इस सुचारू ट्रेन ट्रैक में इस "स्वाद चखने वाले" को जोड़कर, मशीन सामग्रियों को पहले की तुलना में बहुत बेहतर तरीके से अलग करना सीख जाती है।

उन्होंने क्या पाया

शोधकर्ताओं ने इस नए ब्लेंडर का परीक्षण विभिन्न डेटासेट्स पर किया, जिसमें सिंथेटिक डेटा (बनाया गया चित्र), वास्तविक दुनिया की कला (जैसे WikiArt), और प्रसिद्ध फोटो डेटासेट्स (जैसे ImageNet) शामिल हैं।

  • परिणाम: पेपर रिपोर्ट करता है कि CAtFM ने पिछले सर्वोत्तम तरीकों की तुलना में सामग्री और शैली को अलग करने में बेहतर काम किया। उदाहरण के लिए, जब उन्होंने यह परीक्षण किया कि मशीन एक नई तस्वीर में सही "शैली" को कितनी अच्छी तरह ढूंढ सकती है, तो CAtFM को स्टाइल सटीकता के लिए 0.8908 का स्कोर मिला, जबकि पुराने स्वप्नद्रष्टा (SCFlow) को केवल 0.6016 मिला।
  • "लीकेज" का समाधान: उनके विजुअल टेस्ट में, पुराना ब्लेंडर (SCFlow) कभी-कभी "शैली" आउटपुट के अंदर कुत्ते का आकार छोड़ देता था। हालाँकि, CAtFM ने ऐसे स्टाइल आउटपुट बनाए जो बिना कुत्ते के आकार के लीक हुए, शुद्ध पेंट स्ट्रोक्स की तरह दिखते थे।
  • "नई चीजों" का टेस्ट: उन्होंने यह भी परीक्षण किया कि क्या मशीन उन शैलियों को संभाल सकती है जिन्हें उसने पहले नहीं देखा है (जैसे 14 नई कला शैलियाँ जिन पर उसने प्रशिक्षण नहीं लिया था)। CAtFM बिना भ्रमित हुए इन नई शैलियों को पहचानने में बहुत बेहतर था। "स्नैपिंग रेट" (कितनी बार उसने गलत तरीके से एक नई शैली को पुरानी शैली मान लिया) 16.29 था, जो SCFlow के 23.14 की तुलना में बहुत कम (बेहतर) है।

वे क्या दावा नहीं करते हैं

यह जानना महत्वपूर्ण है कि यह पेपर क्या नहीं कहता है।

  • वे यह दावा नहीं करते कि यह AI की हर समस्या को हल करने वाला जादुई डंडा है।
  • वे यह नहीं कहते कि उनके पास किसी भी संभव चित्र के हर कारक को अलग करने का एक पूर्ण तरीका है।
  • वे स्पष्ट रूप से कहते हैं कि उनका वर्तमान मॉडल एक "फ्रोजन एम्बेडिंग स्पेस" (तस्वीरों का एक विशिष्ट डिजिटल प्रतिनिधित्व) में काम करता है, न कि सीधे फोटो के कच्चे पिक्सेल (raw pixels) पर। इसका मतलब है कि आप अभी केवल इसे फोटो एडिट करने के लिए कैमरा ऐप में नहीं लगा सकते। पेपर सुझाव देता है कि इसे कच्चे पिक्सेल या हाई-रिज़ॉल्यूशन छवियों के साथ काम करने के लिए विस्तारित करना भविष्य के लिए एक "अगला कदम" है, न कि वह जो उन्होंने अभी तक किया है।

निचोड़ (The Bottom Line)

पेपर सुझाव देता है कि "फ्लो मैचिंग" के सुचारू, रचनात्मक पथ को "कॉन्ट्रास्टिव लर्निंग" की सख्त, छांटने वाली शक्ति के साथ जोड़कर, उन्होंने एक ऐसी प्रणाली बनाई है जो पहले की तुलना में सामग्री और शैली को बहुत अधिक सफाई से अलग करती है। यह एक स्वप्नद्रष्टा को अपनी सामग्रियों को शुद्ध रखने में मदद करने के लिए एक सख्त शिक्षक देने जैसा है। परिणाम बताते हैं कि यह मिश्रण अधिक साफ, विश्वसनीय अलगाव की ओर ले जाता है, खासकर जब मशीन सामग्री और शैली के नए, अनदेखे संयोजनों का सामना करती है।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण जनरेटिव मॉडल्स को अधिक मजबूत बनाने और उनकी सामग्रियों को आपस में मिलने से रोकने का एक "सरल तरीका" प्रदान करता है, लेकिन वे स्वीकार करते हैं कि वास्तविक, हाई-डेफिनिशन फोटो पर सीधे काम करने के लिए अभी भी काम करना बाकी है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →