Fingerprinting Text-to-Image Diffusion Models via Collapsed Generation
यह शोध पत्र "कोलैप्स्ड जनरेशन" (collapsed generation) का लाभ उठाकर टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल्स के स्वामित्व को सत्यापित करने के लिए एक गैर-आक्रामक ढांचे (non-invasive framework) को प्रस्तुत करता है, जो एक मॉडल-विशिष्ट घटना है जहाँ कुछ इनपुट स्थितियाँ स्टोकेस्टिक सीड्स (stochastic seeds) के बावजूद लगातार समान चित्र उत्पन्न करती हैं, जिससे बिना किसी आक्रामक वॉटरमार्क के व्हाइट-बॉक्स और ब्लैक-बॉक्स दोनों सेटिंग्स में विश्वसनीय स्वामित्व पहचान सक्षम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ कलाकार केवल ब्रश से नहीं, बल्कि जादुई शब्दों से पेंट करते हैं। आप एक वाक्य टाइप करते हैं जैसे "एक साइबरपंक बिल्ली पिज्जा खा रही है," और एक कंप्यूटर तुरंत एक बिल्कुल नया, हाई-डेफिनिशन चित्र बना देता है। यह टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल्स (Text-to-Image Diffusion Models) का क्षेत्र है, जो नवीनतम एआई आर्ट के पीछे के डिजिटल जादूगर हैं। ये मॉडल एक स्क्रीन जो पूरी तरह से स्टैटिक शोर (जैसे बिना सिग्नल वाला पुराना टीवी) से भरी हो, उससे शुरू होते हैं और धीरे-धीरे, चरण-दर-चरण, इसे तब तक साफ करते हैं जब तक कि एक स्पष्ट छवि उभर न आए। क्योंकि ये मॉडल इतने शक्तिशाली हैं, कंपनियाँ इन्हें सेवाओं के रूप में बेच रही हैं या दूसरों के उपयोग के लिए इनका "नुस्खा" (मॉडल फ़ाइल) साझा कर रही हैं। लेकिन यह एक पेचीदा समस्या पैदा करता है: यदि कोई किसी कंपनी का गुप्त नुस्खा चुरा लेता है या उसमें थोड़ा बदलाव करके उसे अपना बताकर बेचता है, तो मूल मालिक यह कैसे साबित करे कि वह उसका है? वे कोड के अंदर नहीं देख सकते यदि चोर उसे छिपा देता है, और वे कला को खराब किए बिना मॉडल में एक गुप्त डिजिटल वॉटरमार्क भी नहीं डाल सकते। उन्हें एक ऐसा तरीका चाहिए जिससे वे चोर को पकड़ सकें, बस यह देखकर कि वह मॉडल क्या करता है।
यह शोध पत्र एक चतुर नए जासूसी तरीके को पेश करता है जिसे "कोलैप्स्ड जनरेशन" (Collapsed Generation) कहा जाता है। इसे एआई के लिए एक व्यक्तित्व परीक्षण (पर्सनैलिटी टेस्ट) की तरह समझें। आमतौर पर, यदि आप एक एआई को एक ही शब्दों का उपयोग करके पाँच बार चित्र बनाने के लिए कहते हैं, लेकिन हर बार एक अलग रैंडम शुरुआती बिंदु (जैसे पासा फेंकना) का उपयोग करते हैं, तो आपको पाँच पूरी तरह से अलग, अद्वितीय चित्र मिलते हैं। यह एक शेफ से पाँच बार बर्गर बनाने के लिए कहने जैसा है; आप पाँच थोड़े अलग बर्गरों की उम्मीद करेंगे। हालाँकि, शोधकर्ताओं ने पाया कि कुछ विशिष्ट शब्दों के लिए, कुछ एआई मॉडल एक लूप में "फँस" जाते हैं। चाहे आप कितनी भी बार पासा फेंकें, मॉडल हर बार लगभग एक ही जैसा चित्र बनाता है। यह ऐसा है जैसे शेफ से "बर्गर" के लिए पूछने पर, वह अचानक अपनी रेसिपी में विविधता लाने की क्षमता भूल जाए और लगातार पाँच बार एक जैसा बर्गर परोस दे। शोध पत्र सुझाव देता है कि यह अजीब, दोहराव वाला व्यवहार उस विशिष्ट मॉडल के प्रशिक्षण का एक अनूठा फिंगरप्रिंट है। यदि आप एक संदिग्ध मॉडल पाते हैं जो सही सवाल पूछने पर ये "एक जैसे बर्गर" वाले चित्र बनाता है, तो आपने पकड़ लिया है कि उसने मूल मालिक के गुप्त नुस्खे का उपयोग किया है, भले ही चोर ने उसे छिपाने की कोशिश की हो।
जासूस का नया उपकरण: एआई को उसकी हकलाहट से पकड़ना
शोधकर्ताओं ने, जो फुदान यूनिवर्सिटी और अन्य संस्थानों की एक टीम है, महसूस किया कि यह "हकलाना" या कोलैप्स्ड जनरेशन कोई बग नहीं है; बल्कि यह इस बात की एक विशेषता है कि ये मॉडल कैसे सीखते हैं। जब एक मॉडल अपने प्रशिक्षण डेटा से कुछ पैटर्न को याद कर लेता है, तो कभी-कभी वह उन विशिष्ट प्रॉम्प्ट्स के लिए अपनी रचनात्मकता खो देता है। संभावनाओं की एक विस्तृत श्रृंखला तलाशने के बजाय, यह एक एकल, अत्यधिक सुसंगत परिणाम में सिमट (collapse) जाता है। टीम ने पाया कि यह व्यवहार एक अनूठी आवाज़ के प्रिंट (voice print) की तरह है। जिस तरह दो लोग एक ही वाक्य को अलग-अलग लहजे के साथ बोल सकते हैं, उसी तरह अलग-अलग डेटा पर प्रशिक्षित दो अलग-अलग एआई मॉडल एक ही प्रॉम्प्ट पर अलग-अलग प्रतिक्रिया देंगे। एक मॉडल विविध चित्रों का एक अराजक सेट बना सकता है, जबकि "चुराया हुआ" मॉडल एक उबाऊ और एक जैसे सेट का उत्पादन कर सकता है।
शोध पत्र स्वामित्व सिद्ध करने के लिए चूहे-बिल्ली के खेल के दो चरणों का प्रस्ताव देता है। पहले, मूल मालिक (जासूस) को अपने स्वयं के मॉडल पर इस हकलाहट को ट्रिगर करने वाले "जादुई शब्द" या "जादुई सेटिंग्स" को खोजना होगा। वे यह दो तरीकों से करते हैं, जो इस पर निर्भर करता है कि उनके पास संदिग्ध मॉडल तक कितनी पहुँच है:
- "व्हाइट-बॉक्स" दृष्टिकोण (द इनसाइडर): यदि जासूस मॉडल के आंतरिक पुर्जों को देख सकता है (जैसे कि यदि चोर ने कोड लीक कर दिया हो), तो वह एक कंप्यूटर का उपयोग करके उस सटीक "एम्बेडिंग" (प्रॉम्ट का डिजिटल संस्करण) की गणितीय खोज कर सकता है जो मॉडल को हकलाने के लिए मजबूर करती है। उन्हें अंतिम चित्र का इंतजार करने की आवश्यकता नहीं है; वे देख सकते हैं कि मॉडल प्रक्रिया के शुरुआती चरण में ही कैसे अटक रहा है, जिससे बहुत अधिक कंप्यूटिंग शक्ति बचती है।
- "ब्लैक-बॉक्स" दृष्टिकोण (द आउटसाइडर): यदि संदिग्ध मॉडल किसी वेबसाइट या ऐप के पीछे छिपा है जहाँ आप केवल टेक्स्ट टाइप कर सकते हैं और चित्र प्राप्त कर सकते हैं, तो जासूस मॉडल के आंतरिक पुर्जों को नहीं बदल सकता। इसके बजाय, वे मूल प्रशिक्षण डेटा की खोज करते हैं ताकि वास्तविक, प्राकृतिक वाक्य खोज सकें जो पहले से ही मॉडल को हिलाने या हकलाने पर मजबूर करते हैं। उन्होंने पाया कि ये "हकलाने वाले प्रॉम्प्ट" अक्सर उन छवियों के अनुरूप होते जिन्हें मॉडल ने बहुत आसानी से सीखा है (प्रशिक्षण के दौरान कम "लॉस")। इन प्राकृतिक वाक्यों का परीक्षण करके, वे देख सकते हैं कि क्या संदिग्ध मॉडल भी उन पर हकलाता है।
फैसला: क्या यह एक नकलची है?
एक बार जब जासूस के पास अपने "हकलाने वाले ट्रिगर्स" की सूची आ जाती है, तो वे संदिग्ध मॉडल का परीक्षण करते हैं। वे संदिग्ध मॉडल को इन ट्रिगर्स का उपयोग करके चित्र बनाने के लिए कहते हैं, और कई बार पासा (रैंडम सीड) बदलते हैं। यदि संदिग्ध मॉडल एक नकलची है, तो वह मूल की तरह ही लगभग एक जैसे चित्रों का ढेर तैयार करेगा। यदि यह एक पूरी तरह से अलग, असंबंधित मॉडल है, तो यह विविध चित्रों का एक ढेर बनाएगा, जो दर्शाता है कि इसमें उन विशिष्ट प्रॉम्प्ट्स की समान "याददाश्त" नहीं है।
शोधकर्ताओं ने इस विचार का परीक्षण कई अलग-अलग प्रकार के एआई मॉडल्स पर किया, जिनमें पुराने "UNet" डिजाइनों और नए "ट्रांसफॉर्मर" डिजाइनों पर आधारित मॉडल शामिल थे। उन्होंने पाया कि यह तरीका बहुत अच्छी तरह काम करता है। यह दो मॉडलों के बीच अंतर कर सकता है जिन्हें अलग-अलग प्रशिक्षित किया गया था, भले ही वे सतह पर समान दिखते हों। इससे भी महत्वपूर्ण बात यह है कि यह फिंगरप्रिंट काफी मजबूत है। भले ही चोर अपने निशान मिटाने के लिए निम्नलिखित प्रयास करे:
- फाइन-ट्यूनिंग (मॉडल को नई चीजें सिखाना),
- प्रूनिंग (मॉडल को छोटा बनाने के लिए उसके हिस्से काटना),
- क्वांटाइजेशन (मॉडल द्वारा उपयोग किए जाने वाले नंबरों को सरल बनाना),
- या परिणामों को ओब्फस्केट (Obfuscate) करने की कोशिश करना,
...तो भी "हकलाने" वाला व्यवहार जीवित रहता है। शोध पत्र दिखाता है कि चोर को पकड़ने के लिए आपको लाखों सवाल पूछने की आवश्यकता नहीं है; सांख्यिकीय रूप से मजबूत उत्तर प्राप्त करने के लिए परीक्षणों की एक मध्यम संख्या ही पर्याप्त है।
इसका क्या अर्थ है (और क्या नहीं)
शोध पत्र सावधानीपूर्वक कहता है कि यह कोई जादुई छड़ी नहीं है जो हर कॉपीराइट समस्या को तुरंत हल कर देती है। यह दावा नहीं करता कि यह चोरी को होने से रोकता है, न ही यह सुझाव देता है कि हर मॉडल में ये फिंगरप्रिंट होते हैं (हालांकि उन्होंने परीक्षण किए गए मॉडलों में इन्हें पाया है)। यह यह भी नोट करता है कि जबकि "व्हाइट-बॉक्स" विधि बहुत कुशल है, "ब्लैक-बॉक्स" विधि सही प्राकृतिक प्रॉम्प्ट खोजने पर निर्भर करती है, जो थोड़ा कठिन हो सकता है, हालांकि "लो-लॉस" प्रशिक्षण नमूनों को देखने की उनकी विधि इसे बहुत तेज़ बनाती है।
महत्वपूर्ण रूप से, लेखक इस विचार का खंडन करते हैं कि स्वामित्व सिद्ध करने के लिए आपको मॉडल के भीतर एक गुप्त वॉटरमार्क लगाने की आवश्यकता है। वे दिखाते हैं कि मॉडल का अपना स्वाभाविक व्यवहार—कुछ इनपुट के लिए एक लूप में फंसने की उसकी प्रवृत्ति—स्वामित्व सिद्ध करने के लिए पर्याप्त सबूत है। यह एक बड़ी बात है क्योंकि इसका मतलब है कि आपको सुरक्षा के लिए मॉडल को बदलने की आवश्यकता नहीं है। आप बस यह देख सकते हैं कि वह कैसा व्यवहार करता है।
अंत में, यह शोध बताता है कि कोलैप्स्ड जनरेशन एआई आर्ट मॉडल के स्वामित्व को सत्यापित करने का एक विश्वसनीय, गैर-आक्रामक तरीका है। यह मॉडल के अपने गुणों को एक हस्ताक्षर (सिग्नेचर) में बदल देता है। यदि कोई मॉडल बार-बार एक ही चित्र बनाता है जब उसे रचनात्मक होना चाहिए, तो हो सकता है कि वह मूल मालिक का गाना गा रहा हो, चाहे चोर शब्दों को बदलने की कितनी भी कोशिश क्यों न करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।