💻 computer science

Filtering Memorization from Parameter-Space in Diffusion Models

यह शोध पत्र बेस-एंकोर्ड फ़िल्टरिंग (BAF) का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त और डेटा-मुक्त ढांचा है जो अपडेट को स्पेक्ट्रल चैनलों में विघटित करके और उन चैनलों को दबाकर जो प्री-ट्रेंड बैकबोन के प्रिंसिपल सबस्पेस के साथ कमजोर रूप से संरेखित हैं, डिफ्यूजन मॉडल LoRA में मेमोराइजेशन को कम करता है, जिससे जनरेशन की गुणवत्ता से समझौता किए बिना कॉपीराइट या संवेदनशील सामग्री के पुनरुत्पादन को कम किया जा सके।

मूल लेखक: Yu Zhe, Yang Jiayan, Wei Junhao, Yu-Lin Tsai, Wang Chen

प्रकाशित 2026-07-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu Zhe, Yang Jiayan, Wei Junhao, Yu-Lin Tsai, Wang Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

समस्या: "फोटोकॉपीयर" LoRA

कल्पना कीजिए कि आपके पास एक मास्टर कलाकार (डिफ्यूजन मॉडल, जैसे Stable Diffusion) है जिसने दुनिया में कुछ भी पेंट करना सीख लिया है। अब, कल्पना कीजिए कि एक उपयोगकर्ता इस कलाकार को एक बहुत ही विशिष्ट शैली सिखाना चाहता है, जैसे कि "केवल पोकेमोन (Pokémon) पेंट करना।" वे इसके लिए LoRA (Low-Rank Adaptation) नामक तकनीक का उपयोग करते हैं।

LoRA को एक छोटे, हल्के निर्देश मैनुअल या एक स्टेंसिल (stencil) के रूप में समझें जिसे आप मास्टर कलाकार पर क्लिप कर देते हैं। यह कलाकार को बताता है, "हे, जब तुम चित्र बनाओ, तो इसे ऐसा दिखाओ।"

पेंच (The Catch): कभी-कभी, स्टेंसिल बनाने वाले व्यक्ति ने कलाकार को केवल शैली नहीं सिखाई; बल्कि अनजाने में (या जानबूझकर) कलाकार को अपने ट्रेनिंग फोल्डर की विशिष्ट तस्वीरों की सटीक नकल करना सिखा दिया।

यदि ट्रेनिंग फोल्डर में किसी प्रसिद्ध कार्टून चरित्र की कॉपीराइट वाली छवि थी, तो नया LoRA मांगे जाने पर वही सटीक पात्र बाहर निकाल सकता है।
इसे मेमोराइजेशन (memorization/याद रखना) कहा जाता है। यह ऐसा है जैसे कलाकार के दिमाग के अंदर एक फोटोकॉपीयर छिपा हुआ है जो कुछ नया बनाने के बजाय प्रशिक्षण छवियों की सटीक प्रतियां प्रिंट करता है।

दुविधा: वास्तविक दुनिया में, लोग इन LoRA स्टेंसिल्स को ऑनलाइन (CivitAI या Hugging Face जैसी साइटों पर) साझा करते हैं। जब आप एक डाउनलोड करते हैं, तो आपको स्टेंसिल तो मिलता है, लेकिन आपको मूल प्रशिक्षण तस्वीरें या उन नोट्स के बारे में जानकारी नहीं मिलती कि स्टेंसिल कैसे बनाया गया था। मौजूदा सुरक्षा उपकरण आमतौर पर आपसे प्रशिक्षण तस्वीरों को देखने या पेंटिंग प्रक्रिया को नियंत्रित करने की मांग करते हैं ताकि नकल को रोका जा सके। लेकिन यदि आपके पास केवल स्टेंसिल है, तो आप फंस जाते हैं।

समाधान: BAF (बेस-एंकोर्ड फ़िल्टरिंग)

लेखक BAF नामक एक नई विधि प्रस्तावित करते हैं। यह स्टेंसिल को बनाने के बाद उसे साफ करने का एक "ट्रेनिंग-फ्री" और "डेटा-फ्री" तरीका है, बिना मूल तस्वीरों को देखे।

मुख्य विचार: "दिशाओं का पुस्तकालय" (The Library of Directions)

यह समझने के लिए कि BAF कैसे काम करता है, कल्पना करें कि मास्टर कलाकार का मस्तिष्क दिशाओं (वेक्टर्स) का एक विशाल पुस्तकालय है।

मुख्य गलियारे (Principal Subspace): ये पुस्तकालय के वे मुख्य, सुव्यवस्थित रास्ते हैं जहाँ कलाकार ने सामान्य अवधारणाएं सीखी हैं (जैसे "चेहरा कैसे बनाना है" या "सूर्यास्त कैसे चित्रित करना है")। ये दिशाएं लगभग सभी के लिए समान हैं और सामान्य ज्ञान का प्रतिनिधित्व करती हैं।
छिपे हुए कोने (Memorization): जब कलाकार किसी विशिष्ट, अद्वितीय फोटो (जैसे कि कोई विशिष्ट कॉपीराइट वाली छवि) को याद करता है, तो वह पुस्तकालय के एक छिपे हुए कोने में एक छोटा, अजीब रास्ता बनाता है। यह रास्ता मुख्य गलियारों से नहीं जुड़ता; यह एक अलग, "ऑफ-बीट" दिशा है जो केवल उस एक विशिष्ट छवि के लिए मौजूद है।

BAF कैसे काम करता है: "कंपास चेक"

BAF एक कंपास (कुतुबनुमा) की तरह कार्य करता है जो LoRA स्टेंसिल में प्रत्येक निर्देश की जांच करता है।

विघटन (Decomposition): BAF LoRA निर्देशों को व्यक्तिगत "चैनलों" (छोटी दिशात्मक तीरों) में तोड़ देता है।
एलाइनमेंट चेक (The Alignment Check): प्रत्येक तीर के लिए, BAF पूछता है: "क्या यह तीर मास्टर कलाकार के पुस्तकालय के मुख्य गलियारों की दिशा में संकेत कर रहा है?"
- उच्च एलाइनमेंट (High Alignment): यदि तीर मुख्य गलियारों के साथ चलता है, तो यह संभवतः एक सामान्य शैली (जैसे, "इसे कार्टून जैसा दिखाओ") सिखा रहा है। BAF इसे रखता है।
- निम्न एलाइनमेंट (Low Alignment): यदि तीर एक अजीब, अलग कोने की ओर इशारा करता है जो मुख्य पुस्तकालय से मेल नहीं खाता, तो यह संभवतः एक विशिष्ट फोटो की मेमोराइज्ड कॉपी है। BAF इसे संदिग्ध मानता है।
फ़िल्टर (The Filter): BAF उन तीरों की आवाज़ कम कर देता है (या उन्हें हटा देता है) जो अजीब कोनों की ओर इशारा करते हैं, जबकि उन तीरों को बनाए रखता है जो मुख्य गलियारों की ओर इशारा करते हैं।

परिणाम: एक साफ़ स्टेंसिल

BAF द्वारा LoRA को प्रोसेस करने के बाद:

अच्छी चीजें बनी रहती हैं: कलाकार अभी भी अनुरोधित शैली (जैसे, "पोकेमॉन शैली") में चित्र बना सकता है।
बुरी चीजें गायब हो जाती हैं: कलाकार विशिष्ट कॉपीराइट वाली प्रशिक्षण छवियों की सटीक प्रतियां उगलना बंद कर देता है।

यह क्यों विशेष है?

अन्य अधिकांश सुरक्षा उपकरण सुरक्षा गार्डों की तरह होते जिन्हें यह जानने के लिए मूल तस्वीरों को देखने की आवश्यकता होती है कि किसे ब्लॉक करना है। यदि आपके पास तस्वीरें नहीं हैं (जो डाउनलोड किए गए LoRAs के मामले में होता है), तो गार्ड अपना काम नहीं कर सकते।

BAF अलग है। यह एक स्ट्रक्चरल इंजीनियर (संरचनात्मक इंजीनियर) की तरह है जो इमारत के ब्लूप्रिंट (LoRA वेट्स) को देखता है और कहता है, "यह दीवार अस्थिर, अलग ज़मीन पर बनाई गई है। आइए मुख्य नींव को मजबूत करें और उस अस्थिर दीवार को हटा दें।" इसे यह जानने की आवश्यकता नहीं है कि इमारत कैसी दिखती है; यह बस संरचना की ज्यामिति (geometry) को जानता है।

निष्कर्षों का सारांश

लेखकों ने विभिन्न डेटासेट (जैसे पोकेमोन और सेलिब्रिटी चेहरे) और विभिन्न AI मॉडलों पर इसका परीक्षण किया। उन्होंने पाया कि:

BAF ने AI को विशिष्ट प्रशिक्षण छवियों की नकल करने से सफलतापूर्वक रोका।
इसने नए चित्रों की गुणवत्ता को खराब नहीं किया; वास्तव में, कभी-कभी चित्र और भी बेहतर दिखने लगे क्योंकि "शोर वाले" (noisy) मेमोराइज्ड दिशाओं को हटा दिया गया था।
यह मूल प्रशिक्षण डेटा की आवश्यकता के बिना काम करता है, जो इसे इंटरनेट पर साझा किए जाने वाले हजारों LoRAs को साफ करने के लिए आदर्श बनाता है।

संक्षेप में, BAF एक ऐसा टूल है जो AI के निर्देश मैनुअल से "याददाश्त" (memory) को साफ करता है, यह जाँचकर कि निर्देश ब्रह्मांड के सामान्य नियमों का पालन करते हैं या वे केवल एक एकल फोटो की अजीब, विशिष्ट प्रतियां हैं।

तकनीकी सारांश: डिफ्यूजन मॉडल के पैरामीटर-स्पेस से मेमोराइजेशन (याददाश्त) को फ़िल्टर करना

समस्या विवरण

लो-रैंक अडैप्टेशन (LoRA) डिफ्यूजन मॉडल्स को कस्टमाइज़ करने के लिए एक मानक तंत्र बन गया है, जो उपयोगकर्ताओं को हल्के वजन वाले पैरामीटर अपडेट के माध्यम से नए स्टाइल या कॉन्सेप्ट्स को इंजेक्ट करने की अनुमति देता है। हालांकि, एक महत्वपूर्ण जोखिम यह है कि LoRAs ट्रेनिंग इमेजेस को याद (memorize) कर लेते हैं, जिससे कॉपीराइट या संवेदनशील सामग्री के पुनरुत्पादन का खतरा बढ़ जाता है। यह समस्या उन ओपन इकोसिस्टम्स (जैसे Hug्स फेस, CivitAI) में विशेष रूप से गंभीर है जहाँ उपयोगकर्ता मूल ट्रेनिंग डेटा को जारी किए बिना प्रशिक्षित LoRA वेट्स वितरित करते हैं।

मौजूदा शमन रणनीतियाँ (mitigation strategies) इस "ब्लैक-बॉक्स" परिदृश्य में काफी हद तक अप्रभावी हैं:

ट्रेनिंग-टाइम हस्तक्षेप (जैसे डेटा डीडुप्लिकेशन, डिफरेंशियल प्राइवेसी) के लिए ट्रेनिंग पाइपलाइन और डेटा तक पहुंच की आवश्यकता होती है, जो डाउनस्ट्रीम उपयोगकर्ताओं या होस्टिंग प्लेटफॉर्म के पास उपलब्ध नहीं होती है।
इन्फरेंस-टाइम बचाव (जैसे प्रॉम्प्ट ऑप्टिमाइज़ेशन, एंटी-मेमोराइजेशन गाइडेंस) के लिए अक्सर मेमोराइज़्ड कंटेंट के ज्ञान या सैंपलिंग प्रक्रिया पर नियंत्रण की आवश्यकता होती है, जिसे प्लेटफॉर्म स्तर पर लागू नहीं किया जा सकता है।
पैरामीटर-स्पेस दृष्टिकोण (जैसे कॉन्सेप्ट इरेज़र) के लिए आमतौर पर उन विशिष्ट कॉन्सेप्ट्स या प्रॉम्प्ट्स के पूर्व ज्ञान की आवश्यकता होती जिन्हें मिटाया जाना है।

इस शोध पत्र द्वारा संबोधित मुख्य चुनौती यह है: जब केवल रिलीज़ किए गए LoRA वेट्स और प्रीट्रेंड बैकबोन ही उपलब्ध हों, और ट्रेनिंग डेटा, ट्रेनिंग प्रक्रिया, या विशिष्ट मेमोराइज़्ड कंटेंट तक कोई पहुंच न हो, तो मेमोराइजेशन की पहचान और उसे कैसे फ़िल्टर किया जाए?

कार्यप्रणाली: बेस-एंकरड फ़िल्टरिंग (BAF)

लेखक बेस-एंकरड फ़िल्टरिंग (BAF) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री और डेटा-फ्री फ्रेमवर्क है जो सीधे पैरामीटर स्पेस में कार्य करता है। यह विधि मॉडल वेट्स की स्पेक्ट्रल संरचना (spectral structure) के संबंध में एक ज्यामितीय अंतर्दृष्टि (geometric insight) पर निर्भर करती है।

1. ज्यामितीय अंतर्दृष्टि (Geometric Insight)
लेखक यह परिकल्पना करते हैं कि सामान्यीकरण योग्य अनुकूलन (जैसे एक नया आर्ट स्टाइल) प्रीट्रेंड बैकबोन के डोमिनेंट स्पेक्ट्रल दिशाओं (प्रिंसिपल सबस्पेस) के साथ संरेखित होते हैं, जबकि मेमोराइजेशन कमजोर रूप से संरेखित, इंस्टेंस-विशिष्ट दिशाओं को पेश करता है।

सामान्यीकरण योग्य अनुकूलन (Generalizable Adaptation): प्रीट्रेंड मॉडल के प्रिंसिपल दिशाओं के साथ कम-आयामी सबस्पेस में रहता है।
मेमोराइजेशन (Memorization): स्पेक्ट्रल चैनलों के रूप में प्रकट होता है जो प्रीट्रेंड बैकबोन के साथ बहुत कमजोर रूप से संरेखित होते हैं।

2. एंकरिंग स्कोर (Anchoring Score)
इस संरेखण को मापने के लिए, विधि LoRA अपडेट मैट्रिक्स $\Delta W$ को सिंगुलर वैल्यू डिकम्पोजिशन (SVD) के माध्यम से स्पेक्ट्रल चैनलों में विभाजित करती है। प्रत्येक चैनल $i$ के लिए, जिसमें सिंगुलर वेक्टर्स $u_i$ और $v_i$ हैं, एक एंकरिंग स्कोर $a_i$ की गणना की जाती है:
$a_i = \|P_L u_i\|_2 \cdot \|P_R v_i\|_2$
जहाँ $P_L$ और $P_R$ प्रीट्रेंड वेट मैट्रिक्स $W^*$ के टॉप- $K$ लेफ्ट और राइट प्रिंसिपल सबस्पेस पर ऑर्थोगोनल प्रोजेक्शन हैं।

एक उच्च स्कोर ( $a_i \approx 1$ ) इंगित करता है कि चैनल प्रीट्रेंड सबस्पेस के भीतर है (सामान्यीकरण योग्य)।
एक निम्न स्कोर ( $a_i \approx 0$ ) इंगित करता है कि चैनल प्रीट्रेंड संरचना के लंबवत (orthogonal) है (संभावित मेमोराइजेशन)।
एक रैंडम-प्रोजेक्शन बेसलाइन ( $a_{null} = K^2/mn$ ) स्ट्रक्चर्ड एलाइनमेंट और शोर (noise) के बीच अंतर करने के लिए एक थ्रेशोल्ड के रूप में कार्य करती है।

3. फ़िल्टरिंग एल्गोरिदम
BAF LoRA अपडेट के स्पेक्ट्रल चैनलों पर एक गेटिंग फंक्शन लागू करता है:

BAF-Hard: एक बाइनरी गेट जो उन चैनलों को हटा देता है जहाँ $a_i < a_{null}$ है।
BAF-Soft: एक निरंतर गेट $g(a_i) = a_i^\alpha$ जो कम-एलाइनमेंट वाले चैनलों को पूरी तरह से हटाने के बजाय उन्हें दबा (suppress) देता है, जिससे जनरेशन क्वालिटी और सप्रेशन स्ट्रेंथ के बीच संतुलन बनाया जा सके।

4. एडेप्टिव सबस्पेस सिलेक्शन (Adaptive Subspace Selection)
विभिन्न लेयर्स और आर्किटेक्चर में विषम स्पेक्ट्रल डिके (heterogeneous spectral decay) को संभालने के लिए, $K$ का आयाम एक एनर्जी-एडेप्टिव नियम के आधार पर अनुकूल रूप से चुना जाता है। $K$ को इस तरह चुना जाता है कि प्रीट्रेंड वेट्स के टॉप- $K$ सिंगुलर वैल्यूज की संचयी ऊर्जा (cumulative energy) थ्रेशोल्ड $\tau_{energy}$ से अधिक हो।

मुख्य योगदान

समस्या का निरूपण: लेखकों ने सख्त डेटा-अक्षम सीमाओं के तहत डिफ्यूजन LoRAs के लिए पोस्ट-हॉक मेमोराइजेशन मिटिगेशन को प्रस्तुत किया है, जो वर्तमान मॉडल-शेयरिंग इकोसिस्टम के लिए प्रासंगिक है।
ज्यामितीय अंतर्दृष्टि: वे इस परिकल्पना की पुष्टि करते हैं कि मेमोराइजेशन उन स्पेक्ट्रल दिशाओं में केंद्रित होता है जो प्रीट्रेंड प्रिंसिपल सबस्पेस के साथ कमजोर रूप से संरेखित होते हैं, जबकि सामान्यीकरण योग्य अनुकूलन मजबूती से संरेखित होते हैं।
BAF फ्रेमवर्क: वे एक ट्रेनिंग-फ्री, डेटा-फ्री विधि पेश करते है जो केवल पैरामीटर-स्पेस स्ट्रक्चर का उपयोग करके मेमोराइजेशन-संबंधित स्पेक्ट्रल दिशाओं को चुनिंदा रूप से दबाती है।
अनुभवजन्य सत्यापन: व्यापक प्रयोगों से पता चलता है कि BAF जनरेशन क्वालिटी को बनाए रखते हुए या सुधारते हुए मेमोराइजेशन को कम करता है, और उपलब्ध जानकारी पर निर्भर मौजूदा रणनीतियों से बेहतर प्रदर्शन करता है।

प्रायोगिक परिणाम

लेखकों ने Pokémon, CelebA-HQ, और LAION-Art डेटासेट्स पर प्रशिक्षित LoRAs का उपयोग करके Stable Diffusion v1.5 और SDXL पर BAF का मूल्यांकन किया। मेमोराइजेशन को ट्रेनिंग के दौरान "कैनरी" इमेजेस को डुप्लिकेट करके सिम्युलेट किया गया था।

मेमोराइजेशन में कमी: BAF वेरिएंट्स (Hard और Soft) ने तुलनीय तरीकों के बीच लगातार सबसे कम SSCD (Similarity to Self-Consistent Detection) स्कोर प्राप्त किया, जिससे ट्रेनिंग इमेजेस का पुनरुत्पादन काफी कम हो गया।
जनरेशन क्वालिटी: कई शमन रणनीतियों के विपरीत, जो आउटपुट क्वालिटी को खराब करती हैं, BAF अक्सर एस्थेटिक स्कोर (AES) और CLIP स्कोर में सुधार करता है। लेखक सुझाव देते हैं कि कमजोर रूप से एंकर किए गए चैनलों को हटाने से शोर वाले पैरामीटर दिशाएं समाप्त हो जाती हैं।
तुलना: BAF ने डेटा-अक्षम सेटिंग में इन्फरेंस-टाइम बेसलाइन्स (RTA, प्रॉम्प्ट ऑप्टिमाइज़ेशन, CFG-Reverse) और ट्रेनिंग-टाइम बेसलाइन्स (Deduplication, DP-LoRA) को पछाड़ दिया। इसने AMG (Anti-Memorization Guidance) के प्रदर्शन के करीब पहुँच प्राप्त की, जिसके लिए ट्रेनिंग इमेजेस तक पहुंच की आवश्यकता होती है, लेकिन बिना उस डेटा डिपेंडेंसी के।
वास्तविक दुनिया का सिमुलेशन: CivitAI से डाउनलोड किए गए 20 वास्तविक दुनिया के कॉपीराइटेड LoRAs (एनीमे पात्रों, मशहूर हस्तियों और स्टाइल्स को कवर करते हुए) पर, BAF को मानव मूल्यांकनकर्ताओं द्वारा विजुअल क्वालिटी बनाए रखते हुए कैरेक्टर रिप्रोडक्शन को दबाने में सबसे प्रभावी तरीका माना गया, जिसने सभी इन्फरेंस-टाइम बेसलाइन्स को पीछे छोड़ दिया।

महत्व और दावे

यह शोध पत्र दावा करता है कि पैरामीटर-स्पेस स्ट्रक्चर अकेले मेमोराइजेशन को उपयोगी अनुकूलन से अलग करने के लिए मजबूत संकेत प्रदान करता है। अपने प्रीट्रेंड बैकबोन और LoRA अपडेट के बीच ज्यामितीय संबंध का लाभ उठाकर, BAF उन ओपन मॉडल इकोसिस्टम में कॉपीराइट और गोपनीयता जोखिमों को कम करने के लिए एक व्यावहारिक समाधान प्रदान करता है जहाँ ट्रेनिंग डेटा उपलब्ध नहीं है।

लेखक इस कार्य को ओपन इकोसिस्टम के लिए डेटा-फ्री सुरक्षा तंत्र की दिशा में एक कदम के रूप में देखते हैं। वे इस बात पर जोर देते हैं कि उनके दृष्टिकोण के लिए न तो रिट्रेनिंग, न ही मूल डेटा तक पहुंच, और न ही विशिष्ट मेमोराइज़्ड कंटेंट के ज्ञान की आवश्यकता है, जिससे यह उन डाउनस्ट्रीम उपयोगकर्ताओं और होस्टिंग प्लेटफॉर्म्स के लिए सीधे तौरable है जो LoRAs को सुरक्षित रूप से तैनात करना चाहते हैं।