🤖 machine learning

GUDA: Counterfactual Group-wise Training Data Attribution for Diffusion Models via Unlearning

यह शोध पत्र GUDA का प्रस्ताव करता है, जो डिफ्यूजन मॉडल्स के लिए काउंटरफैक्चुअल ग्रुप-वाइज ट्रेनिंग डेटा एट्रिब्यूशन को कुशलतापूर्वक अनुमानित करने के लिए मशीन अनलर्निंग का लाभ उठाता है, जिससे पारंपरिक रिट्रेनिंग दृष्टिकोणों की तुलना में महत्वपूर्ण गति वृद्धि के साथ प्रभावशाली डेटा समूहों की विश्वसनीय पहचान संभव होती है।

मूल लेखक: Naoki Murata, Yuhta Takida, Chieh-Hsin Lai, Toshimitsu Uesaka, Bac Nguyen, Stefano Ermon, Yuki Mitsufuji

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Naoki Murata, Yuhta Takida, Chieh-Hsin Lai, Toshimitsu Uesaka, Bac Nguyen, Stefano Ermon, Yuki Mitsufuji

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक AI द्वारा बनाई गई एक सुंदर, जटिल पेंटिंग को देख रहे हैं। आप सोच सकते हैं: "किस विशिष्ट चित्रों के समूह ने इस AI को इस विशेष शैली में पेंट करना सिखाया?" क्या यह "इंप्रेशनिस्ट" (Impressionist) फोटो का समूह था? "स्केच" (Sketch) फोटो का? या शायद "वॉटरकलर" (Watercolor) फोटो का?

यह शोध पत्र, जिसका शीर्षक GUDA है, AI इमेज जनरेटर्स (जिन्हें डिफ्यूजन मॉडल कहा जाता है) के लिए उस प्रश्न का उत्तर देने का एक नया तरीका पेश करता है। यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है।

समस्या: "बहुत अधिक रसोइयों" वाली दुविधा (The "Too Many Cooks" Dilemma)

AI मॉडल विशाल डेटासेट पर प्रशिक्षित होते हैं जिनमें लाखों चित्र होते हैं, जो अक्सर शैली या श्रेणी (जैसे "कुत्ते," "कारें," या "वैन गॉग शैली") के आधार पर समूहों में बँटे होते हैं।

यह पता लगाने के लिए कि किस समूह ने एक विशिष्ट AI-जनरेटेड छवि को प्रभावित किया है, "गोल्ड स्टैंडर्ड" विधि को LOGO (Leave-One-Group-Out) कहा जाता है।

उपमा: कल्पना कीजिए कि एक समूह (choir) एक गाना गा रहा है। यह पता लगाने के लिए कि किस सेक्शन (सोप्रानो, ऑल्टो, टेनर, बास) ने एक विशिष्ट स्वर में सबसे अधिक योगदान दिया है, आपको पहले समूह को रिकॉर्ड करना होगा, फिर सोप्रानो के बिना उसे फिर से रिकॉर्ड करना होगा, फिर ऑल्टो के बिना फिर से, और इसी तरह।
समस्या: यदि आपके पास 100 समूह हैं, तो आपको गाने को 100 बार फिर से रिकॉर्ड करना होगा। AI के लिए, इसका अर्थ है मॉडल को हर बार शुरू से फिर से प्रशिक्षित (retrain) करना। इसमें कंप्यूटिंग का वर्षों का समय लगता है और यह व्यावहारिक रूप से असंभव है।

समाधान: "मेमोरी इरेज़र" (विस्मरण/Unlearning)

लेखक GUDA (Group Unlearning-based Data Attribution) का प्रस्ताव करते हैं। AI को हर बार शुरू से फिर से प्रशिक्षित करने के बजाय, वे मशीन अनलर्निंग (Machine Unlearning) नामक तकनीक का उपयोग करते हैं।

उपमा: पूरे समूह को निकालने और बिना सोप्रानो के एक नया समूह रखने के बजाय, आप मूल समूह को लेते हैं और उन्हें धीरे से सोप्रानो के हिस्से को "भूलने" के लिए सिखाते हैं। आप बाकी समूह को बिल्कुल वैसा ही रखते हैं लेकिन उनकी याददाश्त में थोड़ा बदलाव करते हैं ताकि वे अब सोप्रानो के स्वर नहीं पहचान सकें।
यह कैसे काम करता है:
1. पूरी तरह से प्रशिक्षित AI ("Full Model") से शुरुआत करें।
2. एक विशिष्ट समूह (जैसे, "इंप्रेशनिज्म") के प्रभाव को हटाने के लिए एक विशेष "अनलर्निंग" प्रक्रिया लागू करें।
3. इससे एक "काउंटरफैक्चुअल मॉडल" (Counterfactual Model) बनता है—एक ऐसा संस्करण जो ऐसा व्यवहार करता है जैसे उसने कभी भी इंप्रेशनिस्ट फोटो नहीं देखी हो।
4. मूल AI के आउटपुट की तुलना इस "भूल चुके" AI के आउटपुट से करें। यदि "भूल चुका" AI अब वह छवि नहीं बना सकता, तो आप जानते हैं कि इंप्रेशनिज्म ही मुख्य सामग्री थी।

गुप्त नुस्खा: सही ढंग से कैसे "भूलें"

डेटा को केवल हटा देना ही काफी नहीं है; AI को इस बात पर मार्गदर्शन की आवश्यकता होती है कि भूले हुए डेटा के स्थान पर क्या रखा जाए ताकि वह भ्रमित न हो। शोध पत्र इसके दो तरीके बताता है:

सामान्य छवियों के लिए (Unconditional): वे ReTrack नामक विधि का उपयोग करते हैं।
- उपमा: यदि आप AI को एक लाल कार को "भूलने" के लिए कहते हैं, तो ReTrack केवल एक खाली जगह नहीं छोड़ता। यह डेटाबेस में अन्य सभी कारों को देखता है और कहता है, "ठीक है, चूंकि आप लाल कार को याद नहीं रख सकते, इसलिए कल्पना करें कि यह एक नीली कार या ट्रक है, जो इस आधार पर तय होगा कि वे कितने समान हैं।" यह AI के ध्यान को शेष डेटा की ओर मोड़ देता है।
टेक्स्ट-टू-इमेज (Conditional) के लिए: यह कठिन है क्योंकि AI टेक्स्ट प्रॉम्प्ट (जैसे, "वैन गॉग की शैली में एक कुत्ता") को भी सुन रहा होता है। यदि आप "वैन गॉग" को हटा देते हैं, तो टेक्स्ट प्रॉम्प्ट स्वयं अजीब हो जाता है।
- उपमा: लेखक एंकर (Anchors) का उपयोग करते हैं। यदि प्रॉम्प्ट कहता है "कुत्ता, वैन गॉग शैली," और आप वैन गॉग को भूलना चाहते हैं, तो वे प्रॉम्प्ट में "वैन गॉग" को एक अलग शैली (जैसे "स्केच") के साथ बदल देते हैं, जबकि "कुत्ता" वाले हिस्से को समान रखते हैं। यह AI को "वैन गॉग" के प्रभाव के बिना "कुत्ता" की अवधारणा को संभालने के लिए प्रशिक्षित करता है, जिससे टेक्स्ट निर्देश टूटते नहीं हैं।

परिणाम: तेज़ और सटीक

उन्होंने दो चीजों पर इसका परीक्षण किया:

CIFAR-10: 10 ऑब्जेक्ट क्लास (जैसे बिल्लियाँ, हवाई जहाज, ट्रक) वाला एक सरल डेटासेट।
कलात्मक शैलियाँ (Artistic Styles): विभिन्न कला शैलियों में चित्र बनाने के लिए Stable Diffusion का उपयोग करना।

निष्कर्ष:

गति: GUDA शुरू से फिर से प्रशिक्षित करने की "गोल्ड स्टैंडर्ड" विधि की तुलना में लगभग 100 गुना तेज़ है। यह एक मैराथन को 200 घंटों के बजाय 2 घंटों में पूरा करने जैसा है।
सटीकता: यह उन अन्य तरीकों की तुलना में बहुत बेहतर है जो केवल "दृश्य समानता" (जैसे, "क्या यह एक वैन गॉग पेंटिंग जैसा दिखता है?") देखते हैं। GUDA पूछता है, "यदि हमने AI के दिमाग से वैन गॉग को हटा दिया, तो क्या यह छवि अभी भी मौजूद रहेगी?"
तुलना: इसने अन्य लोकप्रिय तरीकों को मात दी जो ग्रेडिएंट्स (गणितीय ढलान) या व्यक्तिगत चित्रों को एक-एक करके अनलर्न करने के माध्यम से प्रभाव का अनुमान लगाने की कोशिश करते हैं।

सारांश

GUDA एक शॉर्टकट है। यह शोधकर्ताओं को यह पूछने की अनुमति देता है कि "किस प्रशिक्षण डेटा ने इस AI इमेज को बनाया?"—डेटा के समूहों को AI की याददाश्त से धीरे से "मिटाकर" और यह देखकर कि क्या बदलता है, बजाय इसके कि हर बार AI के मस्तिष्क को दर्दनाक रूप से फिर से बनाया जाए। यह AI जनरेशन को समझना तेज़ और अधिक व्यावहारिक बनाता है।

तकनीकी सारांश: GUDA – अनलर्निंग के माध्यम से डिफ्यूजन मॉडल्स के लिए काउंटरफैक्चुअल ग्रुप-वाइज डेटा एट्रिब्यूशन

1. समस्या की परिभाषा

विज़न जनरेटिव मॉडल्स के लिए ट्रेनिंग डेटा एट्रिब्यूशन का लक्ष्य यह पहचानना है कि किस ट्रेनिंग डेटा ने एक विशिष्ट आउटपुट को प्रभावित किया है। जबकि मौजूदा तरीके इंस्टेंस-लेवल एट्रिब्यूशन (विशिष्ट ट्रेनिंग सैंपल्स की पहचान करना) पर ध्यान केंद्रित करते हैं, अभ्यासकर्ताओं को अक्सर ग्रुप-लेवल एट्रिब्यूशन (जैसे, यह पहचानना कि किन कलात्मक शैलियों या ऑब्जेक्ट क्लासेस ने जनरेशन में सबसे अधिक योगदान दिया) की आवश्यकता होती है।

मुख्य चुनौती यह है कि ग्रुप इन्फ्लुएंस नॉन-एडिटिव (non-additive) और नॉन-लीनियर (nonlinear) होता है; केवल इंस्टेंस-लेवल स्कोर को जोड़ने से साझा रिप्रेजेंटेशन्स के भीतर होने वाली इंटरैक्शन को पकड़ने में विफलता मिलती है। ग्रुप एट्रिब्यूशन के लिए सैद्धांतिक "गोल्ड स्टैंडर्ड" लीव-वन-ग्रुप-आउट (LOGO) काउंटरफैक्चुअल है: यह मापना कि यदि एक विशिष्ट ग्रुप $k$ को ट्रेनिंग डेटा से पूरी तरह हटा दिया जाए, तो जनरेट किए गए सैंपल पर मॉडल का व्यवहार कैसे बदलता है। हालाँकि, इस काउंटरफैक्चुअल को साकार करने के लिए $N+1$ मॉडल्स को फिर से प्रशिक्षित करना आवश्यक है (एक पूर्ण मॉडल और प्रत्येक ग्रुप को हटाने वाले $N$ मॉडल्स), जो बड़े पैमाने के डिफ्यूजन मॉडल्स के लिए कम्प्यूटेशनल रूप से अत्यधिक महंगा है।

2. कार्यप्रणाली: GUDA फ्रेमवर्क

लेखक GUDA (Group Unlearning-based Data Attribution) का प्रस्ताव करते हैं, जो महंगे LOGO काउंटरफैक्चुअल मॉडल्स को स्क्रैच से रिट्रेन करने के बजाय मशीन अनलर्निंग (machine unlearning) का उपयोग करके अनुमानित (approximate) करता है।

मुख्य अवधारणा:
$\theta_{logo}^{-k}$ (वह मॉडल जिसे ग्रुप $k$ के बिना प्रशिक्षित किया गया है) को स्क्रैच से प्रशिक्षित करने के बजाय, GUDA फुल-डेटा मॉडल $\theta_{full}$ से शुरू होता है और ग्रुप $k$ के प्रभाव को चुनिंदा रूप से हटाने के लिए एक मशीन अनलर्निंग ऑपरेटर लागू करता है, जिससे एक अनुमानित काउंटरफैक्चुअल मॉडल $\theta_{ul}^{-k}$ प्राप्त होता है।

एट्रिब्यूशन स्कोरिंग (LOGOA):
एट्रिब्यूशन स्कोर को एक लाइकलीहुड-आधारित स्कोरिंग नियम (विशेष रूप से एविडेंस लोअर बाउंड, ELBO) के बीच का अंतर के रूप में परिभाषित किया गया है:
$\text{GUDA}_k(x_0, c) = \text{ELBO}(x_0|c; \theta_{full}) - \text{ELBO}(x_0|c; \theta_{ul}^{-k})$
एक पॉजिटिव स्कोर इंगित करता है कि ग्रुप $k$ ने सैंपल $(x_0, c)$ के जनरेशन में महत्वपूर्ण योगदान दिया है।

अनलर्निंग कार्यान्वयन:
अनलर्निंग ऑब्जेक्टिव में दो टर्म्स शामिल हैं:

प्रिजर्वेशन टर्म ( $L_{preserve}$ ): एक स्कोर-मैचिंग लॉस जो यह सुनिश्चित करता है कि अनलर्न किया गया मॉडल रिटेन सेट ( $D_{-k}$ ) पर अपना प्रदर्शन बनाए रखे, जिससे कैटास्ट्रफिक फॉरगेटिंग (catastrophic forgetting) को रोका जा सके।
फॉरगेट टर्म ( $L_{forget}$ ): यह जनरेशन सेटिंग के आधार पर भिन्न होता है:
- GUDA-U (अनकंडीशनल जनरेशन): यह ReTrack-आधारित रेडिरेक्शन का उपयोग करता है। यह मॉडल को फॉरगेट सेट ( $D_k$ ) के सैंपल्स को रिटेन सेट ( $D_{-k}$ ) से प्राप्त महत्व-भारित (importance-weighted) लक्ष्यों की ओर डिनोइज़ करने के लिए प्रशिक्षित करता है, जो प्रभावी रूप से रिटेन-ओनली डिस्ट्रीब्यूशन के पोस्टीरियर मीन का अनुमान लगाता है।
- GUDA-C (कंडीशनल टेक्स्ट-टू-इमेज): यह उस चुनौती को संबोधित करता है जहाँ एक स्टाइल ग्रुप को हटाने से इमेज और प्रॉम्प्ट दोनों के डिस्ट्रीब्यूशन में बदलाव आता है। यह वेटेड स्टाइल-सिलेक्शन एंकर्स (Weighted Style-Selection Anchors) का उपयोग करता है। एक फॉरगेट पेयर (इमेज, प्रॉम्प्ट) के लिए, यह कंटेंट डिस्क्रिप्शन को रखते हुए स्टाइल डिस्क्रिप्टर को रिटेन सेट से एक अन्य स्टाइल के साथ बदलकर एक "एंकर" प्रॉम्प्ट बनाता है (जिसे CLIP-वेटेड सिमिलैरिटी द्वारा सैंपल किया जाता है)। फिर मॉडल को इस एंकर कंडीशन के तहत फुल मॉडल के प्रेडिक्शन से मैच करने के लिए प्रशिक्षित किया जाता है, जिससे कंडीशन-डिस्ट्रीब्यूशन मिसमैच हल हो जाता है।

3. मुख्य योगदान

ग्रुप एट्रिब्यूशन का औपचारिकीकरण: पेपर ग्रुप-वाइज एट्रिब्यूशन को एक काउंटरफैक्चुअल एस्टिमैंड (LOGOA) के रूप में औपचारिक रूप देता है, जो फुल मॉडल और ग्रुप-रिमूव्ड मॉडल के बीच ELBO के अंतर पर आधारित है, जिसमें LOGO रिट्रेनिंग को ऑरेकल (oracle) के रूप में स्थापित किया गया है।
अनलर्निंग-आधारित अनुमान: यह एक व्यावहारिक फ्रेमवर्क पेश करता है जो मशीन अनलर्निंग के माध्यम से इन काउंटरफैक्चुअल्स का अनुमान लगाता है, जिससे CIFAR-10 पर LOGO रिट्रेनिंग की तुलना में $\sim 100\times$ की स्पीडअप प्राप्त होती है।
दो विशिष्ट इंस्टेंशिएशंस:
- GUDA-U: अनकंडीशनल डिफ्यूजन के लिए, ReTrack-आधारित महत्व-भारित रेडिरेक्शन का उपयोग करता है।
- GUDA-C: कंडीशनल टेक्स्ट-टू-इमेज के लिए, प्रॉम्प्ट डिस्ट्रीब्यूशन शिफ्ट को संभालने के लिए CLIP-वेटेड स्टाइल-सिलेक्शन एंकर्स का उपयोग करता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करता है कि सीधे काउंटरफैक्चुअल ग्रुप-रिमवल को टारगेट करने वाला GUDA, प्राइमरी कंट्रीब्यूटिंग ग्रुप्स की पहचान करने में सिमेंटिक सिमिलैरिटी बेसलाइन्स (CLIPA) और इंस्टेंस-लेवल एग्रीगेशन मेथड्स (DAS, TRAK, D-TRAK) से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने दो बेंचमार्क्स पर GUDA का मूल्यांकन किया:

CIFAR-10 (अनकंडीशनल): 10 क्लासेस और 2,048 क्वेरीज के साथ, GUDA ने LOGO ऑरेकल के साथ 72.7% Top-1 एग्रीमेंट हासिल किया, जो CLIPA (66.2%) और ग्रेडिएंट-आधारित मेथड्स (DAS: 71.6%, लेकिन काफी धीमे) से बेहतर है। GUDA ने LOGO रिट्रेनिंग (2 घंटे बनाम 207 घंटे) की तुलना में $\sim 100\times$ वॉल-क्लॉक स्पीडअप प्राप्त किया।
UnlearnCanvas (कंडीशनल टेक्स्ट-टू-इमेज): Stable Diffusion 1.5 और 16 आर्टिस्टिक स्टाइल्स का उपयोग करते हुए, GUDA ने 45.6% Top-1 एग्रीमेंट प्राप्त किया, जो CLIPA (33.8%) और एक पूर्व अनलर्निंग-आधारित एट्रिब्यूशन मेथड (Wang et al., 2024) से काफी बेहतर है जिसने केवल 4.7% स्कोर किया था। GUDA ने NDCG@3 और RBO मेट्रिक्स में भी बेहतर प्रदर्शन दिखाया, जो सबसे प्रभावशाली शैलियों के साथ बेहतर संरेखण (alignment) का संकेत देता है।

मुख्य अवलोकन:

अनलर्निंग की गुणवत्ता मायने रखती है: ReTrack-आधारित अनलर्निंग का उपयोग करने वाला GUDA, ESD (Erasing Stable Diffusion) अनलर्निंग का उपयोग करने वाले GUDA की तुलना में काफी बेहतर रहा, जो ReTrack और LOGO रिट्रेनिंग के बीच सैद्धांतिक संबंध को प्रमाणित करता है।
विकल्पों की सीमाएँ: सिमेंटिक सिमिलैरिटी (CLIPA) काउंटरफैक्चुअल ग्रुप इफेक्ट्स को कैप्चर करने में विफल रही, और इंस्टेंस-लेवल मेथड्स ग्रुप-लेवल एट्रिब्यूशन तक स्केल करने में संघर्ष करते रहे, जो अक्सर हेड-आइडेंटिफिकेशन मेट्रिक्स पर रैंडम प्रदर्शन के करीब रहे।

5. महत्व और दावे

पेपर का दावा है कि GUDA ग्रुप स्तर पर जनरेटिव मॉडल आउटपुट्स के प्रोवेनेंस (provenance) को समझने के लिए एक स्केलेबल और व्यावहारिक समाधान प्रदान करता है। काउंटरफैक्चुअल रिट्रेनिंग के सैद्धांतिक आदर्श और बड़े पैमाने के मॉडल्स की कम्प्यूटेशनल वास्तविकता के बीच के अंतर को पाटकर, GUDA सक्षम बनाता है:

उचित मुआवजा (Fair Compensation): यह अधिक सटीक पहचान कि किन डेटा ग्रुप्स (जैसे, कलाकार) ने आउटपुट्स में योगदान दिया है।
डीबगिंग (Debugging): उन समस्याग्रस्त डेटा स्रोतों या शैलियों की पहचान करना जो जनरेशन को नकारात्मक रूप से प्रभावित करते हैं।
पारदर्शिता (Transparency): पूर्ण रिट्रेनिंग की अत्यधिक लागत के बिना जनरेटिव मॉडल्स का ऑडिट करने के लिए एक विधि प्रदान करना।

लेखक इस बात पर जोर देते हैं कि GUDA एक प्रमाणित डिलीशन मैकेनिज्म नहीं है, बल्कि एट्रिब्यूशन के लिए एक कम्प्यूटेशनल अनुमान है। वे नोट करते हैं कि जैसे-जैसे अधिक LOGO-अलाइन्ड अनलर्निंग मेथड्स उभरेंगे, उन्हें एट्रिब्यूशन की गुणवत्ता को और बेहतर बनाने के लिए GUDA फ्रेमवर्क में एकीकृत किया जा सकता है। इस कार्य को नॉन-लीनियर ग्रुप इंटरैक्शन को कैप्चर करने में विफल रहने वाले इंस्टेंस-लेवल एप्रोक्सिमेशन से आगे बढ़कर, जनरेटिव मॉडल्स की स्केलेबल, ग्रुप-लेवल समझ की दिशा में एक कदम के रूप में देखा गया है।