🤖 AI

SUPREME: A Multi-GPU Framework for Reproducible Image Unlearning Method Evaluation

यह शोध पत्र SUPREME को प्रस्तुत करता है, जो एक ओपन-सोर्स, मल्टी-जीपीयू फ्रेमवर्क है जिसे कई एक्सीलरेटरों के बीच गणनात्मक रूप से महंगे प्रशिक्षण और परीक्षण चरणों को वितरित करके इमेज अनलर्निंग विधियों के पुनरुत्पादक मूल्यांकन को त्वरित और मानकीकृत करने के लिए डिज़ाइन किया गया है।

मूल लेखक: Petros Andreou, Jamie Lanyon, Axel Finke, Georgina Cosma

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Petros Andreou, Jamie Lanyon, Axel Finke, Georgina Cosma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक ऐसा छात्र है जिसने विशेषज्ञ बनने के लिए किताबों के एक विशाल पुस्तकालय का अध्ययन किया है। अचानक, पुस्तकालय का मालिक कहता है, "कृपया इन विशिष्ट पाँच किताबों के बारे में जो कुछ भी आपने सीखा है, उसे भूल जाओ।" आप छात्र के मस्तिष्क से पन्नों को मिटा नहीं सकते; आपको उसे वह जानकारी भूलने के लिए सिखाना होगा बिना बाकी सब कुछ भूले जो वह जानता है।

यह मशीन अनलर्निंग (Machine Unlearning) की समस्या है। यह एक AI मॉडल से विशिष्ट डेटा के प्रभाव को हटाने के बारे में है, बिना पूरे मॉडल को फेंक दिए और उसे फिर से शुरू किए बिना।

आपके द्वारा प्रदान किया गया पेपर एक नया टूल पेश करता है जिसे SUPREME कहा जाता है, ताकि शोधकर्ता यह पता लगा सकें कि कौन सी "अनलर्निंग" तकनीकें वास्तव में सबसे अच्छा काम करती हैं। यहाँ एक सरल विवरण दिया गया है कि उन्होंने क्या किया और यह क्यों महत्वपूर्ण है।

समस्या: "एक-बीज" (One-Seed) का जाल

कल्पना कीजिए कि आप केक के लिए एक नई रेसिपी का परीक्षण कर रहे हैं। यदि आप इसे एक बार बेक करते हैं और इसका स्वाद अच्छा होता है, तो आप सोच सकते हैं कि रेसिपी एकदम सही है। लेकिन क्या होगा अगर उस एक बार में, तापमान या आटे के ब्रांड की वजह से आप बस भाग्यशाली थे? यह सुनिश्चित करने के लिए, आपको उस केक को दस बार अलग-अलग सामग्री के बैचों के साथ बेक करने की आवश्यकता है ताकि यह देख सकें कि क्या रेसिपी लगातार अच्छी है।

AI अनुसंधान में, सामग्रियों के इस "बैच" को सीड (seed) कहा जाता है (एक रैंडम शुरुआती बिंदु)।

समस्या: अनलर्निंग के परीक्षण के लिए पिछले अधिकांश टूल्स केवल एक समय में एक कंप्यूटर चिप (एक GPU) पर चल सकते थे। क्योंकि AI को प्रशिक्षित करना धीमा और महंगा है, शोधकर्ता केवल एक या दो बार परीक्षण चलाने का खर्च उठा सकते थे।
जोखिम: यदि आप केवल एक बार परीक्षण करते हैं, तो हो सकता है कि आपको एक भाग्यशाली परिणाम मिल जाए जो वास्तविकता को नहीं दर्शाता हो। पेपर का तर्क है कि आपको यह जानने के लिए कि कोई विधि वास्तव में काम करती है या नहीं, कई बार (कई "सीड्स" के माध्यम से) परीक्षण चलाने की आवश्यकता है।

समाधान: SUPREME

लेखकों ने SUPREME बनाया है, जिसका अर्थ है Standardised Unlearning Platform for Reproducible Method Evaluation। इसे AI प्रयोगों के लिए एक उच्च-गति, बहु-लेन रेस ट्रैक के रूप में समझें।

यह कैसे काम करता है, इसके लिए रोजमर्रा के उपमाओं का उपयोग किया गया है:

1. मल्टी-जीपीयू हाईवे (The Multi-GPU Highway)
पिछले टूल्स एक एकल-लेन वाली कच्ची सड़क की तरह थे जहाँ एक समय में केवल एक कार (एक प्रयोग) जा सकती थी। SUPREME एक बहु-लेन वाला हाईवे है। यह काम को एक साथ कई ग्राफिक्स कार्ड्स (GPUs) में फैला देता है। इसका मतलब है कि शोधकर्ता एक ही प्रयोग को दस बार उसी समय में चला सकते हैं जितना पहले इसे एक बार चलाने में लगता था। यह उन्हें यह देखने की अनुमति देता है कि परिणाम सुसंगत हैं या केवल एक इत्तेफाक।

2. "प्लग-एंड-प्ले" टूलबॉक्स (The "Plug-and-Play" Toolbox)
यह फ्रेमवर्क एक लेगो सेट (Lego set) की तरह डिज़ाइन किया गया है।

शोधकर्ता विभिन्न डेटासेट्स (जैसे पेपर में उपयोग किया गया "पिन्स फेस रिकग्निशन" डेटासेट) को इसमें जोड़ सकते हैं।
वे विभिन्न AI मॉडल्स (जैसे ResNet18 या ViT) को जोड़ सकते हैं।
वे विभिन्न अनलर्निंग विधियों (जैसे "बैड टीचर" या "सिलेक्टिव सिनैप्टिक डैम्पिंग") को जोड़ सकते हैं।
वे सफलता को मापने के विभिन्न तरीकों को जोड़ सकते हैं।
आपको नया हिस्सा जोड़ने के लिए पूरे टूलबॉक्स को फिर से बनाने की ज़रूरत नहीं है; आप बस नए हिस्से को रजिस्टर करते हैं, और सिस्टम बाकी काम संभाल लेता है।

3. तीन-चरणों वाली दौड़ (The Three-Stage Race)
प्रत्येक प्रयोग के लिए, SUPIVE तीन चरणों की प्रक्रिया चलाता है:

चरण 1 (प्रशिक्षण/Training): AI डेटा के पूर्ण पुस्तकालय से सीखता है।
चरण 2 (अनलर्निंग): AI विशिष्ट डेटा को "भूलने" की कोशिश करता है (या तो एक पूरी श्रेणी, जैसे "बिल गेट्स की सभी तस्वीरें", या यादृच्छिक 0.1% तस्वीरें)। यह एक "गोल्ड स्टैंडर्ड" मॉडल भी बनाता है जिसे उस डेटा के बिना शून्य से फिर से प्रशिक्षित किया गया था।
चरण 3 (मूल्यांकन/Evaluation): सिस्टम "अनलर्न्ड" AI की तुलना "गोल्ड स्टैंडर्ड" से करता है। यह पूछता है: "क्या AI ने वास्तव में लक्ष्य को भुला दिया? क्या इसने बाकी डेटा पर अपने कौशल बनाए रखे? क्या यह अभी भी सुरक्षित है?"

उन्होंने क्या पाया (डेमो)

लेखकों ने सेलिब्रिटी चेहरों के डेटासेट (पिन्स फेस रिकग्निशन) पर इस सिस्टम का परीक्षण किया। उन्होंने AI को विशिष्ट लोगों (जैसे ह्यूग जैकमैन या बिल गेट्स) या यादृच्छिक तस्वीरों के एक समूह को भूलने के लिए कहा।

आश्चर्य: जब उन्होंने परीक्षण केवल एक बार चलाया, तो परिणाम बहुत अलग दिखे जब उन्होंने इसे दस बार चलाया। कुछ विधियाँ एक एकल रन में अद्भुत दिखती थीं लेकिन दस रन के औसत पर खराब प्रदर्शन करती थीं।
निष्कर्ष: यह साबित करता है कि कई सीड्स चलाना आवश्यक है। आप एक एकल परीक्षण परिणाम पर भरोसा नहीं कर सकते। "भाग्य का खेल" (कैसे AI शुरू होता है, इसकी रैंडमनेस) परिणाम को काफी बदल देता है।

यह क्यों मायने रखता है

पेपर यह दावा नहीं करता कि उन्होंने डेटा को अनलर्न करने का नया तरीका खोजा है। इसके बजाय, उन्होंने यह मापने के लिए एक रूलर (पैमाना) बनाया है कि मौजूदा तरीके कितनी अच्छी तरह काम करते हैं।

SUPREME से पहले: शोधकर्ता एक बार के, संभावित रूप से भाग्यशाली प्रयोगों के आधार पर यह अनुमान लगा रहे थे कि कौन सी अनलर्निंग विधि सबसे अच्छी है।
SUPREME के साथ: शोधकर्ता अब निष्पक्ष, बड़े पैमाने पर तुलना चला सकते हैं ताकि यह देखा जा सके कि कौन सी विधियाँ वास्तव में मजबूत हैं और कौन सी केवल भाग्यशाली हैं।

सारांश

SUPREME एक नया, ओपन-सोर्स टूल है जो शोधकर्ताओं को एक साथ कई कंप्यूटर चिप्स का उपयोग करके AI "अनलर्निंग" परीक्षण तेजी से और अधिक निष्पक्ष रूप से चलाने की अनुमति देता है। इसने दिखाया कि पिछले परीक्षण अक्सर विश्वसनीय होने के लिए बहुत छोटे थे, और यह जानने के लिए कि क्या किसी AI ने वास्तव में कुछ "भला है", आपको इसे केवल एक बार नहीं, बल्कि कई बार परीक्षण करना होगा।

नोट: पेपर पूरी तरह से तकनीकी ढांचे और सेलिब्रिटी चेहरों के एक विशिष्ट डेटासेट पर विधियों के मूल्यांकन पर केंद्रित है। यह सोशल मीडिया से उपयोगकर्ता डेटा को हटाने जैसे वास्तविक दुनिया के अनुप्रयोगों के बारे में चर्चा नहीं करता है, और न ही यह नैदानिक या कानूनी उपयोगों के दावे करता है।

तकनीकी सारांश: SUPREME: पुनरुत्पादक इमेज अनलर्निंग मेथड इवैल्यूएशन के लिए एक मल्टी-जीपीयू फ्रेमवर्क

समस्या विवरण
मशीन अनलर्निंग का उद्देश्य प्रशिक्षित मॉडल से विशिष्ट प्रशिक्षण डेटा के प्रभाव को हटाना है, बिना उसे शुरुआत से फिर से प्रशिक्षित किए। जबकि कई अनुमानित विधियाँ (जैसे, फाइन-ट्यूनिंग, डिस्टिलेशन, पैरामीटर-इम्पॉर्टेंस स्कीम्स) प्रस्तावित की गई हैं, उनका मूल्यांकन करना महत्वपूर्ण चुनौतियाँ प्रस्तुत करता है। कठोर मूल्यांकन के लिए प्रारंभिक वेट्स (weights), डेटा ऑर्डरिंग और अनलर्निंग ऑपरेशन्स में स्टोकेस्टिसिटी (stochasticity) को ध्यान में रखते हुए पूरे पाइपलाइन—प्रशिक्षण, अनलर्निंग और मूल्यांकन—को कई रैंडम सीड्स (random seeds) पर दोहराना आवश्यक है। मौजूदा इमेज क्लासिफिकेशन अनलर्निंग फ्रेमवर्क्स (जैसे, MUBox, ERASURE, Deep Unlearn) आमतौर पर सिंगल जीपीयू और फुल प्रिसिजन पर काम करते हैं। यह सीमा एक उचित समय सीमा के भीतर मूल्यांकन किए जाने वाले सीड्स की संख्या को प्रतिबंधित करती है, जिससे सिंगल-सीड परिणामों के आधार पर भ्रामक निष्कर्ष निकल सकते हैं। इसके अलावा, जैसे-जैसे मॉडल आर्किटेक्चर (जैसे, विजन ट्रांसफॉर्मर) और डेटासेट बढ़ते हैं, इन मूल्यांकनों की कम्प्यूटेशनल लागत बढ़ती जाती है, जिससे अधिक कुशल इंफ्रास्ट्रक्चर की आवश्यकता होती है।

कार्यप्रणाली: SUPREME फ्रेमवर्क
लेखक SUPREME (Standardised Unlearning Platform for Reproducible Method Evaluation) पेश करते हैं, जो एक ओपन-सोर्स फ्रेमवर्क है जिसे कई जीपियू (GPUs) पर अनलर्निंग इवैल्यूएशन पाइपलाइन को वितरित करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क PyTorch और Lightning Fabric पर बना है, जो डिस्ट्रिब्यूटेड डेटा पैरेलल (DDP), फुली शेर्ड डेटा पैरेलल (FSDP), और DeepSpeed ZeRO सहित डिस्ट्रिब्यूटेड रणनीतियों का समर्थन करता है।

SUPREME का मूल एक सीडेड मल्टी-स्टेज पाइपलाइन (एल्गोरिदम 1) है जो $P$ डिवाइसेस पर तीन अलग-अलग चरणों को निष्पादित करता है:

चरण 1 (प्रशिक्षण): एक विशिष्ट ट्रेनिंग सीड का उपयोग करके पूरे डेटासेट $D$ पर एक मॉडल $M_o$ को प्रशिक्षित किया जाता है।
चरण 2 (अनलर्निंग और रिट्रेनिंग): प्रत्येक फॉरगेट टारगेट के लिए, फ्रेमवर्क एक फॉरगेट सेट ( $D_f$ $D_{f}$ ) और एक रिटेन सेट ( $D_r$ $D_{r}$ ) को परिभाषित करता है। इसके बाद यह:
- एक विशिष्ट अनलर्निंग सीड का उपयोग करके $D_r$ पर स्क्रैच से एक बेसलाइन मॉडल $M_r$ को फिर से प्रशिक्षित करता है।
- $M_o$ पर $D_f$ और $D_r$ का उपयोग करके एक अनलर्निंग विधि $a$ लागू करता है ताकि अनलर्न्ड मॉडल $M_u$ प्राप्त हो सके।
  दोनों रिट्रेनिंग और अनलर्निंग डिवाइसेस के बीच ग्रेडिएंट सिंक्रोनाइज़ेशन का उपयोग करते हैं।
चरण 3 (मूल्यांकन): $M_u$ का टेस्ट सेट्स ( $D'_f$ और $D'_r$ ) पर कॉन्फ़िगर किए गए मेट्रिक्स का उपयोग करके $M_r$ के विरुद्ध मूल्यांकन किया जाता है। परिणामों को ऑल-गैदर (all-gather) ऑपरेशन के माध्यम से एकत्रित किया जाता है।

फ्रेमवर्क दो अनलर्निंग परिदृश्यों का समर्थन करता है:

टारगेटेड अनलर्निंग: एक विशिष्ट क्लास लेबल से जुड़े सभी सैंपल्स को हटाता है।
रैंडम-सैंपल अनलर्निंग: पूरे डेटासेट से लिए गए सैंपल्स के एक रैंडम सबसेट (प्रतिशत द्वारा परिभाषित) को हटाता है।

प्रमुख योगदान
पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

रजिस्ट्री-आधारित विस्तारशीलता (Registry-Based Extensibility): SUPREME एक ऐसा डिज़ाइन अपनाता है जहाँ डेटासेट्स, मॉडल आर्किटेक्चर, अनलर्निंग मेथड्स, इवैल्यूएशन मेट्रिक्स और परिदृश्य मॉड्यूल पाथ के माध्यम से पंजीकृत किए जाते हैं। नए घटकों को कोर फ्रेमवर्क कोड को बदले बिना, मानक इंटरफेस को लागू करके और मॉड्यूल पाथ को रजिस्टर करके जोड़ा जा सकता है।
मल्टी-जीपीयू आर्किटेक्चर: पूर्ववर्ती टूल्स के विपरीत, SUPREME प्रशिक्षण, अनलर्निंग और मूल्यांकन को कई एक्सेलेरेटर्स के बीच वितरित करता है। यह विभिन्न प्रिसिजन मोड्स (जैसे, मिक्सड प्रिसिजन, BitsandBytes के माध्यम से 8-बिट/4-बिट) और डिस्ट्रिब्यूटेड रणनीतियों का समर्थन करता है, जिससे मल्टी-सीड मूल्यांकनों के लिए आवश्यक समय काफी कम हो जाता है।
Pins Face Recognition पर प्रदर्शन: लेखक ResNet18 और विजन ट्रांसफॉर्मर (ViT) आर्किटेक्चर के साथ Pins Face Recognition डेटासेट का उपयोग करके इस फ्रेमवर्क का प्रदर्शन करते हैं। वे दस सीड्स के माध्यम से फुल-क्लास और रैंडम-सैंपल परिदृश्यों के तहत कई अनलर्निंग विधियों का मूल्यांकन करते हैं।

प्रायोगिक परिणाम
प्रदर्शन को एक सिंगल NVIDIA L40S GPU पर किया गया था ताकि रेफरेंस इम्प्लीमेंटेशन के साथ न्यूमेरिकल समानता बनी रहे, हालांकि फ्रेमवर्क मल्टी-जीपीयू निष्पादन का समर्थन करता है। मुख्य निष्कर्ष निम्नलिखित हैं:

क्रॉस-सीड वेरिएंस (Across-Seed Variance): अध्ययन इस बात पर प्रकाश डालता है कि सिंगल-सीड परिणाम अत्यधिक भ्रामक हो सकते हैं। उदाहरण के लिए, रैंडम-सैंपल परिदृश्य में, ResNet18 के लिए "Random Labels" पर फॉरगेट सेट की सटीकता अंतर ( $\Delta Acc_{D'_f}$ ) दस सीड्स में $\pm 34.03$ प्रतिशत अंक का स्टैंडर्ड डेविएशन दिखा। इसी तरह, ViT पर "Selective Synaptic Dampening" ने $\pm 37.99$ का विचलन दिखाया। यह पुष्टि करता है कि सुसंगत तुलनाओं के लिए मल्टी-सीड मूल्यांकन आवश्यक है।
मेट्रिक सेंसिटिविटी: फुल-क्लास परिदृश्य में, मेंबरशिप इन्फरेंस अटैक (MIA) अंतर ( $\Delta MIA$ ) सभी विधियों में न्यूनतम था (ज्यादातर $\pm 0.05$ के भीतर), जो विधियों के बीच अंतर करने में विफल रहा। इसके विपरीत, फॉरगेट-सेट सटीकता अंतर ( $\Delta Acc_{D'_f}$ ) में महत्वपूर्ण भिन्नता देखी गई (ResNet18 पर 0.00 से 89.44 तक), जो इस सेटिंग में एक अधिक डिस्क्रिमिनेटिव मेट्रिक होने का प्रमाण है।
प्रदर्शन: फ्रेमवर्क ने दोनों ResNet18 और ViT के लिए पूर्ण पाइपलाइन को सफलतापूर्वक निष्पादित किया, विभिन्न सीड्स द्वारा उत्पन्न वेरिएंस को कैप्चर किया और बड़े पैमाने पर, पुनरुत्पादक मूल्यांकन की व्यवहार्यता को प्रदर्शित किया।

महत्व और दावे
लेखक SUPREME को अनलर्निंग विधियों के सुसंगत, पुनरुत्पादक तुलनाओं को सक्षम करने वाले एक टूल के रूप में स्थापित करते हैं, जो मॉडल्स की बढ़ती जटिलता और मल्टी-सीड मूल्यांकन की आवश्यकता को संबोधित करता है। वे स्पष्ट रूप से कहते हैं कि रिपोर्ट किए गए नंबर अनलर्निंग विधियों की निश्चित रैंकिंग प्रदान करने के बजाय फ्रेमवर्क की क्षमताओं को दर्शाते हैं, क्योंकि प्रदर्शन केवल एक डेटासेट, दो आर्किटेक्चर और एक सिंगल डिवाइस तक सीमित था। पेपर का निष्कर्ष है कि भविष्य के कार्य अन्य पंजीकृत घटकों के प्रदर्शन को बढ़ाएंगे और वेरिएंस के स्रोतों को और अधिक डीकंपोज करने के लिए प्रशिक्षण, अनलर्निंग और मूल्यांकन चरणों के लिए स्वतंत्र सीड्स का उपयोग करेंगे। फ्रेमवर्क का उद्देश्य मशीन अनलर्निंग के क्षेत्र के परिपक्व होने के साथ आवश्यक कठोर बेंचमार्किंग को सुगम बनाना है।

समस्या: "एक-बीज" (One-Seed) का जाल

समाधान: SUPREME

उन्होंने क्या पाया (डेमो)

यह क्यों मायने रखता है

सारांश

इसी तरह के और पेपर