Noise Is Not a Sanitizer: Shared Initialization Turns Data-Free Distillation into a Covert Channel for Memorized Training Data and Backdoors
यह शोध पत्र प्रदर्शित करता है कि साझा इनिशियलाइजेशन (shared initialization) का उपयोग करने वाला डेटा-फ्री नॉलेज डिस्टिलेशन (data-free knowledge distillation) निजी मॉडलों को सैनिटाइज करने में विफल रहता है, क्योंकि गॉसियन-नॉइज़ क्वेरीज़ (Gaussian-noise queries) अनजाने में टीचर से स्टूडेंट नेटवर्क में मेमोराइज्ड ट्रेनिंग डेटा और बैकडोर्स को प्रसारित कर सकती हैं।