SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion
SHRED एक नवीन, रिटेन-सेट-मुक्त (retain-set-free) मशीन अनलर्निंग विधि है जो बड़े भाषा मॉडलों के लिए, सेल्फ-डिस्टिलेशन के माध्यम से उच्च-सूचना वाले टोकनों की पहचान और उन्हें डिमोट करके याद किए गए कंटेंट को चुनिलेक्टिव रूप से हटाती है, जिससे बिना किसी क्यूरेटेड रिटेन सेट की आवश्यकता के, भूलने की प्रभावकारिता और मॉडल उपयोगिता के बीच श्रेष्ठ संतुलन प्राप्त किया जाता है।