Reducing the Safety Tax in LLM Safety Alignment with On-Policy Self-Distillation
यह शोध पत्र ऑन-पॉलिसी सेल्फ-डिस्टिलेशन फॉर सेफ्टी अलाइनमेंट (OPSA) प्रस्तुत करता है, जो एक ऐसी विधि है जो एक फ्रोजन टीचर कॉपी से डेंस सुपरविजन के साथ मॉडल को उनके अपने रोलआउट्स पर प्रशिक्षित करके "सेफ्टी टैक्स" (सुरक्षा और तर्क के बीच का ट्रेडऑफ) को कम करती है, जिससे यह विभिन्न मॉडल स्केल्स पर मौजूदा ऑफ-पॉलिसी और एक्सटर्नल-टीचर दृष्टिकोणों से बेहतर प्रदर्शन करती है।