The Role of Feedback Alignment in Self-Distillation
यह शोध पत्र यह प्रदर्शित करता है कि सेल्फ-डिस्टिलेशन (self-distillation) तब सबसे प्रभावी होता है जब सेल्फ-टीचर (self-teacher) को एक फ्रोजन क्रिटिक (frozen critic) से स्टेप-अलाइन्ड (step-aligned) आलोचनाओं के आधार पर कंडिशन किया जाता है, क्योंकि यह संरचनात्मक संरेखण केवल त्रुटिपूर्ण टोकन को लक्षित करता है और सही तर्क को सुरक्षित रखता है, जो बाइनरी रिवार्ड्स (binary rewards) या रेफरेंस सॉल्यूशंस (reference solutions) का उपयोग करने वाली विधियों की तुलना में काफी बेहतर प्रदर्शन करता है।