Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning
यह शोध पत्र हिंडसाइट सेल्फ-डिस्टिलेशन (HSD) का प्रस्ताव करता है, जो एक ऐसी विधि है जो महत्वपूर्ण विचलन बिंदुओं पर सघन, पथ-विशिष्ट मार्गदर्शन प्रदान करने के लिए सफल पीयर रोलआउट्स पर एक टीचर मॉडल को कंडिशन करके लंबे रीजनिंग ट्रेसेस में टोकन-स्तरीय क्रेडिट असाइनमेंट में सुधार करती है, जिससे गणित और कोड बेंचमार्क पर मौजूदा सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) और डिस्टिलेशन बेसलाइनों से बेहतर प्रदर्शन होता है।