💬 NLP
Structural Rationale Distillation via Reasoning Space Compression
यह शोध पत्र डिस्टिलेशन थ्रू रीजनिंग पाथ कम्प्रेशन (D-RPC) का प्रस्ताव करता है, जो एक ऐसी विधि है जो शिक्षक (teacher) के तर्क (rationales) को पुन: प्रयोज्य उच्च-स्तरीय रीजनिंग पथों के एक गतिशील रूप से बनाए रखे गए बैंक तक सीमित करके बड़े से छोटे भाषा मॉडलों में ज्ञान हस्तांतरण में सुधार करती है, जिससे पर्यवेक्षण शोर (supervision noise) कम होता है और मौजूदा डिस्टिलेशन तकनीकों की तुलना में कई रीजनिंग बेंचमार्क पर बेहतर प्रदर्शन प्राप्त होता है।