🤖 AI
Reinforcement-aware Knowledge Distillation for LLM Reasoning
यह शोध पत्र RL-aware Distillation (RLAD) का प्रस्ताव करता है, जो एक विधि है जो वितरण बेमेल (distribution mismatch) और उद्देश्य हस्तक्षेप (objective interference) को दूर करने के लिए Trust Region Ratio Distillation (TRRD) ऑब्जेक्टिव के माध्यम से सुदृढीकरण शिक्षण (reinforcement learning) में चयनात्मक अनुकरण (selective imitation) को एकीकृत करती है, जिससे छोटे भाषा मॉडल अन्वेषण (exploration) और दोहन (exploitation) को संतुलित करते हुए बड़े शिक्षकों से प्रभावी ढंग से लंबी चेन-ऑफ-थॉट (chain-of-thought) तर्क क्षमताओं को विरासत में प्राप्त कर पाते हैं।