TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation
यह शोध पत्र TinyR1-32B-Preview को प्रस्तुत करता है, जो एक नवीन 'ब्रांच-मर्ज डिस्टिलेशन' (Branch-Merge distillation) दृष्टिकोण के माध्यम से विकसित एक 32B-पैरामीटर वाला मॉडल है, जो विशिष्ट छात्र मॉडलों को चुनिंदा रूप से प्रशिक्षित करने और उन्हें मर्ज करने के माध्यम से गणित, कोडिंग और विज्ञान में मौजूदा डिस्टिल्ड समकक्षों से काफी बेहतर प्रदर्शन करता है और बड़े DeepSeek-R1 शिक्षक मॉडल के प्रदर्शन के बराबर पहुँच जाता है।