TreeFlash: Parallel AR-Approximation for Faster Speculative Decoding
TreeFlash एक नवीन समानांतर स्पेक्युलेटिव डिकोडिंग विधि है जो ऑटोरेग्रेसिव डिस्ट्रीब्यूशन को अनुमानित करने के लिए एक MLP लेयर को शामिल करके वन-शॉट ब्लॉक ड्राफ्टर्स को उन्नत करती है, जिससे निरंतर डिकोडिंग टाइम कॉम्प्लेक्सिटी बनाए रखते हुए ब्लॉक दक्षता और स्पीडअप में महत्वपूर्ण सुधार होता है।