Batch Speculative Decoding Done Right
यह शोध पत्र पहचान करता है कि मौजूदा बैच स्पेक्युलेटिव डिकोडिंग कार्यान्वयन रैग्ड टेंसर (ragged tensor) की समस्या के कारण आउटपुट समानता बनाए रखने में विफल रहते हैं, और पहला सही ढांचा, EQSPEC, इसके अनुकूलित संस्करण EXSPEC के साथ प्रस्तावित करता है, जो विभिन्न मॉडल युग्मों में एल्गोरिदम की शुद्धता सुनिश्चित करते हुए 3 गुना तक थ्रूपुट सुधार प्राप्त करता है।