CSV-Decode: Certifiable Sub-Vocabulary Decoding for Efficient Large Language Model Inference
يُعد CSV-Decode إطار عمل مبتكر يسرع استنتاج النماذج اللغوية الكبيرة من خلال بناء مفردات فرعية قابلة للتحقق عبر التجميع غير المتصل والحدود الهندسية، مما يتيح حساباً متناثرًا فعالًا مع ضمان الاختيار الدقيق لأعلى وضمان توزيعات softmax بمقدار تقريب .