Robust Training of Neural Networks at Arbitrary Precision and Sparsity

Deze paper introduceert een unificerend raamwerk dat kwantisatie en verduidelijking als additief ruis modelleert en een afgeleid denoising-dekwantisatietransform toepast om stabiele training van neurale netwerken op willekeurige precisie- en sparsiteitsniveaus mogelijk te maken, waardoor state-of-the-art resultaten worden behaald in ultra-lage precisie-regimes zoals A1W1.

Chengxi Ye, Grace Chu, Yanfeng Liu, Yichi Zhang, Lukasz Lew, Li Zhang, Mark Sandler, Andrew HowardWed, 11 Ma🤖 cs.AI