Sparse-BitNet: 1.58-bit LLMs are Naturally Friendly to Semi-Structured Sparsity
تقدم هذه الورقة Sparse-BitNet، وهو إطار عمل موحد يوضح أن نماذج BitNet ذات الـ 1.58 بت هي بطبيعتها أكثر توافقًا مع التناثر شبه المهيكل N:M من النماذج ذات الدقة الكاملة، مما يتيح تدريبًا مستقرًا، وتقليل تدهور الأداء، وتسريعًا كبيرًا في كل من التدريب والاستدلال.